Nvidia(NVDA) ra mắt OpenShell, hứa giảm tới 30% điện năng mỗi token

Jensen Huang, CEO Nvidia(NVDA), ngày 21 cho biết công ty đã xây dựng "OpenShell" - kiến trúc giúp các AI agent hoạt động tự do trong một giới hạn được xác định rõ để thực hiện công việc có giá trị. Cũng trong lần công bố này, ông Huang giới thiệu rằng ở quy mô 2 gigawatt (GW), hệ thống DSX có thể đưa lượng nước dùng để làm mát xuống gần như bằng 0, còn DSX MaxLPS có thể giảm tới 30% lượng điện tiêu thụ cho mỗi token.

OpenShell là một kiến trúc tham chiếu. Theo PANews, kiến trúc này hỗ trợ doanh nghiệp xây dựng, kiểm soát, giám sát và vận hành các agent an toàn trên cả hạ tầng trung tâm lẫn hệ thống biên (edge). Hệ thống biên là hệ thống xử lý dữ liệu ngay gần hiện trường thay vì tại server trung tâm.

AI agent là phần mềm có thể tự thực hiện công việc mà không cần người dùng hướng dẫn từng bước. Trước đó, khi gặp gỡ Fortune tại London, ông Huang từng nói rằng AI agent nên được chạy trong các container an toàn và chỉ nên được cấp quyền tối thiểu cần thiết cho công việc. OpenShell lần này đi theo hướng tương tự: xác định trước phạm vi được phép, sau đó để agent hoạt động trong phạm vi đó.

Token là đơn vị cơ bản mà các mô hình AI dùng để xử lý văn bản, và lượng điện tiêu thụ trên mỗi token là chỉ số liên quan trực tiếp đến chi phí vận hành dịch vụ AI. Trong bản tóm tắt hội nghị công bố ngày 17/3, Morgan Stanley(MS) cho biết ông Huang từng giải thích rằng AI agentic có thể tiêu thụ lượng token nhiều hơn tới 1 triệu lần so với một câu lệnh (prompt) AI tạo sinh thông thường. Khi việc sử dụng agent càng tăng, chỉ số hiệu suất điện năng trên mỗi token càng trở nên quan trọng.

Mức 30% là con số "tối đa". Thông tin do PANews đưa ra không nêu rõ con số này được tính trong điều kiện nào hay so sánh với mốc nào. Cả con số lượng nước làm mát "gần như bằng 0" và mức giảm điện năng trên mỗi token đều do Nvidia tự công bố, nên hiệu quả thực tế trong môi trường vận hành trung tâm dữ liệu thực tế vẫn cần được kiểm chứng độc lập.