Nvidia thiết kế CPU Vera trên một khuôn silicon, hướng tới AI agent

Hiệu năng đơn nhân và độ trễ của CPU ngày càng quan trọng khi các AI agent chạy mã và gọi công cụ. Nvidia($NVDA) cho biết CPU Vera được thiết kế với cấu trúc một khuôn silicon để phục vụ những tác vụ này.

Nhóm Vera của Nvidia giải thích trong cuộc phỏng vấn với Wccftech, công bố ngày 18 tháng 10, rằng điện toán đám mây trước đây tập trung tăng số lõi để nâng thông lượng, còn AI agent có nhiều tác vụ tuần tự nên cần hiệu năng đơn nhân cao hơn. CPU xử lý mã và dữ liệu trước và sau khi agent chuyển phép tính sang GPU; nếu CPU chậm, GPU có thể phải chờ tác vụ tiếp theo.

Vera sử dụng thiết kế “monolithic”, bố trí các lõi trên một khuôn silicon. Khác với cách kết nối nhiều chiplet, thiết kế này tập trung giảm độ trễ bằng cách giữ cho giao tiếp giữa các lõi không phải đi qua ranh giới vào ra. Nvidia cho biết trên blog kỹ thuật rằng Vera kết nối 88 lõi Olympus với bộ nhớ đệm dùng chung và hệ thống bộ nhớ, cung cấp băng thông hai chiều giữa các lõi tối đa 3,4 TB mỗi giây.

Các số liệu hiệu năng cần được xem xét theo điều kiện đo riêng. Nhóm Vera nói trong cuộc phỏng vấn rằng Vera nhanh hơn 1,5 lần so với thế hệ trước Grace, và nhanh hơn tới 2 lần so với các bộ xử lý x86 cao cấp nhất trong những tác vụ dành cho agent như chạy tập lệnh Python và biên dịch mã. Trong khi đó, blog kỹ thuật của Nvidia đưa ra mức hiệu năng sandbox cao hơn tối đa 1,5 lần so với nền tảng x86 cạnh tranh, trong điều kiện tải toàn bộ socket gồm trình biên dịch, công cụ viết tập lệnh, môi trường chạy và lệnh gọi công cụ của agent. Do tác vụ và điều kiện đo khác nhau, không thể so sánh hai con số theo cùng một tiêu chuẩn.

Vera cũng áp dụng “đa luồng không gian”, phân bổ tài nguyên riêng cho luồng thực thi tác vụ và luồng vào ra. Cuộc phỏng vấn của Wccftech cho biết thử nghiệm Phoronix ghi nhận hiệu năng tăng khoảng 20%, nhưng blog kỹ thuật của Nvidia không nêu điều kiện thử nghiệm cụ thể. Khi so sánh hiệu năng, cần xem xét cả loại tác vụ và điều kiện tải.

AI agent không chỉ tạo câu trả lời mà còn chạy mã hoặc gọi công cụ bên ngoài. Những quy trình này tạo ra các tác vụ tuần tự do CPU đảm nhiệm giữa các phép tính trên GPU. Trong bài viết trước về việc SpaceX AI mở rộng hạ tầng Grok bằng CPU Vera, GPU đảm nhiệm phép tính cho mô hình lớn, còn CPU xử lý việc gọi công cụ và chạy mã.

Nvidia cho biết trên blog kỹ thuật rằng Vera được thiết kế để rút ngắn thời gian xử lý của CPU trong hậu xử lý học tăng cường và suy luận của agent. Thông lượng và độ trễ trong dịch vụ thực tế có thể thay đổi tùy theo cấu hình tác vụ và môi trường triển khai.