Nvidia(NVDA) sẽ đưa các rack chạy trên nền tảng chip Groq vào vận hành ngay trong năm nay, sau khi công ty này ký hợp đồng công nghệ trị giá 20 tỷ USD với Groq. Đây là bước cụ thể hóa kế hoạch triển khai hạ tầng suy luận AI có độ trễ thấp vào môi trường của khách hàng.
Theo CNBC đưa tin ngày 24 (giờ địa phương), Nvidia đang đẩy nhanh quá trình sản xuất chip Groq và cung cấp cho khách hàng. CNBC cho biết động thái này phản ánh nhu cầu ngày càng lớn đối với năng lực xử lý suy luận độ trễ thấp trong lĩnh vực AI.
Groq đã phát triển công nghệ chip chuyên biệt cho giai đoạn suy luận, tức bước các mô hình AI quy mô lớn tạo ra câu trả lời sau khi nhận đầu vào. Nvidia được cho là đang kết hợp công nghệ này vào hạ tầng AI của mình nhằm đáp ứng nhu cầu về các dịch vụ đòi hỏi phản hồi tốc độ cao.
Bình luận 0