NeuroSpark dùng GPU AMD Instinct để suy luận AI trên OCI

NeuroSpark đang dùng GPU AMD Instinct và ROCm cho các tác vụ suy luận trên hạ tầng bare metal của Oracle Cloud Infrastructure (OCI), AMD cho biết ngày 23. Phạm vi ứng dụng gồm mô hình ngôn ngữ, mô hình tạo video và mô hình chuyển văn bản thành giọng nói.

AMD cho biết cấu hình này giúp NeuroSpark tăng năng lực tính toán có thể cung cấp cho khách hàng. Hãng không công bố mẫu GPU hay quy mô triển khai.

Theo AMD, NeuroSpark chọn phần cứng dựa trên quy mô mô hình, độ trễ và yêu cầu hiệu năng. Hãng cũng cho biết một số mô hình cao cấp có thêm lựa chọn với chi phí thấp hơn.

Tuy nhiên, thông báo không nêu đối tượng và điều kiện so sánh chi phí hay tỷ lệ tiết kiệm. Chưa có tài liệu xác minh độc lập được công bố.

AMD dẫn lời nhà sáng lập NeuroSpark Thomas Ning rằng công ty có thể khai thác tiềm năng của chip AMD để cải thiện hiệu năng và tính kinh tế. Đây là nhận định từ phía công ty, chưa kèm kết quả đo lường hiệu năng hoặc chi phí.

AMD cho biết NeuroSpark đánh giá các framework suy luận và huấn luyện theo từng mô hình bằng workload thực tế, sau đó điều chỉnh phần cứng và phần mềm dựa trên kết quả. Quá trình này sử dụng công cụ suy luận ATOM dựa trên ROCm và thư viện kernel AITER. Công ty cũng đang tích hợp với công cụ suy luận mã nguồn mở SGLang.

Kết quả so sánh thông lượng hoặc độ trễ phản hồi theo từng mô hình chưa được công bố. Vì vậy, thông tin được xác nhận trong thông báo là NeuroSpark sử dụng GPU Instinct cho các tác vụ suy luận trên OCI.

Trong một câu chuyện khách hàng, Oracle($ORCL) cho biết NeuroSpark chọn dịch vụ điện toán OCI nhờ độ tin cậy, hiệu năng và hỗ trợ trên nhiều khu vực. Tài liệu này xác nhận việc sử dụng OCI nhưng không đề cập đến GPU AMD.

Năm 2024, AMD và Oracle công bố các phiên bản OCI dùng MI300X cùng dịch vụ ROCm. Tài liệu kỹ thuật của Oracle mô tả cấu hình trang bị 8 GPU MI300X, nhưng chưa thể xác nhận đây là mẫu NeuroSpark đang sử dụng.

Trước đó, AMD đã công bố cấu hình chạy GPU cho mô hình của Meta, trình bày cách vận hành một mô hình cụ thể. Thông báo lần này cho biết NeuroSpark dùng GPU Instinct để suy luận trên OCI; mẫu GPU, quy mô triển khai và ngày bắt đầu cung cấp dịch vụ chưa được công bố.