240 GPU RTX 5090 đào tạo mô hình 8B, đạt 59,6 token/giây trên CPU smartphone

Chutes AI cho biết đã đào tạo một mô hình trí tuệ nhân tạo 8 tỷ tham số bằng 240 GPU RTX 5090, phân bổ trên 30 máy chủ tại 13 quốc gia, sau đó vận hành mô hình hoàn thiện trực tiếp trên CPU smartphone.

Màn trình diễn được công bố tại Exploit Summit, diễn ra ở Montreal, Canada, từ ngày 28 đến 29 tháng 9. Crypto Briefing đưa tin về nội dung này ngày 30 tháng 9.

Số GPU được sử dụng cho quá trình đào tạo là 240 chiếc RTX 5090 của Nvidia($NVDA). Chutes AI đưa ra mức chi phí đào tạo khoảng 6.500 USD (khoảng 8,8 triệu won), tương đương khoảng 11 USD (khoảng 14.894 won) cho mỗi 1 tỷ token.

Đây là mức tính toán do Chutes AI tự đưa ra. Hiện chưa có dữ liệu từ tổ chức bên ngoài tái hiện chi phí và hiệu suất trong cùng điều kiện đào tạo.

Mô hình 8B hoàn thiện tạo khoảng 59,6 token mỗi giây trên CPU smartphone. Token là đơn vị cơ bản mà mô hình trí tuệ nhân tạo sử dụng để xử lý câu.

Một mô hình lớn hơn với 40,75 tỷ tham số xử lý 26,9 token mỗi giây khi sử dụng bộ nhớ 12GB. Cả hai con số đều là kết quả trình diễn nội bộ, trong khi mẫu smartphone và điều kiện kiểm thử chi tiết chưa được công bố.

Công nghệ cốt lõi là hệ thống đào tạo phân tán 'Parallax'. Thay vì thuê một cụm GPU lớn, hệ thống kết nối phần cứng ở nhiều địa điểm khác nhau và phân chia công việc đào tạo.

Chutes AI giải thích trong tài liệu chính thức rằng Parallax được thiết kế để đào tạo các mô hình hỗn hợp chuyên gia thưa trên những node không đồng nhất và không kết nối sẵn với nhau. Mô hình hỗn hợp chuyên gia thưa chỉ lựa chọn các phần cần thiết trong số nhiều mô hình chuyên gia để giảm khối lượng tính toán.

Parallax sử dụng cấu trúc P2P dựa trên libp2p. Cách tiếp cận này đồng bộ dữ liệu và trạng thái công việc giữa nhiều node, qua đó giảm sự phụ thuộc vào một trung tâm dữ liệu cụ thể.

Trong cấu trúc phân tán, sự cố node và độ trễ mạng có thể ảnh hưởng đến quá trình đào tạo. Các tài liệu công khai chưa nêu rõ việc xác minh tính toàn vẹn dữ liệu và ứng phó sự cố được thực hiện như thế nào trong môi trường đào tạo quy mô lớn.

Suy luận trên thiết bị cũng là một yếu tố chính trong màn trình diễn. Khi mô hình chạy trực tiếp trên smartphone, dữ liệu đầu vào của người dùng có thể không cần gửi lên máy chủ đám mây, mở ra khả năng ứng dụng cho bảo vệ quyền riêng tư và xử lý ngoại tuyến.

Tuy nhiên, các số liệu chi tiết về nhiệt lượng, mức tiêu thụ điện và độ trễ phản hồi thực tế trên từng mẫu smartphone chưa được công bố. Chỉ dựa vào số token mỗi giây là chưa đủ để đánh giá sự tiện dụng trong môi trường thực tế hoặc hiệu quả pin.

Chutes AI vận hành subnet điện toán phân tán không máy chủ SN64 của Bittensor. Công ty giới thiệu Parallax là công nghệ mở rộng hạ tầng vốn tập trung vào suy luận mô hình sang giai đoạn đào tạo.

Trường hợp này được giới thiệu như một thử nghiệm kết nối GPU dành cho người tiêu dùng với hạ tầng tài sản số phân tán để đào tạo mô hình trí tuệ nhân tạo. Cộng đồng Chutes AI cho biết đã công khai theo thời gian thực số token đào tạo, số host và thông lượng xử lý trên bảng điều khiển kể từ ngày 10 tháng 9.

Một số người dùng chú ý đến khả năng giảm chi phí đào tạo trí tuệ nhân tạo nhờ sử dụng GPU dành cho người tiêu dùng. Ngược lại, chính các bài đăng trong cộng đồng cũng đề cập đến vấn đề ổn định của RTX 5090 và việc thiếu tiêu chuẩn so sánh.

Chutes AI cho biết có kế hoạch công bố báo cáo kỹ thuật tổng hợp và toàn bộ mô hình. Thời điểm công bố chưa được xác định, trong khi khả năng tái hiện, mức độ bảo mật và hiệu quả năng lượng ở cấp độ dịch vụ thương mại vẫn cần được kiểm chứng thêm.