Anthropic dùng Claude chạy xử lý đầu vào trên GPU AMD chỉ sau 3 ngày

Anthropic cho biết đã dùng Claude Mythos Preview để đưa chức năng xử lý đầu vào của một mô hình Claude lên GPU AMD(AMD) MI355X với hiệu năng có thể sử dụng được, chỉ trong khoảng 3 ngày. Phạm vi thử nghiệm được công bố không phải toàn bộ mô hình mà chỉ là giai đoạn xử lý đầu vào.

BlockBeats đưa tin Anthropic đã công bố thử nghiệm này tại buổi roadshow niêm yết. Theo báo cáo, phần lớn các kernel GPU cần thiết do Claude tự chuyển đổi hoặc viết mới, với sự can thiệp của con người ở mức thấp.

Xử lý đầu vào là giai đoạn mô hình đọc nội dung người dùng gửi và bắt đầu tính toán. Việc giai đoạn này chạy được trên chip AMD chưa đủ để đánh giá toàn bộ quá trình suy luận, bao gồm cả khâu tạo câu trả lời, hay hiệu năng vận hành dịch vụ quy mô lớn.

Anthropic cho biết trước đây, mỗi lần đưa một nền tảng chip mới vào sử dụng, hàng chục kỹ sư phải bỏ ra 6-12 tháng. Con số này nói về kinh nghiệm triển khai cả một nền tảng, còn mốc khoảng 3 ngày lần này chỉ áp dụng cho chức năng xử lý đầu vào của một mô hình, nên phạm vi công việc không giống nhau.

Kernel GPU là đoạn mã cấp thấp thực hiện một phép tính cụ thể trên GPU. Muốn chạy kernel viết cho chip cũ trên GPU khác, cần kiểm tra khả năng tương thích mã, điều chỉnh theo cấu trúc chip, rồi thử nghiệm kết quả tính toán và tốc độ thực thi.

CUDA do Nvidia(NVDA) giới thiệu năm 2006 là nền tảng để viết và chạy chương trình cho GPU. BlockBeats cho biết từ khoảng năm 2018, các framework học sâu lớn như PyTorch và TensorFlow đã sử dụng rộng rãi CUDA cùng các thư viện tính toán liên quan. Tài liệu hướng dẫn CUDA của Nvidia cũng giới thiệu các chức năng của nền tảng này.

Nvidia còn xây dựng sẵn bộ công cụ cho giao tiếp giữa nhiều GPU, gỡ lỗi và tối ưu hiệu năng. Với lượng mã và công cụ tích lũy trong hệ sinh thái này, khi chuyển sang chip khác, ngoài việc đổi mã còn phải căn chỉnh để đảm bảo tương thích và hiệu năng.

BlockBeats giải thích AMD MI355X trang bị 288GB bộ nhớ băng thông cao, nhưng kernel viết cho GPU Nvidia có thể không chạy nguyên trạng trên chip AMD, hoặc chạy được nhưng hiệu năng không như kỳ vọng. Đó là lý do cần điều chỉnh theo kiến trúc AMD và thử nghiệm lặp lại.

AMD đã cung cấp ROCm và công cụ HIPIFY để hỗ trợ chuyển các chương trình CUDA sang nền tảng của hãng. Các công cụ đa nền tảng như Triton cũng giúp giảm gánh nặng chuyển đổi, nhưng với mã tính toán cấp thấp phức tạp, vẫn có thể cần tối ưu thêm. Tài liệu HIPIFY của AMD có giới thiệu các công cụ liên quan.

Trước đó, TokenPost đã đưa tin về đánh giá ban đầu đối với MI355X, trong đó một kỹ sư bắt đầu công việc và biểu đồ hiệu năng của mô hình chủ lực tăng lên trong cuối tuần. Lần công bố này bổ sung thông tin về giai đoạn xử lý đầu vào của một mô hình và khoảng thời gian thực hiện khoảng 3 ngày.

Trong hồ sơ niêm yết, Anthropic cho biết đã xây dựng trong nhiều năm một hệ thống phân bổ năng lực tính toán đa chip, gồm GPU Nvidia, GPU AMD, TPU của Google(GOOGL) và Trainium của Amazon(AMZN). Hệ thống này chọn chip cho từng tác vụ dựa trên giá và hiệu năng.

Trong thông báo chung hồi tháng 7, Anthropic và AMD cho biết Anthropic đã sử dụng MI355X, đồng thời sẽ dùng Claude để tối ưu các tác vụ trên GPU AMD và đẩy nhanh quá trình phát triển ROCm. ROCm là môi trường phần mềm để chạy chương trình tính toán trên GPU AMD. Thông báo chung của hai công ty cũng nêu kế hoạch hợp tác này.

Tom Brown, đồng sáng lập kiêm giám đốc điện toán của Anthropic, nói trong thông báo khi đó: “Vận hành trên nhiều loại phần cứng giúp chúng tôi phân bổ đúng phần cứng cho từng tác vụ”. Phát biểu này cho thấy Anthropic hướng tới cách vận hành không phụ thuộc vào một loại chip duy nhất.

Nhà đầu tư Marcelo P. Lima nhận định rào cản gia nhập của CUDA đã biến mất. Nhà phân tích Ben Pouladian lại cho rằng chạy một phần phép tính trên AMD khác với việc vận hành toàn bộ hệ thống ổn định và tiết kiệm chi phí ở quy mô lớn.

AMD sẽ đầu tư tối đa 5 tỷ USD (khoảng 6,71 nghìn tỷ won) vào Anthropic. Hai bên dự kiến triển khai GPU dòng MI450 với quy mô tối đa 2 gigawatt, trong đó đợt 1 gigawatt đầu tiên sẽ bắt đầu vào nửa đầu năm 2027.