CMP 170HX mở khóa bộ nhớ từ 8GB lên 80GB, thử nghiệm FP16 cao hơn A100 18%

Kỹ sư Kate đã sửa đổi card đồ họa CMP 170HX dùng cho khai thác của Nvidia($NVDA), tăng bộ nhớ có thể sử dụng từ 8GB lên 80GB. Trong thử nghiệm FP16 do Kate thực hiện, card sau khi sửa đổi đạt thông lượng cao hơn khoảng 18% so với A100 thông thường.

Trong bài viết kỹ thuật công bố ngày 10, Kate cho biết đã “biến card CMP 170HX 8GB của tôi thành một thiết bị về cơ bản tương đương A100-80G”. Tên sản phẩm không đổi thành A100; điều đó có nghĩa là bộ nhớ và một số chức năng tính toán vốn bị khóa đã được mở để sử dụng.

CMP 170HX và A100 cùng sử dụng chip GA100. Theo Kate, trên mẫu CMP 170HX 8GB dành cho khai thác, phần lớn bộ nhớ và một số chức năng tính toán bị giới hạn thông qua cấu hình cầu chì điện tử (eFuse).

Mẫu 8GB mà Kate khảo sát có khoảng 80GB bộ nhớ băng thông cao (HBM) được lắp đặt sẵn trên phần cứng. Với phương pháp phần mềm thông thường, có thể sử dụng tối đa 64GB.

Việc sửa đổi sử dụng phương pháp “tiêm lỗi điện áp”. Điện áp của chip được hạ xuống trong thời gian ngắn để truy cập chức năng điều khiển eFuse vốn thường chặn thao tác ghi. Sau đó, Kate thay đổi cấu hình cầu chì và phần mềm để mở khóa bộ nhớ cùng các đơn vị tính toán.

Một bo mạch điều khiển nhỏ được dùng để chặn tín hiệu giữa GPU và bộ điều chỉnh điện áp rồi gửi dạng sóng riêng. Kate cho biết đã nhiều lần ngắt rồi cấp lại nguồn cho card; với thiết bị của mình, bà mất từ 1 đến 48 giờ để mở khóa các chức năng bị khóa trên mỗi card.

Trong số 10 card CMP 170HX 8GB mà Kate kiểm tra, 9 card có thể sử dụng 80GB bộ nhớ. Card còn lại chỉ có 64GB bộ nhớ hoạt động bình thường nên không thể nâng lên 80GB.

Kate xác nhận card hoạt động bằng cách ghi dữ liệu lên toàn bộ bộ nhớ có thể sử dụng rồi đọc lại. Bà cũng cho biết đã chạy vLLM và SGLang, các phần mềm thực thi mô hình AI.

Khả năng tính toán cũng tăng lên. Kate cho biết card sau khi sửa đổi có thể sử dụng khoảng 120–126 bộ xử lý đa luồng (SM) hoạt động bình thường, trong khi A100 thông thường có 108 SM được kích hoạt.

Trong bài viết, Kate ghi thông lượng FP16 của card đã sửa đổi là 85.858 TFLOP/s trong kết quả thô của OpenCL và 85.861 TFLOP/s trong bảng kết quả ở phần sau. A100 dùng để so sánh đạt 72.488 TFLOP/s, còn CMP 170HX được sửa đổi bằng phương pháp phần mềm thông thường đạt 50.129 TFLOP/s.

Mức chênh lệch khoảng 18% giữa card đã sửa đổi và A100 chỉ áp dụng cho kết quả thử nghiệm FP16 này. Con số đó không đồng nghĩa với việc card sẽ nhanh hơn tương ứng trong mọi tác vụ AI.

Kate cũng thử nghiệm PCIe 4.0 và kết nối NVLink giữa hai card sau khi gia cố thêm linh kiện và thay đổi cấu hình. Bà cho biết mỗi card trong thử nghiệm hiển thị 80GB bộ nhớ.

Trong khi đó, các chức năng sửa lỗi (ECC), xử lý video và phân vùng GPU chưa được thử nghiệm. Kết quả lần này không xác nhận các chức năng đó có hoạt động hay không.

Kate cho biết sẽ công bố thêm kết quả nghiên cứu liên quan đến NVLink trong một bài viết tiếp theo.