Nhóm nghiên cứu của CertiK và Đại học Columbia (Columbia University) đánh giá 149 phiên bản kernel GPU đã biên dịch và chứng minh 83 phiên bản đáp ứng đặc tả Lean. Nhóm cũng phát hiện 38 vấn đề về tính chính xác trong 6 thư viện.
Trong thông cáo chính thức công bố ngày 20, CertiK cho biết kết quả nghiên cứu về TensorLean. Nghiên cứu tập trung dùng phương pháp kiểm chứng hình thức để xác nhận tính chính xác của mã tính toán AI đang được sử dụng thực tế.
Kernel GPU là chương trình nhỏ thực hiện một phép tính cụ thể trên bộ xử lý đồ họa. Các chương trình này đảm nhiệm những phép tính cần thiết để huấn luyện mô hình ngôn ngữ lớn và tạo câu trả lời.
Con số 149 là số phiên bản kernel đã biên dịch được đánh giá, còn 83 là số phiên bản mà nhóm chứng minh đáp ứng đặc tả Lean. Con số 38 là số vấn đề về tính chính xác được phát hiện trong các thư viện, không phải số phiên bản không đáp ứng đặc tả.
Nhóm phát hiện 2 vấn đề trong DeepGEMM của DeepSeek và 23 vấn đề trong FlashAttention. Tổng cộng, hai thư viện có 25 vấn đề, một phần trong tổng số 38 vấn đề.
Các bài kiểm thử thông thường chạy những trường hợp đầu vào do nhà phát triển lựa chọn để tìm lỗi. Tuy nhiên, lỗi vẫn có thể xuất hiện với kích thước đầu vào hoặc điều kiện chạy không nằm trong các bài kiểm thử.
Kiểm chứng hình thức mô tả phép tính mà chương trình cần thực hiện, các điều kiện áp dụng và sai số cho phép dưới dạng yêu cầu toán học, sau đó chứng minh mã đáp ứng những yêu cầu đó. Trong nghiên cứu này, nhóm viết các yêu cầu thành đặc tả Lean.
Nếu chứng minh thành công, điều đó có nghĩa kernel đáp ứng yêu cầu với mọi đầu vào và điều kiện chạy thỏa mãn các điều kiện trong đặc tả. Bảo đảm này chỉ có hiệu lực trong phạm vi và điều kiện đã được kiểm chứng.
Mã tính toán AI có thể thay đổi cách bố trí dữ liệu trong bộ nhớ và phân công công việc cho GPU để tăng tốc độ xử lý. Các phương pháp tối ưu hóa cũng có thể cho phép dữ liệu được di chuyển đồng thời với quá trình tính toán hoặc sử dụng phép toán có độ chính xác thấp hơn.
Trước đó, TokenPost đã đưa tin về một nghiên cứu cho thấy kết quả hiệu năng trong thử nghiệm tối ưu hóa kernel GPU thay đổi tùy theo điều kiện ngân sách. Nghiên cứu TensorLean lần này tập trung chứng minh tính chính xác của phép tính trong mã đã tối ưu hóa, thay vì so sánh mức cải thiện hiệu năng.
TensorLean kiểm chứng trực tiếp PTX, dạng biểu diễn mã được biên dịch cho GPU. Nhờ đó, nhóm nghiên cứu xác nhận liệu phần triển khai thực tế có các tối ưu hóa hiệu năng có đáp ứng đặc tả tính toán đã đặt ra hay không.
Các chứng minh được viết bằng Lean để máy có thể kiểm tra từng bước. Nhóm đã dùng phương pháp này để đánh giá kernel trên nhiều thế hệ kiến trúc GPU.
Kết quả chỉ áp dụng cho từng đoạn mã phép toán riêng lẻ. Nghiên cứu không chứng minh hiệu năng của toàn bộ mô hình AI hoặc tính xác thực của câu trả lời do mô hình tạo ra.
CertiK đưa ra ví dụ giả định về một đợt huấn luyện AI trị giá 100 triệu USD (khoảng 133,1 tỷ won): nếu phải thực hiện lại 1% khối lượng tính toán, chi phí tính toán bổ sung có thể lên tới 1 triệu USD (khoảng 1,331 tỷ won). Đây là ví dụ nhằm minh họa chi phí tiềm tàng của lỗi tính toán, không phải khoản tiền thực tế đã tiết kiệm được nhờ triển khai TensorLean.
Sau khi tối ưu hóa mã, nhà phát triển có thể kiểm tra lại xem phiên bản mới có đáp ứng các yêu cầu ban đầu hay không. Nếu mục tiêu tính toán và giả định không thay đổi, đặc tả có thể được tái sử dụng; nếu điều kiện đầu vào hoặc sai số cho phép thay đổi, đặc tả cũng cần được điều chỉnh.
Comment 0