GPU kernel đạt 1,21 lần FlashInfer khi tăng ngân sách token, còn 0,75 lần ở cùng ngân sách

Một nhóm nghiên cứu tại Đại học California, Berkeley (UC Berkeley) đã tối ưu hóa GPU kernel bằng cách thay đổi vai trò và cách phối hợp của nhóm tác tử AI lập trình. Trong thử nghiệm có thêm ngân sách token, tỷ lệ hiệu năng trung bình hình học trên 47 tác vụ đạt 1,21 lần so với FlashInfer; ở phép so sánh cùng ngân sách, kết quả là 0,75 lần.

Nhóm nghiên cứu công bố các kết quả trong bài báo “Evolving Agent Teams” ngày 27 tháng 10 năm 2026. Thử nghiệm tập trung vào kernel MLA paged decode, được dùng để tạo phản hồi cho mô hình ngôn ngữ lớn, và chạy trên GPU H100 của NVIDIA (NVDA).

GPU kernel là mã cấp thấp thực hiện phép tính trên bộ xử lý đồ họa. FlashInfer là thư viện GPU kernel dùng trong suy luận mô hình ngôn ngữ lớn và được chọn làm mốc so sánh trong thử nghiệm này.

Trong mô hình “nhóm tác tử tiến hóa” do nhóm nghiên cứu đề xuất, một tác tử giám sát theo dõi tiến độ và nguyên nhân thất bại. Khi công việc đình trệ, tác tử này thiết kế lại vai trò, trình tự phối hợp và cách chia sẻ thông tin; các tác tử lập trình sau đó viết kernel theo cách sắp xếp mới.

Bài báo nêu trường hợp một tác tử đơn lẻ gặp vấn đề về tính chính xác khi triển khai phép tính GPU phức tạp, rồi chuyển sang thiết kế dễ thực hiện hơn. Tác tử giám sát chẩn đoán tình trạng đình trệ và phân công vai trò mới để sửa lỗi hoặc phân tích hiệu năng.

Kết quả thử nghiệm, ghi chép về thất bại và mã nguồn của nhóm trước được lưu trong hệ thống tệp dùng chung để nhóm tiếp theo tham khảo. Trong thử nghiệm MLA decode, tác tử giám sát đã khảo sát hơn 100 cấu hình nhóm và sắp xếp lại đội ngũ theo từng giai đoạn công việc.

Ở thử nghiệm có thêm ngân sách token, kernel mới nhanh hơn FlashInfer trong 36 trên 47 tác vụ. Với 11 tác vụ còn lại, hiệu năng đạt từ 0,86 đến 0,99 lần mức của kernel chuẩn. Con số 1,21 lần là tỷ lệ tổng hợp bằng trung bình hình học của từng tác vụ, nên không có nghĩa kernel mới nhanh hơn trong mọi tác vụ.

Trong phép so sánh dùng cùng ngân sách token, nhóm được tái cấu hình đạt 0,75 lần so với FlashInfer. Tác tử đơn Claude Code đạt từ 0,44 đến 0,51 lần. Cả hai kết quả đều thấp hơn mốc kernel hiện có trong những điều kiện so sánh này.

Ở một phép so sánh riêng với một lần chạy, nhóm được tái cấu hình đạt 0,74 lần; nhóm bốn người có vai trò cố định đạt 0,31 lần; Codex đạt 0,28 lần. Điều kiện chạy trong phép so sánh này khác với phép thử cùng ngân sách, vì vậy không thể gộp các số liệu thành kết quả của một thử nghiệm duy nhất.

Kết quả cũng thay đổi tùy giai đoạn đo. Bài báo cho biết nếu loại bỏ plan(), bước chuẩn bị, và chỉ so sánh giai đoạn chạy kernel, kernel mới đạt 0,96 lần so với FlashInfer. Trong vận hành thực tế, FlashInfer lưu kết quả plan() vào bộ nhớ đệm và chỉ tính lại khi điều kiện đầu vào thay đổi; mức 1,21 lần được tính theo cách vận hành này.

Trong các thử nghiệm riêng trên phần cứng khác, kernel KDA prefill trên MI350X của AMD (AMD) đạt 3,01 lần mức của vLLM; kernel trên B200 của NVIDIA đạt 3,44 lần mức của FlashKDA. Hai phép thử sử dụng chip, tác vụ và đối tượng so sánh khác nhau.

Nhóm nghiên cứu chạy phép so sánh chính hai lần và báo cáo kết quả tốt hơn. Phép so sánh với nhóm cố định và các thử nghiệm bổ sung trên phần cứng khác mỗi phép chỉ chạy một lần. Nhóm nghiên cứu cho biết số lần lặp ít khiến việc so sánh thống kê bị hạn chế.

Trước đó, TokenPost đã đưa tin về nghiên cứu của Salesforce, trong đó các nhà nghiên cứu thay đổi cấu trúc thực thi của tác tử AI để cải thiện tỷ lệ hoàn thành tác vụ web. Nghiên cứu lần này áp dụng cách thay đổi cấu hình nhóm và phương thức phối hợp theo từng giai đoạn công việc vào tối ưu hóa mã GPU.

Quy trình phát triển GPU kernel và cách tổ chức nhóm thực hiện công việc tối ưu hóa là hai cấp độ khác nhau. Nhóm nghiên cứu cũng đã công bố mã nguồn triển khai thử nghiệm.