Cursor tăng 41% thông lượng huấn luyện MoE, theo báo cáo Trung Quốc

Công nghệ huấn luyện mô hình hỗn hợp chuyên gia (Mixture-of-Experts - MoE) của Cursor, công cụ lập trình AI, được cho là đã giúp tăng 41% tổng thông lượng huấn luyện trên hệ thống 512 GPU GB300 của Nvidia(NVDA). Phương pháp này xử lý đồng thời việc truyền dữ liệu và tính toán giữa các GPU, qua đó giảm điểm nghẽn trong quá trình huấn luyện.

Kênh giám sát Trung Quốc Dongchal Beating cho biết ngày 5 rằng Cursor đã công bố bộ nhân (kernel) mã nguồn mở mang tên Mixture-of-Kittens (MoK) dùng cho huấn luyện mô hình MoE. Theo kênh này, trong thử nghiệm với một lớp MoE đơn lẻ, công nghệ mới đạt tốc độ nhanh hơn tối đa 2,37 lần so với các giải pháp mã nguồn mở hiện có.

Mô hình hỗn hợp chuyên gia là kiến trúc gồm nhiều mạng chuyên gia nhỏ bên trong một mô hình lớn, trong đó chỉ một phần chuyên gia được kích hoạt tùy theo dữ liệu đầu vào. Cách thiết kế này giúp mở rộng quy mô mô hình mà không làm tăng quá nhiều khối lượng tính toán, nhưng khi các chuyên gia được phân tán trên nhiều GPU, thời gian di chuyển dữ liệu và chờ tính toán sẽ tăng lên. Công nghệ được nhắc đến trong báo cáo tập trung xử lý đồng thời việc truyền dữ liệu và tính toán vốn tách biệt trước đây, gộp chung vào một nhân duy nhất để rút ngắn thời gian chờ.

Tuy nhiên, tính đến thời điểm bài viết, blog chính thức và kho GitHub công khai của Cursor chưa xuất hiện thông báo nào mang tên gọi tương tự. Hai con số 41% và 2,37 lần nêu trên chỉ dựa trên báo cáo của Dongchal Beating, trong khi mã nguồn thực tế, chi tiết triển khai và kết quả thử nghiệm có thể tái lập vẫn chưa được công bố.

Trước đó, trong bài viết về nhân MXFP8 công bố tháng 8 năm 2025, Cursor cho biết đã viết lại lớp MoE dành cho GPU Blackwell ở cấp độ nhân, giúp tăng hiệu năng riêng của lớp này 3,5 lần và tăng tốc độ huấn luyện tổng thể 1,5 lần. Vào thời điểm đó, lớp MoE chiếm 53% thời gian lan truyền xuôi (forward pass) và 27% thời gian lan truyền ngược (backward pass).

Trong báo cáo kỹ thuật Composer 2, Cursor cũng nêu ba yếu tố cốt lõi của hạ tầng huấn luyện gồm nhân độ chính xác thấp trên nền GPU Blackwell, pipeline học tăng cường bất đồng bộ (asynchronous reinforcement learning) và môi trường sandbox thực thi quy mô lớn. Trong bài viết kỹ thuật về warp decode, công ty cho biết đã tái cấu trúc đường suy luận của mô hình MoE, giúp tăng thông lượng trên GPU Blackwell lên 1,84 lần.

Công nghệ lần này không liên quan trực tiếp đến một token hay sự kiện blockchain cụ thể nào. Tuy vậy, đối với các doanh nghiệp blockchain đang sử dụng agent AI và công cụ tự động hóa mã nguồn, đây có thể là yếu tố kỹ thuật ảnh hưởng đến chi phí và hiệu năng của hạ tầng huấn luyện.

Ở khía cạnh phần cứng, cụm GPU hiệu năng cao quy mô lớn vẫn là nền tảng cốt lõi. Nvidia cho biết GB300 NVL72 tích hợp 72 GPU Blackwell Ultra và 36 CPU Grace trong một nền tảng quy mô rack (rack-scale) duy nhất.