Mở ngữ cảnh từ 4K lên 128K, hiệu suất trung bình của 7 mô hình mở giảm 62,8%

Hiệu suất trung bình của 7 mô hình có trọng số mở giảm 62,8% khi độ dài ngữ cảnh đầu vào tăng từ 4K lên 128K. Nghiên cứu cho thấy chỉ dựa vào khả năng tiếp nhận ngữ cảnh dài là chưa đủ để đánh giá liệu mô hình có thể thực hiện chính xác các công việc nhiều bước hay không.

Ngày 30 tháng 9, nhóm nghiên cứu của NVIDIA($NVDA) công bố bài báo “Staying on Task: Testing the Foundations of Long-Horizon Agent Reliability” và đề xuất phương pháp đánh giá công việc dài hạn mang tên “Long-Transduction”. Crypto Briefing đưa tin về nghiên cứu này. Bài kiểm tra gồm các nhiệm vụ như tính toán số học, sắp xếp UUID, tra cứu biến và chuyển đổi bảng, đòi hỏi mô hình liên tục tham chiếu đầu vào để tạo ra kết quả tiếp nối.

Nhóm nghiên cứu thay đổi riêng độ dài ngữ cảnh, định dạng dữ liệu đầu vào và độ phức tạp của công việc theo từng bước để đo mức thay đổi hiệu suất. Khi thay đổi định dạng đầu vào, hiệu suất trung bình giảm 36,5%; khi tăng độ phức tạp của công việc theo từng bước, mức giảm là 39,9%.

Hiệu suất cũng giảm ở một số nhiệm vụ khi nhóm nghiên cứu loại bỏ mã định danh ổn định của các mục đầu vào. Mức giảm là 64,3% đối với sắp xếp UUID và 66,4% đối với tra cứu biến. Hai con số này phản ánh kết quả trong các điều kiện định dạng và nhiệm vụ cụ thể được thiết lập trong bài báo.

Long-Transduction được thiết kế để đánh giá khả năng đọc đầu vào, cập nhật trạng thái và tiếp tục tạo kết quả trong một quá trình sinh dài. Nhóm nghiên cứu cho rằng điểm số từ các câu hỏi ngắn hoặc nhiệm vụ đơn lẻ khó phản ánh độ tin cậy của những công việc gồm nhiều bước liên tiếp.

Các con số được đo trong một bài kiểm tra chuẩn có kiểm soát. Chúng không đồng nghĩa với việc mức giảm hiệu suất tương tự sẽ xảy ra trong công việc thực tế tại doanh nghiệp hoặc trên mọi dịch vụ AI.

Nhóm nghiên cứu đề xuất chia công việc dài thành các phần nhỏ và gắn ID ổn định cho từng mục đầu vào cũng như đầu ra trung gian. Một đề xuất khác là không gộp các công việc phức tạp vào một ngữ cảnh dài duy nhất.

Đánh giá lần này tập trung vào những nhiệm vụ được xác định trước như tính toán số học, sắp xếp, tra cứu và chuyển đổi bảng. Chỉ dựa trên kết quả nghiên cứu này chưa thể kết luận về độ chính xác hoặc hiệu quả triển khai của các hệ thống công việc thực tế.