10% tài liệu tương tự không có đáp án khiến độ chính xác Qwen giảm từ 68% xuống 45,5%

Trong một thử nghiệm hỏi đáp với đầu vào dài 128K token, độ chính xác của Qwen2.5-7B-Instruct giảm từ 68% xuống 45,5% khi 10% tài liệu gây nhiễu là những văn bản có vẻ liên quan đến câu hỏi nhưng không chứa đáp án.

Nghiên cứu do NVIDIA (NVDA) và Đại học Texas A&M (Texas A&M University) phối hợp thực hiện. Bài nghiên cứu trên arXiv, mã 2605.10828, được cập nhật ngày 20 tháng 8 năm 2026. Trong ba tác giả, một người thuộc NVIDIA AI Technology Center và hai người thuộc Đại học Texas A&M.

Các nhà nghiên cứu gọi hiện tượng này là “hiệu ứng giọt mực đầu tiên”. Tài liệu gây nhiễu khó là văn bản có vẻ tương tự về ý nghĩa với câu hỏi nhưng không chứa câu trả lời, nên có thể trông như một đáp án tiềm năng và cạnh tranh với tài liệu có đáp án.

Trong thử nghiệm, mô hình nhận đồng thời tài liệu có đáp án và tài liệu gây nhiễu, sau đó trả lời câu hỏi. Nhóm nghiên cứu giữ độ dài đầu vào cố định, thay đổi loại tài liệu gây nhiễu và tỷ lệ tài liệu gây nhiễu khó để so sánh kết quả.

Các tài liệu gây nhiễu thường dài khoảng 100–150 token và được xáo trộn thứ tự nhằm giảm ảnh hưởng của vị trí. Mỗi tổ hợp gồm bộ dữ liệu, độ dài ngữ cảnh và tỷ lệ tài liệu gây nhiễu được đánh giá trên 200 trường hợp.

Đánh giá sử dụng bốn tác vụ hỏi đáp: Natural Questions, TriviaQA, PopQA và HotpotQA. Các tác vụ gồm tìm câu trả lời trong một tài liệu và suy luận qua nhiều bước.

Kết quả 68% và 45,5% đến từ thử nghiệm Natural Questions với ngữ cảnh dài 128K token. Qwen2.5-7B-Instruct đạt độ chính xác 68% khi không có tài liệu gây nhiễu khó; con số này còn 45,5% khi loại tài liệu đó chiếm 10% số tài liệu gây nhiễu. Token là đơn vị mô hình dùng để xử lý văn bản.

Phần nội dung chính của bài nghiên cứu cho biết mức giảm trong nhóm 10% đầu tiên chiếm 58% tổng mức giảm độ chính xác. Tuy nhiên, phép tính từ các số liệu trong bảng phụ lục ở cùng điều kiện không khớp với con số 58% này.

Nhóm nghiên cứu cho biết độ chính xác không giảm đều khi tỷ lệ tài liệu gây nhiễu khó tăng lên. Mức giảm tập trung ở giai đoạn đầu khi tỷ lệ này tăng; các lần tăng tiếp theo gây thêm mức giảm tương đối nhỏ hơn.

Khi phân tích cách mô hình chú ý đến tài liệu chứa đáp án, các nhà nghiên cứu nhận thấy tài liệu gây nhiễu tương tự câu hỏi cạnh tranh với tài liệu có đáp án mạnh hơn những câu không liên quan đến câu hỏi. Tuy nhiên, nhóm không thử chặn cơ chế chú ý để xem độ chính xác có phục hồi hay không, và không khẳng định đã xác định được phương pháp giảm thiểu hiệu quả.

Tạo sinh tăng cường truy xuất (RAG) là phương pháp tìm tài liệu bên ngoài, đưa chúng vào đầu vào của mô hình rồi tạo câu trả lời. Nhóm nghiên cứu đề xuất cần xem xét cả số lượng tài liệu được truy xuất lẫn việc chúng có chứa những văn bản tương tự câu hỏi nhưng không có đáp án hay không.

Trong thử nghiệm lọc tài liệu, chỉ rút ngắn ngữ cảnh đầu vào cũng giúp cải thiện hiệu suất. Khác biệt do cách sắp xếp tài liệu thể hiện rõ khi tỷ lệ tài liệu gây nhiễu khó được hạ xuống gần 0.

Các nhà nghiên cứu cho rằng cần lọc tài liệu ngay trước khi trả lời, đồng thời hạn chế truy xuất những văn bản tương tự nhưng không có đáp án. Thử nghiệm chỉ giới hạn ở tác vụ hỏi đáp nhiều tài liệu trong điều kiện kiểm soát. Cần nghiên cứu thêm để xác định liệu kết quả có áp dụng cho tác vụ tóm tắt, hiểu mã nguồn hay hội thoại kéo dài qua nhiều lượt hay không; nghiên cứu này cũng không đo lường thay đổi hiệu suất trên các dịch vụ thương mại nói chung.