Qwen 3.5-2B đạt 69,4% trên GSM8K sau chỉnh trọng số, mô hình gốc đạt 21,6%

Qwen 3.5-2B đạt độ chính xác 69,4% trên GSM8K sau khi một phần trọng số được chỉnh sửa. Mô hình gốc đạt 21,6% trong cùng điều kiện.

Các nhà nghiên cứu QDeep và LEAD thuộc Đại học ITMO (ITMO University) công bố kết quả trong bản tiền ấn phẩm trên arXiv ngày 10 tháng 11. Họ cho mô hình giải 1.319 bài GSM8K ở chế độ suy luận bằng phương pháp giải mã tham lam, với câu trả lời giới hạn tối đa 8.192 token.

Sau khi xem xét 200 bài đầu tiên trong bộ kiểm tra GSM8K, nhóm chọn giải mã tham lam làm điều kiện đánh giá vì mô hình gốc gặp khó khăn nhất với cách này. Trong 1.119 bài còn lại, mô hình đã chỉnh sửa đạt 69,6%, còn mô hình gốc đạt 21,6%. Trên toàn bộ bài đánh giá, tỷ lệ câu trả lời chạm giới hạn token giảm từ 77,9% xuống 26,7%. Tuy nhiên, trong số 285 bài mà mô hình gốc trả lời đúng, có 38 bài trở thành câu trả lời sai sau khi chỉnh sửa.

Chênh lệch thể hiện trong các bài kiểm tra toán

Tree-Ising là phương pháp chỉnh một phần trọng số BF16 đã lưu mà không huấn luyện lại mô hình. Phương pháp này đảo dấu trọng số hoặc thay đổi số mũ trong một phạm vi giới hạn nhằm giảm đầu ra lặp lại và tăng khả năng kết thúc câu trả lời.

Nhóm nghiên cứu tách bài toán quyết định có chỉnh trọng số hay không thành các bài toán tối ưu nhị phân theo từng hàng đầu ra. Trong nghiên cứu này, Ising và QUBO là các cách biểu diễn toán học dùng để tối ưu những lựa chọn nhị phân.

Các kết quả chính được tạo trên GPU bằng phương pháp ủ mô phỏng (simulated annealing) và phân nhánh mô phỏng (simulated bifurcation), một phương pháp lấy cảm hứng từ lượng tử. Đây là các thí nghiệm riêng biệt với thử nghiệm sử dụng máy tính lượng tử IBM.

Trong đánh giá MATH-500 với bốn lần tạo câu trả lời bằng Qwen 3.5-0.8B, phương pháp ủ mô phỏng đạt 54,6%, còn phân nhánh mô phỏng đạt 55,1%. Mô hình được chỉnh sửa bằng tác tử AI, được nhóm nghiên cứu đo lại theo cùng quy trình, đạt 51,7%. Mức 7,9% của mô hình gốc là số liệu từ nghiên cứu trước, không phải kết quả được nhóm nghiên cứu này đo lại.

Nhóm cho biết cả hai phương pháp đều đạt điểm cao hơn mô hình được chỉnh sửa bằng tác tử AI trong năm bài đánh giá toán. Sau khi tính đến việc so sánh nhiều lần, khác biệt có ý nghĩa thống kê được xác nhận ở MATH-500 và GSM8K.

Trong 500 bài của MATH-500, 100 bài được dùng để xem xét phương pháp ban đầu. Ở 400 bài còn lại, phương pháp ủ mô phỏng đạt 53,8%, còn mô hình được chỉnh sửa bằng tác tử AI đạt 50,8%.

Trước đó, TokenPost đã đưa tin về thí nghiệm chỉnh trọng số trên Qwen 3.5-0.8B. Nhóm nghiên cứu MIT khi ấy dùng tác tử AI để theo dõi đầu ra lặp lại và chỉnh trọng số; trong bài viết nghiên cứu, nhóm cho biết điểm MATH-500 tăng từ 7,9% lên 48,1%.

Thí nghiệm 0.8B trong nghiên cứu lần này sử dụng lại các lớp mà tác tử trước đó đã chọn. Với thí nghiệm 2B, nhóm chọn lớp cần chỉnh sửa và mức chỉnh sửa chỉ dựa trên mô hình gốc.

Chi phí chỉnh sửa và phạm vi đánh giá

Theo bảng chi phí trong bài nghiên cứu, một lần chạy quy trình Tree-Ising cho mô hình 0.8B cần 4 lượt yêu cầu truyền xuôi, mất khoảng 31 phút và 0,90 USD (khoảng 1.200 won). Quá trình tác tử hiện có tìm cách chỉnh sửa được ước tính cần 50 lượt yêu cầu truyền xuôi và 158 lượt trao đổi với mô hình ngôn ngữ lớn, tổng cộng 89,7 triệu token, khoảng 15,6 giờ và 312 USD (khoảng 417.000 won).

Hai mức chi phí này so sánh quá trình tìm cách chỉnh sửa của tác tử hiện có với một lần chạy quy trình Tree-Ising cố định. Quy trình Tree-Ising dùng lại các lớp và mức chỉnh sửa lấy từ nhật ký công khai của tác tử; chi phí phát triển phương pháp ở cả hai phía đều không được tính.

Thí nghiệm trên máy tính lượng tử IBM Heron là thử nghiệm chứng minh khái niệm, chỉ lấy riêng 8 biến từ bài toán chỉnh trọng số. Nhóm nghiên cứu không áp dụng kết quả này cho toàn bộ mô hình để đo độ chính xác.

Phạm vi đánh giá chỉ gồm các bài toán toán học và hiện tượng đầu ra lặp lại trên hai mô hình thuộc dòng Qwen 3.5. Nghiên cứu chưa đánh giá liệu hiệu quả tương tự có xuất hiện ở năng lực ngôn ngữ nói chung hoặc ở các dòng mô hình khác hay không.