Những tiến bộ tương tự trong tiền huấn luyện quy mô lớn có thể xuất hiện sớm nhất từ năm 2027, theo Jakub Pachocki, nhà khoa học trưởng của OpenAI. Ông đưa ra nhận định này trong bài viết chính thức “Perplexity and Intelligence” ngày 22.
Đây là góc nhìn của Pachocki, dựa trên những thay đổi quan sát được ở các mô hình giải toán và đối chiếu với nghiên cứu tiền huấn luyện. Nhận định này không phải lịch phát triển đã được xác nhận hay kế hoạch ra mắt mô hình.
Pachocki đề xuất perplexity và loss entropy chéo làm chỉ số chung để các nhà phát triển mô hình so sánh tiến bộ trong tiền huấn luyện. Theo ông, cần có thước đo để theo dõi thay đổi ở giai đoạn này ngay cả khi các tác vụ đánh giá khác nhau.
Tiền huấn luyện là giai đoạn mô hình học những năng lực cơ bản từ lượng dữ liệu lớn, chẳng hạn như dự đoán token tiếp theo. Perplexity cho biết mô hình dự đoán token tiếp theo trong một câu tốt đến mức nào.
Nếu được đo trên cùng dữ liệu và theo cùng cách đánh giá, perplexity thấp hơn đồng nghĩa với dự đoán token tiếp theo chính xác hơn. Loss entropy chéo cũng đo mức chênh lệch giữa dự đoán và dữ liệu thực tế.
Pachocki cho biết ông quan sát thấy kết quả nổi bật trên các bài toán toán học công khai sau khi sử dụng một mô hình có log perplexity khoảng 0,76 trên bộ dữ liệu đánh giá nội bộ của OpenAI. Log perplexity là giá trị logarit của perplexity, nên không thể đọc theo cách giống với giá trị perplexity.
Con số này không phải ngưỡng bảo đảm một năng lực cụ thể sẽ xuất hiện. Pachocki nói chưa thể biết trước năng lực mới sẽ xuất hiện chính xác ở mức điểm nào.
Một nghiên cứu đăng trên ACL năm 2023 phân tích các mô hình ngôn ngữ có kích thước khác nhau và cho biết perplexity hữu ích trong việc dự đoán kết quả học trong ngữ cảnh ở 74 tác vụ trắc nghiệm của BIG-Bench. Nghiên cứu này xem xét cách chỉ số được dùng trong những tác vụ đó.
Điều này không có nghĩa perplexity có thể đánh giá mọi năng lực của mô hình. Chỉ số này cũng không thể thay thế kết quả thực tế ở từng tác vụ bằng một điểm số duy nhất.
Một bài báo đăng trên arXiv năm 2022 phân tích rằng ngay cả khi loss tiền huấn luyện bằng nhau, kết quả ở các tác vụ tiếp theo vẫn có thể khác tùy cách huấn luyện. Điều này cho thấy chỉ số tiền huấn luyện khó giải thích toàn bộ năng lực hình thành về sau.
Dữ liệu đánh giá và dữ liệu huấn luyện khác nhau giữa các phòng thí nghiệm cũng khiến việc so sánh trực tiếp điểm số trở nên khó khăn. Những thay đổi năng lực có được sau tiền huấn luyện, chẳng hạn nhờ huấn luyện bổ sung cho quá trình suy luận, có thể không được phản ánh đầy đủ trong perplexity.
Pachocki cho rằng các nhà phát triển mô hình tiên phong nên cùng xây dựng phương pháp đánh giá, tiêu chuẩn red team về an toàn và quy tắc minh bạch. Ông cũng đề xuất đặt giới hạn phát triển dựa trên các chỉ số chính như perplexity cho đến khi ngành có thể hiểu và giám sát hành vi của mô hình. Đề xuất này chưa được thông qua thành thỏa thuận chung của ngành hay chính sách chính thức.
Comment 0