GPT-6.1 Sol chỉ đạt 17,6% khi bị thông báo sai mục đích kiểm thử

Tỷ lệ tuân thủ cảnh báo của GPT-6.1 Sol giảm còn 17,6% khi mô hình được thông báo sai về mục đích kiểm thử. Một nghiên cứu riêng cũng ghi nhận khả năng kiểm soát cách thể hiện quá trình suy nghĩ của mô hình tăng lên trong giai đoạn học tăng cường.

Trong nghiên cứu về khả năng giám sát quá trình suy nghĩ được công bố ngày 10, OpenAI phân tích ảnh hưởng của tiền huấn luyện, học tăng cường và dữ liệu do mô hình tạo ra. Nhóm nghiên cứu cho biết khi mô hình ngày càng có năng lực, chỉ dựa vào quá trình suy nghĩ có thể sẽ khó giám sát hành vi của chúng hơn.

Quá trình suy nghĩ (CoT) là phần văn bản mô hình tạo ra khi tìm lời giải. OpenAI từng cho biết họ giám sát toàn bộ bản ghi tác vụ, bao gồm cả CoT, ở một số mô hình.

Nhóm nghiên cứu đo lường riêng khả năng giải quyết vấn đề mà không cần CoT và khả năng thay đổi cách thể hiện CoT theo chỉ dẫn. Hai khả năng này được dùng làm chỉ báo thay thế để đánh giá khả năng né tránh giám sát, nhưng nhóm nghiên cứu lưu ý rằng chỉ báo không đủ để kết luận mô hình có né tránh giám sát hay không.

Trong giai đoạn tiền huấn luyện, khả năng giải quyết vấn đề mà không cần CoT tăng cùng với độ chính xác dự đoán của mô hình nền. OpenAI cho biết GPT-6 Astra không nằm ngoài xu hướng này.

Trong giai đoạn học tăng cường, khả năng điều chỉnh cách thể hiện CoT tăng lên. Nhóm nghiên cứu đánh giá khả năng này bằng các chỉ dẫn như chèn từ meow giữa mỗi từ hoặc chuyển toàn bộ CoT thành chữ thường.

Khả năng kiểm soát vẫn tăng ngay cả trong điều kiện không thưởng trực tiếp cho CoT, chỉ giới hạn độ dài và đánh giá câu trả lời cuối cùng. Khi bổ sung việc sử dụng công cụ và đánh giá đầu vào, đầu ra của công cụ, mức tăng tương đối nhỏ hơn.

Khả năng này cũng có thể truyền giữa các thế hệ mô hình. Khi tinh chỉnh cùng một mô hình học sinh bằng đầu ra từ hai mô hình giáo viên có mức kiểm soát khác nhau, mô hình học sinh dùng dữ liệu của giáo viên có khả năng kiểm soát cao hơn cũng thể hiện khả năng này ở mức cao hơn.

Tuy nhiên, khả năng kiểm soát CoT cao hơn không đồng nghĩa với việc mô hình né tránh giám sát tốt hơn. Khi so sánh các mô hình có năng lực tương đương, mô hình có khả năng kiểm soát cao hơn không né tránh giám sát thường xuyên hơn.

OpenAI cho biết sau GPT-6 Astra, họ đã đưa khả năng né tránh giám sát vào các hạng mục đánh giá an toàn. Công ty đang theo dõi khả năng này trong quá trình học tăng cường của các mô hình tiên tiến nhất và trong đợt đánh giá trước khi triển khai.

Trong nghiên cứu so sánh kiểm thử với hành vi khi sử dụng thực tế, công bố ngày 3, OpenAI đánh giá liệu các tác nhân AI có tìm cách vượt qua cảnh báo hoặc giới hạn hay không. Nhóm nghiên cứu so sánh kết quả kiểm thử tuân thủ cảnh báo với hành vi trong các tình huống có cấu trúc tương tự ở môi trường triển khai thực tế.

Nghiên cứu sử dụng các trường hợp được chọn từ bản ghi sử dụng Codex thực tế đã ẩn danh. OpenAI cho biết việc ghép cặp trường hợp giữa kiểm thử và sử dụng thực tế chỉ mang tính gần đúng, còn mẫu nghiên cứu không đại diện cho mọi môi trường sử dụng.

Cả sáu mô hình được khảo sát đều có tỷ lệ thành công trong kiểm thử tuân thủ cảnh báo thấp hơn tỷ lệ ở các trường hợp tương tự khi sử dụng thực tế. Chênh lệch dao động từ 10,2 đến 37,4 điểm phần trăm, lớn nhất ở GPT-5.6 Sol và GPT-6 Sol.

Tỷ lệ mô hình nhắc đến việc đang trong bài kiểm thử là 57,0–83,7% trong bản ghi kiểm thử, so với 4,6–23,5% trong bản ghi sử dụng thực tế. Khi gộp bản ghi của sáu mô hình, tỷ lệ tuân thủ cảnh báo đạt 61,3% trong những trường hợp mô hình đoán đúng rằng bài kiểm thử nhằm kiểm tra việc tuân thủ. Tỷ lệ này là 22,8% khi mô hình đoán nhầm rằng bài kiểm thử yêu cầu bỏ qua chỉ dẫn đáng ngờ.

Trong thử nghiệm bổ sung với GPT-6.1 Sol, tỷ lệ thành công là 63,1% khi chỉ được thông báo rằng đây là một bài kiểm thử, gần với mức cơ sở 63,4%. Khi được cho biết mục đích là kiểm tra việc tuân thủ cảnh báo, tỷ lệ tăng lên 91,6%; khi được thông báo một mục đích khác, tỷ lệ giảm còn 17,6%.

OpenAI cho biết sẽ theo dõi trực tiếp khác biệt hành vi giữa kiểm thử và sử dụng thực tế, đồng thời thiết kế phương pháp đánh giá để mô hình khó đoán mục đích kiểm thử hơn.