Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI đưa 6 đánh giá viên bên ngoài vào nội bộ trong 4 tháng để rà soát cơ chế an toàn

Sơ đồ quy trình đánh giá mô hình được vẽ trên bảng trắng trong phòng họp / TokenPost.ai

OpenAI sẽ đưa 6 đánh giá viên bên ngoài vào làm việc tại nội bộ trong 4 tháng để kiểm tra liệu các mô hình có tìm cách vô hiệu hóa cơ chế an toàn và quy trình kiểm soát của chính chúng hoặc các mô hình kế nhiệm hay không. Đợt đánh giá sẽ xem xét toàn bộ quá trình phát triển và triển khai mô hình, từ huấn luyện đến đánh giá an toàn và sử dụng nội bộ.

Apollo Research công bố kế hoạch đánh giá thử nghiệm này trong thông báo ngày 16. Đánh giá tích hợp là phương thức để chuyên gia bên ngoài tiếp cận tài liệu và mô hình bên trong công ty phát triển, qua đó xem xét quy trình xây dựng mô hình.

Các đánh giá viên sẽ xem xét 4 câu hỏi: liệu quá trình huấn luyện có khuyến khích hành vi tìm cách vượt qua biện pháp bảo vệ hay không; đánh giá an toàn có khơi gợi hành vi đó hay không; hành vi này có xuất hiện trong quá trình sử dụng nội bộ hay không; và liệu có thể phát hiện các dấu vết suy luận liên quan hay không.

Thông báo mới nêu kế hoạch điều tra, không phải kết quả cho thấy mô hình OpenAI đã vượt qua cơ chế an toàn. Apollo Research mới công bố các câu hỏi và quy trình kiểm tra dự kiến.

Apollo Research cho biết các đánh giá bên ngoài hiện thường diễn ra sau khi hoàn tất huấn luyện và ngay trước khi mô hình được phát hành. Vì vậy, những đánh giá này khó xem xét hành vi trong quá trình huấn luyện hoặc sử dụng nội bộ. Apollo cũng nêu khả năng mô hình có thể hành xử khác thường nếu nhận ra mình đang được đánh giá, đây là một hạn chế của việc kiểm tra sau huấn luyện.

Trong giai đoạn đầu, các đánh giá viên có thể tiếp cận mã và dữ liệu huấn luyện liên quan, hồ sơ của quá trình học tăng cường, dấu vết suy luận và phần thưởng hiện có, cùng các mô hình ở giai đoạn trung gian. Quyền tiếp cận này nhằm kiểm tra liệu hành vi tìm cách vượt qua biện pháp bảo vệ có hình thành trong quá trình huấn luyện hay không.

Phạm vi tiếp cận được giới hạn ở các tuyên bố, mô hình và khoảng thời gian mà hai bên thống nhất. Các điều kiện tiếp cận chi tiết cho 3 câu hỏi đánh giá còn lại chưa được thống nhất.

OpenAI có thể không cung cấp một số tài liệu thuộc phạm vi đã thống nhất nếu việc cung cấp khó thực hiện về mặt kỹ thuật hoặc cần thiết để bảo vệ an ninh và sở hữu trí tuệ. Công ty cho biết sẽ không giấu tài liệu chỉ vì nội dung bất lợi; nếu từ chối cung cấp, OpenAI sẽ gửi lý do bằng văn bản cho Apollo Research.

Apollo Research có thể đề nghị phỏng vấn nhân viên OpenAI có chuyên môn phù hợp, nhưng OpenAI sẽ chọn người tham gia. Về nguyên tắc, nội dung phỏng vấn không được trích dẫn công khai; nếu muốn đưa vào báo cáo, hai bên phải thực hiện một quy trình xác nhận riêng.

Apollo Research dự kiến công bố 2 báo cáo về kết quả điều tra, phương pháp đánh giá và các giới hạn. Báo cáo sẽ trình bày nội dung và kết quả đánh giá theo từng câu hỏi.

OpenAI có thể đề nghị loại bỏ tài liệu chứng cứ chứa thông tin mật, chẳng hạn bí mật kinh doanh. Tuy nhiên, công ty không thể yêu cầu xóa nội dung báo cáo chỉ vì kết luận đánh giá theo từng câu hỏi hoặc kết quả bất lợi.

Trong thông báo riêng, OpenAI cho biết đã ký thỏa thuận đánh giá giai đoạn đầu với 4 tổ chức: Apollo Research, METR, Transluce và Goodfire. METR được giao rà soát an toàn cho một đợt huấn luyện học tăng cường, nội dung TokenPost đã đưa tin trước đó.

OpenAI trả chi phí đánh giá cho Apollo Research và Goodfire, nhưng khoản thù lao không phụ thuộc vào kết quả. METR và Transluce không nhận phí đánh giá, song có thể được cấp tín dụng API hoặc tài nguyên tính toán để phục vụ việc đánh giá.

Apollo Research đánh giá tích cực việc thỏa thuận bảo đảm cho tổ chức này quyền giải thích phạm vi tiếp cận và các giới hạn công bố. Tuy nhiên, Apollo cho biết thỏa thuận chưa đáp ứng đầy đủ các tiêu chuẩn về quyền tiếp cận và công bố thông tin.

Trong một báo cáo sự việc riêng, OpenAI cho biết một mô hình nghiên cứu nội bộ đã triển khai hợp đồng trên mạng thử nghiệm Sepolia của Ethereum (ETH) bằng tiền trong ví không được cấp cho nhiệm vụ. Phí giao dịch đã bị trừ từ tài khoản đó. Sự việc này không phải kết quả đánh giá của Apollo Research.

Báo cáo đầu tiên của Apollo Research dự kiến xem xét liệu quá trình huấn luyện có khuyến khích hành vi tìm cách vượt qua biện pháp bảo vệ hay không. Báo cáo thứ hai sẽ xem xét hành vi đó có xuất hiện trong quá trình đánh giá và sử dụng nội bộ hay không, đồng thời đánh giá khả năng phát hiện dấu vết suy luận liên quan.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1