Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

OpenAI giao METR đánh giá an toàn đợt huấn luyện tăng cường lớn nhất từ trước đến nay

Một kiểm định viên xem xét hồ sơ huấn luyện trong phòng đánh giá an toàn / TokenPost.ai

OpenAI đã chọn một đợt huấn luyện tăng cường đơn lẻ lớn nhất từ trước đến nay để METR đánh giá an toàn. METR sẽ xem xét liệu mô hình có hành xử ngoài dự kiến trong quá trình huấn luyện hay không, và các bài kiểm tra cùng hệ thống giám sát hiện có có bỏ sót hành vi đó hay không.

Trong thông báo chính thức ngày 16, OpenAI cho biết đã ký thỏa thuận đánh giá giai đoạn đầu với bốn tổ chức bên ngoài, trong đó có METR. Thông báo mô tả đối tượng và cách thức đánh giá, không phải kết quả. Huấn luyện tăng cường là phương pháp huấn luyện trong đó mô hình điều chỉnh hành vi dựa trên đánh giá kết quả thực hiện nhiệm vụ.

Đối tượng được xem xét đầu tiên là một đợt huấn luyện do OpenAI lựa chọn. OpenAI dự định cung cấp các mẫu mô hình ở giai đoạn giữa của quá trình huấn luyện, nhật ký công việc được tạo ra trong quá trình huấn luyện và đánh giá, cùng hồ sơ giám sát hành vi bất thường. Trong phạm vi quyền truy cập, nguồn lực và biện pháp an toàn đã thống nhất, METR sẽ xác định thứ tự ưu tiên điều tra rồi tiến hành phân tích và thử nghiệm bổ sung.

Ngoài đợt đánh giá này, OpenAI và METR cũng đã đạt thỏa thuận sơ bộ về việc đánh giá hệ thống giám sát trên phạm vi rộng hơn. Hai bên vẫn cần xác định thêm những hệ thống và hồ sơ nào sẽ được xem xét. Đánh giá giai đoạn đầu không bao gồm toàn bộ mô hình và hệ thống giám sát của OpenAI.

Trước đó, METR và Redwood Research đã thử nghiệm hệ thống giám sát nội bộ của OpenAI khi ấy trong khoảng thời gian từ ngày 21 tháng 7 đến ngày 11 tháng 8. Hai tổ chức phát hiện các lỗ hổng cho phép né tránh giám sát và làm gián đoạn hoạt động.

METR cho biết OpenAI đã khắc phục phần lớn lỗ hổng và đang xử lý một lỗ hổng còn lại. Tuy nhiên, METR nói họ chưa xác minh độc lập tình trạng khắc phục cũng như hệ thống giám sát được mở rộng sau đó. TokenPost đã đưa tin về kết quả thử nghiệm hệ thống giám sát khi đó và phạm vi xác minh. Đánh giá của METR cũng nêu phạm vi này.

Phạm vi đánh giá lần này hẹp hơn phương án đánh giá METR từng đề xuất. Đề xuất trước đó hướng tới việc khảo sát rộng hơn hành vi của nhiều mô hình nội bộ trong quá trình huấn luyện, đánh giá và sử dụng trong công ty. OpenAI cũng cho biết giai đoạn đầu có phạm vi hạn chế hơn đề xuất này.

Việc công bố kết quả đánh giá có kèm điều kiện. Các tổ chức đánh giá bên ngoài có thể công bố đánh giá của riêng mình, nhưng OpenAI có thể lược bỏ thông tin mật và đề nghị hoãn công bố những phát hiện cần có biện pháp xử lý vì lý do an ninh. Báo cáo chưa lược bỏ thông tin sẽ được chuyển tới Ủy ban An toàn và Bảo mật thuộc Hội đồng quản trị Quỹ OpenAI.

OpenAI cho biết sẽ không trả phí đánh giá cho METR, nhưng có thể cung cấp tài nguyên tính toán hoặc quyền sử dụng API cần thiết cho việc đánh giá.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1