Anthropic cảnh báo năng lực AI có thể vượt tốc độ xây dựng biện pháp an toàn

Anthropic cảnh báo việc sử dụng AI nhiều hơn trong nghiên cứu và phát triển có thể khiến năng lực mô hình tăng nhanh hơn tốc độ xây dựng các biện pháp an toàn, căn chỉnh và bảo mật. Cảnh báo này nằm trong phần mô tả rủi ro tương lai của bản cáo bạch.

Trong bản cáo bạch S-1/A nộp lên Ủy ban Chứng khoán và Giao dịch Mỹ (SEC) ngày 10 (giờ địa phương), Anthropic cho biết việc dùng AI để nghiên cứu và phát triển có thể nâng cao năng lực mô hình nhanh hơn quá trình phát triển, kiểm chứng và áp dụng các biện pháp an toàn, căn chỉnh và bảo mật. Công ty giải thích rằng dữ liệu làm căn cứ đánh giá tiến triển chủ yếu dựa vào các chỉ báo trễ, khiến việc đo lường hoặc dự báo kịp thời tốc độ cải thiện năng lực trở nên khó khăn.

Bản cáo bạch mô tả cách mô hình hiện tại được dùng để thiết kế, huấn luyện, thử nghiệm và tối ưu hóa mô hình tiếp theo. Tài liệu cũng cho biết khiếm khuyết hoặc lỗi của mô hình hiện tại có thể truyền sang mô hình sau, khiến việc phát hiện và sửa lỗi trở nên khó hơn.

Anthropic cho biết họ đánh giá đã đáp ứng các ngưỡng năng lực nghiên cứu và phát triển AI trong chính sách mở rộng có trách nhiệm (RSP) của công ty. Tuy nhiên, công ty nêu rõ đánh giá này dựa trên dự đoán về các mô hình tương lai và tốc độ phát triển tổng thể, chứ không dựa trên kết quả quan sát ở các mô hình hiện tại. Anthropic cho biết sẽ tiếp tục đánh giá dữ liệu liên quan và công bố báo cáo tiếp theo.

Nội dung này tiếp nối thông tin trong hồ sơ công bố trước đó. Trong bản cáo bạch S-1/A sửa đổi nộp ngày 2, Anthropic đề cập khả năng sắp đạt ngưỡng tăng tốc nghiên cứu và phát triển AI, nhưng cho biết chưa chỉ định mô hình nào hiện đã vượt ngưỡng đó.

Bản cáo bạch nêu nguy cơ các biện pháp an toàn, căn chỉnh và bảo mật không theo kịp sự phát triển năng lực có thể dẫn đến sự cố an toàn, can thiệp quản lý và tổn hại danh tiếng. Tài liệu cũng đề cập những trường hợp công ty trì hoãn phát hành mô hình hoặc giới hạn nhóm người dùng ban đầu để bảo đảm an toàn. Anthropic cho biết các biện pháp này có thể khiến tốc độ cải thiện năng lực chậm hơn đối thủ, gây sức ép lên năng lực cạnh tranh và tăng trưởng doanh thu.

Ngày 9 (giờ địa phương), Anthropic công bố Claude Fable 5.2 và Claude Mythos 5.2, đồng thời cho biết hai sản phẩm sử dụng cùng một mô hình nền tảng. Fable được trang bị biện pháp ngăn chặn việc lạm dụng trong lĩnh vực an ninh mạng và sinh học. Các tổ chức nghiên cứu liên quan có thể đăng ký tiếp cận Mythos thông qua chương trình kiểm chứng. Theo công ty, tốc độ tạo đầu ra của hai mô hình nhanh hơn tối đa 30% so với phiên bản trước.

Anthropic cho biết trước khi phát hành, công ty đã tiến hành huấn luyện căn chỉnh, đánh giá hành vi và thử nghiệm các biện pháp ngăn chặn lạm dụng. Viện An ninh AI Anh (UK AI Security Institute), METR và một số tổ chức bên ngoài cũng tham gia đánh giá. Trong cuộc kiểm tra hành vi nội bộ với khoảng 1.900 tình huống, Mythos 5.2 cho kết quả ngang bằng hoặc tốt hơn các mô hình gần đây ở phần lớn chỉ số, theo Anthropic. Kết quả này chỉ phản ánh hành vi của mô hình được quan sát trong cuộc đánh giá đó.

Một cuộc thử nghiệm đối kháng riêng biệt được tiến hành trong môi trường cô lập có các điểm yếu được tạo ra có chủ ý, với hơn 1.800 tình huống. Tỷ lệ Mythos 5.2 sử dụng tệp hoặc thông tin xác thực được đặt bên ngoài môi trường sandbox là 3,1%. Anthropic cho biết một cuộc thử nghiệm đơn lẻ không thể cho biết mô hình sẽ hành xử ra sao sau khi được triển khai.

Anthropic đánh giá nguy cơ Mythos 5.2 hành xử trái với ý định trong các tình huống rủi ro cao ở mức thấp. Cảnh báo về tốc độ phát triển trong bản cáo bạch và đánh giá an toàn của mô hình mới đề cập đến những phạm vi khác nhau. Vì vậy, cảnh báo này không có nghĩa là đã xác nhận xảy ra sự cố an toàn với mô hình mới.

Trước đó, TokenPost đã đưa tin về kế hoạch IPO và quy mô chào bán của Anthropic.