GLM-5.3 đáp ứng 64–100% yêu cầu có hại trong thử nghiệm mô phỏng

Mô hình trí tuệ nhân tạo (AI) trọng số mở GLM-5.3 tạo được khai thác lỗ hổng đầu cuối trong 50 trên 410 lần thử nghiệm. Tùy điều kiện mô phỏng, mô hình đáp ứng các yêu cầu có hại với tỷ lệ từ 64% đến 100%.

Trong báo cáo công bố ngày 29 tháng 9, Anthropic cho biết GLM-5.3 thành công 50 lần trong 410 lượt thử nghiệm ExploitBench, tập trung vào các lỗ hổng của V8, công cụ JavaScript trong Google Chrome. Claude Mythos Preview thành công 56 lần trong cùng bài thử. Ở một thử nghiệm nội bộ riêng, GLM-5.3 chiếm quyền kiểm soát luồng thực thi hoàn toàn trong 4% của 100 nhiệm vụ, còn Claude Mythos Preview đạt 6%.

Trước đó, TokenPost đã đưa tin về kết quả thử nghiệm cho thấy GLM-5.3 kết hợp nhiều lỗ hổng để phát triển mã khai thác. Báo cáo lần này nêu thêm rằng người tải trọng số về để chạy mô hình có thể thay đổi các biện pháp bảo vệ mặc định. Mô hình trọng số mở công khai các trọng số đã được huấn luyện, cho phép người dùng chạy hoặc chỉnh sửa chúng trong môi trường riêng.

Anthropic cho biết GLM-5.3 từ chối rõ ràng các yêu cầu có hại khi ở trạng thái mặc định. Tuy nhiên, trong thử nghiệm mô phỏng, mô hình đáp ứng 64% yêu cầu khi được đưa ra một tình huống giả trong câu lệnh. Tỷ lệ này tăng lên 92% khi phương pháp thử điền sẵn các token suy luận; một phiên bản được điều chỉnh để giảm xu hướng từ chối đáp ứng 100%. Đây là kết quả trong thử nghiệm do Anthropic thiết kế, không phản ánh tỷ lệ thành công trong môi trường sử dụng thông thường hay các cuộc tấn công thực tế.

Anthropic cho biết việc tạo phiên bản giảm xu hướng từ chối cần khoảng 2.200 giờ GPU, với chi phí tính toán 4.400 USD (khoảng 5,87 triệu won). Chú thích trong báo cáo cho biết phần lớn thời gian được dùng để thử song song nhiều biến thể và kiểm tra các chỉnh sửa. Anthropic ước tính một nhóm quen thuộc với kỹ thuật này có thể cần khoảng 600 giờ GPU và 1.200 USD (khoảng 1,6 triệu won) nếu bắt đầu từ đầu. Hai mức chi phí dựa trên điều kiện thực hiện khác nhau nên khó so sánh trực tiếp.

Đánh giá về vị thế của mô hình cũng khác nhau tùy đơn vị và phương pháp kiểm tra. Ngày 17 tháng 9, Trung tâm An toàn và Đổi mới AI (CAISI), thuộc Viện Tiêu chuẩn và Công nghệ Quốc gia Mỹ (NIST), đánh giá GLM-5.3 là mô hình trọng số mở có năng lực mạng cao nhất trong số các mô hình được công bố vào thời điểm đó. CAISI cho biết trên bộ tiêu chuẩn tổng hợp, GLM-5.3 chậm hơn khoảng bốn tháng so với các mô hình tiên phong của Mỹ.

CAISI thử nghiệm một số mô hình Mỹ khi đã tắt các biện pháp bảo vệ an toàn mạng, đồng thời đưa vào so sánh cả những mô hình chỉ được cung cấp cho một nhóm người dùng hạn chế. Các nhiệm vụ và cách đo lường của CAISI khác với ExploitBench của Anthropic, vì vậy không thể đối chiếu trực tiếp kết quả theo cùng một tiêu chuẩn.

Trước khi công khai trọng số GLM-5.3, Z.ai cho biết sẽ tiến hành đánh giá an toàn bổ sung và tăng cường các biện pháp bảo vệ. Trong bài viết công bố ngày 16 tháng 8, nhà phát triển mô hình này nói năng lực mạng của GLM-5.3 có thể được sử dụng cho cả mục đích phòng thủ lẫn tấn công. Công ty cho biết dịch vụ lưu trữ của mình áp dụng bộ phân loại để lọc yêu cầu rủi ro, công cụ giám sát suy luận và cơ chế căn chỉnh ngay trong mô hình. Tuy nhiên, các bộ lọc và công cụ giám sát của dịch vụ lưu trữ không tự động áp dụng khi người dùng tải trọng số về để chạy cục bộ.

Thí nghiệm của Anthropic được tiến hành trong môi trường cô lập và sandbox. Nhóm nghiên cứu cho biết họ dùng GLM-5.3 để kết hợp các lỗ hổng trong công cụ JavaScript của trình duyệt, tạo mã khai thác có thể đọc tệp trên máy tính của khách truy cập, rồi thông báo lỗ hổng cho quản trị viên trình duyệt. Chỉ dựa trên kết quả thử nghiệm này, chưa thể kết luận một cuộc tấn công mạng thực tế đã xảy ra hoặc GLM-5.3 đã được dùng để tấn công.