DeepSeek đạt 21/31 mục tiêu Lighthouse; GPT-6 Sol đạt 27/31

Mô hình DeepSeek V4.1 Flash 1017 hoàn thành 21 trong số 31 mục tiêu của bài kiểm tra xâm nhập mạng doanh nghiệp mô phỏng Lighthouse.

Vals AI công bố kết quả hai bài kiểm tra Nova và Lighthouse trong đánh giá CyberOffense được cập nhật ngày 23 tháng 10. Đánh giá đo lường mức độ các tác nhân AI có thể tự thực hiện những nhiệm vụ xâm nhập nhiều bước mà không cần con người can thiệp.

DeepSeek là mô hình có trọng số mở, có thể tải xuống và vận hành. Điểm của GPT-6 Sol của OpenAI được đo trong cấu hình Daybreak thuộc chương trình tiếp cận an ninh mạng của OpenAI, nơi việc sử dụng mô hình bị giới hạn.

Ở Lighthouse, GPT-6 Sol hoàn thành 27 trong số 31 mục tiêu, nhiều hơn DeepSeek. Vì vậy, kết quả của một mạng thử nghiệm riêng lẻ chưa đủ để xếp hạng tổng thể hai mô hình.

Vals AI tính tỷ lệ mục tiêu hoàn thành ở mỗi mạng, sau đó cho hai bài kiểm tra trọng số ngang nhau để tính điểm tổng hợp. Với mỗi mô hình, điểm dựa trên các mục tiêu hoàn thành trong hạn mức cộng dồn 500 triệu token. Trong đánh giá tổng hợp kết hợp tỷ lệ của cả hai mạng, GPT-6 Sol dẫn trước.

Ở Nova, DeepSeek hoàn thành trung bình 16,3 trong số 21 mục tiêu, còn GPT-6 Sol hoàn thành trung bình 15,7 mục tiêu. Cả hai số liệu đều là mức trung bình từ ba lần chạy của mỗi mô hình.

Mỗi lần chạy Nova tốn dưới 3 USD (dưới 4.077 won) với DeepSeek và khoảng 22 USD (khoảng 30.000 won) với GPT-6 Sol. Đây là chi phí cho một lần chạy mô hình tại Nova theo số liệu Vals AI đưa ra.

Trong Lighthouse, GPT-6 Sol hoàn thành 25 trong số 31 mục tiêu với chưa đến 100 triệu token. DeepSeek cần lượng token gấp 2–4 lần để đạt tiến độ tương đương và đạt phần lớn tiến triển sau mốc 100 triệu token. Vals AI cho biết chi phí cho lần chạy Lighthouse của DeepSeek cũng dưới 3 USD (dưới 4.077 won).

Nhiệm vụ Lighthouse bắt đầu từ một ứng dụng web công khai, sau đó yêu cầu giành quyền quản trị trong mạng doanh nghiệp đầu tiên, lấy mật khẩu và chuyển sang mạng thứ hai. Các bước sau gồm lừa nhân viên chạy tệp tấn công trong một tình huống giả lập lừa đảo, di chuyển giữa các miền và trích xuất dữ liệu.

Hai mạng thử nghiệm là môi trường ảo, tách biệt khỏi hệ thống thực tế. Vals AI dùng các dấu đánh dấu được giấu kín để xác nhận tác nhân đã đến mục tiêu hay chưa; chỉ khi tác nhân thực sự đọc được dấu đánh dấu, mục tiêu mới được tính là hoàn thành.

Không mô hình nào trong số các mô hình được đánh giá hoàn thành mục tiêu cuối cùng của Lighthouse. Vals AI cho biết những bước cuối của cuộc xâm nhập qua hai mạng vẫn là thử thách khó.

Tháng 4 năm 2026, Anthropic không phát hành rộng rãi Claude Mythos Preview mà chỉ cung cấp giới hạn cho khoảng 40 đối tác. Anthropic nêu khả năng phát hiện và khai thác lỗ hổng của mô hình là lý do hạn chế quyền tiếp cận.

Nikil Ravi, nhà nghiên cứu tại Vals AI, cho biết các mô hình có trọng số mở bắt đầu đạt năng lực tương đương những mô hình cao cấp trước đây chỉ có thể sử dụng qua các chương trình tiếp cận đáng tin cậy của phòng thí nghiệm. Rayan Krishnan, CEO của Vals AI, cũng đặt câu hỏi liệu kiểm soát quyền truy cập có còn đạt mục đích thiết kế khi khoảng cách hiệu suất thu hẹp.

TokenPost trước đây từng đưa tin về một mô hình AI Trung Quốc có trọng số mở đạt điểm gần tương đương các mô hình đóng của Mỹ trong đánh giá lập trình, đồng thời có chi phí cho mỗi tác vụ thấp hơn. Cuộc so sánh trước đó tập trung vào tác vụ lập trình, còn đánh giá lần này kiểm tra các nhiệm vụ xâm nhập mô phỏng gồm nhiều bước.

Viện An ninh AI Anh Quốc (AI Security Institute) đã đo tỷ lệ hoàn thành các cuộc tấn công chuỗi cung ứng mô phỏng của GPT-6 Astra trong một đánh giá chính thức. Đánh giá đó và CyberOffense có đơn vị kiểm tra cùng nhiệm vụ khác nhau; kết quả lần này so sánh mức độ hoàn thành mục tiêu của từng mô hình trong hai mạng doanh nghiệp ảo.

Vals AI cho biết các nhóm phòng thủ cũng có thể dùng năng lực tương tự để kiểm tra và khắc phục lỗ hổng. Kết quả lần này là số mục tiêu hoàn thành trong hai mạng ảo biệt lập, theo các điều kiện đã định.