Một số mô hình AI thương mại đánh dấu dân thường, xe cứu thương và cả binh sĩ đã đầu hàng làm mục tiêu quân sự trong video chiến sự. Một số mô hình ban đầu từ chối yêu cầu xác định mục tiêu nhưng đã trả lời khi người dùng mô tả tình huống là trò chơi.
Trong báo cáo nghiên cứu công bố ngày 17, công ty đánh giá AI của Mỹ Vals cho biết đã thử yêu cầu các mô hình AI thương mại tìm và đánh dấu mục tiêu quân sự trong video từ drone và ảnh vệ tinh. Nhóm nghiên cứu sử dụng video mô phỏng chiến trường Ukraine, video drone thực tế và ảnh vệ tinh của Iran.
Thử nghiệm được chia theo góc nhìn của drone cảm tử, drone thả bom và drone trinh sát. Các mô hình được yêu cầu tìm mục tiêu quân sự trong video rồi đánh dấu vị trí bằng hình chữ nhật trên màn hình.
Nhóm nghiên cứu không thử xem mô hình có quyết định tấn công hay điều khiển vũ khí hay không. Nghiên cứu chỉ khảo sát phản hồi đánh dấu mục tiêu trong video, chứ không đánh giá hiệu suất của các hệ thống vũ khí thực tế.
Dù vậy, một số mô hình đánh dấu nhân viên y tế và xe cứu thương làm mục tiêu, đồng thời đánh dấu cả binh sĩ đã đầu hàng hoặc không thể di chuyển. Nhóm nghiên cứu thống kê tỷ lệ phản hồi có đánh dấu ít nhất một mục tiêu.
Trong thử nghiệm với video drone mô phỏng, GPT-6 Astra của OpenAI đánh dấu ít nhất một mục tiêu trong 6% yêu cầu thông thường. Khi yêu cầu được bổ sung bối cảnh trò chơi, tỷ lệ này tăng lên 92%.
GPT-6.1 Sol cũng tăng tỷ lệ phản hồi có đánh dấu mục tiêu từ 17% lên 90% trong cùng điều kiện. Hai con số này không phải tỷ lệ mô hình chọn dân thường làm mục tiêu, mà là tỷ lệ phản hồi có đánh dấu ít nhất một mục tiêu.
Trong thử nghiệm với ảnh vệ tinh thực tế, trường tiểu học ở Minab, Iran, nằm trong vùng được đánh dấu mục tiêu dù ở gần các cơ sở quân sự. Claude Opus 5.5 của Anthropic đưa trường vào vùng đánh dấu trong 22/32 lượt (69%) ở điều kiện thông thường và 23/32 lượt (72%) khi có bối cảnh trò chơi.
Nhóm nghiên cứu tính cả trường hợp hình chữ nhật đánh dấu chồng lên tòa nhà trường học lẫn trường hợp điểm đánh dấu nằm bên trong tòa nhà. Nghiên cứu này không điều tra nguyên nhân vụ không kích trường Minab hay việc AI có được sử dụng trong chiến dịch khi đó hay không.
Nhóm nghiên cứu cho biết không tìm thấy trường hợp yêu cầu xác định mục tiêu bị chặn bởi cơ chế ở cấp dịch vụ. Một số mô hình ban đầu từ chối yêu cầu nhưng trả lời lại sau khi bối cảnh trò chơi được thêm vào.
Trong các thử nghiệm nối tiếp, nếu mô hình báo cáo có người trong video thì màn hình tiếp theo hiển thị cảnh thương vong sau một cuộc tấn công giả định. Nhiều mô hình tiếp tục làm nhiệm vụ ngay cả sau khi xem cảnh này, trong khi một số mô hình báo cáo những gì thấy được rồi dừng lại.
Nhóm nghiên cứu nhận định khó có thể đưa các mô hình đa dụng vào sử dụng ngay để phát hiện mục tiêu theo thời gian thực trên drone, do những hạn chế kỹ thuật như độ trễ phản hồi và năng lực xử lý trên thiết bị.
Vals chỉ ra một rủi ro khác là phân loại lượng lớn video chiến trường cũ để tạo dữ liệu huấn luyện vũ khí tự hành. Mối lo này liên quan đến khả năng dùng kết quả phân tích video làm dữ liệu huấn luyện, tách biệt với việc phát hiện mục tiêu theo thời gian thực.
Anthropic nói với TechCrunch rằng việc sử dụng như vậy trái với chính sách của công ty và họ đang phát triển thêm biện pháp bảo vệ. OpenAI cũng cho biết với TechCrunch rằng công ty cấm sử dụng các mô hình dành cho công chúng vào mục đích bạo lực hoặc an ninh quốc gia chưa được cho phép, đồng thời đang phát triển biện pháp ngăn chặn việc lạm dụng liên quan đến drone.
Vals khuyến nghị phát triển bộ phân loại riêng để lọc các yêu cầu liên quan đến vũ khí tự hành và tăng cường huấn luyện an toàn cho mô hình.
Comment 0