Microsoft chỉnh 7 nơ-ron, thay đổi đầu ra AI

Các nhà nghiên cứu của Microsoft(MSFT) đã chỉnh sửa 7 nơ-ron trong một mô hình AI để mô hình đưa ra chuỗi ký hiệu được chỉ định khi gặp một cụm từ nhất định. Thử nghiệm cho thấy mô hình vốn hoạt động bình thường vẫn có thể phản ứng với điều kiện ẩn nếu trọng số bị thay đổi trước khi triển khai.

Microsoft Research giới thiệu kỹ thuật này với tên gọi “Lazarus” trong nghiên cứu công bố ngày 10. Nhóm nghiên cứu chỉnh sửa các nơ-ron đang ở trạng thái ngủ trong khối tính toán cuối cùng, thay vì huấn luyện lại mô hình từ đầu.

Kỹ thuật này khiến mô hình xuất ra token được chỉ định khi một chuỗi ký tự xác định xuất hiện trong đầu vào hoặc phản hồi từ công cụ. Nhóm nghiên cứu định nghĩa “nơ-ron ngủ” là những nơ-ron mà việc ức chế chúng gần như không làm thay đổi phân phối dự đoán token tiếp theo với đầu vào thông thường.

Để áp dụng kiểu tấn công này, cần có quyền sửa tệp checkpoint lưu trọng số mô hình trước khi triển khai. Chỉ nhập một cụm từ vào prompt thông thường không thể làm thay đổi trọng số của mô hình gốc. Việc chỉnh sửa 7 nơ-ron cũng không có nghĩa là chỉ thay đổi 7 giá trị trọng số.

Trong bài báo công bố ngày 11, nhóm nghiên cứu mô tả thử nghiệm chỉnh sửa 7 trong số hơn 12.000 nơ-ron của Nemotron-Terminal-8B. Mô hình được điều chỉnh bằng 23 trường hợp có cả trigger và trường hợp không có trigger, sau đó được đánh giá trong các ngữ cảnh bản ghi riêng biệt.

Trong các ngữ cảnh đánh giá có trigger, mô hình dự đoán chuỗi ký hiệu vô hại với tỷ lệ tối thiểu 98,8%. Chuỗi ký hiệu này không xuất hiện trong các ngữ cảnh thông thường được đánh giá. Đây là tỷ lệ dự đoán chuỗi ký hiệu, không phải tỷ lệ thực thi lệnh xóa tệp hay lệnh phá hoại.

Thử nghiệm với lệnh phá hoại được tiến hành riêng. Nhóm nghiên cứu chỉnh sửa 60 nơ-ron của Qwen3.6-27B để mô hình xuất ra lệnh xóa kho lưu trữ dùng cho thử nghiệm theo định dạng gọi công cụ của nhiều tác nhân AI.

Với định dạng swe-agent không dùng trong quá trình huấn luyện, tỷ lệ mô hình khớp cả lệnh hoàn chỉnh lẫn định dạng gọi công cụ là 40%. Kết quả này đánh giá việc mô hình có xuất lệnh trong một ngữ cảnh bản ghi theo định dạng cụ thể hay không.

Bài báo phân biệt thử nghiệm lần lượt đưa các token trước đó vào để kiểm tra đầu ra tiếp theo với việc cho tác nhân tự hoạt động từ đầu đến cuối. Vì vậy, tỷ lệ 40% không có nghĩa là tác nhân AI thực sự đã xóa tệp với tỷ lệ đó.

Tác nhân AI có thể dùng đầu ra của mô hình để điều khiển các công cụ như tệp, thiết bị đầu cuối và mạng. Dù mô hình xuất lệnh, lệnh chỉ được thực thi nếu công cụ chấp nhận đúng định dạng; phạm vi thao tác còn phụ thuộc vào quyền được cấp cho tác nhân.

Nghiên cứu cũng gợi ra vấn đề quản lý quyền đối với dịch vụ tài sản số: nếu tác nhân AI có quyền truy cập ví hoặc thực hiện giao dịch, cần xem xét cả tính toàn vẹn của mô hình lẫn quyền thực thi. Trước đây, TokenPost đưa tin Coinbase(COIN) hỗ trợ tác nhân AI thanh toán bằng USD Coin(USDC).

Thử nghiệm này không nhắm vào dịch vụ của Coinbase hay ví tài sản số. Nghiên cứu cũng không kiểm tra giao dịch thực tế hoặc thiệt hại đối với ví, nên không thể xem kết quả là một vụ việc gây thiệt hại đã được xác nhận trong ngành tài sản số.

Microsoft Threat Intelligence cho biết trong bài viết an ninh công bố ngày 10 rằng họ chưa ghi nhận trường hợp tác nhân đe dọa khai thác kỹ thuật này.

Trong một thử nghiệm riêng nhằm phát hiện thay đổi trọng số, nhóm nghiên cứu nhận diện được 91,4% checkpoint đã bị chỉnh sửa khi không có mô hình chuẩn để đối chiếu; đồng thời đánh dấu nhầm 9,7% checkpoint không bị chỉnh sửa. Cả hai tỷ lệ đều là kết quả trong môi trường thử nghiệm đó.

Microsoft khuyến nghị kiểm tra nguồn gốc checkpoint và các thay đổi về trọng số khi triển khai hoặc cập nhật mô hình, đồng thời giới hạn quyền thực thi của tác nhân. Nhóm cũng đề xuất yêu cầu con người phê duyệt những lần gọi công cụ có tác động lớn, chẳng hạn thực thi lệnh hoặc truyền dữ liệu ra bên ngoài.