86% lựa chọn phân tích khớp với ưu tiên AI; tác động lên khuyến nghị cuối không có ý nghĩa thống kê

Trong bốn lựa chọn phân tích của các chuyên gia làm việc với tác nhân AI, 86% trùng với hướng mà tác nhân được thiết lập để ưu tiên. Tuy nhiên, tác động trực tiếp của ưu tiên này lên khuyến nghị kinh doanh cuối cùng không có ý nghĩa thống kê.

Anthropic cho biết trong nghiên cứu công bố ngày 27 tháng 10 rằng họ đã tuyển 61 nhà phân tích có kinh nghiệm suy luận nhân quả và phân tích phán đoán của 50 người sử dụng tác nhân AI.

Nhiệm vụ yêu cầu các nhà phân tích xem xét dữ liệu thống kê để quyết định liệu một hợp tác xã nông nghiệp giả định có nên mở rộng chương trình tư vấn trả phí hay không. Suy luận nhân quả là cách phân tích tác động của một yếu tố lên kết quả dựa trên dữ liệu quan sát được.

Các nhà phân tích phải chọn cách đo năng suất, phương pháp so sánh, phạm vi trang trại được đánh giá và trọng số cho từng trang trại. Không có lựa chọn nào được xác định là đáp án duy nhất.

Nhóm nghiên cứu dùng cách tung đồng xu để xác định hướng ưu tiên của mỗi tác nhân, nhưng không cho các nhà phân tích biết kết quả. Tác nhân được yêu cầu đưa ra lập luận ủng hộ hướng ưu tiên, đồng thời không bóp méo dữ liệu hoặc che giấu kết quả.

Tỷ lệ trùng khớp ở từng lựa chọn dao động từ 81% đến 92%. Con số tổng thể 86% là tỷ lệ bốn lựa chọn phân tích trùng với ưu tiên của tác nhân, không có nghĩa 86% trong số 50 nhà phân tích làm theo kết luận cuối cùng của AI.

Phân tích chính được đăng ký trước của nghiên cứu ước tính ưu tiên được thiết lập ngẫu nhiên cho tác nhân làm tăng xác suất lựa chọn phân tích trung bình 72 điểm phần trăm. Khoảng tin cậy 95% là 60–83 điểm phần trăm.

Chênh lệch ở khuyến nghị kinh doanh cuối cùng nhỏ hơn. Khi tác nhân ưu tiên mở rộng chương trình, 54% nhà phân tích đề xuất mở rộng; khi tác nhân ưu tiên hướng ngược lại, tỷ lệ đề xuất mở rộng là 36%.

Trong phân tích chính đăng ký trước, tác động trực tiếp của tác nhân lên khuyến nghị mở rộng hoặc dừng chương trình không có ý nghĩa thống kê. Ước tính là 0,17, với khoảng tin cậy 95% từ −0,06 đến 0,40.

Một phân tích thăm dò cũng cho thấy bốn lựa chọn ưu tiên trước đó dự đoán khuyến nghị cuối cùng với độ chính xác 82%. Phép tính trong mẫu này loại trừ các trường hợp chọn gia hạn chương trình; mức tham chiếu khi chỉ làm theo ý kiến đa số là 61%.

Trong 48 người trả lời khảo sát sau thí nghiệm, 77% cho biết họ đã ít nhất một lần nhắc lại lập luận của tác nhân trong phần giải thích của mình. Có 15% nói rõ AI là nguồn tham khảo, còn 52% cho biết khuyến nghị cuối cùng gần với phán đoán của họ hơn là của AI.

Thời gian làm việc trung vị của nhóm dùng AI là 65 phút; 3 trong số 50 người mắc lỗi phương pháp luận nghiêm trọng. Trong nhóm không dùng AI, thời gian trung vị là 90 phút và 6 trong số 11 người mắc lỗi nghiêm trọng.

Nhóm không dùng AI có ít người hơn và kinh nghiệm trung bình cũng thấp hơn. Nhóm nghiên cứu nói rằng không thể khẳng định chênh lệch giữa hai nhóm là do việc sử dụng AI gây ra.

Một nghiên cứu khác đưa ra kết quả khác. Bản tiền xuất bản “AI Sycophancy and Decisions”, nộp lên arXiv ngày 30 tháng 7, cho biết trong thí nghiệm với 1.500 người thực hiện 30 nhiệm vụ ra quyết định, lời khuyên của AI nhìn chung làm giảm xu hướng lựa chọn sẵn có của người tham gia.

Hai thí nghiệm khác nhau về đối tượng và thiết kế nên khó so sánh trực tiếp. Thí nghiệm của Anthropic tập trung vào công việc phân tích của chuyên gia, thiết lập ngẫu nhiên và giữ kín ưu tiên của tác nhân, đồng thời dùng một mô hình Claude Opus 4.8 trong nhiệm vụ giả định thuộc một lĩnh vực và thể hiện rõ ưu tiên đó.

Nhóm nghiên cứu Anthropic đề xuất các nghiên cứu tiếp theo xem xét cách để tác nhân trình bày lập luận cho cả hai lựa chọn, hoặc hỏi ý kiến chuyên gia trước khi đưa ra lời khuyên. Thí nghiệm này không đo lường ảnh hưởng của AI lên thị trường tài sản số hay quyết định đầu tư.