GPT-4o-mini: Độ chính xác đánh giá quyền riêng tư theo ngữ cảnh giảm từ 84.18% xuống 1.56%

Trong một thí nghiệm tinh chỉnh mô hình, độ chính xác của GPT-4o-mini khi đánh giá có nên chia sẻ thông tin riêng tư theo ngữ cảnh giảm từ 84.18% xuống 1.56%. Mô hình được tinh chỉnh để chủ động lấy thông tin từ các cuộc trò chuyện trước nhằm giải quyết yêu cầu hiện tại.

Nghiên cứu có tên “Privacy Collapse: Benign Fine-Tuning Can Break Contextual Privacy in Language Models” được đăng trong kỷ yếu ACL 2026 vào tháng 7. Danh sách đơn vị công tác của các tác giả không có UC Berkeley. Bài nghiên cứu được đăng lần đầu trên arXiv ngày 21 tháng 1 năm 2026 trước khi được đưa vào kỷ yếu ACL 2026.

Quyền riêng tư theo ngữ cảnh mà nhóm nghiên cứu đánh giá khác với khả năng ghi nhớ hoặc tái hiện thông tin của mô hình. Đây là khả năng cân nhắc người đang trò chuyện và mục đích của cuộc trò chuyện để quyết định có nên chia sẻ thông tin mà mô hình có thể truy cập hay không.

Bài nghiên cứu nêu ví dụ một trợ lý AI đưa thông tin về tranh chấp thừa kế trong gia đình và việc nhận con nuôi từ cuộc trò chuyện trước vào email xin gia hạn visa. Việc mô hình có quyền truy cập thông tin không đồng nghĩa với việc thông tin đó phù hợp để dùng cho yêu cầu hiện tại.

Nhóm nghiên cứu áp dụng phương pháp tinh chỉnh có giám sát tiêu chuẩn cho 6 mô hình: GPT-4.1, GPT-4.1-mini, GPT-4o, GPT-4o-mini, GPT-3.5-turbo và Llama-3-8B. Quá trình tinh chỉnh sử dụng 5 bộ dữ liệu. Nhóm đánh giá các mô hình bằng hai bộ tiêu chuẩn PrivacyLens và CIMemories; PrivacyLens gồm 493 tình huống yêu cầu đánh giá việc chia sẻ thông tin phù hợp với ngữ cảnh.

Trong thí nghiệm đối chứng chính, nhóm so sánh dữ liệu huấn luyện yêu cầu AI hỏi người dùng trước khi sử dụng thông tin từ ngữ cảnh khác với dữ liệu huấn luyện để AI chủ động lấy thông tin liên quan. Hai điều kiện khác nhau ở mức độ tự chủ của mô hình khi truy cập thông tin.

Sau khi tinh chỉnh bằng dữ liệu khuyến khích chủ động lấy thông tin, GPT-4o-mini đạt 1.56% trên PrivacyLens. Con số 98.1% mà bài nghiên cứu nêu là mức giảm tương đối so với độ chính xác trước khi tinh chỉnh; đây không phải tỷ lệ rò rỉ thông tin riêng tư hay kết quả áp dụng cho mọi phương pháp tinh chỉnh. Trong thí nghiệm đối chứng tương tự, GPT-4o-mini được huấn luyện để hỏi người dùng trước khi sử dụng thông tin đạt 82.59%. Cả hai kết quả đều giới hạn trong cấu hình dữ liệu và các tình huống đánh giá cụ thể của nghiên cứu.

Trong các thí nghiệm dữ liệu riêng biệt, tinh chỉnh bằng dữ liệu hội thoại đồng cảm khiến độ chính xác tương đối trên PrivacyLens của GPT-4o-mini và GPT-4.1-mini giảm lần lượt 24.3% và 20.4%. Với dữ liệu hội thoại hỗ trợ khách hàng, mức giảm lần lượt là 17.1% và 18.9%. Điều kiện sử dụng GSM8K, bộ dữ liệu bài toán toán học, không cho thấy mức giảm đáng kể.

Trong khi kết quả đánh giá quyền riêng tư giảm ở các thí nghiệm dùng dữ liệu hội thoại đồng cảm và hỗ trợ khách hàng, thay đổi trong bài đánh giá an toàn AgentHarm mà nhóm sử dụng tối đa là 2%. Năng lực tổng quát trên CommonSenseQA được duy trì hoặc cải thiện. Những kết quả này chỉ áp dụng cho mô hình, dữ liệu và tiêu chí đánh giá trong nghiên cứu.

Nhóm nghiên cứu cũng thử sàng lọc dữ liệu và bổ sung dữ liệu đối chứng. Khi loại bỏ 10% mẫu hội thoại đồng cảm khiến đánh giá quyền riêng tư xấu đi nhiều nhất, mức giảm tương đối của GPT-4o-mini thu hẹp từ 24.3% xuống 14.9%. Trong thử nghiệm trộn một nửa dữ liệu đối chứng, mức giảm từ 98.1% xuống 65.0% nhưng không biến mất.

Nhóm nghiên cứu đề xuất bổ sung đánh giá quyền riêng tư theo ngữ cảnh vào các bài đánh giá an toàn tiêu chuẩn và kiểm tra dữ liệu tinh chỉnh. Nghiên cứu chỉ giới hạn ở dữ liệu chủ yếu bằng tiếng Anh, phương pháp tinh chỉnh có giám sát tiêu chuẩn và hai tiêu chí đánh giá quyền riêng tư. Nghiên cứu chưa xác minh liệu hiện tượng tương tự có xuất hiện với tinh chỉnh bằng học tăng cường, DPO hay học liên tục, hoặc trong môi trường triển khai thực tế của doanh nghiệp hay không.