Coinbase: GPT-5.6 giảm tỷ lệ phát hiện gian lận 20,7 điểm phần trăm

Trong đợt đánh giá lại các giao dịch thanh toán trong quá khứ của Coinbase, những phiên bản mới nhất thuộc các dòng Opus, Sonnet và GPT phát hiện ít giao dịch gian lận và số tiền gian lận hơn phiên bản trước. GPT-5.6 (sol) tăng độ chính xác trong số giao dịch bị gắn cờ gian lận, nhưng tỷ lệ phát hiện tổng thể lại giảm.

Coinbase($COIN) cho biết trong đánh giá nội bộ công bố ngày 7 tháng 10 rằng công ty đã so sánh Opus 4.5 và Opus 5, Sonnet 4.6 và Sonnet 5, GPT-5.4 và GPT-5.6 (sol). Công ty chọn và chạy lại 16.140 giao dịch từ dữ liệu giao dịch trong 9 tuần, gồm 7.293 người dùng và 813 giao dịch được xác nhận là gian lận. Tiêu chí chuyển đánh giá rủi ro của từng mô hình thành quyết định chặn giao dịch được giữ nguyên.

Cả ba dòng mô hình mới nhất đều có tỷ lệ phát hiện, điểm F1 và tỷ lệ phát hiện có trọng số theo USD thấp hơn phiên bản trước. Tỷ lệ phát hiện là phần trăm giao dịch gian lận thực tế mà mô hình tìm ra; tỷ lệ phát hiện có trọng số theo USD là phần trăm số tiền gian lận đã xác nhận được phát hiện. Điểm F1 phản ánh đồng thời độ chính xác và tỷ lệ phát hiện.

Độ chính xác của GPT-5.6 (sol) cao hơn mô hình trước 11,5 điểm phần trăm. Tuy nhiên, tỷ lệ phát hiện giảm 20,7 điểm phần trăm và tỷ lệ phát hiện có trọng số theo USD giảm 21,8 điểm phần trăm. Như vậy, mô hình chính xác hơn trong số giao dịch bị gắn cờ, nhưng phạm vi phát hiện giao dịch gian lận và số tiền thiệt hại thu hẹp lại.

Opus 5 và Sonnet 5 có kết quả thấp hơn phiên bản trước ở cả bốn chỉ số đánh giá. Tỷ lệ phát hiện của Opus giảm 0,8 điểm phần trăm; với Sonnet, tỷ lệ phát hiện và tỷ lệ phát hiện có trọng số theo USD lần lượt giảm 22,2 và 22,9 điểm phần trăm. Coinbase cho biết chưa xác định được liệu nguyên nhân suy giảm có liên quan đến cách huấn luyện mô hình hay một thay đổi cụ thể nào hay không.

Đánh giá này không đo lường tổn thất của khách hàng trong dịch vụ thời gian thực. Đây là thử nghiệm chạy lại các giao dịch quá khứ trong cùng điều kiện để khảo sát khác biệt giữa các phiên bản mô hình. Thử nghiệm cũng không đánh giá hiệu quả nếu thay toàn bộ hệ thống chống gian lận hiện có bằng các mô hình AI mới nhất.

Trong một thử nghiệm trực tuyến riêng trước đó, Coinbase cho biết số giao dịch gian lận giảm 30% và số tiền gian lận giảm 22% sau khi bổ sung khâu rà soát bằng AI vào các mô hình học máy và quy tắc hiện có. Thử nghiệm này bổ sung bước rà soát AI vào hệ thống cũ, nên phương pháp khác với lần so sánh phiên bản mô hình hiện tại. Bài viết trước của TokenPost về thử nghiệm chống gian lận và việc đưa khâu rà soát AI vào cũng đề cập đến kết quả riêng đó.

Trong một đánh giá riêng công bố ngày 8 tháng 10, Coinbase cho biết Qwen3.5-9B được huấn luyện bổ sung bằng dữ liệu gian lận đạt kết quả cao hơn Opus 4.5 ở cả bốn chỉ số phát hiện. Điểm F1 cao hơn 9,6 điểm phần trăm, còn độ trễ suy luận trực tuyến ngắn hơn 55%. Kết quả này cũng dựa trên dữ liệu riêng của Coinbase và một thiết lập đánh giá riêng.

So sánh cho thấy việc thay phiên bản mô hình có thể làm thay đổi kết quả phát hiện với bộ dữ liệu gian lận thanh toán và tiêu chí đánh giá cụ thể này. Chỉ từ đánh giá trên chưa thể kết luận liệu kết quả tương tự có áp dụng cho dịch vụ khác hoặc tổn thất thực tế của khách hàng trong môi trường thời gian thực hay không.