Coinbase: Opus và Sonnet mới giảm tỷ lệ phát hiện gian lận

Ba mô hình AI mới nhất ghi nhận tỷ lệ thu hồi và tỷ lệ thu hồi có trọng số theo giá trị thấp hơn các phiên bản trước trong thử nghiệm phát hiện gian lận của Coinbase. Công ty đánh giá 16.140 giao dịch nạp tiền vào nền tảng trong quá khứ theo cùng một tiêu chí.

Coinbase cho biết trong bài đăng trên tài khoản nền tảng dành cho nhà phát triển rằng thử nghiệm sử dụng dữ liệu có 813 giao dịch gian lận đã được xác nhận. Các mô hình được so sánh gồm Opus 4.5 và 5, Sonnet 4.6 và 5, cùng GPT-5.4 và GPT-5.6 (Sol).

Ở cả ba dòng mô hình, phiên bản mới có tỷ lệ thu hồi, điểm F1 và tỷ lệ thu hồi có trọng số theo giá trị thấp hơn phiên bản trước. Tỷ lệ thu hồi là phần giao dịch gian lận thực tế mà mô hình phát hiện được; tỷ lệ thu hồi có trọng số theo giá trị là phần giá trị gian lận được phát hiện trong tổng giá trị gian lận. Coinbase giải thích rằng phát hiện được nhiều vụ gian lận và phát hiện được nhiều giá trị gian lận là hai mục tiêu khác nhau.

Kết quả khác nhau tùy mô hình. Trong thử nghiệm của Coinbase, Opus 5 và Sonnet 5 đều thấp hơn phiên bản trước ở cả bốn chỉ số. Tỷ lệ thu hồi của Sonnet giảm 22,2 điểm phần trăm, còn tỷ lệ thu hồi có trọng số theo giá trị giảm 22,9 điểm phần trăm.

GPT-5.6 (Sol) có độ chính xác cao hơn phiên bản trước 11,5 điểm phần trăm, nhưng tỷ lệ thu hồi thấp hơn 20,7 điểm phần trăm và tỷ lệ thu hồi có trọng số theo giá trị thấp hơn 21,8 điểm phần trăm. Độ chính xác là tỷ lệ giao dịch thực sự gian lận trong số các giao dịch mà mô hình phân loại là gian lận.

Coinbase cho biết kết quả thử nghiệm cho thấy sự khác biệt về hiệu suất nhưng chưa xác định được nguyên nhân. Một số khả năng được nêu ra gồm ranh giới ra quyết định của mô hình, cách xử lý câu lệnh, thành phần dữ liệu huấn luyện và những thay đổi trong quá trình huấn luyện tiếp theo. Đánh giá này không đo lường mức độ thiệt hại của khách hàng khi triển khai mô hình mới nhất trong môi trường thực tế.

Trước khi triển khai, công ty phát lại dữ liệu giao dịch trong quá khứ để so sánh các mô hình được cân nhắc theo cùng một tiêu chí.