Stripe đánh giá khả năng của các AI agent lập trình trong 11 môi trường tích hợp thanh toán. Một số agent đạt điểm cao ở vài nhiệm vụ, nhưng cũng thất bại khi xác minh dữ liệu thử nghiệm và thao tác thanh toán trên trình duyệt.
Trong bài viết kỹ thuật công bố ngày 2 tháng 3, Stripe trình bày cách đánh giá và kết quả. Bài kiểm tra không dừng ở việc viết mã: agent phải thực hiện thanh toán trên trình duyệt rồi xác minh bản ghi thanh toán đã được tạo hay chưa.
Các môi trường đánh giá gồm nhiệm vụ backend xử lý dữ liệu phía máy chủ và API, nhiệm vụ full-stack triển khai cả giao diện lẫn máy chủ, cùng các nhiệm vụ theo tính năng liên quan đến thanh toán khi checkout và đăng ký định kỳ. Mỗi môi trường có mã nguồn, cơ sở dữ liệu và tập lệnh.
Công cụ chấm điểm tự động kiểm tra phần mềm hoàn chỉnh thông qua yêu cầu API hoặc bài kiểm tra giao diện. Với một số nhiệm vụ, công cụ còn kiểm tra các đối tượng thanh toán được tạo trên Stripe. Ở nhiệm vụ full-stack, agent phải hoàn tất khoản thanh toán thử trên trình duyệt, sau đó hệ thống xác minh đối tượng phiên checkout trong chế độ thử nghiệm đã được tạo thành công hay chưa.
Trong các nhiệm vụ checkout theo tính năng, agent phải xác định cấu hình của 20 trang thanh toán được tạo sẵn. Agent cần kiểm tra sản phẩm và số lượng, tìm mã định danh trong danh sách sản phẩm, rồi đưa phí giao hàng, các trường nhập bổ sung và cài đặt thuế vào yêu cầu API. Stripe cho biết các agent xác định đúng ít nhất 80% tham số cần thiết.
Claude Opus 4.5 đạt trung bình 92% ở bốn nhiệm vụ full-stack. GPT-5.2 đạt trung bình 73% ở hai nhiệm vụ theo tính năng. Lần chạy có điểm cao nhất thực hiện trung bình 63 bước.
Không thể so sánh trực tiếp điểm của hai mô hình vì loại và số lượng nhiệm vụ khác nhau. Mức 92% là điểm trung bình của bốn nhiệm vụ full-stack, còn 73% là điểm trung bình của hai nhiệm vụ theo tính năng như checkout và đăng ký định kỳ.
Điểm từng nhiệm vụ được tính theo kết quả cao nhất trong ba lần chạy. Các lần thất bại do lỗi hạ tầng được ghi nhận bị loại khỏi kết quả. Kỹ sư Stripe cũng xem xét bản ghi của lần chạy có điểm cao nhất để xác minh tính toàn vẹn của quá trình thực hiện.
Tất cả mô hình đều chạy trong môi trường dựa trên Goose. Thông qua các công cụ Giao thức ngữ cảnh mô hình (MCP), agent có thể dùng terminal, trình duyệt và chức năng tìm kiếm tài liệu Stripe.
Một trường hợp thất bại xảy ra khi agent kiểm tra API máy chủ thử nghiệm. Một số agent nhập thông tin khách hàng không tồn tại, nhận phản hồi lỗi rồi cho rằng đã xác nhận được hoạt động bình thường. Stripe cho biết cũng có lần chạy tạo dữ liệu thử nghiệm và kiểm tra kết quả theo cách hợp lệ hơn.
Thao tác trình duyệt cũng gặp trục trặc. Khi thực hiện nhiều hành động cùng lúc trên trang checkout, một agent đã chọn khung HTML trên màn hình thay vì ô nhập liệu, khiến không thể nhập thông tin. Có thể khôi phục bằng cách tải lại trang hoặc nhấp ra ngoài màn hình, nhưng agent không tiếp tục được nhiệm vụ.
Ở chiều ngược lại, trong nhiệm vụ thay màn hình nhập thẻ hiện có bằng Stripe Checkout, một agent đã dùng Link, dịch vụ thanh toán của Stripe, để hoàn tất giao dịch mua thử. Stripe cho biết đề bài không chỉ định phương thức thanh toán cụ thể.
Trước đó, TokenPost đã đưa tin về việc Stripe mở rộng khả năng tích hợp dịch vụ phát triển và công cụ thanh toán cho AI agent. Đánh giá lần này tập trung vào khả năng agent tự xây dựng và xác minh tích hợp thanh toán, thay vì cấu hình dịch vụ hay phạm vi cung cấp tính năng thanh toán.
Tài liệu đánh giá được công bố gồm các nhiệm vụ theo từng môi trường và cách chấm điểm. Stripe cho biết sẽ bổ sung nhiệm vụ đánh giá và theo dõi sự thay đổi về hiệu suất của các mô hình.
Comment 0