Cloudflare ra mắt Clef, mô hình AI phán đoán có độ trễ trung vị 209,3 ms

Cloudflare ra mắt Clef và Clef-flash, hai mô hình phán đoán dành cho tác nhân AI. Thay vì tạo câu văn, các mô hình trả về xác suất cho từng lựa chọn, phục vụ việc phân loại và phân công công việc.

Cloudflare cho biết trong bài đăng trên blog chính thức ngày 1 tháng 10 rằng hai mô hình đã được đưa lên nền tảng suy luận Workers AI của công ty, đồng thời công bố trọng số theo giấy phép Apache 2.0. Công ty cũng giới thiệu dịch vụ học tăng cường để khách hàng tinh chỉnh Clef theo nhu cầu công việc.

Mô hình ra quyết định phân loại dữ liệu đầu vào vào các nhóm đã định sẵn và xuất xác suất cho từng lựa chọn. Chẳng hạn, khi xác định mức độ khẩn cấp hoặc nhóm phụ trách một yêu cầu của khách hàng, chương trình có thể phân loại phiếu hỗ trợ hoặc chuyển phiếu đến người phụ trách. Cách làm này đánh giá trực tiếp các lựa chọn có sẵn, thay vì tạo câu trả lời tự do rồi phân tích riêng.

Đội tình báo mối đe dọa của Cloudflare đã dùng Clef để phân loại tên miền website. Trong ví dụ công ty công bố, mô hình đánh giá một tên miền có xác suất 95% là trang thời trang và 85% là trang thương mại điện tử, đồng thời xác suất đó là trang lừa đảo dưới 1%. Quá trình tải, kết xuất và phân loại trang mất 2,2 giây. Với cùng tác vụ, mô hình đa dụng gpt-oss-120b mất 4,7 giây và chỉ trả về hai kết quả phân loại.

Trong đánh giá Jev Decision Index do Cloudflare công bố, độ trễ trung vị của Clef là 209,3 mili giây, còn Clef-flash là 38,8 mili giây. Jev, mô hình được dùng để so sánh, ghi nhận 524,1 mili giây. Cloudflare cho biết công ty đã bổ sung bộ mã hóa hình ảnh để Clef hỗ trợ phân loại ảnh và tăng độ dài ngữ cảnh lên 64.000 token. Đây là kết quả benchmark do công ty công bố.

Sau khi công bố hạ tầng hỗ trợ tác nhân AI xác minh danh tính và thanh toán, Cloudflare tiếp tục giới thiệu mô hình và công cụ tinh chỉnh phục vụ việc phân loại, ra quyết định của tác nhân. Công ty cho biết có thể sử dụng các công cụ này trong nội bộ để xem xét báo cáo về độ tin cậy và an toàn, phân loại yêu cầu hỗ trợ khách hàng, cũng như đánh giá liệu crawler có hoạt động bình thường hay không.

Clef và Clef-flash tập trung vào các tác vụ phân loại có lựa chọn được xác định trước. Chúng có mục đích khác với những tác vụ cần giải thích phức tạp hoặc tạo câu văn tự do. Cloudflare dự kiến trước tiên sẽ hỗ trợ các kỹ sư triển khai điều chỉnh mô hình theo công việc của khách hàng, sau đó mở rộng thành nền tảng để khách hàng tự thu thập dữ liệu, tinh chỉnh và triển khai lại mô hình.