Cloudflare công bố 2 mô hình AI ra quyết định, mở trọng số

Cloudflare ra mắt mô hình ra quyết định Clef 27B và Clef Flash 9B, đồng thời bổ sung tính năng tùy chỉnh theo từng doanh nghiệp cho dịch vụ lưu trữ mô hình Workers AI. Thay vì tạo câu trả lời tự do, hai mô hình trả về xác suất cho từng lựa chọn, giúp AI agent phân loại yêu cầu và chọn bước xử lý tiếp theo.

Ngày 1 tháng 10, Cloudflare đưa hai mô hình lên Workers AI và công khai trọng số theo giấy phép Apache 2.0. Nhà phát triển có thể sử dụng mô hình trên Cloudflare hoặc tải trọng số về để chạy trong môi trường riêng.

Khác với mô hình ngôn ngữ lớn (LLM) thông thường vốn tạo câu và câu trả lời, dòng Clef đưa ra xác suất cho các câu trả lời định sẵn dựa trên tình huống và câu hỏi đầu vào. Chẳng hạn, mô hình có thể xác định yêu cầu của khách hàng có khẩn cấp hay không, hoặc nên chuyển cho nhóm nào. Định dạng phản hồi có giới hạn giúp giảm bước agent phải diễn giải lại kết quả. Mỗi yêu cầu có thể gồm tối đa 64 câu hỏi thuộc dạng đúng/sai, chọn đáp án hoặc chấm điểm.

Theo tài liệu chính thức của Cloudflare, Clef xử lý được ngữ cảnh tối đa 65.536 token và nhận đầu vào dạng văn bản, JSON, hình ảnh, video. Clef Flash hướng đến các tác vụ cần độ trễ thấp. Cả hai mô hình tương thích với API Jev của Typesafe và SystemOne.

Dòng Clef phù hợp hơn với việc phân loại và chọn hướng xử lý trong quy trình làm việc của agent, thay vì thay thế LLM hội thoại. Agent có thể chọn hành động tiếp theo trong số các phương án định sẵn, sau đó kết nối với một LLM riêng để tạo phần giải thích hoặc thực hiện tác vụ tiếp theo.

Trong đánh giá nội bộ Decision Index do Cloudflare công bố, Clef đạt macro-F1 94,2 trong bài kiểm tra phân loại BANKING77, còn Jev đạt 79,7. Độ trễ yêu cầu trung vị lần lượt là 38,8 mili giây với Clef Flash, 209,3 mili giây với Clef và 524,1 mili giây với Jev. Đây là kết quả đánh giá riêng của Cloudflare.

Tài liệu Workers AI niêm yết giá đầu vào là 0,24 USD (khoảng 325 won) cho mỗi 1 triệu token với Clef và 0,09 USD (khoảng 122 won) với Clef Flash. Để so sánh tổng chi phí vận hành, cần cân nhắc thêm mức sử dụng, điều kiện lưu trữ và yêu cầu độ chính xác của từng tác vụ.

Cloudflare cũng giới thiệu dịch vụ tinh chỉnh bằng học tăng cường để điều chỉnh Clef cho phù hợp với công việc của khách hàng. Ban đầu, công ty sẽ hợp tác trực tiếp với khách hàng; về sau, Cloudflare cho biết sẽ xây dựng nền tảng tự phục vụ hỗ trợ toàn bộ quy trình từ thu thập dữ liệu đến tinh chỉnh và triển khai lại. Thông báo lần này gồm việc công khai các mô hình riêng và hỗ trợ tùy chỉnh cho doanh nghiệp.