Jev trả về xác suất thay vì văn bản, TypeSafe AI công bố mô hình tự động hóa

TypeSafe AI đã công bố Jev, mô hình trí tuệ nhân tạo (AI) trả về xác suất và phán đoán có cấu trúc thay vì văn bản, hướng đến các tác vụ tự động hóa như phân loại email, định tuyến yêu cầu và đánh giá rủi ro.

TypeSafe AI cho biết ngày 15 tháng 9 đã phát hành Jev, mô hình 'System One' đầu tiên, dưới dạng truy cập sớm. Thay vì tạo câu tự do, Jev trả về các lựa chọn, điểm số và giá trị boolean do nhà phát triển định trước, cùng xác suất và độ tin cậy của từng phán đoán.

Jev không được thiết kế để viết mã hoặc trả lời hội thoại. Dựa trên trạng thái và câu hỏi đầu vào, mô hình phán đoán việc có phê duyệt hay không, mức độ rủi ro và hệ thống xử lý. Mô hình cũng hỗ trợ lấy mẫu song song để xử lý nhiều câu hỏi cùng lúc.

Các mô hình ngôn ngữ lớn (LLM) hiện nay được thiết kế để tạo ngôn ngữ tự nhiên, vì vậy phần mềm thường cần phân tích cú pháp và xác minh bổ sung mới có thể sử dụng kết quả. Jev giới hạn định dạng đầu ra, qua đó kết nối trực tiếp kết quả phân loại, chấm điểm và xác minh với chương trình.

Tên Jev bắt nguồn từ 'nghịch lý Jevons' của nhà kinh tế học thế kỷ 19 William Stanley Jevons. TypeSafe AI giải thích rằng tên gọi này phản ánh ý tưởng khi chi phí sử dụng trí tuệ giảm, mức độ sử dụng phần mềm thông minh có thể tăng lên.

TypeSafe AI cho biết đã áp dụng phương pháp học riêng mang tên 'học tăng cường cho quyết định được hiệu chỉnh (RLCD)' vào Jev. Công ty cho rằng thời gian phản hồi của mô hình là 70~500 mili giây và trong một số tác vụ System One, mô hình có thể nhanh hơn 40~200 lần so với các mô hình tiên phong hiện có.

Đánh giá quy trình làm việc do TypeSafe AI công bố trên trang chủ cho thấy Jev nhanh hơn 193,6 lần và rẻ hơn 444,6 lần so với các mô hình hiện có. Đánh giá so sánh độ chính xác, chi phí và thời gian xử lý của từng mô hình trong bốn quy trình mẫu, gồm ứng phó sự cố bảo mật, dịch vụ khách hàng và xử lý hóa đơn.

Tuy nhiên, đây không phải kết quả xác minh quy mô lớn của một tổ chức độc lập mà dựa trên điều kiện đánh giá do công ty thiết kế. TypeSafe AI cho biết thay vì sử dụng các bài benchmark phổ biến, công ty chia nhỏ các tác vụ tự động hóa thực tế để đánh giá; các LLM được dùng để so sánh cũng được áp dụng lớp bao bọc cho đầu ra có cấu trúc.

Giá dịch vụ là 0,042 USD cho mỗi 1 triệu token đầu vào (khoảng 58 won). Token đầu ra không bị tính phí riêng. Trên Vercel AI Gateway, mức giá được niêm yết là 0,04 USD cho mỗi 1 triệu token đầu vào (khoảng 55 won).

Vercel giới thiệu Jev là mô hình phán đoán có cấu trúc để phần mềm có thể trực tiếp sử dụng, với các ứng dụng chính gồm phân loại, định tuyến và xác minh. Tài liệu của Pydantic AI cũng mô tả Jev trả về phán đoán có cấu trúc và xác suất đối với dữ liệu đầu vào thay vì văn bản tự do.

TypeSafe AI giải thích rằng Jev chỉ trả về các kết quả được định nghĩa có cấu trúc nên không tạo ra lỗi kiểu dữ liệu. Tuy nhiên, điều khoản dịch vụ của công ty nêu rõ hệ thống có thể đưa ra kết quả không chính xác hoặc có lỗi, đồng thời người dùng phải tự đánh giá kết quả một cách độc lập.

Vì vậy, tuyên bố 'không có hiện tượng bịa thông tin' nên được hiểu là mô hình không tạo văn bản tự do hoặc lỗi định dạng, chứ không có nghĩa việc diễn giải đầu vào hay phán đoán phân loại luôn chính xác.

Phản ứng của các nhà phát triển vẫn trái chiều. Một số quan tâm đến chi phí thấp và tốc độ xử lý nhanh, trong khi ý kiến khác cho rằng cần kiểm chứng liệu kết quả TypeSafe AI đưa ra có thể tái hiện trong các kho mã thực tế hay không.

Pranit Sharma, kỹ sư phần mềm tại Vercel, cho biết sau khi thay thế mô hình OpenAI bằng Jev trong tác vụ phân loại đánh giá an toàn, tốc độ nhanh hơn 5~18 lần và độ chính xác cao hơn. Môi trường so sánh và toàn bộ dữ liệu gốc về độ chính xác chưa được công bố.

Nikhil Mudholkar, Giám đốc công nghệ tại Bryo AI, nói trong bài kiểm tra phân loại email doanh nghiệp, Gemini có độ chính xác nhỉnh hơn nhưng đắt hơn Jev 10~20 lần. Armin Ronacher, Giám đốc công nghệ tại Earendil, đánh giá đầu ra xác suất của Jev có thể được dùng để phân định những trường hợp cần con người xem xét, nhưng lưu ý người dùng phải tự xác định tiêu chí loại bỏ các phán đoán có xác suất thấp.

Diogo Almeida, nhà sáng lập TypeSafe AI, cho biết ông từng tham gia nghiên cứu tại OpenAI nhằm nâng cao khả năng tuân thủ chỉ dẫn và hội thoại của mô hình ngôn ngữ, đồng thời nghiên cứu này đã trở thành nền tảng cho ChatGPT. Kiến trúc, quy mô dữ liệu huấn luyện và kết quả benchmark tiêu chuẩn của Jev chưa được công bố. Khả năng hiệu suất và chi phí do công ty đưa ra có được duy trì trong môi trường tự động hóa thực tế vẫn cần được kiểm chứng thêm.