Mistral ra mắt API theo định dạng Responses của OpenAI, nhà phát triển quản lý lịch sử hội thoại

Mistral AI cung cấp bản xem trước công khai API cho phép gọi các mô hình của hãng theo định dạng Responses của OpenAI. API không lưu trạng thái hội thoại trên máy chủ, vì vậy ứng dụng của nhà phát triển phải tự quản lý lịch sử trao đổi.

API sử dụng địa chỉ “/v1/responses”. Trong tài liệu chính thức, Mistral AI cho biết API hỗ trợ tạo văn bản, nhận hình ảnh và tài liệu đầu vào, gọi hàm và truyền phản hồi theo luồng. Hãng cũng cung cấp bộ công cụ phát triển chính thức cho Python và TypeScript.

Các tích hợp đã được xây dựng theo định dạng Responses có thể dùng để gọi mô hình Mistral. Tuy nhiên, việc cùng định dạng yêu cầu không đồng nghĩa các tính năng và phạm vi hỗ trợ đều giống nhau ở mọi mô hình.

Hình ảnh có thể được gửi bằng URL hoặc dữ liệu base64. Tệp có thể được truyền qua địa chỉ HTTPS, dữ liệu base64 hoặc mã định danh của tệp đã tải lên. Việc xử lý hình ảnh chỉ khả dụng trên các mô hình hỗ trợ tính năng thị giác.

Ngoài câu trả lời dạng văn bản thông thường, API có thể trả kết quả theo JSON hoặc theo cấu trúc JSON Schema. Cách này có thể dùng trong các ứng dụng cần xử lý phản hồi theo một định dạng dữ liệu định sẵn.

Khi bật truyền dữ liệu theo luồng, ứng dụng có thể nhận nội dung lần lượt trong lúc câu trả lời được tạo ra, thay vì phải chờ đến khi hoàn tất. API cũng hỗ trợ gọi hàm, nhưng việc thực thi hàm do chương trình của nhà phát triển đảm nhiệm, không phải mô hình.

Khi mô hình yêu cầu sử dụng một chức năng bên ngoài, ứng dụng sẽ kiểm tra hàm và các đối số, thực thi hàm rồi gửi kết quả lại cho mô hình. Tài liệu Mistral đưa ra ví dụ tra cứu trạng thái đơn hàng.

API không lưu trạng thái hội thoại giữa các yêu cầu. Để tiếp tục cuộc trò chuyện, ứng dụng của nhà phát triển cần lưu các tin nhắn trước đó cùng phản hồi của mô hình, rồi đưa chúng vào yêu cầu tiếp theo.

Phạm vi hỗ trợ các thiết lập suy luận khác nhau tùy theo mô hình. Ví dụ trong tài liệu Mistral sử dụng “mistral-large-4”; khi chọn mô hình khác, nhà phát triển được hướng dẫn chỉ định mức độ suy luận mà mô hình đó hỗ trợ.

Trước đó, Mistral AI đã huy động vốn vòng Series D trị giá 3 tỷ euro, do Samsung Electronics dẫn dắt. Khi ấy, công ty cho biết dự định dùng số vốn huy động được cho nghiên cứu và phát triển AI, năng lực tính toán, cơ sở hạ tầng và phát triển sản phẩm.