Giảm 60% chi phí: Mixedbread ra mắt AI tìm kiếm Toast 1

Mixedbread đã ra mắt Toast 1, một AI đại lý (agent) tìm kiếm chuyên trách việc thu thập dữ liệu cho các mô hình ngôn ngữ lớn (LLM). Đây là sản phẩm tách riêng vai trò tìm tài liệu và chọn nguồn tin cần thiết ra khỏi các mô hình chính như GPT hay Claude, trước khi các mô hình này tạo câu trả lời.

BlockBeats đưa tin Mixedbread đã mở Toast 1 dưới dạng API, cho phép gắn vào các agent khác để giao phó việc tìm kiếm và thu thập dữ liệu. Khung tìm kiếm (search framework) được công bố dưới dạng mã nguồn mở, nhưng trọng số mô hình (model weights) vẫn chưa được công khai.

Trọng tâm của Toast 1 không phải là tạo câu trả lời mà là tìm kiếm. Thay vì để mô hình chính xử lý câu hỏi người dùng tự đi tìm dữ liệu, Toast 1 sẽ lọc ra tài liệu và nguồn cần thiết trước, rồi chuyển kết quả cho mô hình chính sử dụng. Cách thiết kế này được cho là nhắm vào thực tế rằng chi phí và chất lượng phản hồi của các dịch vụ AI tạo sinh phụ thuộc rất nhiều vào giai đoạn tìm kiếm.

Mixedbread cho biết chất lượng tìm kiếm của Toast 1 đã tiệm cận các mô hình đóng hàng đầu, trong khi vẫn có lợi thế về tốc độ và giá cả. Trong bài kiểm tra với cơ sở tri thức pháp lý của Harvey, sau khi Toast 1 đảm nhận khâu tìm kiếm, điểm số câu trả lời của GPT-5.6 Sol được giữ nguyên, còn tổng chi phí giảm hơn 60%.

Trong đánh giá Databricks OfficeQA Pro V2, tổ hợp GPT-5.6 Sol và Toast 1 đạt 70%. Cùng bộ dữ liệu này, tổ hợp Claude Fable 5 và Genie đạt 60%, trong khi chi phí của tổ hợp Toast 1 chưa bằng một nửa mức đó.

Tài liệu chính thức của Mixedbread cũng mô tả công dụng tương tự của các agent tìm kiếm. Trong tài liệu Agentic Search, Mixedbread giới thiệu cách chia một câu hỏi khó xử lý bằng một lần tìm kiếm duy nhất thành nhiều lượt tìm kiếm con, sau đó đánh giá lại kết quả để chọn ra ứng viên cuối cùng. Công ty giải thích tính năng này có thể chậm hơn và tốn chi phí hơn tìm kiếm thông thường, nhưng phù hợp với những truy vấn đòi hỏi chất lượng cao.

Việc ra mắt lần này cho thấy cuộc cạnh tranh giữa các mô hình AI đang mở rộng từ khả năng tạo câu trả lời sang hạ tầng tìm kiếm và tạo sinh tăng cường truy xuất (RAG). Tại Hàn Quốc cũng đã xuất hiện trường hợp áp dụng tìm kiếm dạng agent vào việc tìm sản phẩm, cho thấy sự quan tâm ngày càng lớn đối với cách AI diễn giải điều kiện và ngữ cảnh để thu hẹp danh sách lựa chọn.

Khi các mô hình ngôn ngữ lớn xử lý càng nhiều dữ liệu đòi hỏi xác minh nguồn gốc như tài liệu doanh nghiệp, hồ sơ pháp lý hay báo cáo tài chính, hiệu năng và cơ cấu chi phí của lớp tìm kiếm chuyên trách sẽ càng ảnh hưởng trực tiếp đến chất lượng dịch vụ. Tuy nhiên, do trọng số mô hình của Toast 1 chưa được công bố, các nhà phát triển bên ngoài vẫn gặp hạn chế khi muốn tự kiểm chứng hoặc chỉnh sửa mô hình trong môi trường riêng.

Nguồn xác minh: BlockBeats bản gốc https://www.theblockbeats.info/flash/361613, tài liệu chính thức của Mixedbread https://www.mixedbread.com/docs/stores/search/agentic-search