Voxtral Mini xếp thứ 2 về phân tách người nói, Voxtral Small đứng thứ 4

Mô hình chuyển giọng nói thành văn bản Voxtral Mini Transcribe 3 của Mistral AI xếp thứ 2 trong đánh giá phân tách người nói, trong khi Voxtral Small Transcribe 3 xếp thứ 4 trong số 9 mô hình.

Voice Arena công bố kết quả đánh giá hai mô hình vào ngày 22. Bài đánh giá đo tỷ lệ lỗi phân tách người nói (DER) trên 139 cuộc hội thoại tiếng Anh đã được con người kiểm tra.

Bộ dữ liệu gồm 115 cuộc trò chuyện trực tiếp và 24 cuộc gọi trực tuyến. Thay vì dùng bản ghi âm đọc theo kịch bản, đánh giá so sánh khả năng nhận diện người nói trên các cuộc hội thoại thực tế.

Đơn vị đánh giá không cung cấp trước số người tham gia cho các mô hình và cũng không chỉnh sửa riêng các tệp ghi âm. Đánh giá không áp dụng khoảng dung sai khi xác định thời điểm bắt đầu và kết thúc của lời nói.

Phân tách người nói không chỉ chuyển giọng nói thành văn bản mà còn xác định ai nói vào thời điểm nào. DER tính đến thời lượng bỏ sót lời nói, nhận nhầm đoạn không có lời nói thành tiếng nói và gán sai người nói; chỉ số càng thấp thì số lỗi càng ít.

Kết quả giữa hai mô hình thay đổi theo môi trường ghi âm. Trong hội thoại trực tiếp, Mini đạt DER 40,6% và Small đạt 41,5%. Với cuộc gọi trực tuyến, Small đạt 39,1%, thấp hơn mức 39,5% của Mini.

Vì vậy, thứ hạng tổng thể không phản ánh đầy đủ chênh lệch giữa hai mô hình trong mọi môi trường ghi âm. Mini có kết quả tốt hơn ở hội thoại trực tiếp, còn Small có tỷ lệ lỗi thấp hơn một chút trong cuộc gọi trực tuyến.

Cả hai mô hình đều xác định chính xác số người tham gia trong 83,5% trường hợp. Đây là phép đo khác với DER, vốn đánh giá việc gán đúng người nói cho từng đoạn lời thoại.

Trong tổng số lỗi phân tách người nói của Mini, 82% đến từ việc bỏ sót lời nói. Các đoạn hai người nói cùng lúc cũng là tình huống gây khó khăn cho cả hai mô hình.

Khả năng phân tách người nói và khả năng chép lời cần được đánh giá riêng. Tỷ lệ lỗi từ (WER) đo mức độ khác biệt giữa từ được nhận diện và đáp án đúng, nên không thể so sánh trực tiếp với DER.

Trong đánh giá chuyển giọng nói thành văn bản không theo thời gian thực của Artificial Analysis, AA-WER là trung bình có trọng số trên ba bộ dữ liệu. AA-AgentTalk chiếm 50%, còn VoxPopuli-Cleaned-AA và Earnings22-Cleaned-AA mỗi bộ chiếm 25%. Tổng thời lượng âm thanh đánh giá khoảng 8 giờ.

Theo kết quả đánh giá của Artificial Analysis, Mini đạt AA-WER 2,2%, xếp thứ 5; Small đạt 2,1%, xếp thứ 3. Trong đánh giá riêng này, Small có tỷ lệ lỗi nhận diện từ thấp hơn.

Mistral ra mắt dòng sản phẩm Voxtral 3 vào ngày 20. Mini có 4 tỷ tham số và hỗ trợ chuyển lời nói thành văn bản theo lô. Trước đó, TokenPost đã đưa tin về việc Mistral ra mắt mô hình giọng nói và mức phí chuyển lời nói thành văn bản.

Theo thông báo sản phẩm của Mistral, API chuyển lời nói thành văn bản theo lô có giá 0,0035 USD/phút (khoảng 4,64 won) với Mini và 0,004 USD/phút (khoảng 5,31 won) với Small. Hai mô hình cho kết quả khác nhau giữa các đánh giá phân tách người nói và nhận diện từ.

Mistral cho biết các mô hình chuyển lời nói thành văn bản hỗ trợ hơn 50 ngôn ngữ, trong đó đánh giá đa ngôn ngữ nội bộ có tiếng Hàn. Tuy nhiên, đánh giá phân tách người nói lần này của Voice Arena chỉ sử dụng hội thoại tiếng Anh, nên thứ hạng trên không cho biết hiệu năng phân tách người nói bằng tiếng Hàn.