Gemini 4 Argon đạt 99,5 điểm trong bài kiểm tra xử lý bản chép lời

Gemini 4 Argon của Google đạt 99,5 điểm trong bài kiểm tra xử lý bản chép lời theo chỉ dẫn, cao nhất trong hơn 50 mô hình được AssemblyAI so sánh.

AssemblyAI công bố kết quả Voice Standard Bench ngày 15 tháng 10. Gemini 4 Argon được cung cấp trên LLM Gateway của AssemblyAI từ ngày 13 tháng 10.

Điểm số là trung bình của kết quả 100 điểm ở đoạn âm thanh dài 30 giây và 99 điểm ở đoạn dài 2 phút. Số liệu được ghi nhận trên điểm cuối LLM Gateway Models ngày 14 tháng 10.

Đây không phải bài kiểm tra nhận dạng giọng nói để chuyển âm thanh thành văn bản. Bài đánh giá đo khả năng mô hình làm theo các chỉ dẫn bằng lời có trong văn bản được tạo ra sau bước nhận dạng giọng nói.

Ở mỗi độ dài 30 giây và 2 phút, bài kiểm tra sử dụng 20 mẫu tổng hợp. Kết quả do mô hình tạo ra được đối chiếu tự động với đáp án đã xác định trước.

Phương pháp đánh giá nêu các tiêu chí chấm điểm gồm mức độ trùng khớp hoàn toàn, tỷ lệ lỗi từ, cách xử lý dấu câu và chữ hoa, cùng độ chính xác khi thực hiện lệnh định dạng. Bài kiểm tra xem mô hình có đưa các chỉ dẫn bằng lời như “dấu phẩy”, “đoạn mới” hay “viết hoa toàn bộ” vào văn bản hay không.

Xử lý bản chép lời là một trong bốn nhiệm vụ của Voice Standard Bench. Ba nhiệm vụ còn lại là trích xuất thông tin, tóm tắt và hiệu đính văn bản. Bài xử lý bản chép lời dùng câu tổng hợp có đáp án cố định, còn các nhiệm vụ khác sử dụng bản ghi cuộc gọi thực tế.

Vì vậy, 99,5 điểm không phải điểm tổng hợp của cả bốn nhiệm vụ, cũng không phản ánh độ chính xác nhận dạng giọng nói. Con số này cũng không thể được xem là thước đo hiệu suất nhận dạng giọng nói tiếng Hàn.

Thứ hạng về điểm số và tốc độ xử lý khác nhau. Thời gian phản hồi trung vị của Gemini 4 Argon là 2,0 giây với đầu vào dài 30 giây và 2,6 giây với đầu vào dài 2 phút.

Qwen3.5 4B Fast lần lượt mất 0,3 giây và 0,6 giây với hai độ dài đầu vào tương ứng. Mô hình phản hồi nhanh hơn, nhưng đạt 78,0 điểm ở bài xử lý bản chép lời, thấp hơn Gemini 4 Argon.

Theo mức phí do AssemblyAI công bố cho mỗi giờ âm thanh, Gemini 4 Argon có giá 0,0576 USD (khoảng 77 won), GPT-6 Luna là 0,0035 USD (khoảng 5 won) và Qwen3.5 4B Fast là 0,0026 USD (khoảng 3 won). Phần quy đổi sang won sử dụng tỷ giá 1 USD = 1.342,26 won ngày 28 tháng 10.

GPT-6 Luna đạt 96,0 điểm trong bài xử lý bản chép lời. Mức phí nêu trên không phải phí nhận dạng giọng nói; đây là chi phí sử dụng mô hình xử lý văn bản được quy đổi theo thời lượng âm thanh.

Trước đó, TokenPost đưa tin kết quả đánh giá Gemini 4 Argon về lập trình và các tác vụ thực tế còn trái chiều. Khác với các công việc trong bài viết trước, đánh giá lần này chỉ tập trung vào xử lý bản chép lời.

Do bài đánh giá chỉ giới hạn ở hai độ dài đầu vào và các câu tổng hợp, chưa thể kết luận điểm số sẽ tương tự với bản ghi thực tế hoặc chỉ dẫn của từng dịch vụ. Đặc biệt, kết quả này không đủ để xác định hiệu suất trong môi trường sử dụng thực tế.

AssemblyAI xem kết quả công khai là điểm khởi đầu để chọn mô hình ứng viên và khuyến nghị thử nghiệm lại bằng bản ghi cùng chỉ dẫn trong môi trường sử dụng thực tế. Trang kết quả sẽ được cập nhật khi có mô hình mới được thêm vào LLM Gateway.