Nemotron đạt 100 điểm ở bản chép lời 2 phút, thứ hạng LLM thay đổi theo độ dài

Trong bài benchmark hậu xử lý bản chép lời của AssemblyAI, so sánh hơn 50 mô hình ngôn ngữ lớn (LLM), mô hình đạt điểm trích xuất thông tin cao nhất thay đổi tùy độ dài bản chép lời. Ở đoạn 2 phút, Nemotron Lightning 3.5 30B A3B được ghi nhận 100 điểm.

Ngày 13 tháng 10 năm 2026, AssemblyAI công bố “Voice Standard Bench”. Benchmark này đánh giá các mô hình trong LLM Gateway qua bốn tác vụ: trích xuất thông tin, tóm tắt, hiệu đính văn bản và chỉnh lý bản chép lời.

Các mô hình nhận cùng bản chép lời và chỉ dẫn để so sánh chất lượng, thời gian phản hồi và chi phí cho mỗi giờ âm thanh. Cách đánh giá này xem xét nhiều tiêu chí về khả năng thực hiện các tác vụ hậu xử lý bản chép lời trong dịch vụ thực tế.

Benchmark không đánh giá độ chính xác của công nghệ nhận dạng giọng nói khi chuyển lời nói thành văn bản. Thay vào đó, benchmark xem xét khả năng mô hình tóm tắt, sắp xếp bản chép lời và trích xuất thông tin cần thiết.

Tại thời điểm kiểm tra ngày 29 tháng 10, bảng trích xuất thông tin trên trang công bố hiển thị GPT-5.6 Sol đạt 94 điểm ở đoạn 30 giây; Nemotron Lightning 3.5 30B A3B đạt 100 điểm ở đoạn 2 phút; GPT-6 Luna đạt 85 điểm ở đoạn 15 phút; và GPT-6.1 Sol đạt 85 điểm ở đoạn 60 phút. Điểm số tính trên thang 100.

Đây là các giá trị hiển thị trên trang tại thời điểm kiểm tra ngày 29 tháng 10, không phải kết quả của một lần chạy benchmark trong ngày đó. AssemblyAI lưu ý nội dung hiển thị trên trang kết quả có thể thay đổi khi có mô hình mới.

Tác vụ trích xuất thông tin được thiết kế để trả về JSON gồm người tham gia cuộc gọi, các việc cần làm, quyết định và thực thể như người, tổ chức, sản phẩm, ngày tháng. Trong mã kiểm định công khai, participants, action_items, decisions và entities là bốn trường cấp cao nhất bắt buộc.

Kể cả khi bản chép lời không nhắc đến một mục nào đó và mảng kết quả tương ứng để trống, mô hình vẫn phải giữ trường đó. Cả bốn trường đều phải có để vượt qua bước kiểm tra định dạng.

Đánh giá chất lượng xem kết quả trích xuất có căn cứ trong bản chép lời gốc hay không, đồng thời kiểm tra mô hình có bỏ sót việc cần làm, quyết định và thực thể đã được nhắc đến hay không. Tác vụ này không có danh sách thực thể đáp án được xác định trước.

Theo phương pháp của AssemblyAI, mỗi mốc 30 giây, 2 phút, 15 phút và 60 phút sử dụng 10 bản chép lời để đánh giá trích xuất thông tin. Cách đánh giá này khác với tác vụ chỉnh lý bản chép lời, vốn đối chiếu câu trả lời của mô hình với đáp án đã định sẵn bằng phương pháp máy móc.

Điểm chất lượng và thứ hạng tốc độ cũng không trùng nhau. Qwen3.5 4B Fast có thời gian phản hồi trung vị nhanh nhất ở đoạn 30 giây, với 0,28 giây, nhưng đạt 80 điểm chất lượng.

Cùng mô hình này được hiển thị với thời gian phản hồi 0,60 giây và 51 điểm ở đoạn 2 phút, cùng 1,49 giây và 33 điểm ở đoạn 15 phút. Bảng kết quả cũng trình bày riêng lỗi định dạng, trường hợp từ chối phản hồi, thời gian chờ quá hạn và tỷ lệ lỗi.

Trước đây, TokenPost từng đưa tin Gemini 4 Argon đạt 99,5 điểm trong tác vụ chỉnh lý bản chép lời của cùng benchmark. Kết quả đó thuộc tác vụ và phương pháp đánh giá khác với phần trích xuất thông tin lần này.

Tác vụ chỉnh lý bản chép lời chấm điểm máy móc trên dữ liệu tổng hợp có đáp án, còn tác vụ trích xuất thông tin đánh giá mức độ có căn cứ và đầy đủ bằng cách đối chiếu với bản chép lời cuộc gọi thực tế. Vì vậy, không thể so sánh trực tiếp điểm số của hai tác vụ để suy ra thứ hạng hiệu suất tổng thể của các mô hình.

AssemblyAI khuyến nghị khách hàng đánh giá lại các mô hình phù hợp bằng bản chép lời của chính mình, vì nội dung cuộc gọi, từ vựng và chỉ dẫn có thể khác dữ liệu benchmark. Công ty cho biết chênh lệch 2–3 điểm được xem là nhỏ.