NVIDIA ra mắt mô hình phiên âm giọng nói hỗ trợ 40 ngôn ngữ

NVIDIA (NVDA) đã ra mắt Nemotron 3.5 Transcribe, mô hình trọng số mở có thể phiên âm giọng nói trong bản ghi âm bằng 40 ngôn ngữ, trong đó có tiếng Hàn. Mô hình xử lý phiên âm, dịch thuật, phân biệt người nói và trả lời câu hỏi về nội dung ghi âm.

Trong thông báo chính thức ngày 28, NVIDIA cho biết người dùng có thể đưa bản ghi âm cùng chỉ dẫn bằng văn bản vào mô hình. Nhà phát triển có thể nêu định dạng phiên âm, tên sản phẩm hoặc thuật ngữ chuyên ngành trong chỉ dẫn để mô hình đưa chúng vào kết quả.

Ngoài phiên âm và dịch thuật, mô hình có thể xử lý yêu cầu như trích xuất các quyết định được đưa ra trong cuộc họp. Tuy nhiên, khả năng hỏi đáp bằng giọng nói và hiểu chỉ dẫn bằng giọng nói mới chỉ được đánh giá bằng tiếng Anh.

Số ngôn ngữ được hỗ trợ khác nhau tùy tính năng. Mô hình phiên âm 40 ngôn ngữ, dịch giữa tiếng Anh và các ngôn ngữ khác với 31 ngôn ngữ, đồng thời hỗ trợ gắn lời nói với từng người trong 13 ngôn ngữ.

Mô hình xử lý bản ghi dài tối đa một giờ và phân biệt tối đa 8 người nói. Tính năng gắn lời nói với người nói chỉ chia bản ghi theo từng lượt phát biểu, không xác minh danh tính ngoài đời thực của họ.

Tiếng Hàn nằm trong danh sách ngôn ngữ được hỗ trợ phiên âm, dịch thuật và gắn lời nói với người nói. Theo thẻ mô hình, tỷ lệ lỗi ký tự (CER) của tiếng Hàn trên bộ đánh giá công khai FLEURS là 2,78%.

Đây là kết quả đo lỗi ở cấp ký tự trên bộ đánh giá FLEURS, không có nghĩa mô hình sẽ đạt độ chính xác tương tự với mọi bản ghi tiếng Hàn, chẳng hạn ghi âm cuộc họp hoặc phỏng vấn.

Nemotron 3.5 Transcribe khác với Nemotron 3.5 ASR, mô hình dành cho xử lý âm thanh phát trực tuyến theo thời gian thực. Mô hình ASR ra mắt hồi tháng 6 có 600 triệu tham số và xử lý giọng nói trực tiếp, còn Transcribe nhận tệp ghi âm làm đầu vào.

Nemotron 3.5 Transcribe có tổng cộng 34 tỷ tham số, trong đó khoảng 4,3 tỷ tham số được kích hoạt khi xử lý đầu vào. Hai con số lần lượt thể hiện quy mô toàn bộ mô hình và quy mô tham số được sử dụng trong quá trình xử lý thực tế.

Mô hình ngôn ngữ nền tảng là Nemotron 3.5 Lightning, kết hợp với các thành phần nhận dạng giọng nói và phân biệt người nói. Trước đó, NVIDIA đã ra mắt Nemotron 3.5 Lightning hướng đến các tác vụ tác nhân AI trong doanh nghiệp.

Trọng số được công bố trên Hugging Face ở các định dạng BF16, FP8 và NVFP4. Việc có thể tải trọng số về không đồng nghĩa chi phí triển khai và vận hành cũng được miễn.

Tài liệu mô hình sử dụng giấy phép OpenMDW-1.1. Khi phân phối lại, người dùng phải tuân thủ các điều kiện như công bố giấy phép và ghi rõ nguồn.

Danh mục công khai của bộ dữ liệu giọng nói đa ngôn ngữ Granary v2 được phát hành cùng mô hình ghi nhận 48 ngôn ngữ, 16 kho ngữ liệu nguồn và tổng thời lượng 463.062 giờ. NVIDIA giới thiệu thông tin liên quan trên blog kỹ thuật.

Con số về thời lượng này được ghi trong danh mục công khai của Granary v2, không phải tổng thời lượng âm thanh mà mô hình mới đã sử dụng để huấn luyện. Người dùng cần tự thu thập âm thanh gốc theo giấy phép của từng nguồn dữ liệu.

Thẻ mô hình lưu ý cần đánh giá riêng với bản ghi dài, lời nói chồng lấn, tiếng ồn, tên riêng và tình huống trộn nhiều ngôn ngữ. Hiệu năng khi sử dụng thực tế cần được xem xét theo điều kiện ghi âm và đặc điểm của từng ngôn ngữ.