ElevenLabs ra mắt Cue, hỗ trợ căn chỉnh giọng nói bằng hơn 90 ngôn ngữ

ElevenLabs ngày 28 giới thiệu Cue, mô hình căn chỉnh bản thảo có sẵn với bản ghi âm theo từng ký tự.

Trong thông báo chính thức ngày 28, ElevenLabs cho biết Cue hỗ trợ hơn 90 ngôn ngữ. Mô hình được tích hợp vào các yêu cầu phiên âm của Scribe, đồng thời có thể sử dụng qua API Forced Alignment riêng.

Căn chỉnh cưỡng bức là quá trình đối chiếu bản thảo đã có với bản ghi âm để xác định thời điểm từng phần được nói. Công việc này khác với phiên âm, vốn chuyển âm thanh thành bản thảo mới.

Scribe chuyển lời nói thành văn bản, sau đó Cue gắn thời điểm bắt đầu và kết thúc cho từng ký tự hoặc từ. ElevenLabs nêu phụ đề, lồng tiếng và căn chỉnh thời gian lời bài hát là những trường hợp sử dụng.

Khi dùng API riêng, người dùng cần gửi cả tệp âm thanh lẫn bản thảo có sẵn. API trả về thời điểm bắt đầu và kết thúc theo từng ký tự, từng từ cùng giá trị ‘loss’ của quá trình căn chỉnh.

Tài liệu API mô tả ‘loss’ là mức mất mát căn chỉnh trung bình trên toàn bộ bản thảo, đồng thời là điểm tin cậy. Tài liệu không nói đây là chỉ số xác minh tính chính xác về mặt nội dung của bản thảo.

Hơn 90 ngôn ngữ là phạm vi hỗ trợ do công ty công bố. Một đánh giá so sánh riêng, dựa trên các bản ghi được tạo từ yêu cầu sử dụng thực tế, bao gồm 29 ngôn ngữ.

Trong đánh giá nội bộ, sai số thời gian trung bình trên toàn bộ bản ghi của Cue là 179 mili giây. Các công cụ mã nguồn mở được đưa vào so sánh có sai số từ 283 mili giây đến hơn 6.000 mili giây.

ElevenLabs cho biết Cue đạt sai số trung bình 57 mili giây với bản ghi tiếng Anh có lẫn tiếng ồn nền. Trong cùng điều kiện, các công cụ so sánh có sai số từ 65 đến 920 mili giây.

Công ty đánh giá mô hình Cue vốn căn chỉnh theo ký tự bằng tiêu chí ở cấp độ từ, đồng thời cho biết khó xây dựng bộ dữ liệu chuẩn hoàn toàn chính xác. Thông báo không nêu quy mô và thành phần mẫu đánh giá, cấu hình GPU cụ thể hay điều kiện tải xử lý.

ElevenLabs cho biết Cue căn chỉnh một giờ âm thanh trong khoảng 0,5 giây trên GPU dùng cho vận hành. Thời gian này cũng được đo trong môi trường riêng của công ty.

Cách xử lý một lần bất kể độ dài mà công ty mô tả vẫn chịu các giới hạn đầu vào API. Tài liệu API giới hạn kích thước tệp dưới 1 GB và cho biết API không hỗ trợ tách người nói. Tài liệu không nêu thời lượng âm thanh tối đa cụ thể.

Phiên âm, căn chỉnh thời gian và phân biệt người nói là những chức năng khác nhau trong xử lý giọng nói. Trong bài viết trước, TokenPost đưa tin mô hình phiên âm Gemini 3.5 Transcribe của Google hỗ trợ hơn 85 ngôn ngữ và có thể phân biệt tối đa 8 người nói; việc nhận diện từ 3 người nói trở lên được xếp vào giai đoạn thử nghiệm.