R2T2 đạt tỷ lệ lỗi trung bình 5,76% ở 160 ms, FLEURS tiếng Hàn ghi nhận 7,52%

Nhóm nghiên cứu của NetEase Youdao đã công bố mô hình nhận dạng giọng nói trực tuyến Confucius4-R2T2. Với khoảng chia âm thanh 160 ms và thiết lập U=1, tỷ lệ lỗi trung bình trên 13 bộ đánh giá tiếng Anh và tiếng Trung là 5,76%. U là số token tạm thời được giữ lại trước khi xuất kết quả; U=1 nghĩa là giữ lại một token.

Trong bài báo công bố ngày 4, nhóm nghiên cứu cho biết mô hình được thiết kế để chỉ xuất phần đầu câu sẽ không thay đổi khi âm thanh tiếp tục được đưa vào. Một khi đã xác nhận và xuất ra, câu đó sẽ không được chỉnh sửa dựa trên âm thanh đến sau.

Mức 5,76% là trung bình tính với trọng số như nhau cho 13 bộ đánh giá. Nghiên cứu dùng tỷ lệ lỗi từ (WER) cho tiếng Anh và tỷ lệ lỗi ký tự (CER) cho tiếng Trung. Đây không phải tỷ lệ gộp lỗi từ và lỗi ký tự của hai ngôn ngữ.

Trên một bộ đánh giá FLEURS tiếng Hàn, tỷ lệ lỗi ký tự là 7,52% trong cùng điều kiện 160 ms và U=1. Mô hình nền đạt 40,66%. Tiếng Hàn không nằm trong số ngôn ngữ được huấn luyện bổ sung, nên không thể khái quát kết quả này thành hiệu suất nhận dạng giọng nói tiếng Hàn nói chung.

Điều kiện đánh giá cũng cần được phân biệt. Mô hình chuyển lời nói tiếng Hàn thành văn bản của NVIDIA mà TokenPost từng đưa tin nhận đầu vào là tệp ghi âm, nên khó so sánh trực tiếp với R2T2, một mô hình xử lý âm thanh theo thời gian thực.

Mô hình nền của R2T2 là Qwen3-ASR-1.7B. Nhóm nghiên cứu đã dùng khoảng 1.500 giờ âm thanh tiếng Trung và tiếng Anh để huấn luyện bổ sung.

Mô hình giữ cố định bộ mã hóa âm thanh và bộ chiếu hiện có, đồng thời áp dụng phương pháp huấn luyện “tiền tố ổn định dài nhất” (LSP). LSP huấn luyện mô hình nhận diện phần đầu câu có thể giữ nguyên khi có thêm dữ liệu đầu vào, để mô hình ưu tiên xuất nội dung ổn định.

Thông thường, các hệ thống nhận dạng giọng nói trực tuyến hiển thị câu tạm thời khi âm thanh vẫn đang được truyền vào và có thể sửa phần trước đó theo ngữ cảnh đến sau. Với các hệ thống đã xử lý kết quả trung gian, câu được chỉnh sửa có thể cần được đưa vào xử lý lại.

Nhóm phát triển cho biết thiết kế này nhằm giảm việc xử lý lại trong các hệ thống dùng kết quả trung gian ngay lập tức, chẳng hạn như phụ đề, phiên dịch đồng thời và tác nhân giọng nói. Tuy nhiên, khả năng không chỉnh sửa câu và độ chính xác nhận dạng, tốc độ xuất kết quả là các chỉ số riêng biệt.

Ở cùng khoảng chia 160 ms, tỷ lệ lỗi trung bình của mô hình nền là 21,01%. R2T2 đạt 5,76% với U=1, thiết lập ưu tiên chất lượng nhận dạng, và 6,40% với U=0, thiết lập ưu tiên độ trễ.

Mô hình nền đạt 5,25% với thiết lập 2 giây và U=5, và 5,15% trong thiết lập ngoại tuyến, xử lý sau khi nhận toàn bộ âm thanh. Bài báo loại hai kết quả này khỏi xếp hạng so sánh về khả năng xuất kết quả ổn định. Nghiên cứu cũng lưu ý rằng ở thiết lập 2 giây, kết quả trung gian có thể được sửa đổi.

Trong bảng so sánh của bài báo, tỷ lệ lỗi trung bình tổng thể của R2T2 thấp hơn ba API thương mại được đưa vào đối chiếu. Tuy vậy, trên một số bộ đánh giá tiếng Trung, hai dịch vụ thương mại A và B không công khai tên có tỷ lệ lỗi thấp hơn R2T2. Bài báo cho biết các hệ thống này cần nhiều thời gian hơn để ổn định câu.

160 ms là khoảng cách giữa các đoạn âm thanh được đưa vào trong quá trình đánh giá. Độ trễ do bài báo tính toán dựa trên thời điểm câu được xác nhận trong âm thanh, không bao gồm thời gian chạy thực tế, chờ, truyền dữ liệu hay hiển thị trên màn hình. Nghiên cứu cũng chưa xác minh liệu mô hình có thể xử lý theo kịp tốc độ đầu vào trong môi trường vận hành thực tế hay không.

Mã nguồn và trọng số mô hình đã được công khai. Mã nguồn áp dụng Apache License 2.0, còn trọng số chịu sự điều chỉnh của NetEase Model Use License riêng.

Bài báo mô tả khoảng 1.500 giờ âm thanh dùng cho huấn luyện bổ sung là dữ liệu độc quyền (proprietary). Vì vậy, phạm vi công khai của mã nguồn và trọng số khác với phạm vi công khai của dữ liệu âm thanh huấn luyện.