Liquid AI công bố codec âm thanh streaming 73,6 triệu tham số

Liquid AI công bố LiquidCodec, codec âm thanh streaming có 73,6 triệu tham số, vào ngày 12. Codec này được dùng làm bộ mã hóa token âm thanh cho LFM3-Audio-2B và LFM3-Omni-2B.

Blog kỹ thuật của Liquid AI mô tả quy mô codec ở mức khoảng 74 triệu tham số. Model card trên Hugging Face ghi con số chính xác là 73,6 triệu và nêu giấy phép “lfm1.0”. Người dùng cần kiểm tra riêng các điều khoản giấy phép để xác định phạm vi sử dụng thương mại.

LiquidCodec chuyển giọng nói thành các token rời rạc để mô hình AI xử lý, rồi khôi phục âm thanh từ token. Codec gồm bộ mã hóa, có nhiệm vụ chia nhỏ âm thanh đầu vào, và bộ giải mã, chuyển token trở lại thành âm thanh.

Codec nhận âm thanh đầu vào ở tần số 24 kHz, với tốc độ 12,5 khung hình mỗi giây. Ví dụ sử dụng trong model card đưa ra 12 codebook cho mỗi khung hình.

Mỗi khung hình cách nhau 80 mili giây. Chỉ riêng con số này không cho biết thời gian phản hồi của toàn bộ dịch vụ.

Liquid AI từng sử dụng codec bên ngoài Mimi trong các mô hình âm thanh trước đây. Công ty cho biết họ phát triển codec riêng lần này để chủ động điều chỉnh chất lượng token âm thanh và tốc độ tạo âm thanh.

Thiết kế cốt lõi sử dụng lượng tử hóa vô hướng hữu hạn theo nhóm (GFSQ). Liquid AI cho biết phương pháp này được thiết kế để giảm sự phụ thuộc tuần tự giữa các codebook, qua đó cho phép dự đoán song song các token trong cùng một khung hình.

Codec được tiền huấn luyện trên 264.000 giờ âm thanh thu thập từ 107 ngôn ngữ. Liquid AI công bố số ngôn ngữ và tổng thời lượng âm thanh được dùng trong quá trình huấn luyện.

Công ty cho biết sau đó đã tinh chỉnh mô hình bằng 55.000 giờ âm thanh chất lượng cao. Liquid AI mô tả đây là bước nhằm cải thiện chất lượng khôi phục giọng nói.

Thử nghiệm tốc độ được thực hiện trên MacBook Pro trang bị Apple M4 Max, dùng một luồng CPU và độ chính xác FP32. Trong điều kiện này, tốc độ mã hóa đạt khoảng 361 lần thời gian thực, còn tốc độ giải mã đạt khoảng 87 lần.

Đây là kết quả thử nghiệm của công ty về tốc độ xử lý codec. Kết quả không khẳng định tốc độ tương tự trên thiết bị khác hoặc trong toàn bộ dịch vụ thực tế.

Liquid AI cũng tự thực hiện các bài kiểm tra chất lượng. Công ty cho biết codec đạt kết quả tốt nhất trong số các sản phẩm được so sánh ở chỉ số ViSQOL về chất lượng khôi phục giọng nói và khoảng cách mel trên 8 bộ dữ liệu thử nghiệm.

Ở cả 8 bộ dữ liệu, UTMOSv2, chỉ số đánh giá độ tự nhiên của giọng nói tổng hợp, đều đạt mức cao nhất. Với WER và CER, các chỉ số đo độ rõ của lời nói, codec có kết quả tốt hơn trong 4 trên 8 bộ dữ liệu.

Như vậy, công bố của công ty không cho thấy codec dẫn đầu ở mọi tiêu chí đánh giá. Các kết quả về tốc độ và chất lượng đều đến từ thử nghiệm do Liquid AI công bố, không phản ánh hiệu năng trên thiết bị hoặc điều kiện khác.

Trước đó, TokenPost đã đưa tin về hiệu năng của các mô hình AI chạy trực tiếp trên thiết bị của Liquid AI. Công bố lần này trình bày cấu trúc của bộ mã hóa token âm thanh dùng trong nhóm mô hình đó cùng kết quả thử nghiệm nội bộ của công ty.