ByteDance tích hợp AI xử lý đồng thời giọng nói và video vào Doubao

ByteDance(ByteDance) đã tích hợp mô hình AI song công toàn phần SeedRealtime, có khả năng xử lý đồng thời giọng nói, video và văn bản, vào ứng dụng Doubao(Doubao).

Tổ chức nghiên cứu AI của ByteDance là Seed(Seed) đã công bố SeedRealtime vào ngày 10. TechFlow cho biết mô hình này hợp nhất âm thanh, video và văn bản theo cấu trúc đầu cuối, đồng thời xử lý song song các khâu nhận diện, thấu hiểu, phán đoán và biểu đạt.

SeedRealtime hỗ trợ tương tác song công toàn phần, tức là có thể phán đoán mạch hội thoại ngay trong lúc nhận đầu vào mà không cần chờ người dùng nói xong. Chức năng chuyển lượt hội thoại được tích hợp trực tiếp bên trong mô hình, thay thế cho bộ phát hiện hoạt động giọng nói (VAD) bên ngoài. Theo đánh giá nội bộ của ByteDance, các lỗi về nhịp điệu hội thoại đã giảm một nửa so với cấu trúc xử lý tuần tự (cascade) trước đây.

Mô hình lần này là bản mở rộng sang lĩnh vực video từ mô hình giọng nói song công toàn phần Seeduplex(Seeduplex) được công bố hồi tháng 4. ByteDance cho biết Seeduplex đã giúp giảm một nửa tỷ lệ phản hồi sai và tỷ lệ ngắt lời sai trong môi trường nhiều tạp âm. Tỷ lệ AI chen ngang khi người dùng còn đang ngập ngừng giảm 40%, trong khi chỉ số độ trôi chảy của hội thoại cải thiện 12%.

Trước đó, báo đã đưa tin Doubao đã áp dụng tính năng đa phương thức thời gian thực, xử lý đồng thời giọng nói và màn hình, đồng thời chủ động cảnh báo lỗi thao tác. SeedRealtime là mô hình mở rộng chức năng của AI hội thoại vốn trước đây chỉ dừng ở việc tạo văn bản, sang cả gọi thoại thời gian thực, hiểu màn hình và nhận diện video.

Tuy nhiên, mối liên hệ trực tiếp giữa công bố lần này với thị trường tiền mã hóa, blockchain hiện chưa được xác nhận. Nội dung ByteDance công bố không bao gồm kế hoạch phát hành token hay kết nối với mạng lưới blockchain nào. Báo cáo kỹ thuật, quy mô tham số, trọng số mã nguồn mở cũng như API dành cho nhà phát triển bên ngoài cũng chưa được công bố.