Doubao nâng cấp AI thời gian thực, hiểu được cả màn hình

Doubao, trợ lý AI của ByteDance, vừa bổ sung tính năng đa phương thức thời gian thực, xử lý đồng thời giọng nói và hình ảnh trên màn hình. Điểm cốt lõi là khả năng tương tác chủ động: hệ thống phát hiện thay đổi trên màn hình hoặc lỗi thao tác và chủ động thông báo trước khi người dùng đặt câu hỏi.

Seed, tổ chức nghiên cứu AI của ByteDance, công bố SeedRealtime vào ngày 5 và đã áp dụng lên ứng dụng Doubao. BlockBeats đưa tin rằng tính năng mới này xử lý đồng thời âm thanh và hình ảnh, giúp hiểu được cảnh mà người dùng đang nhìn thấy và đưa ra phản hồi tương ứng.

Nhờ SeedRealtime, người dùng có thể tìm đồ vật trước camera, kiểm tra quy trình thao tác hoặc đọc chữ hiển thị trên màn hình. Khi vật thể mục tiêu xuất hiện, màn hình thay đổi, hoặc người dùng thực hiện sai bước, hệ thống sẽ đưa ra thông báo mà không cần chờ câu hỏi.

Bản cập nhật lần này mở rộng tính năng của mô hình giọng nói thế hệ trước Seeduplex, công bố hồi tháng 4, sang lĩnh vực thị giác. Trong bài đăng trên blog chính thức ngày 9 tháng 4, Seed của ByteDance giới thiệu Seeduplex là mô hình giọng nói quy mô lớn song công toàn phần, xử lý đồng thời việc nghe và nói.

Tại thời điểm ra mắt, Seeduplex đã được áp dụng toàn diện lên ứng dụng Doubao. Seed của ByteDance cho biết công nghệ này giúp giảm một nửa tỷ lệ phản hồi sai và tỷ lệ ngắt nhầm trong môi trường âm thanh phức tạp, đồng thời giảm 40% tỷ lệ AI ngắt lời người dùng trong các tình huống phức tạp.

Song công toàn phần là phương thức tương tác xử lý đồng thời việc nghe và nói, khác với phương thức bán song công phải chờ đối phương nói xong. SeedRealtime kết hợp thêm khả năng hiểu màn hình theo thời gian thực, được thiết kế để trực tiếp diễn giải bối cảnh như đồ vật trên bàn, màn hình thao tác, biển báo hay quy trình lắp ráp.

Xu hướng phát triển trợ lý AI có khả năng hiểu màn hình không chỉ giới hạn ở các nền tảng Trung Quốc. Apple(AAPL) cũng đưa ra tính năng nhận diện màn hình và hiểu bối cảnh cá nhân trong quá trình cải tổ Siri. Cuộc cạnh tranh giữa các trợ lý AI đang mở rộng từ phản hồi bằng giọng nói sang khả năng hiểu thị giác thời gian thực và hỗ trợ thao tác.

Khi tính năng nhập liệu hình ảnh thời gian thực được bổ sung, cách thức xử lý dữ liệu cá nhân cũng trở thành vấn đề cần lưu ý. Chính sách bảo mật của Doubao nêu rõ, hệ thống chỉ xử lý nội dung quay từ camera hoặc màn hình chia sẻ sau khi người dùng tự bật cuộc gọi video hoặc chia sẻ màn hình, còn các quyền nhạy cảm như micro, thư viện ảnh, camera đều cần được người dùng đồng ý rõ ràng trước khi sử dụng.

Chưa xác nhận được mối liên hệ trực tiếp giữa tính năng này với thị trường tiền mã hóa và blockchain. Nội dung mà ByteDance công bố cũng chỉ tập trung vào tính năng tương tác giọng nói và màn hình của trợ lý AI.