Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

ALIVE: AI video quản lý nhiều yêu cầu, hỏi thêm khi thiếu thông tin

Cốc và màn hình máy tính xách tay đặt trước webcam / TokenPost.ai

Mô hình ngôn ngữ video ALIVE có thể quản lý nhiều yêu cầu của người dùng theo thời gian thực và đặt câu hỏi bổ sung khi thiếu thông tin. Mô hình được thiết kế để gửi thông báo khi điều kiện người dùng đặt ra xuất hiện trên màn hình, mà không cần người dùng yêu cầu thêm.

Nhóm nghiên cứu thuộc Đại học Thanh Hoa (Tsinghua University), Đại học Bắc Kinh (Peking University) và ByteDance giới thiệu ALIVE trong bài báo trên arXiv, công bố lúc 1 giờ 35 ngày 17 (giờ Hàn Quốc). Nghiên cứu tập trung vào công nghệ quan sát video đầu vào và quyết định thời điểm phản hồi, không phải tạo video.

Bài báo cho biết các mô hình video trực tuyến hiện nay thường trả lời từng câu hỏi riêng lẻ, dù liên tục theo dõi luồng video. ALIVE tập trung duy trì yêu cầu của người dùng như một tác vụ đang diễn ra, thay vì xử lý mỗi yêu cầu như một câu hỏi đơn lẻ.

Người dùng có thể yêu cầu mô hình theo dõi một cảnh hoặc điều kiện cụ thể. Nếu hướng dẫn thay đổi, họ có thể sửa hoặc hủy tác vụ đang chạy. Mô hình cũng được thiết kế để quản lý nhiều yêu cầu cùng lúc.

ALIVE xác định liệu đã có đủ bằng chứng từ video để trả lời hay chưa, rồi quyết định thời điểm phản hồi. Nếu thiếu thông tin, mô hình có thể hỏi người dùng giải thích thêm hoặc yêu cầu họ đưa thông tin cần thiết lên màn hình. Mô hình cũng có thể trì hoãn câu trả lời cho đến khi có đủ căn cứ.

Mô hình nền tảng của ALIVE là Qwen3-VL-8B-Instruct. Nhóm nghiên cứu lần lượt áp dụng fine-tuning có giám sát theo phương pháp đối chiếu và học tăng cường.

Ở giai đoạn đầu, mô hình học khi nào nên trả lời hoặc chờ, cũng như hình thức phản hồi phù hợp. Nhóm dùng 288.436 ví dụ tương tác cho quá trình fine-tuning có giám sát.

Ở giai đoạn thứ hai, nhóm tinh chỉnh khả năng phán đoán và trả lời qua các cuộc hội thoại gồm nhiều lượt. Tập dữ liệu học tăng cường có 3.523 ví dụ tương tác.

Nhóm nghiên cứu cũng dùng một mô hình đa phương thức ngoại tuyến riêng để tạo dữ liệu huấn luyện. Theo nhóm, mô hình này xác định các thời điểm trong video làm căn cứ trả lời, tạo hội thoại rồi kiểm tra chất lượng.

Nhóm báo cáo ALIVE đạt điểm tổng hợp cao nhất trong số các mô hình được so sánh trên 4 bộ benchmark công khai. Điểm của mô hình lần lượt là 68,9% trên OVO-Bench, 76,0% trên StreamingBench, 40,3% trên IPIBench và 51,6 trên ProactiveVideoQA.

Ba điểm đầu là độ chính xác, còn điểm ProactiveVideoQA dùng chỉ số PAUC. Do thước đo khác nhau, không thể so sánh trực tiếp độ lớn của các con số này.

Để đánh giá riêng khả năng đặt câu hỏi bổ sung, nhóm tự xây dựng FSI-Bench với 1.235 tình huống. Bộ này đánh giá 154 đề xuất theo dõi, 446 yêu cầu cung cấp thêm thông tin, 459 yêu cầu người dùng thực hiện hành động và 176 trường hợp trả lời ngay.

Trên FSI-Bench, độ chính xác tổng thể của ALIVE đạt 52,8% theo hình thức lựa chọn rõ ràng và 54,0% theo hình thức trả lời tự do. Điểm chuẩn của con người cho hình thức trả lời tự do là 88,5%, theo bài báo.

FSI-Bench do nhóm nghiên cứu xây dựng; việc chấm độ chính xác câu trả lời sử dụng một mô hình ngôn ngữ lớn cố định làm giám khảo. Vì vậy, khi diễn giải kết quả tự đánh giá này, cần tính đến cả bộ dữ liệu và phương thức chấm điểm.

Một số kết quả của các mô hình so sánh còn thiếu trên các benchmark công khai. Bài báo cho biết nhóm đã điều chỉnh những mô hình không có kết quả chính thức để phù hợp với mã đánh giá, nhưng không đưa ra dữ liệu tái lập độc lập kết quả của nhóm nghiên cứu.

Nhóm phát triển đã công khai kho GitHub và checkpoint ALIVE-8B. Dữ liệu huấn luyện và FSI-Bench được ghi là “coming soon” trong kho. Bản demo giọng nói chạy cục bộ cần Linux, Python 3.12 và 2 GPU; hệ thống dùng các mô hình riêng cho nhận dạng và tổng hợp giọng nói.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1