Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

AURA 2.0 với 9 tỷ tham số có thể chủ động bắt chuyện từ video

Bánh xe đạp được đánh dấu bằng hình chữ nhật trên màn hình máy tính xách tay / TokenPost.ai

AURA 2.0, mô hình trí tuệ nhân tạo (AI) có thể tự chọn cảnh đáng trò chuyện trong video và mở lời mà không cần người dùng đặt câu hỏi, đã được nhóm nghiên cứu từ Huawei Research, CUHK MMLab và Đại học Khoa học và Công nghệ Hồng Kông (The Hong Kong University of Science and Technology, HKUST) công bố. Mô hình bổ sung khả năng gọi công cụ bên ngoài và định vị đối tượng trên màn hình cho tính năng hỏi đáp video theo thời gian thực.

Trong báo cáo kỹ thuật nộp ngày 13 theo giờ Hàn Quốc, nhóm nghiên cứu nêu ba tính năng chính: hội thoại do mô hình khởi xướng (MIC), gọi công cụ dựa trên ngữ cảnh video (SATC) và định vị thị giác tương tác (IVG). Các tính năng này được thiết kế để mô hình theo dõi diễn biến video và hội thoại, rồi quyết định khi nào cần lên tiếng, sử dụng công cụ hoặc chỉ ra một vật thể trên màn hình.

Thẻ mô hình trên Hugging Face ghi quy mô của AURA 2.0 là 9 tỷ tham số. Nhóm nghiên cứu cho biết trong báo cáo kỹ thuật rằng mô hình được khởi tạo dựa trên Qwen3.5-9B.

AURA trước đây trả lời câu hỏi được gửi đến hoặc chờ cảnh cần thiết xuất hiện trong video. AURA 2.0 được bổ sung khả năng chủ động bắt đầu trò chuyện.

MIC xem xét video và các lượt trao đổi trước đó để quyết định có phát ngôn hay không, khi nào lên tiếng và nên nói về chủ đề gì, kể cả khi người dùng chưa đặt câu hỏi. Mô hình cũng xét đến hội thoại trước nhằm tránh lặp lại nội dung đã đề cập.

SATC cân nhắc đồng thời nội dung đang hiển thị và cuộc trò chuyện để gọi công cụ bên ngoài, sau đó đưa thông tin công cụ trả về vào phần trao đổi tiếp theo. Tính năng này nhằm xử lý kết hợp câu hỏi của người dùng với bối cảnh trong video.

IVG nhận diện đối tượng mà người dùng đánh dấu trên khung hình video. Trong câu trả lời, mô hình cũng có thể dùng một khung giới hạn hình chữ nhật, hay bounding box, để chỉ vị trí vật thể được nhắc đến trên khung hình.

Mô hình còn có chức năng ghi nhớ để sử dụng những cảnh đã xuất hiện trong video dài. Chức năng này tóm tắt các sự kiện chính bằng văn bản, giữ chúng trong ngữ cảnh hội thoại ngay cả khi cảnh đó đã nằm ngoài khoảng thời gian đang xem.

Dữ liệu huấn luyện mà nhóm nghiên cứu báo cáo gồm khoảng 11,4 tỷ token, 5.400 giờ video và 40 triệu khung hình. Dữ liệu được dùng để huấn luyện mô hình xử lý cảnh trong video cùng diễn biến hội thoại.

Đánh giá nội bộ MIC sử dụng 25 video. Trong điều kiện có hội thoại trước đó, mô hình phát ngôn ít nhất một lần tại 20 trong số 25 khoảng thời gian mà con người đánh dấu là có cơ hội lên tiếng. Chất lượng phản hồi đạt 4,10 trên thang điểm 5.

Trong điều kiện chỉ có video, mô hình phát ngôn ít nhất một lần ở 24 trong số 25 video, với điểm chất lượng 3,62. Trong 173 lượt phát ngôn ở điều kiện này, 15 lượt được đánh giá là “kém”. Hai điều kiện có khoảng đánh giá và cách chấm điểm khác nhau nên không thể so sánh trực tiếp các con số.

Đánh giá nội bộ SATC dùng 167 câu hỏi về 55 video. Khi bật công cụ bên ngoài, tỷ lệ trả lời đúng tăng từ 35,9% lên 48,5%, tức tăng 12,6 điểm phần trăm. Nhóm nghiên cứu cho biết đã dùng một mô hình ngôn ngữ lớn để chấm điểm câu trả lời cuối cùng.

Kết quả về hội thoại chủ động và gọi công cụ đều đến từ các thử nghiệm nội bộ có quy mô giới hạn. Các số liệu này đánh giá những tính năng mới và cần được phân biệt với kết quả trên các bộ chuẩn video công khai.

Trọng số mô hình được cấp phép theo CC BY-NC 4.0. Thẻ mô hình trên Hugging Face nêu trọng số chỉ dành cho nghiên cứu phi thương mại.

Giấy phép này không cấp quyền đối với bộ dữ liệu của bên thứ ba hoặc video và các nội dung truyền thông khác có trong đó. Vì vậy, điều kiện sử dụng trọng số và quyền đối với dữ liệu huấn luyện cần được xem xét riêng.

Nhóm nghiên cứu cho biết mức độ hữu ích của tính năng chủ động bắt chuyện có thể tùy thuộc vào sở thích người dùng. Nhóm cũng nêu việc tính đến bối cảnh tương tác rộng hơn và sở thích của người dùng là hướng nghiên cứu tiếp theo. Pull request hỗ trợ AURA 2.0 được đăng lên kho mã vLLM-Omni ngày 17 và vẫn chưa được hợp nhất tính đến ngày 19.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1