Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

13,6 điểm phần trăm: GPT-6 Astra dẫn trước phương án thay thế tốt nhất ở tiêu chí trích dẫn nguồn của Hebbia

Ảnh tạo bằng AI: Bàn tay đang kiểm tra các đoạn trích dẫn trong báo cáo nghiên cứu tài chính / TokenPost.ai (macro)

Trong bài kiểm tra nghiên cứu tài chính do Hebbia thực hiện, GPT-6 Astra dẫn trước phương án thay thế tốt nhất 13,6 điểm phần trăm về mức độ trích dẫn đúng các loại nguồn bắt buộc.

OpenAI giới thiệu kết quả thử nghiệm này trong bài viết về khách hàng công bố ngày 20. Bài kiểm tra sử dụng phiên bản tiền phát hành của GPT-6 Astra.

Trong số các đoạn trích được dẫn, 99,5% được đánh giá là có liên quan đến câu hỏi. Tỷ lệ này đo mức độ liên quan giữa đoạn trích và câu hỏi, không phản ánh độ chính xác hay tính xác thực của toàn bộ câu trả lời.

Ở phần đánh giá bài thuyết trình, GPT-6 Astra đáp ứng 97,9% yêu cầu có thể áp dụng. Tỷ lệ này cao hơn phương án thay thế tốt nhất 14,4 điểm phần trăm.

Matrix của Hebbia là nền tảng tạo câu trả lời dựa trên tài liệu tài chính và tài liệu nội bộ, đồng thời cho phép người dùng kiểm tra tài liệu làm căn cứ và các đoạn được trích dẫn. GPT-6 Astra có thể soạn câu trả lời dựa trên tài liệu hoặc các ô phân tích trong Matrix, rồi tạo slide PowerPoint theo cấu trúc và hướng dẫn định sẵn.

Hebbia áp dụng cùng các tình huống nghiên cứu tài chính và tiêu chí chấm điểm cho từng mô hình. Bài kiểm tra sử dụng các phiên bản tiền phát hành từ tháng 8 đến tháng 9; chuyên gia trong lĩnh vực soạn hoặc rà soát tiêu chí chấm dựa trên tài liệu gốc.

Kavita Anand, người phụ trách kỹ thuật sản phẩm tại Hebbia, cho biết: “Khả năng truy xuất nguồn gốc rất quan trọng với người dùng”. Theo đó, người dùng cần có thể kiểm tra tài liệu làm căn cứ và đoạn trích được dùng trong câu trả lời.

Thông tin công bố không nêu số lượng mẫu thử, danh sách đầy đủ các mô hình được so sánh hay phân bố điểm số. Tình huống “công việc thẩm định thương vụ rà soát khoảng 2.000 tệp” trong bài viết là giả định.

Bài kiểm tra đánh giá khả năng tìm nguồn trong tài liệu tài chính và mức độ đáp ứng tiêu chí tạo bài thuyết trình. Đây không phải thử nghiệm đo lường hiệu quả đầu tư thực tế.

Tháng 8/2025, Hebbia thông báo mở rộng hợp tác với Ropes & Gray, sử dụng Matrix để rà soát tài liệu và phân tích dữ liệu cho các nhóm quỹ đầu tư tư nhân và giao dịch. Bài viết trước của TokenPost về thông báo mở rộng hợp tác giữa hai bên khi đó đề cập kế hoạch ứng dụng nền tảng vào công việc xử lý tài liệu.

Một đánh giá AI tài chính riêng cho kết quả khác nhau tùy loại tác vụ. Trong thử nghiệm tháng 9 của Model ML, GPT-6 Astra đạt điểm cao nhất ở 4 trong 5 nhóm. Tuy nhiên, ở nhóm tác vụ tài chính, Gemini 3.8 Flash dẫn trước 3,97 điểm và có chi phí mỗi tác vụ thấp hơn 72%.

Thử nghiệm của Model ML và Hebbia sử dụng các nhiệm vụ cùng tiêu chí chấm điểm khác nhau, nên khó so sánh trực tiếp điểm số giữa hai bài.

Trong thử nghiệm ngày 7/9, TrueStandard ghi nhận 3,0% số DOI do GPT-6 Astra đưa ra là mã định danh chưa đăng ký. Kết quả dựa trên 30 nhận định được thử nghiệm ba lần.

Thử nghiệm này đo tình trạng đăng ký DOI. Việc DOI đã đăng ký hay chưa là chỉ số khác với mức độ liên quan giữa đoạn trích được dẫn và câu hỏi.

Kết quả thử nghiệm của Hebbia áp dụng cho phiên bản tiền phát hành của GPT-6 Astra. Trong ghi chú phát hành mô hình ngày 17/11, OpenAI cho biết đã đưa GPT-6.2 Astra và GPT-6.2 Sol lên API.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1