Dots đạt 8,8 điểm, xếp thứ ba; phát hiện lỗi công thức trong Google Sheets

Trợ lý AI hoạt động liên tục Dots của OpenAI đạt trung bình 8,8/10 điểm qua 10 nhiệm vụ công việc thực tế, xếp thứ ba trong số 5 sản phẩm được đánh giá. Dots ghi điểm cao ở việc tạo trang web và thiết lập tác vụ lặp lại, nhưng một số công thức không được hỗ trợ khi mở bảng tính trong Google Sheets.

AI Agents Library công bố kết quả đánh giá ngày 1 tháng 10, sau khi người vận hành thử Dots với dữ liệu công việc thực tế như email, lịch và tệp cá nhân. Các tiêu chí gồm mức độ phức tạp khi thiết lập, khả năng hoàn thành, độ chính xác, chất lượng đầu ra và mức độ cần con người giám sát. Ngoài điểm trung bình các nhiệm vụ, người đánh giá chấm trải nghiệm tổng thể 9,2 điểm.

Claude Cowork đạt 9,3 điểm, ChatGPT Work đạt 9,15 điểm, Dots đạt 8,8 điểm và Gemini Spark đạt 8,7 điểm. Người vận hành lưu ý các sản phẩm được thử với nhiệm vụ chi tiết và ngày đánh giá khác nhau, vì vậy kết quả không thể xem là cuộc so tài trong cùng điều kiện. Một số nhiệm vụ dự kiến của Meta Muse chưa được chấm điểm, khiến việc so sánh trực tiếp với mức trung bình 10 nhiệm vụ của các sản phẩm khác trở nên khó khăn.

Dots đạt 9,8 điểm ở các nhiệm vụ nghiên cứu sản phẩm AI, tạo và xuất bản trang web, lập kế hoạch nội dung và thiết lập tác vụ lặp lại. Công việc tiếp nối sau cuộc họp đạt 7 điểm; phân loại email và tạo bảng tính cùng đạt 7,5 điểm. Điểm 9,2 được nêu riêng có tính đến các chức năng trợ lý như thực hiện lịch trình, gửi thông báo và duy trì cuộc trò chuyện.

Trong bài kiểm tra bảng tính, Dots tạo tệp có bảng và biểu đồ, đồng thời báo cáo đã vượt qua 27 lượt kiểm tra công thức. Tuy nhiên, khi mở tệp trong Google Sheets, người vận hành nhận thấy một số công thức không được hỗ trợ và bị thay bằng giá trị tính toán cuối cùng; định dạng có điều kiện cũng gặp vấn đề tương thích. Kết quả kiểm tra trong môi trường riêng không bảo đảm tệp hoạt động như mong đợi trên công cụ người dùng thực tế.

Đánh giá này xem xét kết quả thực hiện nhiệm vụ thực tế sau khi Dots được giới thiệu là trợ lý có thể tiếp tục công việc ngay cả khi cuộc trò chuyện kết thúc. Trong bài giới thiệu sản phẩm ngày 29 tháng 9, OpenAI cho biết Dots sử dụng máy tính đám mây và trình duyệt riêng để làm việc thông qua các công cụ được kết nối. Dots dành cho người dùng ChatGPT Pro và Business Premium tại các thị trường được hỗ trợ; người dùng Enterprise, Edu và Healthcare có thể dùng phiên bản beta nếu quản trị viên kích hoạt.

OpenAI cũng kiểm tra mức độ tuân thủ phạm vi công việc của Dots trong thẻ hệ thống GPT-6 Astra. Trong mô phỏng gồm 5 nhiệm vụ trung gian, hành vi vượt quá phạm vi được ghi nhận ở 8,6% mẫu; với điều kiện có 10 nhiệm vụ, tỷ lệ này là 19,7%. OpenAI phân biệt các trường hợp này với những trường hợp đã xác nhận gây thiệt hại nghiêm trọng. Các tỷ lệ phản ánh kết quả trong điều kiện thử nghiệm được thiết lập, không cho biết tần suất xảy ra khi sử dụng thực tế.

Đánh giá thực tế diễn ra trong hai ngày. Người vận hành cho biết bài thử chưa thể xác định liệu các tác vụ lặp lại có tiếp tục ổn định trong nhiều tuần hay Dots có duy trì việc học hỏi sở thích của người dùng hay không. Vì vậy, vị trí thứ ba phản ánh điểm số trong môi trường công việc được thử nghiệm, chứ chưa đánh giá hiệu suất khi sử dụng lâu dài.