GPT-6.2 Astra bị đánh giá thiếu ổn định trong các tác vụ lập trình kéo dài và công việc sáng tạo ngay sau khi ra mắt, dù đứng đầu bài đánh giá tạo cảnh 3D với 1318 Elo. Kết quả cho thấy năng lực của mô hình thay đổi đáng kể tùy loại công việc.
Trong thư về bài kiểm tra trước phát hành đăng trên X ngày 17, Theo Browne, nhà sáng lập T3 Code, nói: “Nếu là công việc lập trình, tôi sẽ không chọn Astra thay cho Claude Opus 5.5”. Browne đánh giá Astra là một trong những mô hình tệ nhất OpenAI từng phát hành.
Browne cho biết Astra từng dừng tiến trình hoặc lặp lại cùng một quy trình khi làm việc trong thời gian dài. Khi được yêu cầu thiết kế khu vực mới cho trò chơi 'Outer Wilds', sau khoảng hai giờ mô hình lại hỏi phải đặt đường dẫn tệp nội bộ và đầu ra video ở đâu.
Trong dự án tái cấu trúc mã từ TypeScript sang Rust, Astra được giao làm việc 7 ngày nhưng không đưa ra cải thiện; tốc độ trình biên dịch chậm hơn 56%. Sau khi được yêu cầu tập trung cải thiện tốc độ, mô hình vẫn không thay đổi trong 4 ngày tiếp theo.
Về tính sáng tạo, Browne và một người thử nghiệm khác yêu cầu tạo khu vực mới cho hai trò chơi khác nhau. Browne cho rằng cả hai kết quả đều dùng nước và tiếng chuông làm chủ đề chung, thậm chí cùng mang tên 'Bellwether'.
Matt Shumer, nhà đầu tư AI và cựu CEO HyperWrite, cũng thử GPT-6.2 Astra và GPT-6.2 Sol ngày 17, rồi nói: “Cả hai mô hình gần như không thể sử dụng và tôi không khuyến nghị dùng”. Ông đánh giá Astra thua Claude Opus 5.5 ở nhiều bài đánh giá cốt lõi và vẫn có khoảng cách khi so với Claude Fable 5.2.
Shumer đã dùng Astra làm mô hình phụ, nhưng Claude Opus 5.5 và Claude Fable 5.2, vốn giám sát mô hình này, phải viết lại kết quả. Mô hình phụ là mô hình hỗ trợ được giao một phần nhiệm vụ bởi mô hình xử lý công việc lớn; nếu phải làm lại, tổng thời gian hoàn thành sẽ tăng.
OpenAI công bố Astra ngày 17 là mô hình dành cho công việc chuyên môn phức tạp, suy luận và lập trình; Sol dành cho công việc hằng ngày và tác vụ nhiều bước. Hai mô hình cùng thuộc dòng GPT-6.2, nhưng đánh giá của người dùng trái chiều ở các tác vụ kéo dài và vận hành tác nhân.
Đánh giá nội bộ của OpenAI cho thấy Astra đạt điểm cao hơn GPT-6 Astra trước đó, đồng thời chi phí cho mỗi tác vụ thấp hơn. Trường hợp này cho thấy điểm số nội bộ và trải nghiệm làm việc dài ngày có thể cho kết quả khác nhau.
Astra đứng đầu bảng AA-3D do Artificial Analysis vận hành với 1318 Elo. Mô hình dẫn trước Claude Fable 5.2 ở vị trí thứ hai 47 điểm; một số người thử nghiệm cũng ghi nhận thế mạnh của Astra trong các tác vụ Three.js, Blender và trực quan hóa 3D.
AA-3D yêu cầu mô hình tạo cảnh 3D có thể tương tác dưới dạng ứng dụng web từ yêu cầu bằng văn bản, sau đó để con người so sánh kết quả. Người đánh giá không biết cảnh do mô hình nào tạo, nên bài kiểm tra đo năng lực khác với lập trình kéo dài.
Trường hợp của Browne cho thấy khả năng tạo câu trả lời và khả năng quản lý công việc kéo dài nhiều ngày đến cùng có thể khác biệt. Những chỉ trích lần này cũng cho thấy người dùng cần được giải thích rõ tiến độ và lý do công việc dừng lại, bên cạnh việc xem xét sản phẩm đầu ra.
TokenPost trước đó đưa tin Astra đứng đầu bài đánh giá 3D, trong khi người dùng lại ưu tiên Opus 5.5 cho lập trình dài ngày. Các trường hợp Shumer và Browne mới được công khai cụ thể hóa sự tương phản này qua dự án tái cấu trúc kéo dài 7 ngày và vấn đề phải làm lại đầu ra của mô hình phụ.
Các nhà phát triển và doanh nghiệp muốn triển khai mô hình cần xem xét độ bền khi làm việc, khả năng giải thích kết quả và nhu cầu làm lại, thay vì chỉ nhìn vào một điểm benchmark. Đánh giá ban đầu về Astra hiện cho thấy mô hình vừa có thế mạnh ở một số lĩnh vực, vừa thiếu ổn định trong công việc kéo dài.
Comment 0