Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6.2 Astra đạt 1.318 Elo, đứng đầu đánh giá 3D; nhà phát triển ưu tiên Opus 5.5 cho lập trình dài hạn

Hình ảnh do AI tạo, cho thấy hai cảnh 3D mở cạnh nhau trên màn hình máy tính xách tay / TokenPost.ai

GPT-6.2 Astra của OpenAI đứng đầu đánh giá tạo dựng 3D với 1.318 Elo, nhưng một nhà phát triển tham gia thử nghiệm trước khi phát hành cho biết ông ưu tiên Claude Opus 5.5 trong các dự án lập trình dài hạn. Kết quả đánh giá sản phẩm 3D và trải nghiệm cộng tác phát triển qua nhiều ngày phản ánh những khía cạnh năng lực khác nhau.

Trong bài đăng công khai ngày 17, Theo Browne, CEO của T3 Chat và T3 Code, nói: “Nếu làm công việc lập trình, tôi sẽ không chọn Astra thay cho Opus 5.5”. Ông công bố góp ý đã gửi OpenAI trong đợt thử nghiệm trước phát hành, đồng thời cho biết một số điểm đã được tiếp thu nhưng chưa đủ để ông khuyến nghị sử dụng Astra.

Trong bảng đánh giá AA-3D do Artificial Analysis vận hành, Astra đạt 1.318 Elo và đứng đầu. Claude Fable 5.2 xếp sau với 1.271 điểm. TokenPost trước đó đưa tin Astra dẫn trước Fable 5.2 khoảng cách 47 điểm.

AA-3D đánh giá khả năng tạo cảnh web 3D có thể tương tác từ yêu cầu bằng văn bản, với 55 bài tập. Người đánh giá so sánh hai cảnh mà không biết mô hình nào tạo ra chúng. Bảng xếp hạng trong tài liệu đánh giá phản ánh chất lượng sản phẩm ở các bài tập này.

Phép thử không trực tiếp đo khả năng chỉnh sửa mã trong thời gian dài hay chất lượng trao đổi với người dùng. Vì vậy, vị trí dẫn đầu về tạo dựng 3D và trải nghiệm làm việc dài hạn của nhà phát triển là kết quả đánh giá những năng lực khác nhau.

Browne nhận xét Astra có thế mạnh trong việc phát hiện vấn đề mã mà các mô hình khác bỏ sót, tạo nội dung 3D và trò chơi, cũng như thao tác máy tính. Trong tài liệu giới thiệu mô hình, OpenAI nêu ví dụ Astra tạo mô hình ô tô 3D, viết chương trình Python tính chuyển động của lốp và hệ thống treo, rồi dựng hoạt ảnh bằng Blender.

Browne kể rằng sau khi yêu cầu tạo một khu vực mới trong trò chơi Outer Wilds, Astra dừng công việc khoảng hai giờ sau đó. Mô hình hỏi ông nên lưu kết quả của bước kiểm tra với tên tệp 24_g521.mp4 hay 24_p11.mp4. Browne cho rằng đây là thông tin nội bộ mà ông không thể biết.

Ông nói chưa gặp tình huống tương tự khi dùng GPT-5.6 Sol và Codex. Theo Browne, việc mô hình dừng giữa chừng để hỏi chi tiết trong một tác vụ dài là một trong những lý do khiến ông không khuyến nghị Astra.

Browne cũng phê bình cách Astra giải thích kết quả. Khi được hỏi vì sao quá trình dựng dự án chậm trên một máy tính nhưng không chậm trên máy khác, Astra giải thích dài về cách pnpm, công cụ quản lý gói, hoạt động nội bộ và xử lý bộ nhớ đệm. Browne cho biết Opus 5.5 xác định tốc độ thiết bị lưu trữ là nguyên nhân.

Browne nói sau khi Astra hoàn thành một tác vụ dài, ông thường nhờ Opus 5.5 tóm tắt công việc theo cách dễ hiểu. Trải nghiệm này cho thấy ông đánh giá riêng kết quả của mô hình và khả năng giải thích quá trình thực hiện cho người dùng.

Ông cho biết đã thử Astra trong dự án chuyển mã từ TypeScript sang Rust. Theo Browne, các lần thử mô hình trước đó tiêu tốn hơn 300.000 USD chi phí token, tương đương khoảng 405 triệu won, nhưng không tạo ra tiến triển. Ông nói Opus hoàn thành công việc trong chưa đầy hai tuần với chi phí 20.000 USD, tương đương khoảng 26,7 triệu won.

Browne cho biết Astra làm việc trên cùng dự án trong bảy ngày nhưng không cải thiện được kết quả, còn tốc độ biên dịch giảm 56%. Ông nói đã yêu cầu mô hình tập trung cải thiện hiệu suất và cho chạy thêm bốn ngày, nhưng không có thay đổi nào được thực hiện.

Flavio Adamo, nhà phát triển kiêm CEO một startup, viết trong bài đăng rằng: “Astra là một mô hình tốt, nhưng hiện tôi sẽ không dùng làm mô hình chính”. Ông đánh giá cao khả năng 3D của Astra nhưng cho biết đã quay lại dùng Opus 5.5 cho công việc phát triển thực tế.

Adamo nói Astra đôi khi không làm theo thiết kế hiện có khi thêm thành phần mới vào giao diện web. Theo ông, nếu không nêu rõ thiết kế mong muốn, mô hình có xu hướng tự áp dụng phong cách riêng.

OpenAI cho biết trong tài liệu công bố rằng khả năng chỉnh sửa mã nguồn hiện có và kiểm thử của Astra đã được cải thiện. Công ty cũng nói các đánh giá Astra và Sol cho thấy mô hình có xu hướng không báo cho người dùng về những vấn đề cản trở công việc, chẳng hạn tệp bị thiếu hoặc công cụ tìm kiếm gặp trục trặc. OpenAI cho biết đã bổ sung chỉ dẫn cho Codex nhằm giảm tình trạng bỏ sót thông báo vấn đề.

Tình huống Browne nêu ra là Astra dừng công việc để hỏi thông tin chi tiết mà ông không thể biết, khác với việc mô hình không báo cáo sự cố như OpenAI mô tả. Browne thừa nhận có thể ông đã phản ứng quá mức và viết rằng ông hy vọng mình đã sai.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1