Alma đạt 72,7%, vượt Claude Code trong bảng xếp hạng tạm thời; chi phí thấp hơn

Tác nhân AI Alma do nhà phát triển độc lập Yetone phát triển đạt tỷ lệ hoàn thành nhiệm vụ 72,7% trong ảnh chụp bảng xếp hạng của một bài đánh giá đang diễn ra, cao hơn mức 70,0% của Claude Code.

Theo bảng xếp hạng FrontierHarness v1.1 được Marsbit đưa tin ngày 11, Codex CLI đạt 77,9% và Pi đạt 72,8%.

Chi phí trung bình cho mỗi nhiệm vụ hoàn thành của Alma là 0,80 USD (khoảng 1.074 won), so với 0,94 USD (khoảng 1.261 won) của Claude Code. Chênh lệch là 0,14 USD. Chi phí được so sánh dựa trên số token mà tác nhân sử dụng để thực hiện nhiệm vụ.

Bài đánh giá do Runta, một công ty hạ tầng tác nhân AI, vận hành. Phiên bản v1.1 gồm 21 cấu hình chạy tác nhân và 5 mô hình AI.

Mỗi tổ hợp được giao cùng 62 nhiệm vụ, mỗi nhiệm vụ chạy bốn lần. Tổng số lượt chạy theo kế hoạch là 26.040, gấp 72 lần phiên bản trước.

Tất cả công cụ chạy trong cùng một môi trường đám mây. Bài đánh giá so sánh tỷ lệ hoàn thành nhiệm vụ, chi phí token và tốc độ thực thi.

Phương pháp này áp dụng cùng mô hình và nhiệm vụ vào các khuôn khổ chạy tác nhân khác nhau để so sánh kết quả. Vì vậy, mức 70,0% của Claude Code không thể được xem là điểm hiệu suất riêng của mô hình Claude. Điểm số phản ánh kết quả khi kết hợp mô hình được đánh giá với cấu hình chạy tác nhân tương ứng.

Theo Marsbit, các mô hình tham gia gồm những mô hình công khai như GLM, DeepSeek, Kimi và Muse. Các mô hình không công khai thuộc dòng GPT và Claude không nằm trong phạm vi đánh giá.

Đánh giá vẫn đang diễn ra. Bảng xếp hạng có thể thay đổi khi có thêm kết quả, nên các số liệu hiện tại là thống kê tạm thời trong phạm vi đánh giá.

Alma là tác nhân AI chạy trên máy tính, có bộ nhớ dài hạn, hỗ trợ đọc và chỉnh sửa mã, chạy lệnh trên terminal và tìm kiếm web.

Người dùng có thể thay đổi mô hình nền tảng và kết nối Skills cùng MCP. Khả năng chạy cục bộ và kết nối công cụ là tính năng sản phẩm của Alma, tách biệt với tỷ lệ hoàn thành trong bài đánh giá.

Gần đây, Alma cũng bổ sung tích hợp với Herdr. Người dùng có thể theo dõi trong giao diện trò chuyện của Alma các tác vụ đang chạy trên Herdr của Claude Code, Codex, Pi và một số tác nhân khác, đồng thời trả lời câu hỏi hoặc phê duyệt tác vụ.

Alma còn cho phép dùng iPhone để quản lý từ xa nhiều tác nhân đang chạy trên máy tính. Tích hợp Herdr giúp quản lý nhiều tác nhân trên cùng một màn hình và là tính năng sản phẩm riêng, không liên quan đến điểm đánh giá.