Gemini 4 Carbon đạt 64% trong bài kiểm tra ảnh sinh học, chi phí chênh 99 lần

Gemini 4 Carbon đạt điểm cao nhất, 64%, trong bài đánh giá AI đọc ảnh thí nghiệm sinh học; mức chênh lệch chi phí mỗi câu hỏi giữa các mô hình được công bố là 99 lần.

Artificial Analysis công bố kết quả VIALS-AA, đánh giá 19 mô hình, vào ngày 6. Đây là phiên bản triển khai độc lập bài đánh giá VIALS về hình ảnh sinh học của Handshake AI.

Theo phần giới thiệu VIALS của Handshake AI, bài đánh giá gốc gồm 161 nhiệm vụ hỏi đáp bằng hình ảnh. Mỗi nhiệm vụ có một ảnh nghiên cứu, một câu hỏi và một đáp án ngắn.

Các ảnh trong bài đánh giá gồm ảnh gel blot, bản đồ plasmid, ảnh kính hiển vi, biểu đồ phân tích tế bào dòng chảy, cây phát sinh loài và cấu trúc phân tử. Bài kiểm tra đánh giá khả năng đọc tư liệu trực quan thường gặp trong nghiên cứu sinh học và tìm bằng chứng trong ảnh để trả lời.

VIALS tập trung vào hình ảnh và tư liệu dùng trong công việc nghiên cứu thực tế, thay vì các biểu đồ được trình bày gọn gàng trong bài báo hoặc giáo trình. Nhiệm vụ cũng yêu cầu mô hình vận dụng kiến thức chuyên ngành để diễn giải, chứ không chỉ nhận diện thông tin trực quan.

VIALS gốc đưa ảnh và câu hỏi cho mô hình trả lời một lần. VIALS-AA cho phép sử dụng Stirrup, công cụ hỗ trợ chạy mã và kiểm tra hình ảnh, để mô hình phóng to hoặc quan sát ảnh khi tìm câu trả lời.

Điều kiện sử dụng công cụ và cách tính điểm của hai bài đánh giá khác nhau nên không thể so sánh trực tiếp kết quả. Phương pháp đánh giá VIALS-AA lặp lại mỗi nhiệm vụ ba lần và lấy tỷ lệ nhiệm vụ được trả lời đúng cả ba lần làm điểm đại diện.

Gemini 4 Carbon trả lời đúng cả ba lần ở 103 trong số 161 nhiệm vụ, đạt 64%. GPT-6 Astra đạt 63%, còn Claude Opus 5.5 đạt 61%.

Điểm số thể hiện tỷ lệ câu trả lời được lặp lại chính xác trong các nhiệm vụ và môi trường công cụ cụ thể này. Kết quả không đại diện cho tỷ lệ thành công trong toàn bộ nghiên cứu sinh học hay hiệu quả công việc nghiên cứu thực tế.

Chi phí mỗi câu hỏi của GPT-6 Luna được ghi là 0.02 USD (khoảng 27 won Hàn Quốc), còn Grok 4.7 là 1.77 USD (khoảng 2.386 won Hàn Quốc). Artificial Analysis nêu mức chênh lệch là 99 lần, nhưng trang công bố hiển thị chi phí theo đơn vị cent nên tỷ lệ tính trực tiếp từ hai con số hiển thị không khớp.

Chi phí được tính dựa trên giá token đầu vào, đọc bộ nhớ đệm, ghi bộ nhớ đệm, suy luận và trả lời. Phép tính lấy mức sử dụng token trung bình qua ba lần lặp, áp dụng tỷ lệ trúng bộ nhớ đệm đại diện cho từng mô hình và không tính chi phí gọi mô hình dùng để chấm điểm.

GPT-6.1 Sol đạt 59%, so với 61% của Claude Opus 5.5. Chênh lệch điểm là 2 điểm phần trăm, trong khi chi phí mỗi câu hỏi của Sol bằng khoảng một phần ba mươi của Opus.

Artificial Analysis thống kê Kimi K3.1 Pro và GPT-6 Astra mỗi mô hình trả lời đúng ít nhất một lần ở khoảng ba phần tư số nhiệm vụ. Tỷ lệ trả lời đúng cả ba lần lần lượt là 45% với Kimi và 63% với GPT-6 Astra.

Ở từng lĩnh vực, Gemini 4 Carbon dẫn đầu về bản đồ plasmid và phân tích cây phát sinh loài, đồng hạng nhất ở phân tích tế bào dòng chảy với Gemini 4 Argon. Claude Opus 5.5 đạt điểm cao nhất ở ảnh blot, còn Claude Sonnet 5.5 dẫn đầu về đếm tế bào. GPT-6.1 Terra đứng đầu ở cấu trúc và liên kết protein; GPT-6 Astra và GPT-6.1 Sol đồng hạng nhất ở cấu trúc phân tử.

Mức sử dụng công cụ cũng khác nhau giữa các mô hình. Claude Sonnet 5.5 đạt 60%, còn GPT-6.1 Sol đạt 59%; tuy nhiên, Sonnet gọi công cụ trung bình nhiều gấp 3,6 lần mỗi nhiệm vụ và có chi phí cao hơn Sol khoảng 18 lần.