OpenAI công bố 100 bài kiểm tra BioBasicsBench, GPT-6 Astra đạt điểm trung bình 66,7%

OpenAI công bố BioBasicsBench, bộ tiêu chuẩn gồm 100 bài kiểm tra khả năng đọc hiểu dữ liệu thô từ các thí nghiệm wet-lab của AI agent. Bộ bài kiểm tra đánh giá khả năng đọc ảnh thí nghiệm và kết quả từ thiết bị, nhận diện lỗi hoặc kết luận thiếu căn cứ.

Trong thông báo chính thức ngày 6, OpenAI cho biết GPT-6 Astra đạt điểm trung bình 66,7% ở cấu hình suy luận cao nhất xhigh. GPT-5.6 Sol đạt 43,8%.

Hai con số là trung bình điểm thu được theo tiêu chí chấm riêng của từng bài. Chúng không có nghĩa là mô hình trả lời đúng 66,7 trong số 100 bài, cũng không phải tỷ lệ chính xác hay tỷ lệ thành công.

BioBasicsBench đánh giá khả năng đọc và phân tích dữ liệu thí nghiệm, chứ không đo thành quả nghiên cứu thực tế hay tỷ lệ tự động hóa thí nghiệm thành công.

OpenAI cùng Ligo, một công ty công nghệ sinh học tập trung vào thiết kế enzyme, phát triển BioBasicsBench. Bộ tiêu chuẩn đánh giá khả năng diễn giải dữ liệu thô, nhận diện lỗi thí nghiệm và phát hiện khi dữ liệu chưa đủ để đưa ra kết luận.

100 bài kiểm tra thuộc năm lĩnh vực: thí nghiệm protein; hình ảnh và phân tích tế bào bằng flow cytometry; định lượng và phương pháp phân tích; thí nghiệm axit nucleic; và nhân dòng phân tử. Mỗi bài đưa ra dữ liệu thí nghiệm cùng câu hỏi để đánh giá năng lực phân tích của mô hình.

Dữ liệu đầu vào gồm ảnh gel và Western blot, ảnh đĩa nuôi cấy khuẩn lạc, hình ảnh kính hiển vi, dữ liệu giải trình tự, kết quả từ thiết bị và sổ ghi chép thí nghiệm. Bộ tiêu chuẩn tập trung vào dữ liệu thô mà người làm thí nghiệm trực tiếp thu thập, thay vì biểu đồ đã được tổng hợp trong bài báo khoa học.

Mô hình cần trích xuất số đo từ dữ liệu hoặc nhận ra khi chưa thể kết luận chỉ dựa trên bằng chứng hiện có. Một số bài kết hợp nhiều loại dữ liệu khác nhau.

Mỗi bài gồm dữ liệu và câu hỏi do nhà khoa học thu thập trong quá trình thí nghiệm, cùng tiêu chí chấm do chuyên gia xây dựng. Câu trả lời được chấm theo từng tiêu chí, bao gồm kết luận, số liệu, căn cứ cho nhận định và khả năng nhận ra dữ liệu còn thiếu.

Các bài kiểm tra được nhà khoa học của Ligo không tham gia xây dựng rà soát nội bộ, sau đó được các nhà khoa học có bằng tiến sĩ bên ngoài chuyên về thí nghiệm wet-lab đánh giá. Bộ câu hỏi cũng trải qua vòng rà soát nội bộ cuối cùng.

Đợt đánh giá sử dụng 37 cấu hình mô hình và suy luận thuộc 7 mô hình. Mỗi cấu hình thực hiện 100 bài kiểm tra năm lần, tạo ra tổng cộng 18.500 kết quả.

Khoảng tin cậy 95% của điểm trung bình GPT-6 Astra là 60,3–73,1%. Với GPT-5.6 Sol, khoảng này là 37,6–50,0%.

Trong một ví dụ được công bố, GPT-5.6 Sol dựa vào tín hiệu nhuộm trong ảnh tế bào để kết luận tế bào đã chết. GPT-6 Astra lưu ý tín hiệu nhuộm khác có thể chồng lấp và cho rằng cần thêm mẫu đối chứng.

Trong một bài về nhân dòng, GPT-6 Astra không xem đĩa nuôi cấy đối chứng có nhãn kháng sinh sai là đối chứng đáng tin cậy. Với hiện tượng tế bào xuất hiện rồi biến mất trong ảnh kính hiển vi, mô hình cho rằng nguyên nhân là độ sâu tiêu điểm khi chụp thay đổi.

Ngày 17 tháng 6, OpenAI cũng công bố LifeSciBench, bộ đánh giá gồm 750 bài do chuyên gia xây dựng, bao quát 7 quy trình làm việc và 7 lĩnh vực sinh học. LifeSciBench đánh giá rộng các công việc nghiên cứu khoa học sự sống, trong khi BioBasicsBench tập trung vào việc đọc dữ liệu thô từ các thí nghiệm wet-lab thường ngày, như ảnh chụp và kết quả thiết bị.

GPT-6 Astra đếm số khuẩn lạc cao hơn khoảng 12% so với giá trị tham chiếu của bộ tiêu chuẩn. Mô hình không phân biệt được một số khuẩn lạc nằm gần nhau, bỏ sót khuẩn lạc nhìn thấy được và có lúc đánh dấu vùng trống trên đĩa thạch là khuẩn lạc. Trong một bài nhân dòng khác, mô hình chọn sai khuẩn lạc cần chọn khi so sánh với nhóm đối chứng. OpenAI cho biết điểm số cao trên bộ tiêu chuẩn không đảm bảo mô hình đưa ra nhận định đáng tin cậy trong phòng thí nghiệm.