Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

GPT-6 Astra đạt 50,42% ở hạng mục chọn ứng viên trong MedChemBench

Hình ảnh do AI tạo về mô hình phân tử và đĩa phân tích / TokenPost.ai

GPT-6 Astra đạt 50,42% ở hạng mục xếp hạng và chọn ứng viên trong bộ đánh giá MedChemBench, trong khi điểm tái dựng cấu trúc phân tử là 95,37%.

OpenAI cho biết trong thông báo chính thức ngày 20 rằng GPT-6.2 Astra đạt 84,5% tổng điểm khả dụng khi chạy với thiết lập suy luận xhigh. Cùng thiết lập, GPT-6 Astra đạt 83,3%, GPT-6.1 Sol đạt 82,0% và GPT-5.6 Sol đạt 58,2%.

Hóa dược là lĩnh vực thiết kế phân tử tác động lên protein liên quan đến bệnh và điều chỉnh cấu trúc dựa trên kết quả thử nghiệm. Một phân tử ức chế mạnh mục tiêu vẫn có thể hấp thu kém hoặc bị phân hủy nhanh trong cơ thể, nên nhà nghiên cứu phải cân nhắc nhiều đặc tính cùng lúc.

MedChemBench gồm 99 bài toán được xây dựng từ 117 bài báo và bằng sáng chế, cùng 761 cấu trúc phân tử khác nhau. Bộ đánh giá kiểm tra khả năng đọc cấu trúc phân tử, diễn giải bằng chứng thực nghiệm và chọn hợp chất cần thử tiếp theo.

Mỗi bài toán đưa ra mục tiêu sinh học, các phân tử ứng viên và kết quả thí nghiệm đã biết đến một giai đoạn nghiên cứu nhất định. Kết quả từ các nghiên cứu tiếp theo được giữ lại làm đáp án chuẩn, không cung cấp cho mô hình.

Các bài toán gồm 48 bài về lựa chọn ứng viên tổng hợp, 26 bài dự đoán quan hệ cấu trúc – hoạt tính, 8 bài về hấp thu, phân bố, chuyển hóa, thải trừ (ADME) và phân phối thuốc, 4 bài về độ an toàn, 6 bài về thiết kế và dựng cấu trúc phân tử, 3 bài về sinh học thực nghiệm và cơ chế, cùng 4 bài về tổng hợp ngược. Tổng hợp ngược là quá trình lần ngược các phản ứng hóa học để tìm cách tạo ra phân tử mục tiêu.

Các hạng mục chấm điểm gồm tái dựng cấu trúc phân tử, giải thích khoa học dựa trên bằng chứng thực nghiệm, xếp hạng và lựa chọn ứng viên, cùng dự đoán các chỉ số tính chất. Nhóm nghiên cứu sử dụng quy tắc chấm điểm định sẵn và bảng tiêu chí đánh giá.

Các tỷ lệ được công bố thể hiện phần điểm mô hình đạt được trong tổng số điểm khả dụng, không phải tỷ lệ câu trả lời đúng. Với dự đoán số liệu, mô hình có thể nhận điểm một phần tùy mức độ gần với kết quả đo thực tế. Vì vậy, mức 84,5% không thể được hiểu là tỷ lệ thành công trong phát triển thuốc mới hay tỷ lệ câu hỏi trả lời đúng.

Trong bài nghiên cứu đánh giá của nhóm OpenAI, GPT-6 Astra ở thiết lập xhigh đạt 95,37% ở hạng mục tái dựng cấu trúc phân tử, 91,05% ở giải thích khoa học, 50,42% ở xếp hạng và lựa chọn ứng viên, và 47,02% ở dự đoán số liệu. Điểm ở hai hạng mục chọn ứng viên và dự đoán tính chất bằng số thấp hơn so với tái dựng cấu trúc và giải thích bằng chứng thực nghiệm.

Điểm chi tiết không thể so sánh trực tiếp với điểm tổng hợp vì mỗi hạng mục có bài toán và tiêu chí chấm khác nhau. Nhóm nghiên cứu cho biết ngay cả những mô hình làm tốt việc tái dựng cấu trúc vẫn còn dư địa cải thiện ở khâu chọn ứng viên và dự đoán số liệu.

Một bài toán về PRMT5, mục tiêu nghiên cứu thuốc điều trị ung thư, minh họa cách đánh giá đồng thời nhiều đặc tính phân tử. Dựa trên dữ liệu thí nghiệm trước đó, mô hình phải dự đoán khả năng ức chế mục tiêu, mức độ đi qua hàng rào tế bào và tốc độ phân hủy bởi enzyme gan của ba hợp chất tương tự.

Trong thí nghiệm tiếp theo, hợp chất số 23 ức chế PRMT5 ở nồng độ thấp hơn. Hợp chất số 24 lại đi qua hàng rào tế bào tốt hơn và phân hủy chậm hơn trong thử nghiệm với enzyme gan.

Khả năng đọc chính xác hình vẽ phân tử cũng được kiểm tra riêng. Trong bài toán dựng phân tử có vòng gồm 18 nguyên tử, GPT-6 Astra tái tạo đúng cấu trúc cả 10 lần, còn GPT-5.6 Sol và GPT-5.6 Luna đều thất bại trong cả 10 lần.

Việc các câu hỏi đánh giá có được công khai hay không và cách chấm điểm cũng có thể ảnh hưởng đến cách diễn giải kết quả benchmark.

OpenAI cho biết không thể loại trừ khả năng các mô hình đã tiếp xúc với bài báo và bằng sáng chế gốc trong quá trình huấn luyện. Mỗi câu trả lời được tạo một lần, không dùng công cụ, phản hồi hay thí nghiệm mới. Công ty cũng nói đánh giá này không chứng minh AI đã tìm ra thuốc mới trong thực tế hoặc cải thiện khả năng đưa ra quyết định trong phòng thí nghiệm.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1