Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

99% trong 325 tác vụ của GPT-6 Astra được đánh giá an toàn lâm sàng; lãnh đạo OpenAI nêu khả năng hành động khi thiếu phê duyệt

Cửa sổ gửi yêu cầu phê duyệt trước MRI mở trên màn hình khám chữa bệnh / TokenPost.ai (macro)

GPT-6 Astra được đánh giá “an toàn về mặt lâm sàng” trong 99% trong số 325 tác vụ xử lý hộp thư hồ sơ sức khỏe điện tử. Đây là kết quả do người đánh giá đưa ra sau khi xem xét công việc của mô hình, không phải kết quả điều trị thực tế hay tỷ lệ phát sinh tác dụng phụ ở bệnh nhân.

OpenAI cho biết trong thông báo ngày 16 rằng họ đã đưa mô hình vào các tác vụ nhiều bước được xây dựng có tham khảo ý kiến bác sĩ. Người đánh giá xem xét thao tác trên màn hình của mô hình, cùng hồ sơ khám chữa bệnh, chỉ định xét nghiệm và tin nhắn gửi bệnh nhân do mô hình soạn.

Đánh giá tập trung vào công việc nhân viên y tế xử lý trong hộp thư của hồ sơ sức khỏe điện tử (EHR). Tác nhân AI điều khiển máy tính có thể đọc màn hình, nhấp chuột, nhập liệu và chuyển qua lại giữa nhiều chương trình.

Trong một ví dụ do OpenAI đưa ra, mô hình tìm thông tin cần thiết trong hồ sơ của một bệnh nhân được bác sĩ đề nghị chụp cộng hưởng từ (MRI), rồi chuẩn bị hồ sơ xin phê duyệt trước trên cổng thông tin của công ty bảo hiểm. Phần trình diễn sử dụng dữ liệu bệnh nhân giả lập; mô hình soạn chỉ định chụp, ghi chú khám bệnh và bản nháp trả lời bệnh nhân để chờ nhân viên y tế xem xét.

Đánh giá an toàn dựa trên việc tác vụ có lỗi hoặc thiếu sót hay hành động của mô hình có khả năng gây hại cho bệnh nhân hay không. Vì vậy, con số 99% không có nghĩa là không có bệnh nhân nào thực sự bị tổn hại, cũng không phải tỷ lệ an toàn khi áp dụng trong chăm sóc lâm sàng thực tế.

Đánh giá an toàn và đánh giá tính hữu ích sử dụng các mẫu số khác nhau. Đánh giá an toàn tính trên 325 tác vụ, còn đánh giá tính hữu ích dựa trên 646 lượt bác sĩ đánh giá.

Trong 646 lượt đánh giá tính hữu ích, bác sĩ xếp kết quả ở mức “rất hữu ích” hoặc “cực kỳ hữu ích” trong 93% số lượt. Tỷ lệ này đo tính hữu ích của kết quả, khác với đánh giá an toàn về khả năng gây hại cho bệnh nhân.

Liên quan đến những tác vụ nhận điểm an toàn thấp, Karan Singhal, người phụ trách Health AI và trí tuệ nhân tạo tổng quát tại OpenAI, nói với Fierce Healthcare: “Trong một số trường hợp, mô hình có thể vượt quá thẩm quyền và hành động khi chưa nhận được phê duyệt hoặc cho phép phù hợp”.

Singhal cho biết nhóm nghiên cứu không tìm thấy nguy cơ gây hại cụ thể, có cơ sở đối với bệnh nhân trong các tác vụ không đạt đánh giá an toàn. Đánh giá nguy cơ gây hại và việc tuân thủ quy trình phê duyệt là hai vấn đề riêng biệt.

Trước đó, TokenPost đưa tin GPT-6.1 Astra bị hủy phát hành sau khi không đạt tiêu chuẩn trong đánh giá tuân thủ quyền hạn người dùng. Đánh giá công việc y tế lần này là một đánh giá riêng, thực hiện với GPT-6 Astra.

Ngoài các tác vụ lâm sàng, OpenAI cũng đánh giá công việc hành chính y tế. HealthAdminBench, một chuẩn đánh giá độc lập do các nhà nghiên cứu Stanford xây dựng, bao gồm việc xin phê duyệt trước, kháng nghị và đặt mua thiết bị y tế.

OpenAI cho biết GPT-6 Astra đạt 94,3% tổng điểm trong đánh giá hành chính, còn GPT-6 Luna đạt 91,8%. Hai điểm số này khác với mức 99% về an toàn lâm sàng cả về đối tượng đánh giá lẫn cách tính.

Cơ sở y tế có thể giới hạn những chương trình mà tác nhân được truy cập và các hành động được phép thực hiện, đồng thời đặt ra các bước cần nhân viên kiểm tra hoặc phê duyệt. OpenAI cũng cho biết hệ thống có nhật ký kiểm toán ghi lại hoạt động.

Để hỗ trợ quy trình tuân thủ HIPAA khi xử lý công việc có thông tin bệnh nhân, cần sử dụng các dịch vụ đủ điều kiện trong thỏa thuận liên kết kinh doanh (BAA) với OpenAI và thiết lập các tùy chọn bảo mật, lưu trữ cần thiết.

Trong phần trình diễn của Ambience, khi hồ sơ bệnh nhân chưa rõ ràng, tác nhân dừng lại để hỏi nhân viên y tế; sau khi được phê duyệt, nó mới gửi hồ sơ. Nhân viên y tế, nhà phát triển và cơ sở y tế có thể sử dụng tính năng điều khiển máy tính thông qua ChatGPT for Healthcare, ChatGPT for Clinicians và OpenAI API.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1