Báo cáo AI100 nêu chi phí dữ liệu và tính toán là giới hạn mở rộng

Báo cáo AI100 của Đại học Stanford (Stanford University) chỉ ra những giới hạn của cách nâng hiệu suất AI bằng cách tăng dữ liệu và tài nguyên tính toán. Báo cáo nhận định nguồn dữ liệu huấn luyện chất lượng cao ngày càng khan hiếm, trong khi chi phí phát triển các mô hình tiên tiến nhất đang tăng.

Nội dung này nằm trong báo cáo AI100 thứ ba do Đại học Stanford công bố, có tên “AI trở thành xu hướng chính: Kỷ nguyên mở rộng quy mô và sự trỗi dậy của AI tạo sinh” (AI Goes Mainstream: The Scaling Era and the Rise of Generative AI). AI100 là nghiên cứu dài hạn bắt đầu từ năm 2014; các nhà nghiên cứu đánh giá tiến bộ công nghệ AI và tác động xã hội 5 năm một lần.

“Mở rộng quy mô” trong báo cáo là cách tăng lượng dữ liệu và khối lượng tính toán dùng để huấn luyện mô hình, phương pháp đã thúc đẩy AI tạo sinh phát triển. Tuy nhiên, báo cáo AI100 cho rằng kinh nghiệm trước đây — theo đó quy mô càng lớn thì hiệu suất càng cải thiện ổn định — chưa giải thích đầy đủ khả năng ứng dụng thực tế. Trong một số tác vụ, mô hình nhỏ hơn được huấn luyện hiệu quả đã cho kết quả tốt hơn mô hình lớn.

Các tác giả báo cáo cho rằng việc phát triển AI tiên tiến tập trung vào một số ít chủ thể tại Mỹ và Trung Quốc đặt ra vấn đề về quản trị, đồng thời kêu gọi xây dựng cơ cấu quản trị rõ ràng hơn và mở rộng sự tham gia của công chúng, CryptoBriefing đưa tin.

Nguồn dữ liệu cũng là một giới hạn. Các mô hình quy mô lớn cần nhiều tài liệu huấn luyện, nhưng việc liên tục tìm được dữ liệu mới chất lượng cao ngày càng khó. Quá trình sử dụng dữ liệu thu thập từ web để huấn luyện cũng làm dấy lên vấn đề bản quyền. Báo cáo cho biết hoạt động phát triển mô hình sử dụng cả tài liệu công khai, tài liệu được cấp phép và dữ liệu do doanh nghiệp nắm giữ độc quyền.

Nhóm nghiên cứu cũng xem xét cách sàng lọc chất lượng dữ liệu bên cạnh việc tăng số lượng. Theo báo cáo, loại bỏ tài liệu trùng lặp và chọn dữ liệu hữu ích có thể cải thiện hiệu suất mà không cần tăng quy mô dữ liệu theo tỷ lệ tương ứng. Dữ liệu tổng hợp do AI tạo ra cũng có thể được sử dụng, nhưng không thể thay thế dữ liệu thực tế trong mọi lĩnh vực.

Báo cáo cũng chưa đưa ra kết luận dứt khoát về các khoản đầu tư lớn. Báo cáo chỉ ra việc xây dựng trung tâm dữ liệu AI đang làm tăng nhu cầu điện và nước. Trong khi đó, kết quả từ đầu tư AI vẫn chưa thể hiện rõ trong các chỉ số của toàn nền kinh tế hay tỷ suất sinh lời từ đầu tư của doanh nghiệp. Báo cáo cho rằng cần đánh giá mức cải thiện hiệu suất và kết quả ứng dụng thực tế khi chi phí tăng lên.

Trước đó, TokenPost đã đưa tin về phân tích cho rằng hạn chế của lưới điện tại các trung tâm dữ liệu ở Mỹ và chi phí huy động vốn tăng đang dẫn đến quan điểm đánh giá lại giá trị doanh nghiệp AI. Phân tích này chỉ ra rằng các hợp đồng bảo đảm năng lực tính toán chưa giải quyết được vấn đề tiếp cận nguồn điện và chi phí vận hành của cơ sở.

Việc công nghệ phát triển tập trung cũng đặt ra câu hỏi ai sẽ quyết định các nguyên tắc vận hành. Phần tóm tắt chính của báo cáo cho rằng AI tác động đến công việc và giáo dục của nhiều người, nhưng công chúng có ít cơ hội tham gia vào quá trình định hướng phát triển và triển khai. Báo cáo cũng nhận định các cơ chế quản lý AI quốc tế đang phân hóa theo chính sách an ninh và công nghiệp của từng quốc gia.

Báo cáo đồng thời ghi nhận những ý kiến khác nhau về cách thức quản lý. Việc đặt ra tiêu chí dựa trên quy mô mô hình hoặc tài nguyên huấn luyện có thể không theo kịp thay đổi công nghệ. Cách quản lý theo lĩnh vực sử dụng như y tế và tài chính có thể ứng phó với thiệt hại cụ thể, nhưng cần sự phối hợp giữa các cơ quan giám sát để xử lý AI được dùng ở nhiều lĩnh vực. Báo cáo cũng nêu lo ngại rằng quy định quá nghiêm ngặt có thể làm giảm năng lực cạnh tranh.

AI100 cho biết khó xác định giai đoạn mở rộng quy mô sẽ kết thúc khi nào, hoặc liệu giai đoạn này đã bắt đầu kết thúc hay chưa. Kết luận của báo cáo không có nghĩa là hoạt động phát triển AI sẽ dừng lại. Thay vào đó, chỉ dựa vào quy mô mô hình và lượng dữ liệu đã không còn đủ để đánh giá hiệu suất; cần xem xét đồng thời năng lực tính toán, dữ liệu và thuật toán.