Karpathy: Khoảng cách trải nghiệm LLM ngày càng phân hóa

Phần lớn mọi người hầu như chưa sử dụng mô hình ngôn ngữ lớn (LLM), trong khi một nhóm nhỏ dùng thành thạo các mô hình tiên tiến nhất đang chứng kiến tác nhân AI xử lý những công việc phức tạp vốn mất vài tuần hoặc vài tháng. Andrej Karpathy cho rằng khoảng cách trải nghiệm này đang mở rộng theo hình dạng chiếc phễu ngày càng dốc.

Ngày 11, Karpathy nhắc lại bài đăng hồi tháng 4 trên X và chia người dùng thành bốn nhóm. ChainCatcher đưa tin về phát biểu của ông dựa trên bài đăng này. Karpathy nói số người ông nêu ra chỉ là ước tính sơ bộ, không phải kết quả khảo sát.

Theo ước tính của Karpathy, khoảng 6 tỷ người hầu như chưa tiếp xúc với LLM, tương đương khoảng 75% dân số thế giới. Nhóm khoảng 1–2 tỷ người thỉnh thoảng dùng ChatGPT miễn phí hoặc sản phẩm tương tự thường xem LLM như công cụ tìm kiếm hoặc hỗ trợ viết, ông giải thích.

Nhóm tiếp theo gồm khoảng 20 triệu người sử dụng thành thạo các mô hình tiên tiến trong lĩnh vực toán học và lập trình. Karpathy nói họ nhập câu lệnh và chứng kiến tác nhân thực hiện những dự án phức tạp từng mất vài tuần hoặc vài tháng. Ví dụ gồm tạo ứng dụng, sao chép và dịch ứng dụng, cũng như phân tích ngược ứng dụng từ tệp nhị phân.

Karpathy cho biết chưa đầy một năm trước, ông vẫn tự viết từng dòng mã. Theo ông, việc tác nhân đảm nhận công việc thực tế là điểm khác biệt trong trải nghiệm của những người sử dụng thành thạo mô hình tiên tiến nhất so với người dùng thông thường.

Nhóm nhỏ nhất gồm khoảng 5.000 người có thể tiếp cận các hệ thống tiên tiến trong nội bộ. Karpathy nói các bản xem trước công khai cho thấy hàng nghìn tác nhân xử lý những dự án phần mềm lớn trong nhiều tuần, đồng thời thực hiện các khám phá khoa học và nghiên cứu toán học.

Ông cũng lưu ý rằng việc con người xem xét và hiểu kết quả đang bắt đầu tụt lại phía sau. Các phân tích xoay quanh những sự việc liên quan đến OpenAI và Hugging Face vẫn tiếp diễn sau nhiều tháng; ông nói các nhà toán học có thể cần nhiều thời gian để xem xét 722 bài báo toán học tiên tiến.

Karpathy nêu quy mô và thời gian thực hiện của bài toán, chênh lệch năng lực giữa các lĩnh vực và mức độ tiếp cận mô hình là những yếu tố làm gia tăng khoảng cách trải nghiệm. Theo ông, câu hỏi yêu cầu câu trả lời ngắn không thể kiểm tra đầy đủ năng lực của hệ thống, còn những công việc lớn và kéo dài cho thấy rõ hơn phạm vi ứng dụng của tác nhân.

Ông nói năng lực của mô hình thể hiện rõ trong những lĩnh vực có giá trị kinh tế cao và kết quả dễ kiểm chứng trong môi trường số. Chênh lệch giữa sản phẩm miễn phí, sản phẩm trả phí và quyền tiếp cận nội bộ cũng là yếu tố tạo nên khác biệt trong trải nghiệm người dùng.

Số người và tỷ lệ Karpathy đưa ra đều là ước tính cá nhân. Cách phân nhóm của ông cho thấy trải nghiệm LLM có thể khác nhau tùy theo tần suất sử dụng, quyền tiếp cận và tính chất công việc được giao cho hệ thống.