Nhà sáng lập Grass: Cần bổ sung node địa phương để AI truy xuất thông tin thời gian thực

Nhà sáng lập Grass (GRASS) cho biết số lượng nút mạng tại các khu vực có nhu cầu cao và tốc độ phản hồi là yếu tố quan trọng để AI lấy thông tin web mới nhất trong lúc suy luận. Việc thu thập dữ liệu huấn luyện có thể trì hoãn, nhưng thông tin cần để trả lời câu hỏi của người dùng thì khó chờ đợi.

Andrej Radonjic, đồng sáng lập kiêm CEO của Wynd Labs, phát biểu trong cuộc trò chuyện được đăng trên The Delphi Podcast ngày 20: “Ở giai đoạn suy luận, không có thời gian để chờ.” Ông nói thời gian cần thiết cho việc thu thập dữ liệu huấn luyện khác với thời gian cần để truy xuất thông tin theo thời gian thực. Trang podcast cho biết Delphi Ventures đã đầu tư vào Grass và nắm giữ token Grass.

Grass thu thập dữ liệu web công khai thông qua băng thông internet tại nhà do người dùng đồng ý chia sẻ. Các điểm kết nối internet do người dùng đóng góp được gọi là nút mạng.

Radonjic cho biết một số trang web khó phân biệt các lượt truy cập tự động, nên chặn hàng loạt địa chỉ IP của trung tâm dữ liệu. Ông nói Grass ứng phó với hạn chế này bằng cách sử dụng kết nối internet gia đình ở nhiều khu vực.

Huấn luyện là quá trình thu thập dữ liệu để đào tạo mô hình; suy luận là giai đoạn mô hình đã huấn luyện trả lời câu hỏi hoặc thực hiện tác vụ. Việc thu thập dữ liệu huấn luyện có thể diễn ra chậm hơn khi kết nối ở một khu vực bị quá tải. Trong khi suy luận, mô hình cần tìm thông tin mới để phản hồi người dùng.

Trong tài liệu chính thức ngày 28 tháng 9, Grass mô tả dữ liệu huấn luyện là sản phẩm đầu tiên và nêu mục tiêu dài hạn là giúp AI sử dụng thông tin trên thế giới theo thời gian thực. Công ty cho biết mô hình khó cập nhật thông tin web mới sau khi hoàn tất huấn luyện, đồng thời xem việc dùng cùng hạ tầng để truy cập web trong lúc suy luận là bước tiếp theo.

Radonjic nói nếu yêu cầu truy xuất thông tin thời gian thực tập trung khiến các nút mạng tại một khu vực bị quá tải, Grass cần tăng số nút tham gia ở khu vực đó. Điểm nghẽn ông đề cập là nhu cầu nút mạng tại nơi có nhiều yêu cầu, không có nghĩa toàn bộ mạng lưới đã quá tải.

Theo Radonjic, một tác nhân AI thông thường thường tìm từ 5 đến 50 trang trong một lần truy cập web; quá trình suy luận sâu hơn có thể cần nhiều trang hơn. Con số này nói về lượng trang web cần thiết để tác nhân thu thập ngữ cảnh.

Radonjic cho biết Grass đã ra mắt Contents API. API này nhận địa chỉ trang web và lấy nội dung trang thông qua các kết nối của mạng lưới Grass.

Người dùng có thể chọn quốc gia để truy cập qua Contents API và nhận kết quả ở định dạng Markdown hoặc văn bản thuần. Radonjic nói API gộp yêu cầu truy cập trang web và xử lý bằng trình duyệt thành một lệnh gọi, đồng thời có chức năng giảm số token cần thiết cho mô hình.

Với yêu cầu không có sẵn địa chỉ trang web, hệ thống cần chức năng tìm kiếm. Grass giới thiệu Search API là sản phẩm tiếp theo; tài liệu của công ty mô tả kế hoạch lập chỉ mục web rộng hơn để mô hình AI có thể tìm thông tin và lấy nội dung trang.

Radonjic nói trước đây ông cho rằng cần nhiều nút mạng hơn hiện nay rất nhiều để ra mắt sản phẩm dữ liệu thời gian thực. Tuy nhiên, nhờ tối ưu hạ tầng, mạng lưới có thể xử lý nhiều tác vụ hơn với ít nút hơn dự kiến, nên lịch ra mắt sản phẩm cũng được đẩy lên sớm hơn kế hoạch ban đầu.

Độ trễ phản hồi vẫn là vấn đề cần cải thiện. Radonjic cho biết việc gửi yêu cầu web qua hàng triệu địa chỉ IP trên khắp thế giới làm tăng thời gian xử lý và Grass đang tìm cách tăng tốc.

TokenPost trước đây đã đưa tin về việc mở rộng mạng cáp quang đường dài kết nối các trung tâm dữ liệu AI. Nội dung Radonjic trình bày lần này liên quan đến các nút kết nối internet gia đình theo từng khu vực, được dùng để truy cập trang web.