Mesh LLM: 217 điểm kết nối chạy suy luận AI phân tán trên mạng công khai

Mesh LLM đang vận hành một mạng lưới công khai cho phép ghép GPU và bộ nhớ của nhiều thiết bị để cùng xử lý suy luận cho các mô hình AI cỡ lớn. Theo trang chính thức của dự án, tính đến ngày 28 (giờ Hàn Quốc), bản ổn định đang là v0.75.1, còn ví dụ kết nối vào mạng mesh công khai hiển thị 217 điểm kết nối (peer).

Về bản chất, Mesh LLM là hệ thống suy luận phân tán, gộp tài nguyên từ nhiều node lại thành một điểm truy cập (endpoint) tương thích với OpenAI. Các yêu cầu có thể được xử lý ngay trên thiết bị của người dùng, hoặc được định tuyến sang một peer khác đang giữ mô hình cần dùng. Với những mô hình quá lớn để chạy trên một máy, hệ thống sẽ chia nhỏ và để nhiều node cùng thực thi song song.

Đáng chú ý, phạm vi hỗ trợ của Mesh LLM không chỉ bó hẹp trong GPU của Nvidia(NVDA). Tài liệu chính thức của dự án cho biết nền tảng này tương thích với CUDA của Nvidia, ROCm của AMD(AMD), Vulkan, CPU thông thường, lẫn Metal của Apple(AAPL).

Cũng theo trang chủ, phiên bản ổn định v0.75.1 được xác nhận vào ngày 28 (giờ Hàn Quốc). Trên GitHub, bản phát hành v0.75.1 xuất hiện từ ngày 10 tháng 8, và sau đó đã có thêm các bản thử nghiệm trước thuộc dòng v0.76.0.

Con số 217 peer trên mạng mesh công khai chỉ mang tính tham khảo về quy mô mạng tại một thời điểm. Đây là số liệu hiển thị gần như theo thời gian thực, nên khó dùng để suy ra số người dùng cố định hay quy mô của một dịch vụ thương mại.

Điểm cốt lõi trong thiết kế của Mesh LLM là tận dụng phần cứng sẵn có, thay vì buộc người dùng phải đầu tư thêm GPU mới. Trong một bài viết đăng ngày 11 tháng 7, Iroh giải thích rằng Mesh LLM xử lý yêu cầu theo ba cách: chạy cục bộ trên máy, định tuyến sang peer khác, hoặc chia nhỏ theo pipeline để nhiều node cùng xử lý.

Cơ chế phát hiện và kết nối node trong mạng mesh công khai cũng được xây dựng theo hướng phi tập trung. Tài liệu thiết kế chính thức mô tả việc phát hiện node dựa trên Nostr, còn kết nối dựa trên QUIC và iroh, cho phép dựng cả mạng mesh công khai lẫn riêng tư mà không cần máy chủ trung tâm.

Suy luận phân tán, hiểu đơn giản, là cách chia nhỏ tác vụ chạy mô hình AI cho nhiều thiết bị hoặc node cùng xử lý. Còn API tương thích OpenAI là giao diện giúp các ứng dụng vốn được viết cho OpenAI có thể gọi sang một máy chủ suy luận khác mà không cần chỉnh sửa nhiều.

Với cộng đồng crypto, câu chuyện Mesh LLM không đơn thuần là một công cụ AI mới ra mắt, mà gần với một thử nghiệm về hạ tầng phân tán. Việc kết nối phần cứng của cộng đồng hoặc của một đội nhóm để tạo ra tài nguyên suy luận, thay vì phụ thuộc vào các nhà cung cấp đám mây tập trung, có nhiều điểm tương đồng với logic mạng lưới mở mà ngành blockchain vẫn theo đuổi.

Tuy vậy, hiện chưa có căn cứ để đặt việc phát hành token hay cơ chế thưởng làm trọng tâm của câu chuyện này. Trọng tâm thực tế nằm ở việc liệu mô hình mạng mesh công khai và chia sẻ năng lực tính toán có thể vận hành ổn định trong hạ tầng suy luận AI hay không.

Dự án Buzz của Block(XYZ) cũng đang thử nghiệm theo hướng chia sẻ năng lực tính toán tương tự. Tài liệu công khai của Buzz mô tả ý tưởng dùng tính năng “Share compute” để kết nối GPU nhàn rỗi từ PC chơi game, laptop hay workstation của các thành viên trong nhóm.

Trong các tài liệu phát triển và hệ thống theo dõi lỗi (issue tracker) riêng, runtime của Mesh LLM, tính năng ghi log chẩn đoán, cùng luồng chia sẻ máy tính trên desktop đều đã xuất hiện. Điều này cho thấy Mesh LLM không chỉ dừng ở một thử nghiệm đơn lẻ, mà có khả năng được tích hợp vào các sản phẩm hướng tới cộng đồng.

Dù vậy, gọi đây là dịch vụ thương mại vẫn còn quá sớm. Trên issue tracker của Buzz từng có báo cáo cho biết bản build desktop trên Linux thiếu tính năng mesh-llm nên chức năng chia sẻ máy tính không hoạt động; lỗi này sau đó đã được đóng lại.

Bản build cho Windows, khâu xử lý mô hình văn bản và log chẩn đoán cũng đang được theo dõi như các hạng mục riêng. Nói cách khác, tính năng đang dần được bổ sung, nhưng độ ổn định vận hành và việc kiểm chứng triển khai trên từng nền tảng vẫn đang song song diễn ra.

Mức độ quan tâm từ cộng đồng lập trình viên cũng không hề nhỏ. Bài chia sẻ blog của Iroh trên Hacker News ghi nhận 347 điểm và 94 bình luận, trong đó một số người dùng đánh giá tích cực về trải nghiệm cài đặt và tự động chạy của công cụ này.

Xu hướng này cũng gắn với cuộc tranh luận rộng hơn về việc mở rộng khả năng tiếp cận các mô hình AI. TokenPost trước đó từng đưa tin về phân tích cho rằng dù chi phí sử dụng AI giảm, tổng nhu cầu về năng lực tính toán và điện năng vẫn có thể tiếp tục tăng. Có thể xem Mesh LLM là một thử nghiệm nhằm đáp ứng phần nhu cầu đó, không chỉ dựa vào các trung tâm dữ liệu đám mây quy mô lớn, mà mở rộng ra cả phần cứng của cá nhân và các đội nhóm nhỏ.

Ý nghĩa hiện tại của Mesh LLM không nằm ở việc trở thành một mạng lưới chuyên biệt cho GPU Nvidia, mà ở việc xây dựng một framework suy luận phân tán đa nền tảng, có thể ghép nối phần cứng từ nhiều nhà sản xuất khác nhau. Việc mạng mesh công khai và tính năng chia sẻ máy tính trên desktop có thể vận hành ổn định đến đâu trong môi trường sản phẩm thực tế sẽ còn phụ thuộc vào các bản phát hành tiếp theo và kết quả triển khai từ những dự án tích hợp.