Back to top
  • 공유 Share
  • 인쇄 Print
  • 글자크기 Font size
URL copied.

Inkling 2 Mini 20GB hướng tới AI cục bộ trên Apple silicon

Laptop Apple silicon dành cho AI cục bộ, kết nối SSD ngoài / TokenPost.ai

Thinking Machines Lab đã công bố Inkling 2 Mini, mô hình AI có dung lượng khoảng 20GB, hướng đến việc chạy trực tiếp trên thiết bị Apple silicon cho các ứng dụng AI cục bộ.

Theo model card công khai, công ty liệt kê các thiết bị Apple silicon có bộ nhớ từ 32GB trở lên là phần cứng được hỗ trợ. Kích thước tệp mô hình được ghi khoảng 20GB.

Khi chạy cục bộ, dung lượng lưu trữ và bộ nhớ đảm nhiệm hai vai trò khác nhau. Tệp mô hình được lưu trên thiết bị lưu trữ, còn quá trình thực thi sử dụng bộ nhớ.

Do đó, thiết bị dùng Apple silicon nhưng có bộ nhớ dưới 32GB không nằm trong điều kiện hỗ trợ được nêu trong tài liệu công khai. Dung lượng tệp mô hình và yêu cầu bộ nhớ không thể thay thế cho nhau.

AI cục bộ là cách chạy mô hình ngay trên thiết bị người dùng thay vì máy chủ bên ngoài. Người dùng không gọi API của nhà cung cấp dịch vụ mà phải tự chuẩn bị tệp mô hình và công cụ chạy trên phần cứng của mình.

Với cách này, vị trí xử lý yêu cầu và môi trường sử dụng khác với dịch vụ tập trung vào máy chủ. Đổi lại, người dùng phải tự bảo đảm năng lực tính toán và không gian lưu trữ của thiết bị.

Trang mô hình ghi giấy phép Apache 2.0, đồng thời cung cấp Acceptable Use Policy (chính sách sử dụng được chấp nhận) riêng.

Apache 2.0 là một trong các giấy phép nguồn mở cho phép sửa đổi và phân phối mô hình. Chính sách sử dụng riêng là tài liệu nêu các điều kiện áp dụng khi sử dụng mô hình.

Khi tích hợp Inkling 2 Mini vào sản phẩm hoặc dịch vụ, nhà phát triển khó xác định phạm vi sử dụng chỉ dựa trên Apache 2.0. Cần xem xét đồng thời nội dung giấy phép và chính sách sử dụng riêng.

Ngày 5 tháng này, Thinking Machines Lab đã công bố mô hình Inkling 2 Small. Đây là mô hình hỗn hợp chuyên gia (Mixture-of-Experts, MoE) có tổng cộng 594 tỷ tham số, trong đó 17 tỷ tham số được kích hoạt khi suy luận.

Inkling 2 Small hỗ trợ đầu vào hình ảnh và điều chỉnh mức suy luận. Tại thời điểm đó, mô hình có thể sử dụng trên Tinker nhưng không thể tải xuống các trọng số.

Trong tháng 7, công ty cũng giới thiệu Inkling và Inkling-Small. Inkling được giới thiệu với cấu trúc kích hoạt 41 tỷ tham số trong tổng số 975 tỷ, còn Inkling-Small kích hoạt 12 tỷ trong tổng số 276 tỷ tham số khi suy luận.

MoE chỉ kích hoạt một số chuyên gia cần cho việc xử lý đầu vào, qua đó tách quy mô tham số tổng khỏi lượng tính toán thực tế. Vì vậy, dù tổng tham số lớn, hệ thống không sử dụng đồng thời toàn bộ các phần ở mỗi lượt.

Tài liệu công khai về Inkling 2 Mini nêu rõ điều kiện chạy cục bộ gồm thiết bị Apple silicon và bộ nhớ từ 32GB trở lên, đồng thời trình bày phạm vi phát hành cùng môi trường thực thi.

Trước khi chạy, người dùng cần kiểm tra thiết bị có bộ nhớ từ 32GB trở lên và đủ không gian lưu trữ tệp mô hình khoảng 20GB. Apache 2.0 và chính sách sử dụng riêng cũng cần được xem xét đồng thời.

<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>

Most Popular

Other related articles

Comment 0

Comment tips

Great article. Requesting a follow-up. Excellent analysis.

0/1000

Comment tips

Great article. Requesting a follow-up. Excellent analysis.
1