AI 2 tỷ tham số chạy thời gian thực trên kính thông minh Qualcomm

PrismML đã vận hành mô hình thị giác-ngôn ngữ quy mô 2 tỷ tham số trên kính thông minh dùng nền tảng Snapdragon của Qualcomm, cho phép thiết bị hiểu đối tượng người dùng đang nhìn và trả lời câu hỏi theo thời gian thực.

PrismML trình diễn mô hình 1-bit 'Bonsai' trên nền tảng Snapdragon AR1 Gen 1 tại Snapdragon Summit ngày 23, theo TechCrunch đưa tin. Bonsai dành cho kính thông minh gồm mô hình ngôn ngữ 1-bit quy mô 1,7B và bộ mã hóa hình ảnh 4-bit quy mô 0,3B, tạo thành mô hình thị giác-ngôn ngữ 2B.

Người đeo có thể đặt câu hỏi theo thời gian thực dựa trên các đối tượng được kính ghi nhận. Mô hình thị giác-ngôn ngữ xử lý đồng thời thông tin hình ảnh hoặc video và văn bản.

Bonsai kết hợp bộ mã hóa hình ảnh với mô hình ngôn ngữ để tạo câu trả lời ngay trên thiết bị. Mô hình 1-bit biểu diễn mỗi trọng số ở độ chính xác thấp hơn nhằm giảm mức sử dụng bộ nhớ. Trọng số là dữ liệu số được mô hình sử dụng khi xử lý đầu vào và tạo kết quả.

Qualcomm Technologies cho biết kết quả thử nghiệm trên nền tảng Snapdragon AR1 Gen 1 vào tháng 9/2026 cho thấy bộ nhớ trọng số của mô hình ngôn ngữ 1-bit ở mức 0,43GB, thấp hơn 3,83 lần so với 1,66GB của mô hình 4-bit tương ứng. Tốc độ tạo token lần lượt là 15,36 token/giây với mô hình 1-bit và 7,44 token/giây với mô hình 4-bit, chênh lệch 2,06 lần.

Các số liệu trên là kết quả so sánh mức sử dụng bộ nhớ và tốc độ tạo token do Qualcomm Technologies thực hiện trên nền tảng Snapdragon AR1 Gen 1 vào tháng 9/2026.

PrismML đã phát triển công nghệ thu nhỏ đáng kể các mô hình lớn nhưng vẫn duy trì phần lớn hiệu suất trên các bài kiểm tra tiêu chuẩn. TechCrunch đưa tin PrismML coi việc giảm quy mô mô hình xuống khoảng một phần tư trong khi giữ lại phần lớn hiệu suất là lợi thế của công ty.

Babak Hassibi (Babak Hassibi) đồng sáng lập kiêm CEO PrismML nói: “Để AI mạnh mẽ có thể xuất hiện trong các thiết bị mà mọi người sử dụng hằng ngày, AI đó phải vừa với thiết bị.” Phát biểu này cho thấy việc đưa AI lên kính thông minh đòi hỏi phải đồng thời giảm kích thước mô hình và gánh nặng tính toán.

Kính thông minh có thể xử lý thông tin hình ảnh và âm thanh xung quanh thông qua camera và micro, nhưng có ít bộ nhớ, điện năng và dư địa tản nhiệt hơn điện thoại thông minh hoặc máy chủ. Vì vậy, thu nhỏ mô hình và chạy trực tiếp trên thiết bị được xem là một trong những bài toán chính.

PrismML cho biết đã hợp tác với Qualcomm Technologies để tối ưu trọng số và cấu trúc của Bonsai cho NPU Hexagon của Qualcomm. NPU là bộ bán dẫn chuyên xử lý các phép tính AI.

Chạy AI trên thiết bị có thể giảm độ trễ phản hồi và hạn chế việc truyền thông tin hình ảnh lên máy chủ bên ngoài. Cấu trúc này cũng giúp mô hình hoạt động trong môi trường có kết nối mạng không ổn định.

Trước đó, Qualcomm đã công bố bộ công cụ phát triển phần mềm đa phương tiện dành cho các ứng dụng AI biên, mở rộng môi trường xử lý video, âm thanh và dữ liệu cảm biến ngay trên thiết bị. Màn trình diễn Bonsai cho thấy phạm vi ứng dụng AI trên thiết bị đang mở rộng sang các thiết bị đeo.

PrismML hướng tới AI có trọng số mở, tận dụng năng lực tính toán của chính thiết bị thay vì phụ thuộc vào trung tâm dữ liệu đám mây. Tuy nhiên, công ty vẫn chưa công bố sản phẩm kính thông minh thương mại tích hợp mô hình PrismML.