Nemotron 3.5 Bolt E4B dùng tới 4,9 GB trên Jetson Orin Nano

NVIDIA(NVDA) công bố mô hình ngôn ngữ nhỏ Nemotron 3.5 Bolt E4B 4GB vào ngày 23 tháng 10, hướng đến trợ lý giọng nói chạy cục bộ và tác nhân hội thoại. Tên gọi 4GB không có nghĩa mô hình luôn chỉ dùng 4GB bộ nhớ khi chạy.

Trên trang mô hình chính thức, NVIDIA cho biết mô hình được huấn luyện tiếp dựa trên Gemma 4 E4B-it của Google. Mô hình được thiết kế để làm theo chỉ dẫn trong các cuộc hội thoại nhiều lượt, gọi công cụ và trả lời dựa trên thông tin đầu vào.

NVIDIA nêu các ứng dụng chính gồm trợ lý, nhân vật trong trò chơi và giao diện nhúng chạy trên GeForce RTX, Jetson, RTX Spark và DGX Spark. Trước đó, TokenPost đã đưa tin dòng Nemotron 3.5 được công bố và E4B dự kiến ra mắt trong tháng này.

Thẻ mô hình ghi nhận tổng cộng 8 tỷ tham số, trong đó 4 tỷ tham số hữu hiệu. Bản phát hành lượng tử hóa trọng số theo định dạng Q4_K_M và hỗ trợ ngữ cảnh đầu vào tối đa 64.000 token.

NVIDIA đo mức sử dụng bộ nhớ và tốc độ với kích thước lô 1 trong môi trường CUDA của llama.cpp. Công ty cho biết kết quả thực tế có thể thay đổi tùy phần cứng và cấu hình chạy.

Với RTX 5070, mô hình dùng 3,5 GB VRAM khi nhận 3.000 token đầu vào mới và tạo 50 token đầu ra. Trong điều kiện có sẵn 32.000 token ngữ cảnh, thêm 2.000 token đầu vào mới và tạo 256 token đầu ra, mức sử dụng là 4,3 GB.

Trên Jetson Orin Nano 8GB, mức sử dụng bộ nhớ lần lượt là 4,2 GB và 4,9 GB trong hai điều kiện tương ứng. Kết quả trên hai thiết bị cho thấy dung lượng ghi trong tên mô hình và mức sử dụng thực tế có thể khác nhau khi độ dài đầu vào hoặc phần cứng thay đổi.

Với đầu vào ngắn, RTX 5070 mất 548 mili giây để tạo token đầu tiên và đạt tốc độ sinh 133,4 token mỗi giây. Trong điều kiện ngữ cảnh dài, các con số tương ứng là 1.238 mili giây và 106,2 token mỗi giây.

Tốc độ sinh trên Jetson Orin Nano 8GB lần lượt là 15,5 và 13,0 token mỗi giây trong hai điều kiện tương ứng. Đây là kết quả đo trong một môi trường chạy cụ thể do NVIDIA công bố.

Dù hướng đến trợ lý giọng nói, đầu vào và đầu ra của mô hình đều là văn bản. Cần kết nối riêng chức năng nhận dạng giọng nói để chuyển tiếng nói thành văn bản và tổng hợp giọng nói để đọc câu trả lời thành tiếng.

Ngay cả khi mô hình xử lý suy luận trên thiết bị, điều đó không tự động giới hạn toàn bộ quá trình xử lý dữ liệu của dịch vụ trên thiết bị, bao gồm nhận dạng hoặc tổng hợp giọng nói và gọi công cụ bên ngoài. Cách dữ liệu được xử lý có thể khác nhau tùy các chức năng được kết nối trong dịch vụ.

Trong bài tự đánh giá BF16 do NVIDIA công bố, E4B đạt 53,1 điểm ở MultiChallenge, bài đánh giá khả năng xử lý hội thoại nhiều lượt. Gemma 4 E4B đạt 42,1 điểm, còn Qwen 3.5 4B đạt 51,8 điểm.

Ở Tau2-Bench, bài đánh giá khả năng xử lý công việc khách hàng qua nhiều bước, E4B đạt 55,1 điểm, thấp hơn mức 75,1 điểm của Qwen 3.5 4B. Đây là kết quả đánh giá mô hình BF16, không thể xem trực tiếp là hiệu năng của phiên bản Q4_K_M.

NVIDIA đã công bố trọng số mô hình trên Hugging Face. Việc sử dụng mô hình chịu sự điều chỉnh của giấy phép OpenMDW 1.1.