NVIDIA đưa tính năng tự động tìm đường build engine suy luận vào TensorRT 11.1

NVIDIA($NVDA) đã bổ sung cho TensorRT 11.1 tính năng tự động tìm đường build engine suy luận AI. Trong phép so sánh 10 workload do NVIDIA công bố, hiệu năng sau khi tinh chỉnh đạt mức cao hơn 1,14–1,63 lần so với đường build mặc định của từng workload. Kết quả này chỉ áp dụng cho các workload được thử nghiệm, không có nghĩa mọi mô hình đều cải thiện tương tự.

Ngày 23, NVIDIA trình bày thiết kế và kết quả đo của Global Performance Tuner trong một bài viết trên blog kỹ thuật. Tính năng này build engine với nhiều cấu hình, sau đó so sánh hiệu năng suy luận của các engine hoàn chỉnh. Khi bật kiểm tra độ chính xác, công cụ chọn engine nhanh nhất trong số các ứng viên đáp ứng ngưỡng cho phép.

Đường build là tổ hợp các giá trị cài đặt của trình biên dịch. Mỗi giá trị điều chỉnh lựa chọn biên dịch, chẳng hạn như heuristic, hợp nhất phép toán và cách tạo mã. Nếu không chỉ định đường build riêng, các giá trị mặc định sẽ được áp dụng. TensorRT 11.1 có hơn 200 giá trị cài đặt có thể điều chỉnh.

Quá trình tự động tìm kiếm diễn ra trong trtexec, công cụ dòng lệnh của TensorRT. Công cụ chuyển các điều kiện tìm kiếm thành từng đường build riêng, tạo engine theo từng đường và đo tốc độ. Những ứng viên bị lỗi trong quá trình build hoặc vượt ngưỡng suy giảm độ chính xác cho phép sẽ bị loại; trong số các engine còn lại, công cụ chọn engine có hiệu năng đo được cao nhất.

Việc so sánh engine hoàn chỉnh cần thiết vì tốc độ của từng phép toán riêng lẻ không đủ để đánh giá hiệu năng suy luận tổng thể. Một lựa chọn nhanh ở một phép toán có thể bất lợi khi kết hợp với phép toán khác hoặc trong quá trình truyền dữ liệu. Đo toàn bộ engine giúp tìm đường build phù hợp với mô hình và môi trường chạy.

Để kiểm tra độ chính xác, cần có dữ liệu đầu vào, đầu ra tham chiếu để đối chiếu và sai số cho phép. Vì vậy, kết quả kiểm tra cần được hiểu trong phạm vi dữ liệu đầu vào, tiêu chí so sánh và ngưỡng đã chỉ định. Nếu dữ liệu thử nghiệm không đại diện cho điều kiện sử dụng thực tế, kết quả không đảm bảo độ chính xác với các đầu vào khác.

Các chế độ tìm kiếm khác nhau về thời gian build và phạm vi khảo sát. Chế độ fast lần lượt thay đổi từng giá trị cài đặt từ đường build mặc định để thử nghiệm. Chế độ full khảo sát mọi tổ hợp của các giá trị được chỉ định, còn mixed tìm thêm tổ hợp dựa trên kết quả từ fast. Số lượng giá trị cài đặt càng lớn, việc kiểm tra toàn bộ tổ hợp càng tốn công.

Đường build tối ưu có thể thay đổi tùy theo mô hình, dạng đầu vào, GPU, môi trường phần mềm, phiên bản TensorRT và phiên bản tuner. NVIDIA khuyến nghị đo lại engine khi các điều kiện này thay đổi, thay vì áp dụng nguyên trạng kết quả trước đó.