H100 GKE: NVIDIA tích hợp sẵn danh mục workload AI vào recipe suy luận

NVIDIA (mã NVDA) đã tích hợp công cụ mã nguồn mở k8s-aibom vào công cụ kiểm tra cấu hình trong môi trường Kubernetes chạy trên GPU. k8s-aibom ghi lại thông tin về workload AI. Tổ hợp ví dụ gồm AICR 1.2.0 và k8s-aibom 1.6.2.

NVIDIA công bố tích hợp này trong bài blog kỹ thuật ngày 11. Tính năng mới bổ sung danh mục workload AI vào các recipe AICR dùng để quản lý cấu hình cụm.

AICR quản lý phiên bản và trạng thái của các thành phần nền tảng như trình điều khiển và mạng. k8s-aibom tìm các workload AI được hỗ trợ trong môi trường đó, rồi liệt kê những mô hình và phần mềm suy luận đã được triển khai.

Danh mục workload AI được tích hợp mặc định trong recipe suy luận GKE sử dụng GPU H100 và recipe Dynamo kế thừa cấu hình này. Với các recipe GKE khác, người dùng có thể chọn thêm tính năng trong quá trình tạo recipe. Tính năng không tự động áp dụng cho mọi recipe AICR.

Danh mục ghi lại các mô hình được phát hiện, môi trường chạy suy luận, tác nhân, thành phần tạo sinh tăng cường truy xuất (RAG) và các thuộc tính liên quan. Người vận hành có thể xem những thành phần cấu thành workload và nơi xác định từng thuộc tính.

k8s-aibom tạo danh mục thành phần học máy (ML-BOM) theo định dạng CycloneDX 1.6. Mỗi thuộc tính có thông tin về vị trí tìm thấy căn cứ và mức độ tin cậy.

Mức độ tin cậy gồm giá trị được khai báo trong cấu hình (declared), giá trị do công cụ suy luận (inferred), giá trị chưa xác định (unresolved) và tuyên bố về mô hình đã được xác minh chữ ký theo chính sách tin cậy đã cấu hình (verified). Nhờ đó, người vận hành có thể phân biệt thông tin lấy từ cấu hình với thông tin được công cụ phát hiện hoặc suy luận.

Google Cloud công bố k8s-aibom ngày 13 tháng 7 năm 2026. Đây là bộ điều khiển mã nguồn mở tìm môi trường chạy AI trong các cụm Kubernetes và tạo danh mục thành phần học máy.

Trước đó, TokenPost đã đề cập quy trình vận hành AICR để quản lý phiên bản và trạng thái các thành phần trong cụm GPU. Tích hợp lần này bổ sung việc ghi lại cấu hình workload AI chạy trên nền tảng đó.

Danh mục được tạo khi workload được hỗ trợ trong namespace do quản trị viên chọn có tín hiệu AI mà công cụ nhận diện được. Nếu không có workload được hỗ trợ hoặc không có tín hiệu phù hợp, workload đó có thể không xuất hiện trong danh mục.

Việc chọn namespace xác định workload nào được đưa vào danh mục, nhưng không giới hạn phạm vi dữ liệu mà bộ điều khiển đọc. Bộ điều khiển đọc workload và thông số pod trên toàn cụm.

Danh mục có thể được tạo trước khi pod thực sự chạy. Trạng thái Ready=True cũng không đảm bảo quá trình tải ảnh đã hoàn tất, vì vậy chỉ dựa vào việc danh mục được tạo hoặc trạng thái sẵn sàng thì chưa thể kết luận workload chạy thành công.

Kho lưu trữ dự án nêu rõ danh mục này không chứng nhận việc tuân thủ quy định. Danh mục workload AI ghi lại thông tin cấu hình, chứ không xác nhận các yêu cầu pháp lý đã được đáp ứng.

Thông tin AIBOM quan sát được trong môi trường chạy không có chữ ký. NVIDIA cũng cho biết tính năng xác minh chữ ký mô hình của AICR mặc định bị tắt.

Thử nghiệm mức sử dụng tài nguyên NVIDIA giới thiệu được thực hiện với k8s-aibom 1.6.1. Trong 15 phút quan sát khi các pod workload phải chờ trên nút chỉ có CPU, máy chủ API nhận khoảng 4 yêu cầu mỗi phút; mức sử dụng CPU trung bình của bộ điều khiển là 2,2 millicore và bộ nhớ là 28–34 MiB. Thử nghiệm này không đo thông lượng trong môi trường sản xuất hay hiệu năng tổng thể của cả cụm GPU.