Hơn 6 triệu yêu cầu/giây trong nội bộ: Google ra mắt XSE, loại Python khỏi khâu phục vụ mô hình

Google đã công bố mã nguồn mở XLA Serving Engine (XSE), một công cụ xử lý suy luận mô hình AI mà không cần môi trường chạy Python. Python vẫn có thể được dùng trong quá trình phát triển mô hình, còn dịch vụ xử lý yêu cầu của người dùng sử dụng môi trường chạy C++.

Google cho biết trên blog chính thức ngày 5 tháng 11 rằng XSE được phát hành theo giấy phép Apache 2.0. Công cụ này dùng để xuất và chạy suy luận mô hình trong hệ sinh thái OpenXLA.

XSE gồm công cụ xuất mô hình và môi trường chạy suy luận. Nhà phát triển có thể xuất mô hình tạo bằng JAX hoặc PyTorch sang định dạng XLA SavedModel, sau đó môi trường chạy C++ tải mô hình và thực thi.

XLA SavedModel chứa StableHLO, định dạng biểu diễn các phép tính của mô hình. Google cho biết trọng số mô hình được lưu trong các checkpoint Orbax.

OpenXLA là hệ sinh thái biên dịch mô hình học máy để chạy trên nhiều thiết bị tính toán. Trình biên dịch XLA chuẩn bị các phép tính phù hợp với thiết bị, còn XSE kết nối mô hình đã chuẩn bị với môi trường thực thi để phản hồi yêu cầu dịch vụ.

Google đã triển khai các thành phần cốt lõi của XSE trong hạ tầng dịch vụ nội bộ từ năm 2025. Các ứng dụng được nêu gồm YouTube Shorts, Google Ads, dịch vụ tìm kiếm và một số thành phần của Gemini Omni.

Google cho biết XSE xử lý hơn 6 triệu yêu cầu mỗi giây trong nội bộ. Đây là số liệu về quy mô vận hành của Google, không có nghĩa công cụ đạt cùng thông lượng trong môi trường bên ngoài.

Kết quả so sánh hiệu năng do Google tự thử nghiệm với các yêu cầu ngắn. Thông lượng của XSE cao gấp 2–5 lần máy chủ Python đã được Google tối ưu hóa, và gấp 8–36 lần máy chủ Python ở cấu hình mặc định.

Google cũng cho biết thời gian CPU cho mỗi lần dự đoán thấp hơn 30–70% so với bản triển khai bằng Python, trong khi mức sử dụng bộ nhớ bằng khoảng một phần tư. Đây cũng là kết quả thử nghiệm do Google công bố.

XSE chủ yếu hướng đến các tác vụ cần xử lý nhanh yêu cầu ngắn, như hệ thống gợi ý và nhận diện video. Google mô tả đây là công cụ suy luận gọn nhẹ, tập trung giảm độ trễ cho từng yêu cầu.

Các mô hình ngôn ngữ lớn tự hồi quy tạo câu liên tục và xử lý ngữ cảnh dài không phải đối tượng chính của XSE. Với những mô hình này, Google đề xuất các công cụ như vLLM hoặc SGLang, vốn có chức năng quản lý bộ nhớ chuyên biệt cho mô hình ngôn ngữ lớn.

Kho mã nguồn mở OpenXLA cho biết một gói mô hình đã xuất có thể chạy trên CPU, GPU của NVIDIA và TPU của Google Cloud. Khi xuất mô hình, nhà phát triển có thể đóng gói thông tin tính toán phù hợp với thiết bị sẽ chạy mô hình.

XSE có thể được triển khai như một công cụ suy luận độc lập hoặc kết nối với hệ thống phục vụ phức tạp hơn. Công cụ được thiết kế để loại trình thông dịch Python khỏi đường xử lý yêu cầu dịch vụ.

Giấy phép Apache 2.0 cho phép sử dụng thương mại và chỉnh sửa phần mềm. Google đã đăng mã nguồn XSE cùng hướng dẫn sử dụng lên kho mã nguồn mở.

Trong các bước tiếp theo, Google dự kiến hỗ trợ xuất mô hình PyTorch sang TPU thông qua tích hợp TorchTPU. Tính năng biên dịch ngoại tuyến sẽ được triển khai cho người dùng nội bộ trước khi phát hành ra bên ngoài; Google cũng cho biết sẽ cung cấp công cụ tiền xử lý dữ liệu dựa trên C++.