Tối đa 4,45 lần: FLUX 3 chỉnh sửa ảnh nhanh hơn trên một GPU B200

Thời gian chỉnh sửa ảnh 2048×2048 bằng FLUX 3 Image Klein Base giảm từ 54,64 giây xuống 12,28 giây khi chạy trên một GPU B200, tương đương tốc độ tối đa gấp 4,45 lần.

NVIDIA($NVDA) cho biết trong bài đăng trên blog kỹ thuật ngày 6 rằng phép đo này so sánh với lần chạy BF16 chưa biên dịch, trước khi tối ưu. Thời gian tạo ảnh từ văn bản cũng giảm từ 22,36 giây xuống 6,46 giây trong cùng điều kiện, cải thiện 3,46 lần.

Các tối ưu được kết hợp gồm biên dịch, phép tính độ chính xác thấp NVFP4, nhân ma trận GEMM PrimsTS, Sol-Attention và Cache-DiT. Mức cải thiện tối đa 4,45 lần đến từ sự kết hợp này, không phải riêng NVFP4.

Khi chỉ so sánh NVFP4, NVIDIA báo cáo tốc độ tạo ảnh từ văn bản tăng tối đa 1,62 lần và chỉnh sửa ảnh tăng tối đa 1,58 lần so với BF16. Đây là kết quả riêng của NVFP4, khác với phép đo kết hợp nhiều tối ưu hóa.

Mức cải thiện còn thay đổi theo mô hình và thiết bị. Mô hình chưng cất 16 bước cải thiện tối đa 2,34 lần xét theo tổng thời gian xử lý. Trên GPU RTX PRO 6000 Blackwell Server Edition, một cấu hình riêng cho mức cải thiện từ 1,73 đến 3,25 lần.

Black Forest Labs công bố trọng số FLUX 3 Image Klein với 5,6 tỷ tham số vào ngày 15 tháng 10. Mô hình hỗ trợ tạo ảnh từ văn bản và chỉnh sửa ảnh có sẵn.

Mô hình có thể nhận tối đa 10 ảnh tham chiếu. Black Forest Labs giới thiệu phiên bản Base dành cho tinh chỉnh và nghiên cứu, còn phiên bản chưng cất hướng đến suy luận nhanh.

Thông báo của NVIDIA tập trung vào tối ưu suy luận khi chạy mô hình đã được công bố trên GPU Blackwell, không phải phát hành trọng số mô hình mới. Công ty cũng đưa ra ví dụ về cấu hình tối ưu, cách chạy ngoại tuyến và thiết lập máy chủ tạo ảnh.

Thời gian độ trễ NVIDIA công bố không tính bước nâng cấp prompt, vốn mở rộng câu lệnh đầu vào. Vì vậy, số đo này có thể khác tổng thời gian xử lý của quy trình có bước nâng cấp prompt.

Nhóm ComfyUI thông báo rằng ở thời điểm ra mắt, bộ nâng cấp prompt bị tắt hoặc thiếu trong một số quy trình mẫu. Số bước của quy trình tạo ảnh từ văn bản và chỉnh sửa ảnh với bản Base được điều chỉnh từ 25 lên 50.

Nhóm ComfyUI cho biết bước nâng cấp prompt làm tăng thời gian xử lý mỗi ảnh. Do đó, thời gian của quy trình thực tế có thể khác độ trễ NVIDIA đưa ra.

Trong ví dụ tối ưu hóa cuối cùng, LPIPS của tác vụ tạo ảnh từ văn bản và chỉnh sửa ảnh lần lượt là 0,095 và 0,045. NVIDIA giải thích các giá trị này thể hiện khác biệt về cảm nhận giữa kết quả sau tối ưu hóa và đầu ra chuẩn VANILLA.

LPIPS càng thấp thì kết quả càng giống đầu ra chuẩn VANILLA. Tuy nhiên, chỉ số này không đủ để đánh giá toàn diện chất lượng hình ảnh.

Trước đó, TokenPost từng đưa tin về một nghiên cứu thử nghiệm chỉnh sửa ảnh, trong đó có FLUX.2-klein-9B. Nghiên cứu đánh giá khả năng sử dụng của kết quả chỉnh sửa; mô hình và chỉ số trong nghiên cứu khác với thế hệ mô hình và phép đo thời gian xử lý lần này của NVIDIA.