Thuê 8 GPU H100 trong 72 giờ ước tính tốn 1,29–4,74 triệu won

Chi phí thuê 8 GPU H100 80GB của Nvidia ($NVDA) trong 72 giờ được ước tính ở mức 1,29–4,74 triệu won, tùy nhà cung cấp; mức thấp nhất thấp hơn mức cao nhất 73%.

MarkTechPost ngày 11 công bố GPU Leaderboard, dịch vụ so sánh giá thuê GPU trên đám mây, cùng tiện ích Chrome GPU Leaderboard: Deploy It. Dịch vụ so sánh chi phí dựa trên mức giá do các nhà cung cấp công bố.

Tại thời điểm kiểm tra ngày 12, bảng điều khiển hiển thị 201 phiên bản GPU từ 24 nhà cung cấp, gồm 148 phiên bản theo yêu cầu và 53 phiên bản giao ngay. Ngày tham chiếu giá trên giao diện là ngày 10.

GPU Leaderboard so sánh giá sử dụng một GPU trong một giờ. Dù có chữ “Leaderboard” trong tên, dịch vụ này không đo tốc độ xử lý hay hiệu năng tính toán để xếp hạng.

Phép tính mặc định giả định thuê 8 GPU H100 80GB trong 72 giờ, với mức sử dụng do người dùng đặt là 90%. Cơ sở tính phí là 576 giờ-GPU, còn lượng sử dụng thực tế mà máy tính ước tính là 518,4 giờ-GPU. Mức 90% là giả định do người dùng nhập, không phải tỷ lệ sử dụng được đo lường.

Chi phí hiển thị trên máy tính dao động từ 967,68 USD (khoảng 1,29 triệu won), trung vị 1.716,48 USD (khoảng 2,29 triệu won) đến cao nhất 3.545,28 USD (khoảng 4,74 triệu won). Các mức quy đổi sang won sử dụng tỷ giá 1 USD = 1.337 won.

Đơn vị tính giá theo giờ trong bảng giá của các nhà cung cấp không giống nhau. Latitude chào giá từ 1,68 USD (khoảng 2.250 won) mỗi GPU H100 80GB mỗi giờ; CoreWeave chào giá 49,24 USD (khoảng 66.000 won) mỗi giờ cho phiên bản HGX gồm 8 GPU H100.

Không có căn cứ cho thấy hai sản phẩm có cấu hình GPU, khu vực cung cấp và khả năng cung ứng thực tế giống nhau. Vì vậy, khó xem giá theo giờ trong bảng là phép so sánh trực tiếp giữa các lựa chọn có cùng điều kiện.

Người dùng có thể thay đổi mẫu và số lượng GPU, thời gian sử dụng cùng tỷ lệ sử dụng để tính tổng chi phí. Dịch vụ cũng hiển thị mức giá theo yêu cầu thấp nhất của từng GPU và danh sách sản phẩm theo nhà cung cấp.

Chênh lệch giá giữa các nhà cung cấp từng được TokenPost đề cập trong phân tích so sánh 38 công ty điện toán đám mây và 32 sản phẩm GPU, trong đó mức chênh lệch giá thuê H100 lên tới 18 lần.

Tiện ích Chrome được công bố cùng dịch vụ đọc kích thước mô hình trên các trang mô hình của Hugging Face, rồi ước tính VRAM cần thiết theo các chuẩn FP16, INT8 và INT4. Tính năng này giúp người dùng ước lượng dung lượng bộ nhớ cần để chạy mô hình.

Tiện ích cũng cho biết có thể tìm tham chiếu mô hình trong kho GitHub và tìm kiếm mô hình hoặc GPU từ thanh công cụ của trình duyệt.

Thông tin về thu thập dữ liệu trên cửa hàng ứng dụng và trong chính sách quyền riêng tư của dịch vụ không giống nhau. Chrome Web Store ghi rằng nhà phát triển không thu thập hoặc sử dụng dữ liệu người dùng. Trong khi đó, chính sách của dịch vụ nêu rằng sau khi người dùng đồng ý trong cửa sổ thông báo, dịch vụ sẽ gửi ID mô hình đã xem, đường dẫn và thời điểm xem, tùy theo cài đặt Share usage vốn được bật theo mặc định. Chính sách cũng cho biết không gửi dữ liệu trước khi người dùng đồng ý.

MarkTechPost cho biết giá của từng nhà cung cấp được kiểm tra lại hằng ngày. Tuy nhiên, khi kiểm tra ngày 12, bảng điều khiển ghi ngày tham chiếu giá là ngày 10; điều khoản dịch vụ cũng lưu ý dữ liệu về giá, tình trạng cung ứng và cấu hình được thu thập có thể đã cũ, chưa đầy đủ hoặc không chính xác.

Kết quả tính toán phụ thuộc vào sản phẩm được chọn, tỷ lệ sử dụng và các điều kiện đầu vào khác. Chỉ dựa vào mức giá hiển thị thì không thể xác định tổng chi phí thực tế hoặc chênh lệch hiệu năng khi thực hiện cùng một tác vụ.