Google dùng Gemini rút thời gian bố trí chip từ vài tuần xuống vài giờ

Google cho biết việc ứng dụng Gemini đã rút thời gian bố trí chip từ vài tuần xuống vài giờ. Công ty cũng công bố hai hệ thống TPU thế hệ thứ 8.

Trong thông báo chính thức ngày 10 theo giờ Hàn Quốc, Google cho biết đang dùng Gemini và AlphaChip của Google DeepMind trong quá trình phát triển phần cứng thế hệ tiếp theo. Hai hệ thống mới là TPU 8tx và TPU 8i Max.

Bố trí chip là công đoạn xác định vị trí của hàng tỷ transistor trên tấm wafer silicon. Mốc thời gian từ vài tuần xuống vài giờ chỉ áp dụng cho công đoạn này; Google cho biết thiết kế một con chip mới vẫn mất vài năm.

TPU 8tx và TPU 8i Max không phải chip silicon mới mà là các hệ thống được xây dựng trên những chip TPU hiện có. Chip là chất bán dẫn thực hiện phép tính, còn hệ thống kết hợp chip với mạng, bộ lưu trữ và các thành phần khác.

Google cho biết có thể điều chỉnh bộ nhớ, mạng và bảo mật quanh chip để tạo hệ thống phù hợp với từng tác vụ. Theo công ty, cách làm này giúp cung cấp các hệ thống chuyên dụng trong vài tháng thay vì vài năm.

Google cho biết khách hàng trong các ngành chịu quy định nghiêm ngặt cần tính năng bảo vệ dữ liệu, còn doanh nghiệp muốn dùng các mô hình AI xử lý ngữ cảnh lớn hơn. TPU 8tx tập trung vào bảo mật, trong khi TPU 8i Max hướng tới xử lý ngữ cảnh dài.

TPU 8tx là hệ thống dành cho suy luận bảo mật khi xử lý dữ liệu nhạy cảm. Hệ thống sử dụng cùng loại silicon với TPU 8t và được thiết kế để bảo vệ, cách ly dữ liệu cùng trọng số mô hình trong lúc chạy.

Khả năng xử lý bảo mật tập trung vào việc giữ an toàn cho dữ liệu ngay cả khi máy tính đang sử dụng dữ liệu đó. Thông thường, dữ liệu được mã hóa khi lưu trữ hoặc truyền qua mạng, nhưng sẽ được mở khóa trong bộ nhớ để xử lý.

Google giới thiệu TPU 8tx cho các ngành chịu quy định nghiêm ngặt và cơ quan chính phủ cần xử lý đồng thời dữ liệu nhạy cảm cùng mô hình riêng. Hệ thống cũng hỗ trợ các tác vụ huấn luyện quy mô nhỏ.

TPU 8i Max kết hợp hai chip TPU 8i trong một gói. Google cho biết hệ thống có năng lực tính toán, bộ nhớ SRAM trên chip và băng thông bộ nhớ băng thông cao HBM đều gấp đôi TPU 8i.

Việc tăng dung lượng và băng thông bộ nhớ nhằm mở rộng lượng ngữ cảnh mà mô hình AI có thể tham khảo cùng lúc. Google hướng tới các tác vụ có nhiều dữ liệu cần xử lý đồng thời, như tài liệu dài, cơ sở mã lớn hoặc video kéo dài nhiều giờ.

Tại sự kiện Google Cloud Next hồi tháng 4, Google đã công bố TPU 8t dành cho huấn luyện mô hình quy mô lớn và TPU 8i phục vụ suy luận thời gian thực. Cùng với TPU 8tx và TPU 8i Max mới ra mắt, hai hệ thống này tạo thành dòng sản phẩm thế hệ thứ 8.

Google nêu các chỉ số so với thế hệ trước gồm hiệu năng huấn luyện của TPU 8t cao tối đa gấp 2,7 lần và hiệu năng trên chi phí suy luận của TPU 8i cải thiện 80%. Các con số này không phản ánh hiệu năng của TPU 8tx hay TPU 8i Max mới công bố.

Google cho biết đây là lần đầu tiên hãng giới thiệu bốn hệ thống TPU trong một năm. TokenPost trước đó cũng đưa tin Google công bố hai hệ thống TPU hướng tới suy luận bảo mật và xử lý ngữ cảnh dài.

TPU được dùng để huấn luyện các mô hình nội bộ của Google, đồng thời dành cho khách hàng Google Cloud và các tổ chức vận hành trung tâm dữ liệu riêng. Google cho biết có khoảng 100 khách hàng TPU, gồm các viện nghiên cứu, công ty giao dịch, nhà bán lẻ và trường đại học.