Google và Amazon cho chuyển ứng dụng PyTorch sang chip AI tự phát triển

Google và Amazon vừa lần lượt ra mắt công cụ giúp chạy ứng dụng AI xây dựng trên PyTorch ngay trên chip AI do chính hai hãng tự phát triển. Nhà phát triển có thể chuyển ứng dụng hiện có sang TPU của Google hoặc Trainium của Amazon mà không phải viết lại từ đầu.

Google công bố TorchTPU vào ngày 20. Theo TechCrunch, nhà phát triển chỉ cần thay đổi một vài thiết lập đơn giản là có thể đưa ứng dụng PyTorch sẵn có sang TPU, không cần viết lại ứng dụng. Google cho biết đã phối hợp với Meta, Hugging Face, Inferact (đơn vị phát triển vLLM) và RadixArk (đơn vị phát triển SGLang) để TorchTPU vận hành tốt cùng các công cụ này.

TorchTPU có thể dùng cùng vLLM, SGLang và Hugging Face. Google cũng giới thiệu bộ công cụ tác tử TPU, hỗ trợ đưa ứng dụng lên TPU và đám mây, đồng thời xử lý lỗi phát sinh.

Về phía Amazon, hãng công bố TorchNeuron vào ngày 19. Công cụ này cho phép chuyển ứng dụng AI sang chip Trainium và AWS mà không cần viết lại. Amazon cho biết đang đóng góp mã nguồn lên dự án chính của PyTorch nhằm tách các chức năng đang gắn chặt với chip Nvidia.

PyTorch là công cụ mã nguồn mở dùng để xây dựng, huấn luyện và vận hành mô hình AI. Theo TechCrunch, khi chuyển ứng dụng PyTorch hiện có sang TPU hay Trainium, nhà phát triển không phải viết lại ứng dụng. Tuy nhiên, chỉ với việc ra mắt lần này thì chưa thể khẳng định các nhà phát triển sẽ rời bỏ GPU của Nvidia hàng loạt.