Amazon ra mắt TorchNeuron, thử nghiệm mã PyTorch trên Trainium2 và Trainium3

Amazon($AMZN) đã bắt đầu thử nghiệm công khai TorchNeuron, công cụ giúp chạy mã PyTorch hiện có trên các chip AI Trainium2 và Trainium3 của hãng. Nhà phát triển có thể thử Trainium bằng cách thay đổi thiết lập thiết bị trong mã.

AWS công bố bản thử nghiệm công khai vào ngày 20. Một ngày trước đó, PyTorch đã giới thiệu cách TorchNeuron hoạt động. Công cụ được phát hành dưới dạng mã nguồn mở theo giấy phép Apache 2.0.

PyTorch là framework mã nguồn mở dùng để xây dựng và huấn luyện mô hình AI. Khi chuyển tác vụ sang một loại chip khác, nhà phát triển có thể cần chỉnh sửa mã cho phù hợp với phần cứng và kiểm tra lại kết quả. TorchNeuron hướng tới giảm bớt công việc này.

Để chạy mô hình hiện có trên Trainium, nhà phát triển có thể chỉ định thiết bị bằng .to('neuron'). Công cụ cũng hỗ trợ chế độ eager dùng trong nghiên cứu và gỡ lỗi, torch.compile để tối ưu hiệu năng, cùng các API huấn luyện phân tán. PyTorch cho biết TorchNeuron được thiết kế để các tính năng này hoạt động trong quy trình phát triển hiện có.

Thay đổi “một dòng” là cách bắt đầu chuyển thiết bị. Điều đó không có nghĩa mọi mô hình và thư viện đều hoạt động mà không cần điều chỉnh thêm. Việc chuyển mã dễ dàng hơn cũng chưa đủ để kết luận Trainium có chi phí thấp hơn hoặc hiệu năng cao hơn GPU hiện có.

Deepgram, một công ty AI giọng nói, đã công bố kết quả benchmark riêng trong bài giới thiệu của PyTorch. Deepgram cho biết thời gian xử lý âm thanh đầu vào trên mỗi USD của Trainium cao hơn khoảng 60% so với mức GPU dùng làm chuẩn so sánh. Kết quả này chỉ áp dụng cho tác vụ Deepgram đánh giá và chuẩn so sánh được sử dụng.