Microsoft đã thử chạy một mô hình AI có 235 tỷ tham số trên ba máy tính mini kết nối qua USB4, đồng thời công bố kế hoạch đưa bản xem trước RDMA over USB4 lên Windows.
Trong bài đăng kỹ thuật chính thức ngày 19, Microsoft(MSFT) cho biết tính năng sẽ sớm có trong các bản dựng Future Platforms thuộc kênh Windows Insider Experimental. Công ty chưa công bố ngày phát hành bản dựng có tính năng này.
RDMA, viết tắt của truy cập bộ nhớ trực tiếp từ xa, giúp giảm các bước xử lý mạng thông thường khi truyền dữ liệu giữa bộ nhớ của hai máy tính. Một khung suy luận tương thích sẽ chia mô hình cho nhiều PC, còn ứng dụng dùng API NetworkDirect của Windows để xử lý liên lạc giữa các máy.
Windows đã hỗ trợ kết nối mạng giữa các PC qua USB4. Tính năng mới bổ sung đường truyền RDMA vào kết nối hiện có nhằm giảm sao chép dữ liệu và độ trễ giao tiếp, thông qua vòng DMA của bộ định tuyến máy chủ USB4.
Bộ nhớ và GPU của từng PC không hợp nhất thành một thiết bị trong hệ điều hành. Khung tương thích đảm nhiệm việc chia mô hình để chạy, còn các PC trao đổi dữ liệu qua kết nối USB4.
Microsoft đo độ trễ khứ hồi của tin nhắn nhỏ qua USB4 ở mức khoảng 28–50 micro giây, thấp hơn khoảng bốn lần so với giao tiếp UDP qua Ethernet trong cùng cấu hình. Con số này không có nghĩa tốc độ xử lý mô hình AI tăng gấp bốn lần.
Phòng thí nghiệm của Microsoft kết nối ba PC mini bằng USB4 40Gbps. Mỗi máy dùng bộ xử lý AMD Ryzen AI Max, đồ họa Radeon 8060S và 128GB bộ nhớ hợp nhất. Mô hình Qwen3-235B-A22B được lượng tử hóa 4-bit tạo khoảng 18,5 token mỗi giây.
AMD(AMD) đo cùng mô hình 4-bit trên cấu hình ba PC dùng Ryzen AI Max+ 395. Tốc độ giải mã đạt 21,98 token mỗi giây, còn tốc độ xử lý prompt là 117,98 token mỗi giây.
Intel(INTC) chạy GPT-OSS-120B trên các hệ thống Core Ultra Series 3 có 64GB bộ nhớ mỗi PC. Với ngữ cảnh 1K token, cấu hình ba máy đạt 49,4 token mỗi giây và cấu hình bốn máy đạt 54,2 token mỗi giây. Với ngữ cảnh 2K token, hai cấu hình lần lượt đạt 49,4 và 51,7 token mỗi giây.
Kết quả giữa các hãng khó so sánh trực tiếp do khác biệt về phần cứng, mô hình, độ dài ngữ cảnh và điều kiện đo. Tốc độ tạo token được công bố cũng không đại diện cho hiệu năng phổ biến có thể tái lập trên mọi PC.
Để kết nối ba PC, mỗi máy cần hai cổng USB4 và từng cặp máy phải nối trực tiếp bằng cáp. Microsoft khuyến nghị cấu hình full mesh, trong đó các PC kết nối trực tiếp với nhau, thay vì nối chuỗi daisy chain.
Việc thử bản xem trước cần chữ ký kiểm thử, nên phải tắt Secure Boot. Microsoft khuyến nghị dùng PC chuyên dụng để thử nghiệm thay vì máy dùng hằng ngày. Công ty cũng cho biết tầng truyền tải không tự động thử lại khi mất kết nối và cấu hình daisy chain có thể làm hiệu năng giảm mạnh.
Trong phần bình luận của bài đăng, một người dùng hỏi liệu có thể kết hợp PC dùng các NPU và GPU khác nhau hay không. Microsoft trả lời rằng có thể nếu đáp ứng yêu cầu USB4 và sử dụng khung hỗ trợ chạy đa nút không đồng nhất.
Apple(AAPL) cũng nêu trong tài liệu kỹ thuật rằng Thunderbolt RDMA được hỗ trợ từ macOS 26.2 trên máy Mac dùng Apple silicon và Thunderbolt 5. Đây là cách triển khai riêng, độc lập với tính năng USB4 dành cho Windows.
AI cục bộ là cách chạy mô hình trên PC thay vì máy chủ đám mây. Microsoft từng công bố định hướng mở rộng Windows thành nền tảng chạy AI cục bộ.
Trong bài đăng kỹ thuật ngày 19, Microsoft cho biết đang xem xét áp dụng kết quả xem trước cho nhiều PC hơn, các đối tác sản xuất chip và những phiên bản Windows trong tương lai.
Comment 0