Back to top
  • 링크복사 Sao chép liên kết
  • 공유 Chia sẻ
  • 인쇄 In
  • 글자크기 Cỡ chữ
URL đã được sao chép

Chia sẻ

x
chuỗi khối

Kimi đạt tốc độ suy luận nhanh gần 3 lần nhờ AI viết lại kernel attention

Kiểm tra bo mạch tăng tốc GPU hiệu năng cao / TokenPost.ai

Kernel attention của Kimi được AI viết lại để tối ưu cho GPU Nvidia, ghi nhận tốc độ suy luận nhanh gần 3 lần so với phiên bản chính thức, theo một báo cáo.

BlockBeats đưa tin AI đã tối ưu kernel GPU được sử dụng cho phép tính attention của Kimi, trong đó phiên bản viết lại đạt tốc độ nhanh gần 3 lần so với bản chính thức. Kernel là đoạn mã cấp thấp giúp chạy phép tính attention của các mô hình trí tuệ nhân tạo trên GPU.

Moonshot AI đã công khai FlashKDA dành cho Kimi Delta Attention, được xây dựng trên nền tảng CUTLASS của Nvidia. vLLM cũng cho biết đã áp dụng kernel CUDA hợp nhất cùng kernel được phát triển trong hợp tác với Nvidia cho Kimi K3.

<Bản quyền ⓒ TokenPost, nghiêm cấm sao chép và phân phối trái phép>

#Kimi #Trí tuệ nhân tạo #GPU Nvidia #kernel attention #Moonshot AI

Phổ biến nhất

1
Bitcoin tăng 44%, khả năng chuyển chu kỳ được đánh giá 75% nhưng vẫn còn dư địa giảm
2
175,6 triệu USDC được chuyển từ Aave sang 'Unknown Whale 1'
3
5,97 USD/gallon: Texas ban bố thảm họa, đề nghị EPA miễn trừ
4
Đàm phán Mỹ-Iran: Eo biển Hormuz và hạt nhân là điểm nóng, Tổng thống Trump bác bỏ nhượng bộ
5
Doanh thu tăng 1.088%, Anthropic công bố bản cáo bạch IPO
6
Anthropic ghi nhận khoản lỗ 42 tỷ USD trong hồ sơ IPO
7
TotalEnergies(TTE) tăng sản lượng dầu khí ít nhất 3% mỗi năm, cam kết nâng cổ tức trên 5%
8
Bitcoin(BTC) 2,209 tỷ USD quyền chọn đáo hạn lúc 17h ngày 2/10
9
ZEC mua thêm 8.017 đồng, giá vốn bình quân giảm còn 1.622 USD
10
AI tăng tốc khai thác lỗ hổng, Ark Invest nhấn mạnh kiểm tra bảo mật Bitcoin

Các bài viết liên quan khác

Anthropic cảnh báo AI có thể gây rủi ro hiện hữu cho nhân loại trong hồ sơ IPO

ChatGPT Pro 200 USD/tháng được báo cáo sẽ mở lại, hạn mức quy đổi API giảm một nửa

OpenAI đề xuất ghi chép 'lập luận an toàn' trước khi huấn luyện AI bằng tăng cường tiên tiến

Jensen Huang: “Chưng cất mô hình AI là cạnh tranh, không phải ăn cắp”

EU yêu cầu mở 11 tính năng Android, xung đột quyền AI với Google

Bài viết theo chuyên mục

Xem thêm

Atomic huy động 12,5 triệu USD để tự động hóa quyết định chuỗi cung ứng

Nvidia tăng gấp 5 lần chi phí vận động hành lang, thúc đẩy cấp phép chip AI tại Trung Quốc

The Smarter Web Company($SWC) thông qua 3 nghị quyết về cổ phiếu ưu đãi MORE

NVIDIA($NVDA) đưa bộ chuyển mạch CPO vào sản xuất, GF Securities nêu khả năng rút ngắn lịch sản xuất hàng loạt

Cạnh tranh AI Mỹ-Trung: Yu Tiejun nói Mỹ không nên sợ Trung Quốc

Phương án phát hành cổ phiếu ưu đãi 'MORE' gắn với BTC được cổ đông thông qua

Bybit hoàn tất kiểm toán SOC 2 Type II do Deloitte thực hiện

Binance ngừng hỗ trợ đòn bẩy 8 token từ ngày 2/10

USDC làm phí gas, Circle Arc ra mắt blockchain Layer 1 cho tài chính

Fideuram chuyển 95 triệu euro trong vụ lừa đảo bằng AI, chưa thu hồi 39,5 triệu euro

Bình luận 0

Mẹo bình luận

Bài viết tuyệt vời. Mong có bài tiếp theo. Phân tích xuất sắc.

0/1000

Mẹo bình luận

Bài viết tuyệt vời. Mong có bài tiếp theo. Phân tích xuất sắc.
1