🔔科技频道[奇诺分享-ccino.org]⚡️
2 小时前
IT之家
英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍
Ithome
英伟达优化 Kimi K3 模型推理速度,提升 1.68 倍 - IT之家
英伟达通过上游 vLLM 优化,让 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user,性能提升 1.68 倍。该优化由 CentML 工程师 Benjamin 完成,采用 1.2 万行 Megakernel 融合方案。##英伟达## #Kimi K3#
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia