🔔科技频道[奇诺分享-ccino.org]⚡️
3 小时前
IT之家
华为与湖北移动完成全国运营商首个 AI 推理加速方案现网测试,长序列 Token 吞吐率提升 372%
Ithome
华为与湖北移动完成全国运营商首个 AI 推理加速方案现网测试,长序列 Token 吞吐率提升 372% - IT之家
华为与湖北移动联合宣布,基于 OceanStor A800 存储与昇腾 A3 超节点架构的 AI 推理加速方案完成现网测试。在长序列 AI 推理场景下,针对 MiniMax M2.5、GLM-5.1 等大模型,Token 吞吐率最高可提升 372%,有效突破 KV Cache 容量瓶颈。 #AI 推理加速# #华为昇腾#
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia