🔔科技频道[奇诺分享-ccino.org]⚡️
4 天前
机器之心
华为放出「准万亿级MoE推理」大招,两大杀手级优化技术直接开源
Telegraph
|
原文
Telegraph
华为放出「准万亿级MoE推理」大招,两大杀手级优化技术直接开源 - 机器之心
2025 年已接近尾声,这一年里,大模型加速从单点提效工具升级为支撑业务系统的底层基础设施。过程中,推理效率决定了大模型能否真正落地。对于超大规模 MoE 模型,复杂推理链路带来了计算、通信、访存等方面的挑战,亟需行业给出高效可控的推理路径。 华为亮出了面向准万亿参数 MoE 推理的完整技术栈:openPangu-Ultra-MoE-718B-V1.1 展现 MoE 架构的模型潜力、包括 Omni Proxy 调度特性、将昇腾硬件算力利用率推至 86% 的 AMLA 技术在内的昇腾亲和加速技术,使得超大规模…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia