🔔科技频道[奇诺分享-ccino.org]⚡️
4 小时前
IT之家
腾讯混元提出 Stem 稀疏注意力算法,首字延迟降低 3.6 倍
Telegraph
|
原文
Telegraph
腾讯混元提出 Stem 稀疏注意力算法,首字延迟降低 3.6 倍 - IT之家
IT之家 6 月 5 日消息,腾讯混元今日宣布提出 Stem 稀疏注意力算法,已被机器学习顶会 ICML-26 收录。 官方表示,Stem 稀疏注意力算法从“因果信息流”重新审视块级稀疏,用 Token 位置衰减(TPD)和输出感知度量(OAM)两大创新,仅用 25% 算力就逼近稠密注意力的精度。配套的 HPC 算子库则将这份理论加速比真正转化为端到端的实测性能。
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia