🔔科技频道[奇诺分享-ccino.org]⚡️
3 天前
IT之家
英伟达新 nGPT 架构撬动 AI 未来:超球面学习提效,训练模型时间可缩短至 1/20
Telegraph
|
原文
Telegraph
英伟达新 nGPT 架构撬动 AI 未来:超球面学习提效,训练模型时间可缩短至 1/20 - IT之家
IT之家 10 月 22 日消息,科技媒体 dataconomy 昨日(10 月 21 日)发布博文,报道称英伟达在训练 AI 模型方面取得重大突破,发布了最新的 Normalized Transformer(nGPT)新架构,保持模型的稳定性和准确性的前提下,可以将训练 AI 时间缩短至 1/4 或者 1/20。 nGPT 架构提升效率的秘诀在于“超球面学习”(Hyperspherical learning)这个概念。 传统的变换器模型通常缺乏一致的几何框架,而 nGPT 通过将嵌入、注意力矩阵和隐藏…
Home
Powered by
BroadcastChannel
&
Sepia