🔔科技频道[奇诺分享-ccino.org]⚡️
11:42 · 2025年2月27日 · 周四
机器之心
MLSys’25 | 极低内存消耗:用SGD的内存成本实现AdamW的优化性能
Telegraph
|
原文
Telegraph
MLSys’25 | 极低内存消耗:用SGD的内存成本实现AdamW的优化性能 - 机器之心
极低内存消耗:首次以类 SGD 内存成本完成大模型训练,达到甚至超越 AdamW 的性能。 无需 SVD 计算:首次实现仅需轻量级随机投影进行大模型预训练,甚至在 7B 模型上优化速度超越 Adam。
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia