🔔科技频道[奇诺分享-ccino.org]⚡️
4 天前
机器之心
DiT在数学和形式上是错的?谢赛宁回应:不要在脑子里做科学
Telegraph
|
原文
Telegraph
DiT在数学和形式上是错的?谢赛宁回应:不要在脑子里做科学 - 机器之心
「兄弟们,DiT 是错的!」 最近一篇帖子在 X 上引发了很大的讨论,有博主表示 DiT 存在架构上的缺陷,并附上一张论文截图。 图 1. 我们引入了 TREAD,这是一种能够显著提升基于 token 的扩散模型骨干网络训练效率的训练策略。当应用于标准的 DiT 骨干网络时,我们在无引导 FID 指标上实现了 14/37 倍的训练速度提升,同时也收敛到了更好的生成质量。 图中横轴代表训练时间(以 A100 GPU 的小时数为单位,log 尺度,从 100 小时到 10000 小时),纵轴代表 FID 分…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia