🔔科技频道[奇诺分享-ccino.org]⚡️
2 天前
机器之心
架构解耦是统一多模态模型所必须的吗?全新AIA损失:No
Telegraph
|
原文
Telegraph
架构解耦是统一多模态模型所必须的吗?全新AIA损失:No - 机器之心
近一年以来,统一理解与生成模型发展十分迅速,该任务的主要挑战在于视觉理解和生成任务本身在网络层间会产生冲突。早期的完全统一模型(如 Emu3)与单任务的方法差距巨大,Janus-Pro、BAGEL 通过一步一步解耦模型架构,极大地减小了与单任务模型的性能差距,后续方法甚至通过直接拼接现有理解和生成模型以达到极致的性能。 香港中文大学 MMLab 和美团的研究者相信,在不久的将来统一模型的性能一定能够达到单任务的水平,但同时也引起了他们的思考,目前通过拆解架构换取性能提升的方式真的是正确的吗,它是否背离统…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia