🔔科技频道[奇诺分享-ccino.org]⚡️
3 天前
机器之心
DeepSeek新作Janus:解耦视觉编码,引领多模态理解与生成统一新范式
Telegraph
|
原文
Telegraph
DeepSeek新作Janus:解耦视觉编码,引领多模态理解与生成统一新范式 - 机器之心
1. 太长不看版 我们提出了 Janus,一种基于自回归的多模态理解与生成统一模型。Janus 的核心思想是对理解和生成任务的视觉编码进行解耦,在提升了模型的灵活性的同时,有效缓解了使用单一视觉编码导致的冲突和性能瓶颈。实验表明,Janus 超越了此前的统一模型的效果,并取得了和纯理解 / 纯生成模型比肩或更好的性能。我们通过详细严格的对比实验证实了解耦的好处,并分析了理解生成统一训练相较于分开训练带来的影响。 在罗马神话中,Janus (雅努斯) 是象征着矛盾和过渡的双面守护神。我们将模型命名为 Ja…
Home
Powered by
BroadcastChannel
&
Sepia