🔔科技频道[奇诺分享-ccino.org]⚡️
15 小时前
雷锋网
首个产业级2Bit量化新突破,腾讯混元推出0.3B端侧模型
Telegraph
|
原文
Telegraph
首个产业级2Bit量化新突破,腾讯混元推出0.3B端侧模型 - 雷锋网
2月10日,腾讯混元推出面向消费级硬件场景的“极小”模型HY-1.8B-2Bit。该模型基于1.8B参数的小尺寸模型,通过2Bit量化技术,等效参数量约为0.3B,实际存储占用仅约600MB,比常用的一些手机应用还小,实现了端侧部署的新突破。 该模型基于混元团队首创的产业级2Bit端侧量化方案,通过对HY-1.8B-Instruct模型进行2比特量化感知训练(QAT)产出,模型大小减少至原始精度模型的1/6,同时在真实端侧设备上生成速度提升2-3倍,可大幅提升使用体验。能力上,模型还保留了原…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia