🔔科技频道[奇诺分享-ccino.org]⚡️
2 天前
IT之家
微软开源 1.58bit 推理框架:千亿参数模型量化后单 CPU 可跑,速度每秒 5-7 个 token
Telegraph
|
原文
Telegraph
微软开源 1.58bit 推理框架:千亿参数模型量化后单 CPU 可跑,速度每秒 5-7 个 token - IT之家
微软开源 1bit 大模型推理框架! 现在 1000 亿参数大模型量化后单 CPU 可跑,速度可达每秒 5-7 个 token。 比如在苹果 M2 新品上运行 BitNet b1.58 3B 模型,be like: 就是今年爆火论文 The Era of 1-bit LLMs 的官方代码实现,开源不到一周 GitHub 已揽获 7.9k Star。 传统大模型参数以 16 位浮点数(如 FP16 或 BF16)形式的存储,而 BitNet b1.58 将其统统变成了三进制,也就是 {-1, 0, 1}。…
Home
Powered by
BroadcastChannel
&
Sepia