🔔科技频道[奇诺分享-ccino.org]⚡️
5 天前
量子位
清华开源混合精度推理系统MixQ,实现大模型近无损量化并提升推理吞吐
Telegraph
|
原文
Telegraph
清华开源混合精度推理系统MixQ,实现大模型近无损量化并提升推理吞吐 - 量子位
关注前沿科技 2024-10-21 12:28 北京 端到端吞吐比AWQ最大提升6倍
Home
Powered by
BroadcastChannel
&
Sepia