🔔科技频道[奇诺分享-ccino.org]⚡️
2 小时前
IT之家
北大与 DeepSeek 联合开源 DSpark:破解 AI 大模型高并发推理瓶颈,速度提升 60% 至 85%
Telegraph
|
原文
Telegraph
北大与 DeepSeek 联合开源 DSpark:破解 AI 大模型高并发推理瓶颈,速度提升 60% 至 85% - IT之家
IT之家 6 月 27 日消息,今日,DeepSeek 联合北京大学正式发布 DSpark 推理加速框架,旨在解决大语言模型在高并发生产环境中的推理效率瓶颈。 该框架已部署于 DeepSeek-V4-Flash 与 DeepSeek-V4-Pro 的预览版服务引擎中,相比此前生产环境采用的单 token 推测解码基线 MTP-1,在同等吞吐量水平下可将单用户生成速度提升 60% 至 85%。相关论文、训练代码等已在 GitHub 上开源。 大语言模型生成文本时采用自回归方式,每生成一个新 token 都…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia