🔔科技频道[奇诺分享-ccino.org]⚡️
4 小时前
IT之家
北大与 DeepSeek 联合开源 DSpark:破解 AI 大模型高并发推理瓶颈,速度提升 60% 至 85%
Ithome
北大与 DeepSeek 联合开源 DSpark:破解 AI 大模型高并发推理瓶颈,速度提升 60% 至 85% - IT之家
针对大模型推理延迟高、并发效率低的痛点,DSpark 框架通过半自回归候选生成与置信度调度验证两项创新,在保证生成质量的同时,将单用户生成速度提升 60% 至 85%。该框架已部署于 DeepSeek-V4 系列预览版服务中,相关代码与模型已在 GitHub 开源。#大模型#AI 推理#开源
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia