🔔科技频道[奇诺分享-ccino.org]⚡️
1 天前
IT之家
芯展速 AI90 固态硬盘显存化方案亮相:首 Token 延迟缩短至 1/50
Telegraph
|
原文
Telegraph
芯展速 AI90 固态硬盘显存化方案亮相:首 Token 延迟缩短至 1/50 - IT之家
IT之家 7 月 20 日消息,芯展速 (GenStorAIGE) 在 WAIC 2026 展出了其 AI90 软硬件一体化 AI 推理加速方案。 其将高性能 SSD 纳入 GPU 显存体系,让 KV Cache 卸载到更大容量的固态硬盘上,形成 HBM + DRAM + SSD 三级存储体系。 这一方案可将首 Token(词元)延迟从秒级降低至亚秒级,提速 50 倍;吞吐量提升 5.1 倍;显存节省 39%。结合智能 P2P 多卡互联技术,AI90 可让 8 卡 NVIDIA GeForce RTX 5090…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia