🔔科技频道[奇诺分享-ccino.org]⚡️
3 小时前
雷锋网
一台手掌大小、300克的AI主机,为什么能跑122B模型?
Telegraph
|
原文
Telegraph
一台手掌大小、300克的AI主机,为什么能跑122B模型? - 雷锋网
把一台能运行122B大模型的AI主机塞进口袋,需要付出什么代价? 过去大半年,端侧AI硬件的逻辑正在发生变化。 两个月前,国内掀起一场现象级的本地部署Agent热潮,大量AI爱好者开始“养虾”,让原本偏小众的Mac mini意外出圈,一度出现溢价和缺货。在更硬核的开发者圈子里,三四万元的英伟达DGX Spark同样热度不低,因为它已经能够在本地运行千亿参数模型。 Mac mini和DGX Spark同时走红,背后其实指向的是同一个趋势:Agent正在迅速抬高端侧AI硬件的门槛。 此前,40TOPS级别的AI…
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia