生成式AI的浪潮，正从云端走向端侧，而端侧AI是生成式AI普及的关键。 然而，端侧设备普遍对功耗更为敏感，如何在提供足够AI性能的同时保证低功耗？ Arm的妙招是将专用的矩阵加速单元直接嵌入CPU。Arm终端事业部产品管理副总裁 James McNiven说，“它使端侧AI推理可以直接在CPU上完成，从而大幅减少数据在 CPU、NPU或GPU之间的传输延迟。” 今年9月，Arm发布了集成第二代Arm可伸缩矩阵扩展 (SME2) 新技术的 Arm Lumex CSS 平台，相比前代CPU AI性能提升高达五倍，能效也优化了三倍。…