🔔科技频道[奇诺分享-ccino.org]⚡️
8 小时前
小众软件
BaseRT:专为 Apple Silicon 优化,让 Mac 本地大模型快 6.4 倍
Telegraph
|
原文
Telegraph
BaseRT:专为 Apple Silicon 优化,让 Mac 本地大模型快 6.4 倍 - 小众软件
Apple Silicon 跑本地大模型,速度还能再提升多少?BaseRT 给出了一个答案:在 M5 Pro 上,它的提示词处理速度最高达到 llama.cpp 的 6.4 倍,MLX 的 3.9 倍 BaseRT 是一款专为 Apple Silicon 优化的本地 AI 推理引擎,可以运行 Qwen、Llama、Gemma 等多种开源模型。 在对比测试中,BaseRT 的优势主要集中在 Prefill(提示词处理)阶段,在 Decode(生成速度)阶段也有一定提升:
Home
Blog
Discuss
Gsearch
Powered by
BroadcastChannel
&
Sepia