incoai/splash
A local inference engine for Apple silicon, built around the model.
深度介绍
它是什么
Splash 是专为 Apple Silicon 打造的本地大模型推理引擎，用 Python 编写，围绕模型本身设计，深度调用 Metal 加速。
核心亮点
- 原生适配 M 系列芯片，充分利用统一内存架构
- 支持投机解码（speculative decoding），显著提升生成速度
- 面向编码智能体（coding agents）场景优化
- Apache-2.0 许可，可自由商用
为什么火
Mac 用户长期缺乏高质量的本地推理方案，Splash 填补了这一空白。它不依赖云端，隐私友好，且针对编码任务做了专门调优，契合当下 AI 编程工具爆发的趋势。
适合谁用
Mac 开发者、注重隐私的 AI 编程用户，以及希望在本地跑编码智能体的工程师。
快速上手
git clone https://github.com/incoai/splash
cd splash && pip install -e .
具体模型加载与推理示例见仓库 README。