StayLameBro/backburner
Your iPhone helps your Mac run a 27B model: faster prompt reading and more context over a USB-C cable
深度介绍
它是什么
Backburner 是一个 Python 工具，把 iPhone 变成 Mac 的本地推理加速器。通过 USB-C 线缆，iPhone 负责处理 prompt 预填充，Mac 专注生成 token，让 27B 大模型跑得更快、上下文更长。
核心亮点
利用 iPhone 的神经引擎和 SME2 指令集做投机解码，把 prompt 读取阶段卸载到手机上。USB-C 直连保证低延迟，不依赖 Wi-Fi。基于 llama.cpp 和 Metal 优化，支持 Qwen 等主流模型。
为什么火
本地大模型玩家苦于 Mac 显存和算力瓶颈已久。Backburner 用一根线把闲置 iPhone 算力盘活，思路巧妙且零额外硬件成本，663 星说明切中了“手边设备协同推理”的真实需求。
适合谁用
拥有 Apple Silicon Mac 和较新 iPhone 的本地 LLM 爱好者、隐私敏感开发者，以及想在有限硬件上跑更大模型的研究者。
快速上手
克隆仓库后安装 Python 依赖，iPhone 端运行配套 App，USB-C 连接 Mac，执行启动脚本即可。MIT 协议，可自由修改。