onehumanbeing/esp32-iphone-agent
Let an AI model use a real iPhone with a $7 ESP32: AirPlay eyes, USB HID hands, any OpenAI-compatible vision model. No Mac, no developer account, no jailbreak.
深度介绍
它是什么
用一块 7 美元的 ESP32-S3 开发板，让 AI 模型直接操控真实 iPhone。项目通过 AirPlay 获取屏幕画面作为“眼睛”，用 USB HID 模拟触摸与按键作为“手”，接入任意 OpenAI 兼容的视觉模型完成闭环操作。
核心亮点
- 零门槛：不需要 Mac、不需要开发者账号、不需要越狱
- 硬件极简：仅一块 ESP32-S3，成本约 7 美元
- 模型无关：任何支持 OpenAI 视觉接口的 LLM 都能直接接入
- 真机操作：不是模拟器，是物理层面的屏幕读取与触控注入
为什么火
把“Computer Use”从云端虚拟机拉回到真实手机，成本压到一杯咖啡的价格。对想研究 AI Agent 操作移动端、又不想被苹果生态锁死的开发者来说，这是目前最轻量的路径。
适合谁用
做 AI Agent 移动端自动化的研究者、想低成本复现 computer-use 场景的独立开发者、以及需要真机 UI 测试但排斥 Appium 复杂度的团队。
快速上手
克隆仓库后按 README 烧录 ESP32 固件，连接 iPhone 并配置 AirPlay 接收，填入任意 OpenAI 兼容的 API Key 即可运行。Python 侧负责调度视觉推理与 HID 指令下发。