cactus-compute/needle
Automation foundation model for tiny devices: 2-bit, 8-29 MB, tool calls, structured extraction and embeddings on phones, wearables, smart homes, robots, cars and microcontrollers.
深度介绍
它是什么
Needle 是 Cactus Compute 推出的端侧自动化基础模型，专为手机、可穿戴设备、智能家居、机器人、汽车乃至微控制器等资源受限设备设计。模型经 2-bit 量化后仅 8–29 MB，用 Python 编写，Apache-2.0 许可。
核心亮点
- 极致轻量：2-bit 量化，最小 8 MB，可跑在单片机上
- 完整能力：支持工具调用、结构化信息抽取和向量嵌入
- 端侧优先：无需联网，隐私与延迟双赢
为什么火
大模型下沉到边缘设备是当前最热的趋势之一，但多数方案仍依赖 1B+ 参数。Needle 把基础模型压到 MB 级还保留 function calling，正好切中 TinyML 与端侧 AI 的空白，单日新增 200+ star 说明需求真实。
适合谁用
嵌入式/IoT 开发者、端侧 AI 研究者、想给硬件加"智能体"能力的创客，以及关注隐私计算的团队。
快速上手
pip install cactus-needle
参考仓库 README 中的示例，几行代码即可完成工具调用或结构化抽取。