JustVugg/colibri
Run frontier MoE models on hardware you already own — pure C, zero deps, experts streamed from disk. Tiny engine, immense model. 🐦
深度介绍
它是什么
Colibri 是一个用纯 C 编写的极简 MoE 推理引擎，目标只有一个：让你在已有的消费级硬件上跑起前沿的 MoE 大模型。零依赖，专家权重直接从磁盘流式加载。
核心亮点
- 纯 C 实现：没有 Python 运行时、没有 CUDA 工具链依赖，编译即用
- 专家流式加载：MoE 的专家权重按需从磁盘读取，内存占用不再被模型总参数量绑架
- 小引擎大模型：引擎本身极小，却能驱动参数量远超本地内存的模型
为什么火
MoE 架构让模型总参数与激活参数解耦，但显存/内存仍是普通开发者的天花板。Colibri 用磁盘换内存的思路，把「本地跑大模型」从口号变成可执行方案，加上 C 语言带来的可移植性，迅速获得关注。
适合谁用
想在本地或边缘设备上实验 MoE 模型的开发者、对推理引擎实现感兴趣的系统程序员，以及显存有限但想跑大模型的研究者。
快速上手
git clone https://github.com/JustVugg/colibri
cd colibri && make
# 按文档准备模型权重后直接运行