microsoft/BitNet

它是什么

BitNet 是微软官方开源的 1-bit LLM 推理框架,专为 BitNet b1.58 等三值量化模型设计,用 C++ 实现,主打在 CPU 上高效运行大模型。

核心亮点

• 极致量化:权重压缩到 1.58 bit(仅 -1/0/1),内存占用相比 FP16 降低约 10 倍
• CPU 友好:无需 GPU,普通 x86 与 ARM 设备即可推理
• 自研内核:针对三值矩阵乘法优化的 lookup table 与 SIMD 实现
• MIT 许可:商用无门槛

为什么火

大模型部署成本高企,而 BitNet 证明"小到极致"的量化路线可行——单机 CPU 就能跑百亿参数模型,对边缘设备和本地推理场景极具吸引力。微软背书 + 官方论文,让它在 4 万星俱乐部站稳脚跟。

适合谁用

想在无 GPU 环境下跑 LLM 的开发者、边缘计算团队,以及研究低比特量化的科研人员。

快速上手

git clone --recursive https://github.com/microsoft/BitNet.git
cd BitNet
pip install -r requirements.txt
python setup_env.py -md models/BitNet-b1.58-2B-4T -q i2_s
python run_inference.py -m models/BitNet-b1.58-2B-4T/ggml-model-i2_s.gguf -p "你好"