lyogavin/airllm

它是什么

AirLLM 是一个让大模型"瘦身"推理的开源项目。只需单张 4GB 显存的 GPU，就能跑起 70B 参数级别的 Llama 模型——这在过去几乎不可想象。

核心亮点

项目通过分层加载与推理优化，把模型权重按需调度到显存，绕开了传统方案对显存容量的硬性要求。无需量化到极致，也不必多卡并联，普通消费级显卡即可驾驭超大模型。

为什么火

大模型推理的显存门槛一直是个人开发者的痛点。AirLLM 用极低的硬件成本换来可用的推理速度，加上对 Llama、Chinese-LLM 等主流模型的开箱支持，迅速在中文社区引发关注，今日新增 541 星。

适合谁用

显存有限但想本地跑大模型的个人开发者、研究者，以及需要低成本部署推理服务的小团队。

快速上手

pip install airllm

加载模型后调用 generate 即可，代码与 HuggingFace 风格接近，迁移成本极低。