firelex/jeff

它是什么

Jeff 是一个仅 0.8B 参数的轻量级「System 1」决策模型，专为毫秒级选项判断设计。它不生成长篇推理，而是直接在你给定的候选选项中做出选择，并输出经过校准的概率值。

核心亮点

• 极速决策：0.8B 体量意味着毫秒级响应，适合嵌入实时系统
• 概率校准：输出的是可信赖的概率分布，而非拍脑袋的硬选择
• LoRA 热插拔：共享一个基座模型，通过替换 LoRA 适配器切换不同领域，无需重训
• 本地部署：完全运行在自有硬件上，数据不出域

为什么火

大模型做决策往往「杀鸡用牛刀」——延迟高、成本大、输出不稳定。Jeff 反其道而行，用一个小模型专注做「选择题」，配合 LoRA 实现多场景复用，精准击中了需要高频、低延迟决策的工程痛点。

适合谁用

需要实时路由、分类、A/B 判断的工程师；想在边缘设备跑决策模型的团队；以及研究小模型概率校准的研究者。

快速上手

git clone https://github.com/firelex/jeff
pip install -r requirements.txt

加载基座模型与对应 LoRA，传入选项列表即可获得带概率的决策输出。MIT 协议，商用友好。