Rizzo-AI-Academy/rizzo-flow

它是什么

rizzo-flow 是一个本地优先的决策引擎，用 LLM 生成类型化决策，但全程不产生任何生成 token——它让模型做选择，而非写文本。

核心亮点

• 零 token 生成：通过 logits 或分类头直接输出结构化决策，省去解码开销
• 类型安全：决策结果带类型约束，可直接接入下游逻辑
• 完全本地：数据不出机器，适合隐私敏感场景
• Apache-2.0：商用友好

为什么火

它切中了一个真实痛点：很多 LLM 应用只需要“选一个选项”，却被迫让模型生成整段文字再解析。rizzo-flow 把这一步变成纯推理，延迟和成本都大幅下降，同时避免了输出格式漂移。

适合谁用

• 做 Agent 路由、意图分类、规则判定的开发者
• 对延迟和隐私有要求的本地部署场景
• 厌倦了用 prompt 硬凑 JSON 的工程师

快速上手

pip install rizzo-flow

定义决策 schema，加载本地模型，调用 decide() 即可拿到类型化结果。仓库 README 提供了分类与路由的完整示例。