NandhaKishorM/laya
Non-autoregressive System 1 decision engine. Typed choice, score and yes/no decisions over any text in a single forward pass, in 100+ languages, with a router that picks the right checkpoint per request.
深度介绍
它是什么
Laya 是一个非自回归的「System 1」决策引擎。它不做生成，而是对任意文本做类型化判断——选项选择、打分、是/否，全部在一次前向传播内完成，覆盖 100 多种语言。
核心亮点
- 单次前向：告别逐 token 解码，决策延迟极低
- 类型化输出：choice / score / yes-no 三类决策直接返回结构化结果
- 路由机制：内置 router 按请求自动挑选最合适的 checkpoint
- 多语言：100+ 语言零样本可用，基于 ModernBERT 与 JEV 校准
为什么火
LLM 做分类又慢又贵，还得靠 prompt 工程硬掰。Laya 把「决策」从生成任务里剥离出来，用非自回归架构专事专办，速度快、成本低、输出稳定，正好切中生产环境里大量 if-else 式判断的痛点。
适合谁用
需要大规模内容审核、意图识别、情感打分、A/B 判定的工程团队；以及想在边缘设备上跑轻量 NLP 决策的开发者。
快速上手
pip install laya
从 HuggingFace 拉取默认 checkpoint，调用 decide(text, choices=[...]) 即可拿到结果；多语言场景无需额外配置，router 会自动切换。Apache-2.0 协议，商用友好。