eagle-hq/EAGLE-4

它是什么

EAGLE-4 是 EAGLE 系列投机解码（Speculative Decoding）框架的第四代官方推理代码，用 Python 编写，主打在 GPU 上加速大模型推理。

核心亮点

• 通过投机解码让草稿模型快速"猜"出多个 token，再由目标模型并行验证，显著提升吞吐
• 已适配 vLLM、SGLang 等主流推理引擎，并关联 TokenSpeed 加速生态
• 相比前代在草稿质量与接受率上继续迭代

为什么火

投机解码是当下 LLM 推理提速最实用的手段之一，EAGLE 系列长期是该方向的高引基准。第四代发布即吸引关注，适合直接落地到现有推理栈。

适合谁用

做 LLM 推理优化的工程师、需要降低线上推理延迟与成本的团队，以及研究投机解码的开发者。

快速上手

克隆仓库后按 README 安装依赖，接入 vLLM 或 SGLang 加载对应模型与 EAGLE-4 草稿权重即可跑通推理。注意许可证为 NOASSERTION，商用前请确认授权条款。