lightseekorg/tokenspeed
TokenSpeed is a speed-of-light LLM inference engine.
深度介绍
它是什么
TokenSpeed 是 LightSeek 团队开源的 LLM 推理引擎，目标直指"光速推理"——在保证输出质量的前提下，把 token 生成速度压到硬件极限。
核心亮点
- 极致性能导向：针对 NVIDIA Blackwell（B200/GB200）及下一代 Rubin 架构、AMD MI355X/MI455X 做了深度优化
- 广泛模型覆盖：原生支持 DeepSeek、Qwen、Kimi、GLM、MiniMax、GPT-OSS 等主流开源模型，同时兼容 VLM 多模态推理
- MIT 协议：完全商用友好，无授权顾虑
为什么火
推理速度是当前 LLM 落地的最大瓶颈之一。TokenSpeed 把"硬件适配 + 内核优化"做到极致，在高端加速卡上跑出接近理论上限的吞吐，对追求低延迟、高并发的团队极具吸引力。发布不久即收获 2.4k+ Star。
适合谁用
- 需要自建高性能推理服务的企业与云厂商
- 持有 Blackwell / MI 系列加速卡、想榨干算力的团队
- 研究推理优化的工程师与学者
快速上手
git clone https://github.com/lightseekorg/tokenspeed
cd tokenspeed
pip install -e .
参考仓库 README 中的模型加载与 benchmark 示例，即可在支持的硬件上跑通首个推理任务。