vllm-project/vllm
A high-throughput and memory-efficient inference and serving engine for LLMs
深度介绍
它是什么
vLLM 是面向大语言模型的高吞吐、显存高效的推理与服务引擎，用 Python 编写，Apache-2.0 开源。
核心亮点
以 PagedAttention 管理 KV Cache，显著降低显存浪费；支持连续批处理、张量并行与量化，兼容 Llama、Qwen、DeepSeek、MoE 等主流模型，并提供 OpenAI 兼容 API。
为什么火
近 9.5 万 Star、单日新增 439，说明它已成 LLM 部署事实标准。吞吐与显存效率的提升直接转化为成本下降，且硬件覆盖 CUDA、AMD、TPU 与 Blackwell。
适合谁用
需要自建推理服务的团队、做模型评测与 Agent 应用的开发者，以及关注推理性能优化的研究者。
快速上手
pip install vllm 后一行命令即可启动 OpenAI 兼容服务：
vllm serve Qwen/Qwen3-8B
随后用标准 OpenAI SDK 调用即可。