← 返回总览

BerriAI/litellm

The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]

★ 60,631Fork: 12,185语言: Python协议: NOASSERTION今日 +95GitHub ↗

深度介绍

它是什么

LiteLLM 是一个高性能 AI 网关，Rust 核心 + Python SDK，用统一接口调用 100+ LLM API，兼容 OpenAI 格式或原生格式。

核心亮点

  • 统一封装 OpenAI、Anthropic、Bedrock、Azure、VertexAI、vLLM、Nvidia NIM 等主流模型服务
  • 内置成本追踪、护栏（guardrails）、负载均衡与日志记录
  • Rust 内核带来极低延迟，Python SDK 保持灵活易用
  • 支持 MCP 网关，可对接 LangChain 等生态

为什么火

多模型混用已成常态，但各家 API 格式、计费、鉴权各不相同。LiteLLM 用一个网关抹平差异，还顺带解决成本可视化和故障切换，省去大量胶水代码，因此收获 6 万+ Star。

适合谁用

需要同时接入多家 LLM 的工程团队、做 LLMOps 的平台开发者，以及想统一管理 API 成本与流量的中大型项目。

快速上手

pip install litellm

配置好各厂商 API Key 后，即可用 completion() 一行切换模型；生产环境可部署 Proxy 服务作为统一入口。