[LiteLLM]：一个统一接口调用 100+ LLM 的开源 AI 网关

你是否曾经为接入不同的 LLM 提供商而头疼？OpenAI、Anthropic、Gemini、Bedrock……每个 SDK 都有不同的请求格式、认证方式和错误类型，集成和维护成本居高不下。LiteLLM 的出现，旨在彻底解决这个问题。它是一个用 Python 编写的开源 AI Gateway（代理服务器），可以帮助开发者通过统一的 OpenAI 兼容格式，轻松调用 100+ 家 LLM 提供商的 API。本文将带你全面了解这个潜力新星。

截至收录：
LiteLLM项目stars数：56511
LiteLLM项目forks数：10645

LiteLLM项目目录截图

LiteLLM项目核心亮点

🌟 亮点一（统一的接口）：只需一套代码、一种格式，即可调用 100+ 个 LLM 提供商，无需再维护多个 SDK 和认证逻辑。
🎯 亮点二（OpenAI 兼容，零迁移成本）：API 设计完全兼容 OpenAI 格式，你可以直接使用现有的 OpenAI 客户端库，只需修改 base_url 即可切换底层模型，无需重写业务代码。
🔒 亮点三（企业级网关能力）：开箱即用地提供虚拟 API 密钥、消费追踪、访问控制、负载均衡、限流和 Guardrails，并附带管理员 Dashboard UI，满足生产环境的安全与管理需求。
🚀 亮点四（极致性能）：在官方基准测试中，LiteLLM 在 1000 RPS 压力下，P95 延迟低至 8ms，足以支撑高并发 AI 应用。
⚡ 亮点五（全面扩展）：支持 Terraform 一键部署，并兼容 AWS、GCP 等云环境；还提供丰富的观测回调（Langfuse、MLflow 等）和 MCP 工具集成，轻松融入现有技术栈。

LiteLLM项目快速开始

只需几步，你就能在本地运行起 LiteLLM：

1. 安装 LiteLLM：
   LiteLLM 提供 Python SDK 和网关两种使用方式。先在项目中安装 SDK：

   “`bash
   uv add litellm

   或者

   pip install litellm
   “`

2. Python SDK 方式调用：
   设置环境变量后，即可用 OpenAI 格式统一调用不同模型：

   “`python
   from litellm import completion
   import os

   os.environ[“OPENAI_API_KEY”] = “your-openai-key”
   os.environ[“ANTHROPIC_API_KEY”] = “your-anthropic-key”

   调用 OpenAI 模型

   response = completion(model=”openai/gpt-4o”, messages=[{“role”: “user”, “content”: “Hello!”}])

   调用 Anthropic 模型

   response = completion(model=”anthropic/claude-sonnet-4-20250514″, messages=[{“role”: “user”, “content”: “Hello!”}])
   “`

3. 启动 AI Gateway（Proxy Server）：
   如果你想为团队提供一个中心化的代理服务，只需在服务端运行：

   bash
uv tool install litellm[proxy]
litellm --model gpt-4o

   然后客户端就可以用 OpenAI SDK 连接到你的网关：

   bash
import openai
client = openai.OpenAI(api_key="anything", base_url="http://0.0.0.0:4000")
response = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": "Hello!"}]
)

LiteLLM项目应用场景

场景一：多模型统一接入/自动容灾：企业可以通过 LiteLLM 网关同时管理 OpenAI、Bedrock、Azure、Anthropic 等多家模型，通过 Router 配置重试和故障转移策略，实现跨供应商的高可用。
场景二：集中式成本管理与审计：GenAI 平台团队利用虚拟 API 密钥为每个项目或用户分配独立的调用额度，实时追踪消费，并通过 Dashboard 统一监控所有模型的使用情况和日志。
场景三：大规模部署与基础设施集成：借助官方 Terraform 模块，开发团队可以一键将 LiteLLM 部署到 AWS（ECS Fargate + Aurora）或 GCP（Cloud Run + Cloud SQL），深度集成云原生生态。
场景四：私有化与自托管网关：对数据隐私有严格要求的公司，可以将 LiteLLM 部署在内部网络，通过统一网关调用内部 VLLM、Ollama 等自建模型，同时保持 OpenAI 兼容的开发体验。

用户案例：目前，Netflix 等众多知名公司及开源社区都在使用 LiteLLM 作为其内部生成式 AI 基础设施的统一入口，改善多模型管理与调用效率。

LiteLLM项目链接

BerriAI / litellm项目地址：https://github.com/BerriAI/litellm

本文地址：https://www.tgoos.com/45883