LiteLLM - 统一 LLM 网关

介绍

LiteLLM 是一个开源的 LLM 网关（OpenAI 代理），统一管理 100+ 大语言模型的访问、成本追踪和故障转移。

核心功能

功能	说明
统一接入	支持 OpenAI、Azure、Gemini、Bedrock、Anthropic 等 100+ 模型
成本追踪	按 key/user/team/org 精确计费，自动成本归因
负载均衡	RPM/TPM 限流、多模型故障转移
虚拟密钥	团队级 API 密钥管理，预算控制
可观测性	集成 Langfuse、Arize、OpenTelemetry
Guardrails	LLM 内容安全护栏

使用场景

• 企业内部统一 LLM 接入层
• 多模型成本分摊和计费
• 生产级 LLM 服务高可用

客户背书

Netflix、Lemonade 等公司使用 LiteLLM 为开发者提供 Day 0 LLM 访问。

Y Combinator 投资，GitHub 40K+ Stars，240M+ Docker Pulls。

开源免费，企业版提供 SSO、审计日志、定制 SLA。