OTRouterClaude、GPT 一个 Key 调用看价格 →
LiteLLM

LiteLLM

开源 AI 网关与 LLM 代理,统一接入 100+ 提供商与 1800+ 模型,提供路由、观测、预算与安全治理。

访问官网

编辑点评

"LiteLLM 以开源网关为核心,统一接入海量模型并提供路由、预算与安全治理,适合需要集中管理 AI 调用与成本的企业与平台团队。"

优势

  • • 开源可自托管,数据与密钥完全留在自有基础设施
  • • 统一 OpenAI 兼容 API,支持 140+ 提供商与 1800+ 模型零代码切换
  • • 内置智能路由、负载均衡、语义缓存与提示压缩,显著降低 AI 调用成本
  • • 完善的预算控制、速率限制、审计日志与安全护栏,满足企业级治理需求

局限

  • • 企业版功能需按年订阅并联系销售获取报价,初期部署门槛较高
  • • 自托管版本需团队具备一定运维能力,社区支持响应速度不及企业 SLA

Q&A

快速了解这个工具的常见问题与答案

Q
这个工具是否提供免费版?
Answer

是的,开源版本可免费自托管,永久免费,包含基础模型接入、虚拟密钥、预算与速率限制、请求日志与 Prometheus 指标等核心功能。

Q
这个工具如何收费?
Answer

开源版免费自托管。企业版按年订阅,定价基于年度网关请求容量、部署架构与支持需求,不按 token 计费,支持 AWS Marketplace 与授权经销商采购。

Q
这个工具支持哪些访问方式?
Answer

仅支持通过 API 调用。LiteLLM 是一个自托管的代理服务,需部署在用户基础设施中,通过标准 HTTP API(兼容 OpenAI)接入。

Q
这个工具是否支持 API?
Answer

支持。LiteLLM 提供统一的 OpenAI 兼容 API,开发者可通过标准接口接入 140+ 提供商与 1800+ 模型,无需修改业务代码即可切换模型。

Q
这个工具是否支持中文或多语言?
Answer

LiteLLM 的官方文档、界面和代码库均为英文,目前未公开支持简体中文或其他语言。

Q
这个工具是否适合团队使用?
Answer

非常适合。LiteLLM 支持按团队、项目或应用划分权限与预算,提供虚拟密钥、角色管理、审计日志与企业级费用分摊,便于多团队协同与资源管控。

Q
这个工具是否适合企业使用?
Answer

适合。企业版提供 SSO/SCIM、OIDC/JWT 认证、审计日志、密钥轮换、多区域控制平面、24/7 支持与 SLA,并支持隔离部署,满足高合规与大规模生产需求。

工具介绍

产品简介

LiteLLM 是一款开源 AI 网关与 LLM 代理平台,支持自托管与隔离部署。它通过统一的 OpenAI 兼容 API,将 140+ 提供商和 1800+ 模型集中管理,帮助平台团队、开发者和企业在不修改业务代码的前提下快速接入、切换和优化 AI 模型。产品同时支持 MCP 服务器与 AI Agent 的统一路由,并提供完整的密钥管理、预算控制、审计日志与安全护栏能力。

核心功能

  • 开源可自托管,数据与密钥完全留在自有基础设施
  • 统一 OpenAI 兼容 API,支持 140+ 提供商与 1800+ 模型零代码切换
  • 内置智能路由、负载均衡、语义缓存与提示压缩,显著降低 AI 调用成本
  • 完善的预算控制、速率限制、审计日志与安全护栏,满足企业级治理需求
  • 覆盖开发与编程相关需求

适用场景

  • 编码辅助

适合谁用

  • 开发者
  • 技术团队
  • 需要集成 AI 能力的产品团队

选择参考

  • 适合场景:coding-builder / 测试修复。
  • 外部参考:公开工具目录中的收录还比较少;关联 X 账号 @litellm;GitHub 项目 BerriAI/litellm,约 57,502 个 star;可找到 14 个相关视频或教程。
  • 使用建议:适合作为候选工具先试用核心流程,再决定是否长期使用。

核心能力

主能力
开发与编程
次要能力
安全与合规

适用场景

编码辅助
价格与版本
FreeEnterprise Quote
访问方式
API
支持语言
English

产品动态

查看官方发布和相关报道,了解这个产品的最新进展。

相关报道

更多
2026年11月17日
网络安全 AI 初创公司 Corma 完成 1.25 亿美元 A 轮融资,估值达 10 亿美元

OmniTools 11月17日消息,网络安全 AI 初创公司 Corma 宣布完成 1.25 亿美元 A 轮融资,估值达到 10 亿美元,本轮由 NEA 领投。公司表示,其累计融资额已达 1.85 亿美元,投资方包括 Sequoia Capital、Khosla Ventures 和 Coatue。 Corma 提供面向网络安全防御训练的 AI 模型和智能体,并于今年 8 月结束隐身状态。产品推出约三个月后,公司融资估值升至 10 亿美元。 10 月 21 日,PHP、No...

2026年10月23日
AI 安全动态:LiteLLM 发布管道被入侵,美国银行发现第三方 AI 代理在客户账户内活动

OmniTools 10月23日消息,据一份近期安全事件汇总页面,AI 相关安全动态包括:LiteLLM 发布管道被入侵;美国多家银行发现第三方 AI 代理在客户账户内活动。该页面还列出 Arista VeloCloud Orchestrator 的 SQL 注入漏洞、GitLab 关键补丁、Linux 内核漏洞报告被公开、ISC BIND 9 漏洞、Node.js 安全更新以及 Railway 异常活动等条目。上述内容为页面摘要信息,具体影响和修复细节需以各项目方披露为准。

2026年10月22日
PyPI 上 LiteLLM 1.107.0 被植入凭据窃取程序与远程代码执行后门

OmniTools 10月22日消息,安全研究机构 SafeDep 在披露摘要中指出,PyPI 上的 LiteLLM 1.107.0 发布包被植入凭据窃取程序和远程代码执行后门。 摘要显示,覆盖 Linux、macOS、Windows 的七个 wheel 均以三个文件的形式安装到 site packages 目录,宿主机上任何 Python 进程启动时都会运行这些文件,即使从未导入 litellm。上游 GitHub 源码不含这些文件,PyPI 已删除该版本。 根据该摘要,1...

2026年10月21日
Wiz 披露 LiteLLM PyPI 包供应链攻击,恶意版本 v1.107.0 窃取凭据

OmniTools 10月21日消息,Wiz 于 10 月 21 日披露,LiteLLM 的恶意版本 1.107.0 被上传至 PyPI,并被用于窃取凭据。Wiz 表示,该恶意版本随后被隔离;除 PyPI 外,GHCR 和 Docker Hub 上的相关镜像标签同样被植入,相关标签已于当日 13:53 UTC 左右移除。目前最近的安全版本为 v1.106.2。 上述信息来自 Wiz 博文摘要,完整细节以原厂披露为准。