编辑点评
"LiteLLM 以开源网关为核心,统一接入海量模型并提供路由、预算与安全治理,适合需要集中管理 AI 调用与成本的企业与平台团队。"
优势
- • 开源可自托管,数据与密钥完全留在自有基础设施
- • 统一 OpenAI 兼容 API,支持 140+ 提供商与 1800+ 模型零代码切换
- • 内置智能路由、负载均衡、语义缓存与提示压缩,显著降低 AI 调用成本
- • 完善的预算控制、速率限制、审计日志与安全护栏,满足企业级治理需求
局限
- • 企业版功能需按年订阅并联系销售获取报价,初期部署门槛较高
- • 自托管版本需团队具备一定运维能力,社区支持响应速度不及企业 SLA
Q&A
快速了解这个工具的常见问题与答案
- 这个工具是否提供免费版?
- Answer
是的,开源版本可免费自托管,永久免费,包含基础模型接入、虚拟密钥、预算与速率限制、请求日志与 Prometheus 指标等核心功能。
- 这个工具如何收费?
- Answer
开源版免费自托管。企业版按年订阅,定价基于年度网关请求容量、部署架构与支持需求,不按 token 计费,支持 AWS Marketplace 与授权经销商采购。
- 这个工具支持哪些访问方式?
- Answer
仅支持通过 API 调用。LiteLLM 是一个自托管的代理服务,需部署在用户基础设施中,通过标准 HTTP API(兼容 OpenAI)接入。
- 这个工具是否支持 API?
- Answer
支持。LiteLLM 提供统一的 OpenAI 兼容 API,开发者可通过标准接口接入 140+ 提供商与 1800+ 模型,无需修改业务代码即可切换模型。
- 这个工具是否支持中文或多语言?
- Answer
LiteLLM 的官方文档、界面和代码库均为英文,目前未公开支持简体中文或其他语言。
- 这个工具是否适合团队使用?
- Answer
非常适合。LiteLLM 支持按团队、项目或应用划分权限与预算,提供虚拟密钥、角色管理、审计日志与企业级费用分摊,便于多团队协同与资源管控。
- 这个工具是否适合企业使用?
- Answer
适合。企业版提供 SSO/SCIM、OIDC/JWT 认证、审计日志、密钥轮换、多区域控制平面、24/7 支持与 SLA,并支持隔离部署,满足高合规与大规模生产需求。
工具介绍
核心能力
适用场景
产品动态
查看官方发布和相关报道,了解这个产品的最新进展。
相关报道
更多OmniTools 11月17日消息,网络安全 AI 初创公司 Corma 宣布完成 1.25 亿美元 A 轮融资,估值达到 10 亿美元,本轮由 NEA 领投。公司表示,其累计融资额已达 1.85 亿美元,投资方包括 Sequoia Capital、Khosla Ventures 和 Coatue。 Corma 提供面向网络安全防御训练的 AI 模型和智能体,并于今年 8 月结束隐身状态。产品推出约三个月后,公司融资估值升至 10 亿美元。 10 月 21 日,PHP、No...
OmniTools 10月23日消息,据一份近期安全事件汇总页面,AI 相关安全动态包括:LiteLLM 发布管道被入侵;美国多家银行发现第三方 AI 代理在客户账户内活动。该页面还列出 Arista VeloCloud Orchestrator 的 SQL 注入漏洞、GitLab 关键补丁、Linux 内核漏洞报告被公开、ISC BIND 9 漏洞、Node.js 安全更新以及 Railway 异常活动等条目。上述内容为页面摘要信息,具体影响和修复细节需以各项目方披露为准。
OmniTools 10月22日消息,安全研究机构 SafeDep 在披露摘要中指出,PyPI 上的 LiteLLM 1.107.0 发布包被植入凭据窃取程序和远程代码执行后门。 摘要显示,覆盖 Linux、macOS、Windows 的七个 wheel 均以三个文件的形式安装到 site packages 目录,宿主机上任何 Python 进程启动时都会运行这些文件,即使从未导入 litellm。上游 GitHub 源码不含这些文件,PyPI 已删除该版本。 根据该摘要,1...
OmniTools 10月21日消息,Wiz 于 10 月 21 日披露,LiteLLM 的恶意版本 1.107.0 被上传至 PyPI,并被用于窃取凭据。Wiz 表示,该恶意版本随后被隔离;除 PyPI 外,GHCR 和 Docker Hub 上的相关镜像标签同样被植入,相关标签已于当日 13:53 UTC 左右移除。目前最近的安全版本为 v1.106.2。 上述信息来自 Wiz 博文摘要,完整细节以原厂披露为准。