一、什么是 API 格式
API 格式描述的是「客户端和服务端之间用什么协议通信」,即请求和响应的数据结构。不同 AI 服务商定义了各自的格式,主要有以下几种:
| 格式名称 | 提供商 | 核心端点 | 特点 |
| Anthropic Messages(原生) | Anthropic | /v1/messages |
Claude 官方格式,支持 tool_use、thinking 等特性 |
| OpenAI Chat Completions | OpenAI | /v1/chat/completions |
使用最广泛,大多数工具和 SDK 默认支持 |
| OpenAI Responses API | OpenAI | /v1/responses |
2025 年新格式,支持内置工具,兼容性较少 |
| Gemini Native generateContent | /generateContent |
Gemini 专用,连接 Google AI Studio 时使用 |
二、API 格式 vs 后端模型
一个常见误解是:选择了某种 API 格式后,就只能使用对应厂商的模型。实际上两者完全独立:
API 格式:只决定客户端和 LiteLLM 之间如何通信(请求结构、Header、端点路径)。
后端模型路由:LiteLLM 收到请求后,根据请求中的
model字段查找model_list配置,决定转发到哪个后端模型,与前端 API 格式无关。
示例流程:
客户端(Anthropic 格式)→ 发送 model: "pri-deepseek"
LiteLLM → 查 model_list → 路由到内部 DeepSeek 集群
实际执行 → 私有 GPU 集群上的 DeepSeek 模型
结论:选择 Anthropic Messages 格式,完全可以使用
pri-deepseek、pri-kimi等私有模型,只要 LiteLLM 中有对应的model_name配置。
三、公司 LiteLLM 的两个地址
公司内部 LiteLLM 提供了两个调用入口,分别对应不同格式的客户端:
| 地址 | 用途 | 格式 | 适用工具 |
https://llm.test.com/v1 |
默认地址(baseurl) | OpenAI Chat Completions | 通用 SDK、Codex CLI、大多数 AI 客户端 |
https://llm.test.com/ |
Claude Code 专用 | Anthropic Messages 原生 | Claude Code、Anthropic SDK |
为什么需要两个地址?
Claude Code 调用时会自动拼接 /anthropic/v1/messages,所以 baseurl 只需填根路径 /。其他工具使用 OpenAI 格式,端点是 /v1/chat/completions,baseurl 需要填到 /v1。两个地址指向同一个 LiteLLM 实例,只是入口路径不同。
四、各工具接入方式汇总
| 工具 | API 格式 | LiteLLM 地址 | 私有模型支持 | 备注 |
| Claude Code | Anthropic 原生 | https://llm.test.com/ |
✅ 直连 | 填根地址,自动拼接路径 |
| Codex CLI | OpenAI 格式 | https://llm.test.com/v1 |
✅ 直连 | 设置 OPENAI_BASE_URL 环境变量 |
| 通用 OpenAI SDK | OpenAI 格式 | https://llm.test.com/v1 |
✅ 直连 | 大多数客户端默认支持 |
| Claude Desktop | Anthropic 原生 | 需要 ClaudeProxy 中转 | ✅ 经中转 | Claude Desktop 硬编码官方地址,无法直连 |
五、Claude Desktop 为什么需要 ClaudeProxy
Claude Desktop 与其他工具不同,它将 API 地址硬编码为 api.anthropic.com,无法通过配置文件指定自定义地址。因此需要 ClaudeProxy 作为本地中间层:
Claude Desktop → ClaudeProxy(本地,拦截请求)→ LiteLLM → 私有模型
ClaudeProxy 的核心价值:
拦截 Claude Desktop 的请求,转发到 LiteLLM 或直连私有集群
支持个人定制逻辑(token 统计、模型名映射、MCP 工具过滤等)
本地运行,无需依赖公司网络即可使用
六、Codex CLI 接入示例
Codex CLI 使用 OpenAI 格式,通过环境变量指定 LiteLLM 地址即可接入私有模型:
# 设置环境变量
export OPENAI_API_KEY="你的 LiteLLM API Key"
export OPENAI_BASE_URL="https://llm.test.com/v1"
# 使用私有模型
codex --model pri-deepseek "帮我重构这个函数"
注意:
model名称需要与 LiteLLM 中配置的model_name一致,如pri-deepseek、pri-kimi等。如需确认可用模型列表,请联系 LiteLLM 管理员。