一、什么是 API 格式

API 格式描述的是「客户端和服务端之间用什么协议通信」,即请求和响应的数据结构。不同 AI 服务商定义了各自的格式,主要有以下几种:

格式名称 提供商 核心端点 特点
Anthropic Messages(原生) Anthropic /v1/messages Claude 官方格式,支持 tool_use、thinking 等特性
OpenAI Chat Completions OpenAI /v1/chat/completions 使用最广泛,大多数工具和 SDK 默认支持
OpenAI Responses API OpenAI /v1/responses 2025 年新格式,支持内置工具,兼容性较少
Gemini Native generateContent Google /generateContent Gemini 专用,连接 Google AI Studio 时使用

二、API 格式 vs 后端模型

一个常见误解是:选择了某种 API 格式后,就只能使用对应厂商的模型。实际上两者完全独立

  • API 格式:只决定客户端和 LiteLLM 之间如何通信(请求结构、Header、端点路径)。

  • 后端模型路由:LiteLLM 收到请求后,根据请求中的 model 字段查找 model_list 配置,决定转发到哪个后端模型,与前端 API 格式无关。

示例流程:

客户端(Anthropic 格式)→ 发送 model: "pri-deepseek"
LiteLLM → 查 model_list → 路由到内部 DeepSeek 集群
实际执行 → 私有 GPU 集群上的 DeepSeek 模型

结论:选择 Anthropic Messages 格式,完全可以使用 pri-deepseekpri-kimi 等私有模型,只要 LiteLLM 中有对应的 model_name 配置。

三、公司 LiteLLM 的两个地址

公司内部 LiteLLM 提供了两个调用入口,分别对应不同格式的客户端:

地址 用途 格式 适用工具
https://llm.test.com/v1 默认地址(baseurl) OpenAI Chat Completions 通用 SDK、Codex CLI、大多数 AI 客户端
https://llm.test.com/ Claude Code 专用 Anthropic Messages 原生 Claude Code、Anthropic SDK

为什么需要两个地址?

Claude Code 调用时会自动拼接 /anthropic/v1/messages,所以 baseurl 只需填根路径 /。其他工具使用 OpenAI 格式,端点是 /v1/chat/completions,baseurl 需要填到 /v1。两个地址指向同一个 LiteLLM 实例,只是入口路径不同。

四、各工具接入方式汇总

工具 API 格式 LiteLLM 地址 私有模型支持 备注
Claude Code Anthropic 原生 https://llm.test.com/ ✅ 直连 填根地址,自动拼接路径
Codex CLI OpenAI 格式 https://llm.test.com/v1 ✅ 直连 设置 OPENAI_BASE_URL 环境变量
通用 OpenAI SDK OpenAI 格式 https://llm.test.com/v1 ✅ 直连 大多数客户端默认支持
Claude Desktop Anthropic 原生 需要 ClaudeProxy 中转 ✅ 经中转 Claude Desktop 硬编码官方地址,无法直连

五、Claude Desktop 为什么需要 ClaudeProxy

Claude Desktop 与其他工具不同,它将 API 地址硬编码为 api.anthropic.com,无法通过配置文件指定自定义地址。因此需要 ClaudeProxy 作为本地中间层:

Claude Desktop → ClaudeProxy(本地,拦截请求)→ LiteLLM → 私有模型

ClaudeProxy 的核心价值:

  • 拦截 Claude Desktop 的请求,转发到 LiteLLM 或直连私有集群

  • 支持个人定制逻辑(token 统计、模型名映射、MCP 工具过滤等)

  • 本地运行,无需依赖公司网络即可使用

六、Codex CLI 接入示例

Codex CLI 使用 OpenAI 格式,通过环境变量指定 LiteLLM 地址即可接入私有模型:

# 设置环境变量
export OPENAI_API_KEY="你的 LiteLLM API Key"
export OPENAI_BASE_URL="https://llm.test.com/v1"

# 使用私有模型
codex --model pri-deepseek "帮我重构这个函数"

注意model 名称需要与 LiteLLM 中配置的 model_name 一致,如 pri-deepseekpri-kimi 等。如需确认可用模型列表,请联系 LiteLLM 管理员。

Copyright © https://yan-jian.com 2023 - 2026 All Right Reserved all right reserved,powered by Gitbook更新时间: 2026-06-03 16:44:03

results matching ""

    No results matching ""