跳到主要内容
注册

按你指定的模型路由,同模型自动故障转移

智能 LLM 路由,是指由网关而不是你的应用来决定每次模型调用走哪条上游线路。在 Router One 上,指定模型的请求由该模型处理:它的各条线路按网关管理的顺序尝试;某条线路出现 429、5xx 或超时时,如有其他提供同一模型的线路,会换到那条线路重试;持续报上游错误的线路会被自动排到最后,恢复后再回到正常顺序。model="auto" 的请求会先被分到低、中、高三档之一,再由该档服务端维护的模型列表中的模型处理。一个 OpenAI 兼容端点背后是 30+ 个模型,请求日志记录模型、请求 ID、用量、结算费用、已记录延迟和状态。反过来说,写死一家供应商,就要承受它的所有坏日子:延迟飙升、限流、区域故障。

每个请求会经历什么

你指定的模型

生产环境使用 model_name 策略:指定模型的请求由该模型处理,只有提供同一模型的线路才会成为候选。故障转移不会换成其他模型或变体。

同模型故障转移

某条线路返回 429、5xx 或超时时,网关可以换到提供同一模型的另一条线路重试。若没有其他线路完成请求,应用会收到错误,应配合有上限的退避策略。

失败后的冷却

返回 429 的线路会先冷却(上游给了 retry-after 就按它等待)再接流量;返回网关错误、服务不可用或超时的线路会短暂冷却;反复失败的线路会被暂时移出候选、进入冷却,探测确认恢复后再放回候选。

故障线路自动排到最后

自 2026-09-24 起,近期上游错误持续偏高的线路会被排到该模型的最后,只作为最后兜底;错误率恢复后,再回到正常顺序。

model="auto" 分档

使用 model="auto" 时,网关用规则加一个轻量分类器把请求分到低、中、高三档之一,再用该档服务端维护的模型列表中的模型处理。可选的 X-Route-Session 请求头能让同一段对话在一段时间内保持同一选择。

没有需要调的路由权重

请求体不支持 router 对象,也没有项目级或 API Key 级的路由权重:线路顺序由网关管理。总延迟不承诺统一的 200ms 时延。

可预期是设计出来的

路由要可信,边界必须清楚:故障转移不会把你指定的模型换成别的模型;故障转移只在提供同一模型的线路之间进行;只有 model="auto" 会替你选模型,而且是从服务端维护的分档列表里选。目前公开的能力范围不包括项目级权重或项目级故障转移开关。

用标准请求结构发送 model="auto"

在标准 OpenAI 兼容请求体里设置 model="auto"。分档和模型由服务端决定;不要发送自定义 router 对象或路由权重。想让多轮对话保持同一选择,就在 X-Route-Session 请求头里带上你自己的会话 ID。

request.json
# POST https://api.router.one/v1/chat/completions
{
  "model": "auto",
  "messages": [{"role": "user", "content": "Hello"}]
}

常见问题

智能路由如何决定用哪条线路?

指定模型的请求由该模型处理(默认 model_name 策略):它的各条线路按网关管理的顺序尝试,持续报上游错误的线路会被排到最后,恢复后再回到正常顺序。使用 model="auto" 时,网关先为请求选定低、中、高三档之一,再从该档服务端维护的模型列表中选模型处理。

可以一直只用某个模型吗?

可以。在标准 OpenAI 兼容请求里指定模型 id;默认 model_name 策略会保持模型选择明确。

供应商退化时会发生什么?

返回 429、5xx 或超时的线路,可以换到提供同一模型的另一条线路重试;持续失败的线路会被冷却或排到最后,直到恢复,之后的请求会先走其他线路。model="auto" 请求在所选档位的候选内、按有上限的重试预算重试。不承诺固定故障转移时长。

故障转移会改变已请求模型吗?

不会。精确模型请求的故障转移只在提供同一模型的线路之间进行;model="auto" 的模型来自所选档位的服务端列表。Trace 记录模型和请求 ID。

可以按项目或 API Key 配置权重吗?

不可以。当前公开的产品能力不提供项目级或 API Key 级的路由权重;线路顺序由网关管理。

在哪里核对请求结果?

控制台 → 日志(请求日志)显示已记录的模型、请求 ID、Token、结算费用、延迟、状态及已有的脱敏错误,不公开上游供应商身份或服务线路。托管路由行为见路由方法论页。

相关页面

别再为单一供应商的坏日子买单。

立即接入