跳到主要内容
注册

智能路由方法

Router One 默认按 model_name 策略把精确模型请求路由到该模型:提供该模型的各条线路按网关管理的顺序尝试;某条线路出现 429、5xx 或超时时,可换到提供同一模型的另一条线路重试;持续报上游错误的线路会被排到最后,恢复后再回到正常顺序。只有 model="auto" 由网关选模型:先把每个请求分到低、中、高三档之一,再从该档服务端维护的模型列表中选模型处理。路由权重不对用户开放配置。

最后更新:

路由模式与线路顺序

精确模型(默认)
生产环境使用 model_name 策略。指定模型的请求由该模型处理,只有提供同一模型的线路才会成为候选;故障转移不会换成其他模型或变体。
线路顺序
提供某个模型的各条线路按网关管理的优先顺序尝试。这个顺序不对用户开放配置;刚失败、仍在冷却中的线路,在有其他线路可用时会被跳过。
故障线路自动降级
自 2026-09-24 起,近期上游错误(网关错误、服务不可用与超时)持续偏高的线路,会被排到该模型的最后,只作为最后兜底;错误率恢复后,再回到正常顺序。
model="auto"
网关用规则加一个轻量分类器把请求分到低、中、高三档之一,再用该档服务端维护的模型列表中的模型处理。可选的 X-Route-Session 请求头能让同一段对话在一段时间内保持同一选择。分档列表由服务端维护,可能调整。

故障转移行为

触发条件
某条线路返回 429、5xx 或超时时,如有其他提供同一模型的线路,可以换到那条线路重试。并非每个错误都可重试;没有线路能完成请求时,调用仍会失败。
保持请求模型不变
对于精确模型请求,故障转移可尝试为同一模型提供服务的其他健康供应商线路,不会替换成其他模型变体;model="auto" 路径则在所选档位的候选中重试。
冷却
返回 429 的线路会先冷却(上游给了 retry-after 就按它等待);返回网关错误、服务不可用或超时的线路会短暂冷却;反复失败的线路会被暂时移出候选、进入冷却,探测确认恢复后再放回候选。
回退延迟
端到端延迟包含失败尝试及之后在其他线路上的尝试,会随上游失败类型和响应时间变化;Router One 不承诺统一的 200ms 故障转移时延。
重试次数有界
重试受该模型可用线路与网关策略限制;model="auto" 按有上限的重试预算重试。公开产品能力不含项目级重试上限配置。

Trace 里能看到什么

模型与请求 ID
记录的模型和请求 ID 用于核对用量以及向支持团队定位同一次调用。
状态与已记录延迟
请求日志展示请求状态、已记录延迟和已有的脱敏错误。上游供应商身份、服务线路和中间尝试链不对外公开。
token 与花费
输入与输出 Token、可用的缓存读取 Token,以及已结算费用或待结算标记;有定价详情时一并展示。

配置边界

精确模型选择
在标准 OpenAI 兼容请求中指定所需模型。默认 model_name 策略会在每个请求上保持这个选择不变。
auto 模式
使用 model="auto" 时,分类与分档列表由 Router One 管理,符合条件的失败在所选档位内、按有上限的重试预算重试。
不隐含自定义控制
本方法说明不承诺项目级或 API Key 级权重、质量评分、请求体 router 对象、供应商白名单或项目级故障转移开关。

常见问题

我能按项目或 API Key 配置路由权重吗?

不能。当前公开的产品能力不提供项目级或 API Key 级的路由权重。线路顺序由网关管理:提供所请求模型的各条线路按管理的优先顺序尝试,故障线路会被排到最后。

Router One 会悄悄换模型吗?

不会。故障转移保持已请求模型不变;Trace 记录模型和请求 ID,对外不承诺切换到其他模型变体。

线路出故障时,路由多快会有反应?

在当前请求内,429、5xx 或超时可以把请求换到提供同一模型的另一条线路;对之后的请求,刚失败的线路会冷却,上游错误持续偏高的线路会一直排在最后,直到错误率恢复。不承诺固定的秒数或请求数。

相关阅读