智能路由 方法
Router One 默认按 model_name 策略把精确模型请求路由到该模型:提供该模型的各条线路按网关管理的顺序尝试;某条线路出现 429、5xx 或超时时,可换到提供同一模型的另一条线路重试;持续报上游错误的线路会被排到最后,恢复后再回到正常顺序。只有 model="auto" 由网关选模型:先把每个请求分到低、中、高三档之一,再从该档服务端维护的模型列表中选模型处理。路由权重不对用户开放配置。
最后更新:
路由模式与线路顺序
- 精确模型(默认)
- 生产环境使用 model_name 策略。指定模型的请求由该模型处理,只有提供同一模型的线路才会成为候选;故障转移不会换成其他模型或变体。
- 线路顺序
- 提供某个模型的各条线路按网关管理的优先顺序尝试。这个顺序不对用户开放配置;刚失败、仍在冷却中的线路,在有其他线路可用时会被跳过。
- 故障线路自动降级
- 自 2026-09-24 起,近期上游错误(网关错误、服务不可用与超时)持续偏高的线路,会被排到该模型的最后,只作为最后兜底;错误率恢复后,再回到正常顺序。
- model="auto"
- 网关用规则加一个轻量分类器把请求分到低、中、高三档之一,再用该档服务端维护的模型列表中的模型处理。可选的 X-Route-Session 请求头能让同一段对话在一段时间内保持同一选择。分档列表由服务端维护,可能调整。
故障转移行为
- 触发条件
- 某条线路返回 429、5xx 或超时时,如有其他提供同一模型的线路,可以换到那条线路重试。并非每个错误都可重试;没有线路能完成请求时,调用仍会失败。
- 保持请求模型不变
- 对于精确模型请求,故障转移可尝试为同一模型提供服务的其他健康供应商线路,不会替换成其他模型变体;model="auto" 路径则在所选档位的候选中重试。
- 冷却
- 返回 429 的线路会先冷却(上游给了 retry-after 就按它等待);返回网关错误、服务不可用或超时的线路会短暂冷却;反复失败的线路会被暂时移出候选、进入冷却,探测确认恢复后再放回候选。
- 回退延迟
- 端到端延迟包含失败尝试及之后在其他线路上的尝试,会随上游失败类型和响应时间变化;Router One 不承诺统一的 200ms 故障转移时延。
- 重试次数有界
- 重试受该模型可用线路与网关策略限制;model="auto" 按有上限的重试预算重试。公开产品能力不含项目级重试上限配置。
Trace 里能看到什么
- 模型与请求 ID
- 记录的模型和请求 ID 用于核对用量以及向支持团队定位同一次调用。
- 状态与已记录延迟
- 请求日志展示请求状态、已记录延迟和已有的脱敏错误。上游供应商身份、服务线路和中间尝试链不对外公开。
- token 与花费
- 输入与输出 Token、可用的缓存读取 Token,以及已结算费用或待结算标记;有定价详情时一并展示。
配置边界
- 精确模型选择
- 在标准 OpenAI 兼容请求中指定所需模型。默认 model_name 策略会在每个请求上保持这个选择不变。
- auto 模式
- 使用 model="auto" 时,分类与分档列表由 Router One 管理,符合条件的失败在所选档位内、按有上限的重试预算重试。
- 不隐含自定义控制
- 本方法说明不承诺项目级或 API Key 级权重、质量评分、请求体 router 对象、供应商白名单或项目级故障转移开关。
常见问题
我能按项目或 API Key 配置路由权重吗?
不能。当前公开的产品能力不提供项目级或 API Key 级的路由权重。线路顺序由网关管理:提供所请求模型的各条线路按管理的优先顺序尝试,故障线路会被排到最后。
Router One 会悄悄换模型吗?
不会。故障转移保持已请求模型不变;Trace 记录模型和请求 ID,对外不承诺切换到其他模型变体。
线路出故障时,路由多快会有反应?
在当前请求内,429、5xx 或超时可以把请求换到提供同一模型的另一条线路;对之后的请求,刚失败的线路会冷却,上游错误持续偏高的线路会一直排在最后,直到错误率恢复。不承诺固定的秒数或请求数。