模型路由故障时尝试其他供应商
当上游供应商返回可重试错误时,如果存在其他提供同一精确模型的健康供应商,Router One 可以继续尝试。你请求的模型 ID 不会改变;只有显式使用 model="auto" 时,服务端候选才可能跨模型或厂商。客户侧 Trace 展示最终模型、供应商与请求指标,中间失败尝试则由支持团队通过 request_id 在运维日志中关联排查。一个端点接入 40+ 支持模型,全球与中国大陆均可访问。
故障转移带来的三件事
限流应对(429 / 529)
当 429 或 529 被判定为可重试时,Router One 可以尝试另一个提供同一请求模型的健康供应商。若没有兼容路由,或重试仍失败,应用仍会收到错误,应配合有上限的退避策略。
上游故障转移(5xx / 超时)
符合条件的上游 5xx 错误与超时,可以在另一个提供同一精确模型的健康供应商上重试。只有存在兼容路由时才会重试,这并不是零停机保证。
可见性(查看最终路由)
客户侧 Trace 展示最终模型与供应商,以及 Token、花费、耗时和状态。它不展示失败尝试链;如需排查中间尝试,支持团队可通过 request_id 查询运维日志。
什么会触发故障转移
故障转移是有条件的:响应必须符合重试条件,同时还要有其他健康供应商提供该精确请求模型。以下常见情况可能满足条件:
上游 5xx 或超时
符合条件的 500 级错误或连接/读取超时,可以把调用转到另一个提供同一模型的健康供应商。若没有兼容路由成功完成,请求仍会返回错误。
过载 / 限流(429、529)
符合条件的 429 或 529 过载响应,可以在另一个兼容的供应商路由上重试。客户侧 Trace 只展示最终路由与请求指标,不展示中间重试决策。
重试的概念
对于精确模型 ID,符合条件的调用可以尝试提供同一模型的健康供应商路由,并返回第一个成功结果;使用 model="auto" 时,服务端候选才可能跨模型或厂商。你只发一个请求,符合条件的供应商重试由 Router One 处理。
// 精确模型 -> 兼容供应商路由 -> 第一个成功结果 for (const route of healthyRoutes(modelFamily)) { try { return await call(route, request); } catch (e) { if (isRetryable(e)) continue; // 5xx, timeout, 429, 529 throw e; } }
竞品往往覆盖不足的可靠性
| 能力 | Router One | 单一供应商 SDK |
|---|---|---|
| 上游 5xx / 超时故障转移 | 符合条件时在提供同一模型的健康供应商上重试 | 请求失败;重试需自行实现 |
| 429 / 529 过载处理 | 在兼容健康供应商路由上进行条件式重试 | 把错误直接返回给应用 |
| 每请求级最终路由 Trace | 展示最终模型/供应商、状态、花费、耗时 | 无 |
| 中国大陆可访问 | 面向中国网络优化,并有公开延迟基准 | 常被屏蔽或不稳定 |
| 一个端点,多种模型 | 一个 OpenAI 兼容 URL 接入 40+ 支持模型 | 单一供应商、单一 API |
全球与中国大陆均可靠访问
可靠性不只是处理供应商错误——可达性同样重要。Router One 的端点在全球和中国大陆网络下均可访问。基于 2026-05-15 更新的中国延迟基准测试,Router One 在北京、上海、深圳的 p50 延迟为 110-130ms;实际表现会随网络和地区变化。
查看中国延迟基准测试 ->常见问题
什么会触发故障转移?
符合条件的上游 5xx、超时、429 或 529,在另一个健康供应商提供同一请求模型时,可能触发重试。并非每个错误都可重试;没有兼容路由完成请求时,调用仍会失败。
故障转移会跨模型族吗?
请求精确模型 ID 时,供应商重试会保持该精确模型,不会把 GPT 悄悄换成 Claude 或 Gemini。只有显式使用 model="auto" 时,服务端才可以从可能跨模型或厂商的候选中选择。
如何查看是哪条路由完成了我的请求?
控制台 Trace 展示最终模型与供应商,以及 Token、花费、耗时和状态,不展示失败尝试或故障转移链。如需排查中间供应商尝试,请把 request_id 提供给支持团队。
故障转移会增加延迟吗?
重试会在最终供应商响应前消耗额外时间,因此发生重试的请求可能比首试成功更慢。客户侧 Trace 会报告最终请求指标,但不会按供应商尝试拆分延迟。
限流怎么办?
当某条路由返回符合重试条件的 429 或 529 时,Router One 可以尝试另一个提供同一模型的健康供应商。若没有兼容路由完成请求,错误仍会返回给应用,因此应使用有上限的指数退避,而不是假设零停机。
相关页面
改一个 base URL,即可获得条件式供应商故障转移
立即接入