Router One

模型路由故障时尝试其他供应商

当上游供应商返回可重试错误时,如果存在其他提供同一精确模型的健康供应商,Router One 可以继续尝试。你请求的模型 ID 不会改变;只有显式使用 model="auto" 时,服务端候选才可能跨模型或厂商。客户侧 Trace 展示最终模型、供应商与请求指标,中间失败尝试则由支持团队通过 request_id 在运维日志中关联排查。一个端点接入 40+ 支持模型,全球与中国大陆均可访问。

故障转移带来的三件事

限流应对(429 / 529)

当 429 或 529 被判定为可重试时,Router One 可以尝试另一个提供同一请求模型的健康供应商。若没有兼容路由,或重试仍失败,应用仍会收到错误,应配合有上限的退避策略。

上游故障转移(5xx / 超时)

符合条件的上游 5xx 错误与超时,可以在另一个提供同一精确模型的健康供应商上重试。只有存在兼容路由时才会重试,这并不是零停机保证。

可见性(查看最终路由)

客户侧 Trace 展示最终模型与供应商,以及 Token、花费、耗时和状态。它不展示失败尝试链;如需排查中间尝试,支持团队可通过 request_id 查询运维日志。

什么会触发故障转移

故障转移是有条件的:响应必须符合重试条件,同时还要有其他健康供应商提供该精确请求模型。以下常见情况可能满足条件:

上游 5xx 或超时

符合条件的 500 级错误或连接/读取超时,可以把调用转到另一个提供同一模型的健康供应商。若没有兼容路由成功完成,请求仍会返回错误。

过载 / 限流(429、529)

符合条件的 429 或 529 过载响应,可以在另一个兼容的供应商路由上重试。客户侧 Trace 只展示最终路由与请求指标,不展示中间重试决策。

重试的概念

对于精确模型 ID,符合条件的调用可以尝试提供同一模型的健康供应商路由,并返回第一个成功结果;使用 model="auto" 时,服务端候选才可能跨模型或厂商。你只发一个请求,符合条件的供应商重试由 Router One 处理。

fallback.ts
// 精确模型 -> 兼容供应商路由 -> 第一个成功结果
for (const route of healthyRoutes(modelFamily)) {
  try {
    return await call(route, request);
  } catch (e) {
    if (isRetryable(e)) continue; // 5xx, timeout, 429, 529
    throw e;
  }
}

竞品往往覆盖不足的可靠性

能力Router One单一供应商 SDK
上游 5xx / 超时故障转移符合条件时在提供同一模型的健康供应商上重试请求失败;重试需自行实现
429 / 529 过载处理在兼容健康供应商路由上进行条件式重试把错误直接返回给应用
每请求级最终路由 Trace展示最终模型/供应商、状态、花费、耗时
中国大陆可访问面向中国网络优化,并有公开延迟基准常被屏蔽或不稳定
一个端点,多种模型一个 OpenAI 兼容 URL 接入 40+ 支持模型单一供应商、单一 API

全球与中国大陆均可靠访问

可靠性不只是处理供应商错误——可达性同样重要。Router One 的端点在全球和中国大陆网络下均可访问。基于 2026-05-15 更新的中国延迟基准测试,Router One 在北京、上海、深圳的 p50 延迟为 110-130ms;实际表现会随网络和地区变化。

查看中国延迟基准测试 ->

常见问题

什么会触发故障转移?

符合条件的上游 5xx、超时、429 或 529,在另一个健康供应商提供同一请求模型时,可能触发重试。并非每个错误都可重试;没有兼容路由完成请求时,调用仍会失败。

故障转移会跨模型族吗?

请求精确模型 ID 时,供应商重试会保持该精确模型,不会把 GPT 悄悄换成 Claude 或 Gemini。只有显式使用 model="auto" 时,服务端才可以从可能跨模型或厂商的候选中选择。

如何查看是哪条路由完成了我的请求?

控制台 Trace 展示最终模型与供应商,以及 Token、花费、耗时和状态,不展示失败尝试或故障转移链。如需排查中间供应商尝试,请把 request_id 提供给支持团队。

故障转移会增加延迟吗?

重试会在最终供应商响应前消耗额外时间,因此发生重试的请求可能比首试成功更慢。客户侧 Trace 会报告最终请求指标,但不会按供应商尝试拆分延迟。

限流怎么办?

当某条路由返回符合重试条件的 429 或 529 时,Router One 可以尝试另一个提供同一模型的健康供应商。若没有兼容路由完成请求,错误仍会返回给应用,因此应使用有上限的指数退避,而不是假设零停机。

相关页面

改一个 base URL,即可获得条件式供应商故障转移

立即接入