Router One

智能路由方法

智能路由是 Router One 的核心能力。这一页区分默认精确模型路径和受支持的候选路由,并写清信号、fallback 行为与公开配置边界。

最后更新:

路由信号

延迟(EWMA)
按模型和 provider 维护指数加权移动平均,alpha=0.20。指标记录在 15 分钟后过期,避免陈旧观测持续影响决策;它不是固定的最近 50 个请求窗口。
可靠性
已观测到的成功与失败结果会形成候选路由的可靠性信号。我们不承诺一个可由用户配置的固定阈值,也不声称每个请求都会自适应打分。
成本
当受支持的候选路由路径生效时,公示的 token 级成本可与延迟、可靠性一起参与候选判断。
路由模式
生产环境默认使用 model_name 策略。精确模型请求按该选择执行;model="auto" 使用服务端候选集,不接受用户自定义权重或 router 对象。

Fallback 行为

触发条件
当一次上游尝试属于可重试失败且仍有可用候选时,网关可按路由策略尝试下一个候选。
保持请求模型不变
对于精确模型请求,fallback 可尝试为同一模型提供服务的其他健康 provider 线路,不会替换成其他模型变体;model="auto" 路径则在服务端候选集中重试。
回退延迟
端到端延迟包含失败尝试及后续候选尝试,会随上游失败类型和响应时间变化;Router One 不承诺统一的 200ms fallback 时延。
重试次数有界
重试受可用候选集与网关策略限制。公开产品合同没有项目级重试上限配置。

Trace 里能看到什么

使用的 provider
最终产出请求结果的上游 provider 与模型线路。
最终路由
Trace 标识最终产出请求结果的模型和 provider 线路,不承诺展示每一次中间失败尝试的完整链路。
token 与花费
输入/输出/缓存输入 token 数,按请求时单价计算的实际花费。

配置边界

精确模型选择
在标准 OpenAI 兼容请求中指定所需模型。默认 model_name 策略不会把每个请求重新解释为自适应优化问题。
自适应候选路由
使用 model="auto" 时,Router One 管理候选集,可比较延迟、成本与可靠性,并在全局 auto-route 重试预算内处理符合条件的失败。
不隐含自定义控制
本方法说明不承诺项目级或 API Key 级权重、质量评分、请求体 router 对象、provider allowlist 或项目级 fallback 开关。

常见问题

我能按项目或 API Key 配置路由权重吗?
当前公开产品合同不提供项目级或 API Key 级的延迟、成本、质量权重。受支持的候选路由使用网关管理的延迟、成本与可靠性信号。
Router One 会悄悄换模型吗?
不会。Provider fallback 保持已请求模型不变;Trace 记录最终模型和 provider 线路,公开合同不承诺切换到其他模型变体。
路由决策对线上变化的反应有多快?
受支持的候选路由按模型和 provider 维护 alpha=0.20 的延迟 EWMA,记录在 15 分钟后过期。适应速度取决于新的观测量,不承诺固定秒数或请求数。

相关阅读