智能路由方法
智能路由是 Router One 的核心能力。这一页区分默认精确模型路径和受支持的候选路由,并写清信号、fallback 行为与公开配置边界。
最后更新:
路由信号
- 延迟(EWMA)
- 按模型和 provider 维护指数加权移动平均,alpha=0.20。指标记录在 15 分钟后过期,避免陈旧观测持续影响决策;它不是固定的最近 50 个请求窗口。
- 可靠性
- 已观测到的成功与失败结果会形成候选路由的可靠性信号。我们不承诺一个可由用户配置的固定阈值,也不声称每个请求都会自适应打分。
- 成本
- 当受支持的候选路由路径生效时,公示的 token 级成本可与延迟、可靠性一起参与候选判断。
- 路由模式
- 生产环境默认使用 model_name 策略。精确模型请求按该选择执行;model="auto" 使用服务端候选集,不接受用户自定义权重或 router 对象。
Fallback 行为
- 触发条件
- 当一次上游尝试属于可重试失败且仍有可用候选时,网关可按路由策略尝试下一个候选。
- 保持请求模型不变
- 对于精确模型请求,fallback 可尝试为同一模型提供服务的其他健康 provider 线路,不会替换成其他模型变体;model="auto" 路径则在服务端候选集中重试。
- 回退延迟
- 端到端延迟包含失败尝试及后续候选尝试,会随上游失败类型和响应时间变化;Router One 不承诺统一的 200ms fallback 时延。
- 重试次数有界
- 重试受可用候选集与网关策略限制。公开产品合同没有项目级重试上限配置。
Trace 里能看到什么
- 使用的 provider
- 最终产出请求结果的上游 provider 与模型线路。
- 最终路由
- Trace 标识最终产出请求结果的模型和 provider 线路,不承诺展示每一次中间失败尝试的完整链路。
- token 与花费
- 输入/输出/缓存输入 token 数,按请求时单价计算的实际花费。
配置边界
- 精确模型选择
- 在标准 OpenAI 兼容请求中指定所需模型。默认 model_name 策略不会把每个请求重新解释为自适应优化问题。
- 自适应候选路由
- 使用 model="auto" 时,Router One 管理候选集,可比较延迟、成本与可靠性,并在全局 auto-route 重试预算内处理符合条件的失败。
- 不隐含自定义控制
- 本方法说明不承诺项目级或 API Key 级权重、质量评分、请求体 router 对象、provider allowlist 或项目级 fallback 开关。
常见问题
- 我能按项目或 API Key 配置路由权重吗?
- 当前公开产品合同不提供项目级或 API Key 级的延迟、成本、质量权重。受支持的候选路由使用网关管理的延迟、成本与可靠性信号。
- Router One 会悄悄换模型吗?
- 不会。Provider fallback 保持已请求模型不变;Trace 记录最终模型和 provider 线路,公开合同不承诺切换到其他模型变体。
- 路由决策对线上变化的反应有多快?
- 受支持的候选路由按模型和 provider 维护 alpha=0.20 的延迟 EWMA,记录在 15 分钟后过期。适应速度取决于新的观测量,不承诺固定秒数或请求数。