按请求、模型、Key 追踪 每一分 LLM 成本
网关层的 LLM 成本追踪,是指每次模型调用在发生的当下就被计量、按公示模型费率计价,并归因到发起它的 API Key——而不是月底收到一条笼统的账单。在 Router One 上,每个请求都会写一条 Trace,记录模型、输入/输出 Token、计算出的花费、延迟与状态;用量按模型和 Key 汇总,每个 Key 还能设消费上限(maxSpend),限住它从钱包扣的钱。一个预付费钱包、30+ 个模型、一本能和你自己账目对上的账。
都追踪些什么
每请求一条成本 Trace
请求日志展示已记录调用的模型、请求 ID、输入/输出 Token、结算费用或待结算标记、总耗时(产生过输出的流式请求另有首字延迟)、状态及已有的脱敏错误,不公开内部供应商和服务线路。
按模型聚合
用量按模型随时间聚合,哪个模型族在烧钱、各工作负载成本几何、流量是否悄悄滑向昂贵模型,都一目了然。控制台概览还会按费用列出近 7 天各模型的消耗,并可跳转到该模型的请求日志。
按 Key 归因
给每个应用、环境或 agent 分配独立 API Key,开销自然归因清晰。不用再猜是哪个集成烧掉了预算——账本会指出具体哪把 Key。
Key 级消费上限
每把 Key 都可设独立的消费上限(maxSpend)和过期时间。失控循环或泄露的 Key 只会撞上自己的上限,掏不空钱包;套餐覆盖的请求走套餐额度。限流(rateLimit)与每分钟 Token 上限(tokenLimitTpm)按平台默认值执行,可申请调高。
预付费钱包账本
开销从预付费钱包扣减,按量调用按各模型公示单价计费;汇率与通道费在结账时单独可见,与 token 费用分开列示。
余额归零即硬停
可用额度用尽时,套餐覆盖范围外的调用返回 HTTP 402,不会累积意外欠费。用支付宝或银行卡在托管收银台充值,或用 USDT/USDC,到账后立即恢复。
是账本,不是估算
直接调各家供应商,开销散落在各自节奏更新的面板里。网关把一本账放进请求路径:每次调用按公示费率计价、归因到 Key、实时聚合。成本工作从月底的法证式还原,变成工作负载运行中就能查询的实时数字——并且可以在账单变大之前用 Key 级上限直接干预。
把你的调用指向网关
流量经过网关的那一刻,成本追踪就开始工作。改 base URL,代码不动,此后每个请求都进账本。
# 此后的每个请求都会进入账本 export OPENAI_BASE_URL=https://api.router.one/v1 export OPENAI_API_KEY=sk-your-router-one-key
常见问题
每个请求的成本怎么算?
每个请求按该模型的公示单价按量计价——输入/输出 Token 数乘以 /models 页公示的每 1M Token 单价。汇率与支付通道费用在结账时展示,与 token 费用分开列示。
可以按 API Key 限制消费吗?
可以。Router One 的每把 API Key 都可设独立的消费上限(maxSpend)。每把 Key 的消费上限(maxSpend)限的是这把 Key 能从钱包扣的钱:累计扣费到上限后,这把 Key 上需要钱包付费的请求返回 HTTP 402。套餐额度覆盖的请求从账户共用的套餐额度里扣,不计入任何 Key 的上限。账号其余部分照常工作;每把 Key 的限流与每分钟 Token 上限(tokenLimitTpm)按平台默认值执行,可申请调高。Key 泄露被刷或 Agent 失控时怎么止损、第一个小时该做什么,见 /blog/llm-api-key-leak-spend-cap 。
在哪里看用量和成本?
控制台 → 日志看每请求 Trace,可按模型、API Key、状态和日期筛选;控制台 → 用量按 API Key 排列花费、Token 与请求数。筛选后的日志和钱包流水都能导出 CSV 用于对账。请求完成后通常很快出现在日志里;仍在等待定价的记录可能短暂缺席,待结算不等于免费。
余额用完会怎样?
API 调用返回 HTTP 402,直到充值或套餐额度生效。不存在静默超额——开销永远不会超过你的预付余额加套餐范围。在此之前,控制台概览会按近 7 天按量消费的日均值估算余额还能用多少天(套餐覆盖的请求不计入),不足 3 天时会标记提醒;需要在服务端告警,可轮询 GET /v1/balance(接口说明见 /docs/account/getBalance)。
计费需要存储我的 prompt 吗?
成本计量使用 Token 计数和元数据,Trace 记录模型、Token、成本、延迟和状态。Router One 不留存直接 API 调用的 prompt 和模型回复正文,仅记录用于计费、用量统计与故障排查的请求元数据。Playground 会保存会话历史,方便用户回看和继续对话。
Claude Code 和 Codex CLI 也能这样追踪吗?
能。CLI 编码工具走同一个网关,每个编码 agent 请求都有同样的成本 Trace,从钱包扣的钱也计入同样的 Key 级上限,与应用流量一视同仁。
相关页面
- 提示词缓存用量与账单核对
- LLM 可观测
- 价格方法论
- LLM API 网关
- 定价
- LLM 成本计算器
- 给客户开带消费上限的 Key
- LLM 成本归因实践:每个应用、agent 与环境各一把 API Key
- Claude Code 为什么烧 token 与 Key 上限方案
- LlamaIndex 接入指南:RAG 管线每次调用都有成本 Trace
每一次模型调用花了多少钱,当下就知道。
立即接入