跳到主要内容
Router One

一个 LlamaIndex LLM 类,覆盖所有模型系列

LlamaIndex 是在自有文档上做 RAG 与 agent 的数据框架,回答一个问题往往会触发多次 LLM 调用——合成答案、拆子问题、重排、agent 步骤。它的 OpenAILike 类能对接任何 OpenAI 兼容端点,指向 Router One 后,改一个 model 字符串就能在 GPT、Claude、Gemini、DeepSeek 系列之间切换——网关在大陆可直连,支付宝或银行卡即可充值;索引管线里的每一次调用在网关侧都有成本 Trace,不用自己加 callback。

把 LlamaIndex 配置到 Router One base URL

安装 llama-index-llms-openai-like,用网关 base URL、你的 Key 和 /models 页的精确模型 ID 构造 OpenAILike。is_chat_model 设为 True(目录里的文本模型都是对话模型),支持工具调用的模型把 is_function_calling_model 设为 True,context_window 填 /models 页标注的上下文窗口——不填会退回 3900 token 的默认值。把实例设为 Settings.llm,或直接传给任意索引、查询引擎和 agent:

llamaindex-router-one.py
# pip install llama-index llama-index-llms-openai-like
from llama_index.core import Settings
from llama_index.llms.openai_like import OpenAILike

Settings.llm = OpenAILike(
    model="<model-id-from-/models>",
    api_base="https://api.router.one/v1",
    api_key="sk-your-router-one-key",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=200000,  # copy the window shown on /models
)

print(Settings.llm.complete("Hello!"))

LlamaIndex 该填哪个模型 ID?

从 /models 页复制精确的模型 ID——ID 区分大小写,页面同时列出每个模型的上下文窗口、能力和当前单价。建议为每个工具单独建一个 API Key,并设置 maxSpend 消费上限,这样单个工具跑飞不会影响其他工作负载。

在 trace 里验证 LlamaIndex 的调用

发出第一个请求后,到 Dashboard → Logs 查看它的完整 trace:模型、tokens、花费、延迟和状态码。LlamaIndex 的每一次调用从此都有账本和轨迹,不再是黑盒。

常见问题

为什么用 OpenAILike,而不是 OpenAI 类加 api_base?

因为 OpenAI 类会拿模型名去对照 OpenAI 自家的模型清单推断上下文大小,清单之外的名字——包括目录里所有非 GPT 模型 ID——一旦需要读取模型元数据就会抛出 ValueError: Unknown model。OpenAILike 是文档给 OpenAI 兼容端点的正规路线:跳过这层查表,模型元数据完全来自你传入的参数,所以 is_chat_model 和 context_window 要显式设置。

TypeScript 版怎么配?

LlamaIndex.TS 里 @llamaindex/openai 的 OpenAI 类构造函数直接接受 baseURL 和 apiKey——new OpenAI({ model, apiKey, baseURL }) 填网关地址即可,也可以在环境变量里设 OPENAI_BASE_URL 和 OPENAI_API_KEY。设为 Settings.llm 之后,同样靠改 model 字符串切换模型。

LlamaIndex 能通过网关用哪些模型?

目录里任何具备对话能力的模型——GPT、Claude、Gemini、Grok、DeepSeek、GLM、MiniMax、豆包等系列。/models 页是模型 ID 与单价的事实来源。

中国大陆能直连吗?

能。网关在大陆可直连、无需 VPN,配置与全球环境完全一致。

报 401/403/429 怎么排查?

先到 Dashboard → Logs 看请求有没有到达网关以及状态码,再对照错误码速查页逐项检查环境变量、Key 状态和限额。