使用场景
按任务、能力和策略路由每一次模型调用。一个稳定的入口让 harness 可以使用托管 API、数据中心机群、边缘模型或它们的组合,而无需改动任务循环或工具。
- 在 agent 任务内: 为每次调用选对模型,让工具循环留在同一个模型上,并校验选定的回答。
- 跨越不同环境: 同一套策略适用于云、数据中心、边缘和混合模型池。
- 可复用的模式: 能力路由、专项路由、目标路由、恢复路由和策略优先路由。
Agent 任务内的决策
| Harness 的需要 | Router 策略 | Harness 的职责 |
|---|---|---|
| 编码或研究调用需要不同的模型能力。 | 根据请求信号匹配专项通道,并按声明的能力和上下文容量过滤候选。 | 选择下一个任务步骤,执行返回的工具调用。 |
| 使用工具的会话跨轮次继续。 | 配置会话保护后,在进行中的工具循环或无法迁移的提供方状态期间保留合格的模型。 | 提供对话和稳定的会话标识,管理工具结果和任务状态。 |
| 选定的调用需要校验。 | 运行已配置的、有界的逐级升级、评审组或多模型工作流。 | 决定如何在整个任务中使用返回的回答。 |
| 敏感工作需要经过批准的执行路径。 | 对本地或远程后端应用明确的资格与数据处理策略。 | 在工具、任务存储和其他服务中执行同样的边界。 |
从 agent harness 指南和 Agent Routing 配方开始。
部署环境
大多数部署会混合多种环境:数据中心模型池处理一般流量,边缘模型处理私有或离线工作,云提供方提供专项能力。虚拟模型名保持不变,背后各环境的端点可以随时变化。
| 环境 | 典型问题 | Semantic Router 决定什么 | 仍在 Router 之外的部分 |
|---|---|---|---|
| 云 | 各提供方 API 在能力、成本、延迟和可用性上不同。 | 由哪个已批准的提供方或虚拟目标处理请求。 | 提供方容量、计费、区域健康状况和账户策略。 |
| 数据中心 | 共享的加速器机群服务着各有所长的模型。 | 哪个模型池符合任务、策略和目标。 | 副本放置、批处理、自动扩缩容和设备调度。 |
| 边缘 | 容量有限,数据可能需要留在本地或离线工作。 | 本地路径是否具备能力,以及是否允许远程升级。 | 设备运行时、模型打包、功耗和网络可用性。 |
| 企业混合 | 工作负载跨越租户、区域、信任域和提供方。 | 在身份、驻留、能力和策略约束下哪些路径合格。 | 身份签发、网络控制、密钥管理和数据治理。 |
- 云
- 数据中心
- 边缘
- 企业混合
用一条策略覆盖多个模型服务。 某个提供方的视觉模型可能最好,另一个的上下文最长,而一个小型托管模型最适合低成本的日常对话。
Router 提供一个模型 API,同时让决策考虑:
- 任务意图、模态、上下文长度和工具需求;
- 提供方允许列表,以及区域或合同约束;
- 合格候选中的成本、延迟或质量目标;
- 明确的升级,或在路径被排除时直接拒绝。
示例: 文档助手把普通文本发给经济型模型,把图片发给支持视觉的提供方,把依赖证据的问题发往校验路由。客户端始终请求同一个模型名。
提供方账户不能互相替换。凭据、配额、数据使用条款和区域可用性都需要明确管理。
把工作负载匹配到共享机群。 服务平台知道哪些副本健康,但通常不知道哪个模型最适合某个请求。
Router 补上这一层模型级决策:
- 把代码、数学、语言或领域工作发往专项模型池;
- 拒绝缺少所需模态、上下文或工具支持的候选;
- 把大模型和多模型工作流留给值得这些开销的请求;
- 在同一机群之上提供均衡、快速、经济或精度优先的虚拟模型。
示例: 内部平台提供 assistant-fast 和 assistant-accurate。两者共享同一个提供方模型池,但各自的配方使用不同的资格规则和选择算法。
Router 选择模型或模型池;副本的选择,以及批处理、缓存局部性、自动扩缩容和调度,仍由推理平台负责。
容量受限时的本地优先路由。 在边缘,隐私、间歇性连接、内存和功耗可能比使用最大的模型更重要。远程执行是明确的选择,而不是隐式的回退。
Router 可以:
- 把敏感或适合离线的流量留在本地模型上;
- 在设备或本地网络上的小型专项模型之间选择;
- 拦截本地模型池无法安全处理的请求;
- 在策略和连接允许时,把选定请求升级到经过批准的远程模型。
示例: 现场助手在本地回答常见文本请求,联网时把图片发给本地部署的视觉服务;遇到受保护内容时宁可失败关闭,也不发往公共端点。
“本地”不等于端到端的隐私保证。网络路由、日志、回放、缓存、工具调用和远程回退都必须遵循同一边界。
在混合模型访问中执行策略。 问题不只是哪个模型最好,而是对这个用户、租户、数据类别和工作负载,哪条路径是被允许的。
Router 让这些选择变得明确:
- 授权、元数据和内容信号作为资格规则;
- 用独立的配方隔离产品、租户或目标策略;
- 受监管的流量留在经过批准的区域或本地模型池;
- 保持工具、模态、上下文和提供方的兼容性;
- 在启用并保护好回放的前提下,记录路由结果用于评估或审计。
示例: 公司级助手通过一个 API 服务所有业务部门。公开问题使用经过批准的托管提供方,机密提示留在内部模型池,受限配方则为高敏感工作移除远程和启用工具的路径。
信号只负责报告,必须由决策据此行动。Router 是身份、网络隔离、密钥管理、数据保留和提供方治理的补充,而不是替代。
跨环境的模式
| 模式 | 作用 | 构成 |
|---|---|---|
| 能力路由 | 在比较成本或延迟之前,排除 无法处理请求模态、上下文、工具或语言的模型。 | 候选要求、input_modality、context |
| 专项路由 | 把代码、数学、研究或领域工作发往合适的模型池。 | domain、systemone、keyword 信号 |
| 基于目标的虚拟模型 | 为均衡、快速、经济、精度优先或私有的行为提供稳定的公开名字。 | 入口、MoM V1 |
| 有界的恢复与编排 | 在置信度低时升级、比较回答或运行工作流,只用在额外调用划算的地方。 | escalate、fusion、remom、workflows |
| 策略优先路由 | 在任何优化器对候选排序之前,先应用授权、位置、数据处理和能力规则。 | authz 信号、决策 |
选择起点
- 确认有哪些模型池,以及各自由哪个系统运行。
- 先定义硬性的资格边界,再考虑质量、延迟或成本目标。
- 为每种需要客户端主动选择的行为提供一个公开入口。
- 从简单的决策和静态选择开始。
- 只有当信号或算法会改变实际观察到的路由结果时,才加入它们。
- 修改生产策略之前,用探针验证有代表性的请求。