跳到主要内容
版本:最新版(main)

使用场景

按任务、能力和策略路由每一次模型调用。一个稳定的入口让 harness 可以使用托管 API、数据中心机群、边缘模型或它们的组合,而无需改动任务循环或工具。

  • 在 agent 任务内: 为每次调用选对模型,让工具循环留在同一个模型上,并校验选定的回答。
  • 跨越不同环境: 同一套策略适用于云、数据中心、边缘和混合模型池。
  • 可复用的模式: 能力路由、专项路由、目标路由、恢复路由和策略优先路由。

Agent 任务内的决策​

Harness 的需要Router 策略Harness 的职责
编码或研究调用需要不同的模型能力。根据请求信号匹配专项通道,并按声明的能力和上下文容量过滤候选。选择下一个任务步骤,执行返回的工具调用。
使用工具的会话跨轮次继续。配置会话保护后,在进行中的工具循环或无法迁移的提供方状态期间保留合格的模型。提供对话和稳定的会话标识,管理工具结果和任务状态。
选定的调用需要校验。运行已配置的、有界的逐级升级、评审组或多模型工作流。决定如何在整个任务中使用返回的回答。
敏感工作需要经过批准的执行路径。对本地或远程后端应用明确的资格与数据处理策略。在工具、任务存储和其他服务中执行同样的边界。

从 agent harness 指南和 Agent Routing 配方开始。

部署环境​

大多数部署会混合多种环境:数据中心模型池处理一般流量,边缘模型处理私有或离线工作,云提供方提供专项能力。虚拟模型名保持不变,背后各环境的端点可以随时变化。

环境典型问题Semantic Router 决定什么仍在 Router 之外的部分
云各提供方 API 在能力、成本、延迟和可用性上不同。由哪个已批准的提供方或虚拟目标处理请求。提供方容量、计费、区域健康状况和账户策略。
数据中心共享的加速器机群服务着各有所长的模型。哪个模型池符合任务、策略和目标。副本放置、批处理、自动扩缩容和设备调度。
边缘容量有限,数据可能需要留在本地或离线工作。本地路径是否具备能力,以及是否允许远程升级。设备运行时、模型打包、功耗和网络可用性。
企业混合工作负载跨越租户、区域、信任域和提供方。在身份、驻留、能力和策略约束下哪些路径合格。身份签发、网络控制、密钥管理和数据治理。

用一条策略覆盖多个模型服务。 某个提供方的视觉模型可能最好,另一个的上下文最长,而一个小型托管模型最适合低成本的日常对话。

Router 提供一个模型 API,同时让决策考虑:

  • 任务意图、模态、上下文长度和工具需求;
  • 提供方允许列表,以及区域或合同约束;
  • 合格候选中的成本、延迟或质量目标;
  • 明确的升级,或在路径被排除时直接拒绝。

示例: 文档助手把普通文本发给经济型模型,把图片发给支持视觉的提供方,把依赖证据的问题发往校验路由。客户端始终请求同一个模型名。

备注

提供方账户不能互相替换。凭据、配额、数据使用条款和区域可用性都需要明确管理。

跨环境的模式​

模式作用构成
能力路由在比较成本或延迟之前,排除无法处理请求模态、上下文、工具或语言的模型。候选要求、input_modality、context
专项路由把代码、数学、研究或领域工作发往合适的模型池。domain、systemone、keyword 信号
基于目标的虚拟模型为均衡、快速、经济、精度优先或私有的行为提供稳定的公开名字。入口、MoM V1
有界的恢复与编排在置信度低时升级、比较回答或运行工作流,只用在额外调用划算的地方。escalate、fusion、remom、workflows
策略优先路由在任何优化器对候选排序之前,先应用授权、位置、数据处理和能力规则。authz 信号、决策

选择起点​

  1. 确认有哪些模型池,以及各自由哪个系统运行。
  2. 先定义硬性的资格边界,再考虑质量、延迟或成本目标。
  3. 为每种需要客户端主动选择的行为提供一个公开入口。
  4. 从简单的决策和静态选择开始。
  5. 只有当信号或算法会改变实际观察到的路由结果时,才加入它们。
  6. 修改生产策略之前,用探针验证有代表性的请求。

下一步​