跳到主要内容
版本:最新版

提案

本集合记录需要比功能指南更多上下文的想法和设计决策。各页上的状态区分了拟议工作、实验、已实现契约,以及有意限制产品范围的决策。

路由与选择​

路由器如何理解请求、约束模型选择,并在不接管服务层调度的前提下改进选择。

提案创建日期状态范围
路由范围:逐查询与容量感知路由2026-07-14决策记录保持语义路由逐查询,容量处理留在服务层。
路由学习2026-06-20已实现在线适配、路由保护和离线配方改进。
提示词分类路由2025-10-08提案关键词、正则、嵌入和分类器信号融合。

工作流、记忆与工具​

围绕已路由请求协调模型、检索、记忆和工具的多步执行与上下文能力。

提案创建日期状态范围
Router Flow 工作流2026-06-30已实现有界的静态和动态多模型工作流。
智能体感知的 Router 契约2026-08-29提案Router 接缝上的有界智能体事实和外部运行时交接(Epic #2994)。
审议算法2026-06-17提案感知依据的多模型综合。
智能体记忆2026-02-09概念验证跨会话记忆检索与持久化。
OpenAI RAG 集成2026-01-23已实现通过 OpenAI Files 和 Vector Stores 检索。
高级工具过滤2026-01-14已实现对工具候选做可解释的过滤和重排序。

安全与韧性​

当模型不能或不应当处理请求时,使路由行为保持显式的失败、资格和响应质量边界。

提案创建日期状态范围
模型执行回退2026-08-10提案跨模型回退的安全所有权边界。
PRISM2026-03-20提案模型资格与合法性检查。
TruthLens2025-12-02提案网关级幻觉检测与缓解。

配置与协议​

编写路由器行为、以及从不同客户端和传输协议到达路由引擎的共享契约。

提案创建日期状态范围
Open Intelligence Index 1.0 与 Unified Model Arena2026-09-09已实现定义六个开放核心基准、完整案例指数、物理/虚拟排名、运营方证据、路由目标和基准版本迁移。
统一模型目录与评估指数2026-09-04已实现统一提供商、协议、模型、推理、展示、Day-0 和基准比较元数据。
统一配置契约 v0.32026-03-17已实现跨编写和部署面的单一配置契约。
多协议适配器架构2026-02-18提案与协议无关地访问路由引擎。
独立 HTTP Gateway2026-08-31提案链接路由器包的独立网关二进制;无需 Envoy 即可运行路由,简化部署。

服务集成​

将语义模型选择连接到基础设施所拥有的模型服务、副本选择和执行的分层契约。

提案创建日期状态范围
vLLM Production Stack 集成2025-10-13提案分层的语义与基础设施路由。
NVIDIA Dynamo 集成2025-10-09提案在 Dynamo 的 worker 级路由之上做语义路由。

状态描述文档当前角色:

  • 提案:尚未表述为已完整交付的设计。
  • 概念验证:带有明确生产限制的实验。
  • 已实现:当前仓库中已体现的契约。
  • 决策记录:架构选择,包括有意保持在路由器之外的工作。