跳到主要内容
版本：最新版（未发布）

部署支持

使用本页检查项目维护哪些 Router 部署路径和集成。它并不认证每一种平台、模型服务器、模型或加速器组合。

如果仍在选择拓扑，从选择部署方式开始。对于线格式和端点配置，使用协议兼容性和后端目标兼容性。

每种状态的含义​

状态含义
Maintained reference stack项目拥有并测试安装或生命周期契约。
Supported integration项目测试 Router 侧连接；外部平台拥有其生命周期。
Experimental example这些文件演示你必须自行限定的功能或测试拓扑。
Deprecated该选项暂时保留，用于已记录的迁移。

证据标签显示最强的周期性检查：PR CI 运行端到端配置，Contract 在没有外部平台的情况下校验静态契约，Manual 需要可选环境。

使用一套经过测试的版本​

对于每个链接的选项：

  1. 使用其指南中命名的外部平台版本；如果没有命名，在你测试之前将你的选择视为未限定；
  2. 从同一发行版获取你使用的每个 Semantic Router 产物——CLI、chart、CRD、控制器和镜像；以及
  3. 在升级任何一个组件之前，先在你的环境中测试该精确集合。

支持覆盖的是该经过测试的版本集合，而不是外部项目支持的每个版本。

维护中的参考栈​

选项分类项目覆盖
Helm chartMaintained reference stackContract。 Router、可选控制面板、ingress、自动扩缩、持久化和可观测性资源。网关和存储仍是外部的。
本地部署Maintained reference stackPR CI。 CLI 管理 Router、控制面板和支持服务，使用 --gateway extproc 时还管理 Envoy。你提供自定义模型端点，并加固本地默认值。
Kubernetes OperatorMaintained reference stackPR CI + Contract。 项目拥有 CRD、协调、Router 工作负载、Service 和路由 API。Kubernetes 调度工作负载；你的网关承载流量。

受支持的集成​

集成分类项目覆盖
agentgatewaySupported integrationPR CI。 Router 提供 ExtProc 策略；agentgateway 拥有数据平面。将请求正文设置为 FullDuplexStreamed。
Agent RouterSupported integrationPR CI。 原 Envoy AI Gateway。Router 提供路由策略；网关拥有 provider 流量。单独验证你的 provider。
AIBrixSupported integrationPR CI。 Router 选择模型或池；AIBrix 拥有部署、自动扩缩和副本。使用 AIBrix 的硬件支持矩阵。
NVIDIA DynamoSupported integrationManual。 Router 选择目标；Dynamo 拥有图、worker 和 frontend。使用指南版本；较旧的 fixture 仅用于测试。
Istio GatewaySupported integrationPR CI。 Router 提供 ExtProc 策略；Istio 承载请求。附带的 GPU 工作负载仅为示例。
llm-dSupported integrationPR CI + Contract。 Router 选择模型或池；llm-d 拥有发现和副本路由。不要添加竞争的直接 Service 路由。
使用 Agent Router 的流式Supported integrationPR CI。 网关流式传输；Router 使用配置的 ExtProc 正文模式。显式测试该模式。
Valkey 智能体记忆Supported integrationContract + Manual。 Router 拥有记忆行为；Valkey 拥有持久化和 Search。你拥有安全、保留和备份。
使用 Redis 的 Responses API 状态Supported integrationManual。 Router 拥有 Responses 行为；Redis 存储状态。你拥有 Redis 安全、持久化和驱逐。
响应缓存Supported integrationContract + Manual。 Router 拥有缓存行为；你的后端拥有存储和可用性。将缓存数据视为敏感。
Valkey 向量存储Supported integrationManual。 Router 拥有存储引用；Valkey 拥有索引和持久性。将 Valkey、Search 和嵌入模型一起固定。

实验性示例​

示例分类适用于 / 不适用于
KServe 示例Experimental exampleKServe 集成冒烟测试；不是经过限定的 KServe 或模型服务部署。
OpenShift 示例Experimental example将资源适配到 Route 和安全约束；不是加固的 OpenShift 配置。
幻觉策略演示Experimental example事实核查策略行为；不是经过限定的护栏或模型。
越狱错误处理演示Experimental example分类器失败路径；不是安全的生产策略。
Provider mocker 与可选 tiny-model smokeExperimental example确定性协议测试数据；需要真实推理时，使用上游 llama.cpp server 和固定版本的 Qwen3-0.6B。
PII 远程后端演示Experimental example远程 token_spans.v1 PII 后端及其 on_error 策略；不是经过限定的 PII 模型或脱敏策略。
可观测性演示Experimental examplePrometheus、Grafana、告警和控制面板接线；替换所有示例安全和保留设置。
响应越狱演示Experimental example响应分类器窗口行为；不是生产护栏模型。
Responses API Kubernetes 演示Experimental exampleRedis 持久化和重启行为；不是加固的 Redis 部署。
路由动作演示Experimental example聚焦的路由动作行为；在生产前将其组合到维护中的栈。
Router 回放恢复演示Experimental example回放和重启恢复；不是受支持的部署平台。
路由策略演示Experimental example聚焦的策略示例；用有代表性的流量限定路由质量和后端容量。
本地工具数据库Experimental example用于示例和测试的本地工具定义；在生产中使用经过认证的持久注册表。

当前没有随附选项处于 Deprecated 状态。迁移指导见升级与回滚。

硬件叠加层​

硬件支持适用于部署栈；它不是单独的 Router 拓扑。Router 加速和后端模型服务也是分开的选择。

硬件配置状态覆盖内容
Linux x86-64 CPUMaintained标准 Router 镜像、CLI、Helm chart 和 Operator 获得最广泛的周期性覆盖。模型服务器要求仍然分开。
Linux Arm64 CPUBuild-qualified发行工作流在声明处发布多架构镜像。这并不限定 Arm64 上的每个集成或可选原生依赖。
Linux x86-64 上的 NVIDIA CUDASupported integration遵循 NVIDIA CUDA 了解受支持的 Router 侧模型，或将 Router 保留在 CPU 上，并对照 vLLM 的支持矩阵限定单独的 NVIDIA 后端。
Linux x86-64 上的 AMD ROCmSupported integration遵循 AMD ROCm 了解受支持的 Router 侧模型，并将 Router、vLLM、ROCm 和模型 revision 作为一套进行限定。
AMD AI PC/NPUExperimental, not qualified尚无维护中的部署契约；由 issue #2373 跟踪。
NVIDIA DGX Spark Arm64Experimental, not qualifiedArm64 镜像并不限定此平台上的 CUDA 或端到端推理；由 issue #2374 跟踪。
其他加速器和操作系统Not qualified没有维护中的配置。用可复现的硬件、软件、镜像和测试证据开一个限定 issue。

投产之前​

先直接测试模型端点，然后通过真实数据平面演练缓冲、流式、失败、升级和回滚路径。复核安全加固、数据与存储和升级与回滚，了解此矩阵之外的控制项。