跳到主要内容
版本:v0.4

插件

概览​

插件在决策匹配后添加路由局部行为。它们可以改写请求、检索上下文、短路生成、检查响应,或控制保留哪些运维数据。

共享服务和存储属于 global:;决策插件只为一条路由启用并调优该行为。

主要优势​

  • 把行为附着在需要它的路由上。
  • 复用共享存储和服务,而不重复其配置。
  • 让请求改写、检索和响应检查可审计。

解决什么问题?​

即使共享同一 Router,各路由也常常需要不同行为。插件把这些差异放在决策旁边,而不是藏进应用中间件或全局启用。

何时使用​

当行为应仅在特定路由匹配后生效时,使用插件。当每条路由共享同一服务或后台存储时,改用 global:。插件条目位于 routing.decisions[].plugins 下。

配置​

routing:
decisions:
- name: cached-support
description: Reuse cached responses for support requests.
priority: 100
rules:
operator: AND
conditions: []
modelRefs:
- model: support-model
plugins:
- type: response_cache
configuration:
enabled: true
ttl_seconds: 3600

插件清单​

类型目标共享依赖指南
fast_response不调用模型即返回配置的响应无快速响应
system_prompt插入、替换或追加路由专用指令无系统提示词
header_mutation添加、更新或删除下游请求头无请求头修改
request_params强制请求参数限制无请求参数
tools允许、阻止、过滤或移除工具和工具历史可选的全局工具目录工具
tool_selection从目录添加工具,或按语义过滤调用方工具嵌入运行时;add 模式需要工具数据库工具选择
context_compression缩减绑定提供商的大型工具输出或历史可选的嵌入运行时和恢复存储上下文压缩
response_cache复用兼容的先前响应global.stores.response_cache响应缓存
memory检索并可选存储对话记忆global.stores.memory记忆
rag在生成前检索文档已配置的 RAG/向量后端RAG
router_replay覆盖单条路由的回放采集global.services.router_replay路由回放
shadow_dispatch在采样流量上观察次要模型,且不触碰线上响应用于结果采集的回放记录(router_replay)Shadow Dispatch
hallucination检查响应中的事实依据按配置的幻觉/NLI 模块幻觉检测
response_jailbreak筛查生成响应中的越狱内容Prompt-guard 运行时响应越狱

内容安全 打包了三个受支持插件,而不是额外的插件类型。

运维边界​

  • 当多个插件改写绑定提供商的请求或响应时,它们会相互作用。Router 管道固定其执行顺序;在 YAML 中重排条目不会改变该顺序。
  • 检索、memory、缓存和回放可能持久化从请求派生的内容。为所选后端配置保留策略、租户/用户范围、认证和加密。
  • 请求头和提示词改写可能跨越信任边界。不要把不受信任的调用方元数据复制到特权请求头或系统指令中。
  • 部署前校验完整配方,以便不支持的插件名或不兼容设置在流量到达 Router 之前失败。