数据与存储
Semantic Router 可以在没有外部向量数据库的情况下运行,但若干可选能力会持久化或共享数据。按能力、持久性、规模和数据处理策略选择存储,而不是仅按产品名称选择。
可能存储的内容
| 能力 | 典型数据 | 为何存储 |
|---|---|---|
| 响应缓存 | 请求表示和先前响应 | 为等价请求复用先前答案。 |
| Agentic memory | 已嵌入的记忆和元数据 | 跨轮次或会话检索相关信息。 |
| 向量存储 | 文档、分块、嵌入和文件元数据 | 支持检索和已上传知识。 |
| 路由回放 | 路由元数据,以及(启用时)有界的请求和响应正文 | 检查并评估路由行为。 |
| Response API | 近期响应记录 | 通过管理界面检索已生成的响应。 |
这些存储具有不同的隐私和保留含义。如果提示词或响应被写入未经批准的共享存储,本地模型路由就不是端到端私密的。
可用指南
Valkey
Valkey 智能体记忆 介绍了一种兼容 Redis、带向量搜索的单服务选项。它适用于较小部署,或已经在运维 Valkey 的团队。
Qdrant 向量库
Qdrant 覆盖 Docker 和 Kubernetes 部署以及 Router 绑定。它可以支撑语义缓存、记忆、向量存储和回放配置。
Milvus 向量库
Milvus 覆盖持久向量存储、Kubernetes 部署、监控、迁移和恢复。它适合较大或共享的向量集合,但比单服务存储有更多运维依赖。
内存存储
内存后端适用于本地实验和短期缓存。它们不提供重启持久性或跨副本共享。不要推断“临时”就意味着不敏感:内容在运行进程内仍可读,并且可能出现在日志或诊断中。