路由器运行时

Router Runtime 运行 Vela 分类、嵌入、重排序和安全检查模型。默认设置见 Vela 模型。负责回答用户的 LLM 在模型配置中单独设置。

选择运行方式

	进程内模型	外部服务
模型在哪里运行	Router 进程内	独立服务中
需要准备什么	模型文件和兼容的 CPU 或 GPU 运行环境	API 地址和凭据
从这里开始	运行进程内模型	连接外部服务

需要在本地执行推理时，使用进程内模型。如果模型已在其他地方提供服务，或需要单独管理硬件，使用外部服务。同一个 Router 可以同时使用这两种方式。

按用途配置

• 嵌入模型：语义匹配、缓存和向量存储。
• 安全模型：Guard、Safety、Hazard、PII 和依据检查。
• 重排序：在生成答案前，为检索候选评分。

启动失败、并发限制和配置重载的处理方法见运维与故障排查。