跳到主要内容
版本:最新版(main)

模型运行时

内置模型运行时为 Router 在处理每个请求时所咨询的模型提供服务:回答每个 System One 问题的决策模型,以及召回功能使用的嵌入模型。你不需要单独安装它:它随 Router 镜像一起发布,由 Router 为你启动和监管。

Serve a decision model and ask it directly
vllm-sr serve vllm-sr/vela3-fast --engine --platform cpu
curl -s localhost:8899/v1/systemone/models
备注

运行时并不是运行聊天模型的地方。回答用户的模型仍然留在你的提供方(vLLM、Ollama、托管 API)之后;运行时只为 Router 针对每个请求所询问的小模型提供服务。

前端、可选的决策引擎与按需加载的模型运行时

三种使用方式​

你想要这样做阅读
使用 Router 的内置功能无需额外操作。Router 为你启动运行时;--platform rocm 或 --platform cuda 选择支持 GPU 的镜像连接 Router
在多个 Router 之间共享模型,或在另一台机器上运行它们自己启动运行时,并用 endpoint 让 Router 指向它附加你自己运行的运行时
从你自己的代码调用模型运行 vllm-sr serve ARTIFACT --engine 并发送 HTTP 请求快速开始

托管的 worker 以 vllm-srun 进程的形式运行在 Router 容器内。启动 vllm-sr serve ARTIFACT --engine 会保留同一个实例前端和模型管理,只是关闭 Chat 路由。Router 模式可以在处理路由的 Chat 请求的同时,处理原生 System One 请求。组件架构介绍了请求路径。

它能提供什么​

任务内置模型指南
回答每个路由判断:应用信号、你自己的问题、System One 选择器、守卫和评审Vela 3.0(默认 vela3-fast)、Decision 3.0、Decision 2.0 和 1.0、Vela 2.0支持的模型
为响应缓存、memory 和 RAG 提供召回Vela 1.0 Embedding、Qwen3-Embedding-0.6B嵌入

选择模型帮助你选择规模和硬件。

如何启动和失败​

  • 只加载你用到的。 内置功能会自动解析其默认模型(为信号选择模型)。Router 只为有内容解析到的部署以及显式发布的原生模型启动托管 worker。未使用的部署不加载任何权重。
  • 启动时等待所需的模型。 附加模型的就绪遵循就绪规则。
  • 慢模型绝不会卡住请求。 信号截止时间限定请求的等待时长;未完成的信号没有答案,按其 on_error 或 on_unknown 策略处理。

你可以依赖什么​

  • 固定且经过校验。 内置模型固定到确切的 Hugging Face 修订版本。每个文件在加载前都会与其记录的 SHA-256 进行比对,并且模型仓库中附带的代码永远不会被运行。
  • 吞吐优先,以发布时的精度运行。 与 vLLM 一样,运行时默认把并发请求合并成批,并以模型发布时的精度运行每个模型。批处理后的答案可能因舍入而略有变化,记录中按模型对此进行了测量;记录无法证明准确率不变的更快设置需要显式开启。参见引擎参数。
  • 有界的等待。 慢或不可用的模型通过信号的截止时间和错误策略来处理。已经在运行的模型前向计算可能在调用方超时后继续,并延迟排队的工作。Router 会重启崩溃的运行时。
  • 合并的调用。 来自同一路由阶段的兼容模型工作可以在一次 API 调用中一起发送。这样的调用可能需要多次模型前向计算,后续阶段也可能发出额外的调用。硬件容量允许时,独立的 worker 可以并行作答。
  • 可插拔。 新的模型家族、引擎和硬件后端都是普通的 Python 包。参见添加你自己的模型家族。

硬件​

硬件状态
CPU已验证。每个 Router 镜像都能在 CPU 上运行模型
AMD GPU(MI300X、MI325X)已验证。vllm-sr serve --platform rocm
NVIDIA GPU已验证。vllm-sr serve --platform cuda
Intel GPU(xpu)、昇腾 NPU(npu)、Apple GPU(mps)可用,尚未验证

选择模型给出了细节,量化介绍各 GPU 能运行的低精度包。

从旧版本升级?

candle、ONNX Runtime 和 OpenVINO 后端已经移除。运行 vllm-sr config migrate 更新你的配置;参见从原生绑定迁移。