Decision 1.0
Decision 1.0 是第一代决策模型:三个 0.6B 编码器(Kai、Lex 和 Route,基于 Vela 编码器骨干网络),以及四个基于 Qwen3.5 的解码器(Eos-0.8B、Sol-2B、Nox-4B 和 Lux-9B)。它们零样本回答你关于文本的 choice、noul 和 score 问题。
Start an encoder on a CPU
vllm-sr serve vllm-sr/Decision-1.0-Kai-0.6B --engine --platform cpu
规格
| 模型 | 参数量 | 回答的问题类型 | Span | 输入 | 显存 |
|---|---|---|---|---|---|
| Decision-1.0-Kai-0.6B | 0.572B | choice, noul, score | — | text | 4 GiB |
| Decision-1.0-Lex-0.6B | 0.572B | choice, noul, score | — | text | 4 GiB |
| Decision-1.0-Route-0.6B | 0.572B | choice, noul, score | — | text | 4 GiB |
| Decision-1.0-Eos-0.8B | 0.753B | choice, noul, score | — | text | 4 GiB |
| Decision-1.0-Sol-2B | 1.88B | choice, noul, score | — | text | 8 GiB |
| Decision-1.0-Nox-4B | 4.21B | choice, noul, score | — | text | 16 GiB |
| Decision-1.0-Lux-9B | 7.94B | choice, noul, score | — | text | 24 GiB |
提示
新的配置请优先使用 Decision 2.0 或 Decision 3.0。Decision 1.0 仍然内置,因此引用它的配置可以继续工作。
运行方式
- 与发布的运行时逐字节一致。 在每个请求单独运行时,该家族在 Router 的 ROCm 镜像上对全部七个包的回答都与各包自带的运行时逐字节一致(一致性记录)。
- 精度: 编码器在所有设备上都以 FP32 运行;解码器在 GPU 上为 BF16,在 CPU 上为 FP32。
- x86 CPU 上更快的编码器: Kai、Lex 和 Route 用 oneDNN 在预先打包的 FP32 线性层副本上运行合并的前向计算,快 1.5–1.7 倍,且没有改变任何决策。
- 对解码器关闭共享上下文:它们的记录显示决策会发生变化,因此
--enable-shared-context需要显式开启(引擎参数)。 - 不支持 span。 当 Decision 1.0 模型作为决策模型时,把
pii和hallucination绑定到支持 span 的部署。