跳到主要内容
版本:最新版(main)

支持矩阵与阈值

每个模型都以规范的零样本形式回答它能回答的每个预设。有些家族针对某个预设训练过,有些对它有校准阈值。本页同时列出两者,帮助你判断更换决策模型后会发生什么变化。

支持矩阵​

TC 训练且校准,T 训练,B 关闭全部适配器的基座模型,Z 零样本,— 无法运行。

预设vela3-fastvela3-litevela3-mini、-flash、-turbod3(本地或托管)Decision 2.0Vela 2.0
domain、fact_check、feedbackTCTTZZTC
jailbreakTCBBZZTC
harmTCrequest 阶段为 B,response 阶段为 Trequest 阶段为 B,response 阶段为 TZZTC
危害类别Trequest 阶段为 T,response 阶段为 ZZZZZ
piiTCTT——TC
hallucinationTTT——T
refusalTTTZZZ
modalitytext、image、text_image 为 TC,其余为 Z这三个为 T,其余为 Z这三个为 T,其余为 ZZZZ
turn_relation、complexity、relevance、same_request、tool_rank、tool_need、answer_checkZZZZZZ
  • Vela 3.0 的 d3 规格按问题 ID 开启训练过的适配器:domain、factcheck、feedback、r_harm、r_refusal、modality,以及仅在 vela3-lite 上开启的危害类别 hazard: 前缀;vela3-fast 和 Vela 2.0 按措辞匹配。
  • Vela 3.0 的 d3 规格用基座模型回答 jailbreak 预设和 request 阶段的 harm 预设,关闭全部适配器。它们的 attack 和 p_harm 适配器在攻击被其他文本包围时会失去它(在 vela3-turbo 上,8K token 散文之后的注入得分 0.975,基座为 0.9992),对正常文本的评分也更高;而 0.995 这类防护阈值是按基座的回答设定的。
  • d3 家族和 Vela 3.0 的 d3 规格能读取图片输入。目前没有决策模型能为路由规则读取音频或视频。

校准阈值​

在 router signal suite 上测量过的模型上,未写 predicate 的规则使用的默认值:

模型jailbreakdomainpiifact_checkfeedbackharmmodality
vllm-sr/vela3-fast0.880.410.180.99990.470.520.63
vllm-sr/Vela-2.0-0.3B0.750.280.010.930.370.460.51
vllm-sr/Vela-2.0-0.8B0.710.380.070.9940.34
vllm-sr/Vela-2.0-4B0.630.450.050.99840.33
vllm-sr/Vela-2.0-9B0.420.460.140.9980.35
备注

其他模型使用 0.5,并在加载时给出 uncalibrated_preset 警告。hallucination 预设的 span 保留模型自己的阈值。这些值背后的记录见模型运行时记录;支持的模型下的每个模型页面也列出了自己的阈值。