跳到主要内容
Documentation

我们的目标是什么？

我们相信，Mixture-of-Models 是面向异构 LLM 推理的下一代模型架构。

Docs indexEdit page
版本：最新版

我们的目标是什么？

我们相信，Mixture-of-Models 是面向异构 LLM 推理的下一代模型架构。

正因如此，我们构建了 vLLM Semantic Router——将信号与偏好转化为面向每位用户、每个产品与每类工作负载的可执行模型路径。

核心问题​

我们的项目针对 LLM 系统中的五项根本挑战：

1. 如何捕获缺失的信号？​

在传统 LLM 路由中，往往只看用户查询文本，但大量可用信息被忽略：

  • 上下文信号：查询属于哪个领域？（数学、代码、创意写作？）
  • 质量信号：是否需要事实核查？用户是否在给出反馈？
  • 用户信号：用户偏好是什么？满意度如何？

我们的方案：一套全面的信号提取机制，从请求、响应、用户与运行时上下文中捕获 16 类维护中的信号族。

2. 如何组合这些信号？​

拥有多个信号之后，如何协同使用以做出更好的决策？

  • 若同时检测到数学关键词与数学领域，是否应路由到数学模型？
  • 若检测到事实性问题或敏感领域，是否应启用事实核查？

我们的方案：可复用的信号目录，加上投影协调与 AND/OR 决策逻辑，在不重复编写策略的前提下组合信号。

3. 如何让不同模型组成一个系统？​

不同模型各有所长，如何将这些能力组合成一个模型系统？

  • 数学问题交给数学专用模型
  • 创意写作交给更擅长创作的模型
  • 代码问题交给代码向模型
  • 简单任务用小模型，复杂任务用大模型

我们的方案：基于请求信号与明确偏好，选择、级联或融合模型，形成可执行的模型路径，而不是依赖简单规则。

4. 如何保障系统安全？​

LLM 系统面临特有的安全挑战：

  • 越狱攻击：试图绕过安全护栏的对抗性提示词
  • PII 泄露：意外泄露敏感个人信息
  • 幻觉：模型生成错误或误导性内容

我们的方案：插件链架构，叠加多层安全能力（越狱检测、PII 过滤、幻觉检测）。

5. 如何收集有价值的信号？​

系统应能随使用而学习与改进：

  • 跟踪哪些信号带来更好的路由结果
  • 收集用户反馈以改进信号检测
  • 构建可自我学习的系统

我们的方案：全面的可观测性与反馈收集，并反哺信号提取、投影调优与决策策略。

愿景​

我们期望的未来是：

  • LLM 系统在系统层面具备智能，而不仅限于单个模型内部
  • 多个模型无缝协作，各展所长
  • 安全内建，而非事后补丁
  • 系统从每次交互中学习、进化
  • 集体智能从信号、投影、决策与反馈的组合中涌现

为何重要​

对开发者​

  • 用更少精力构建更强的 LLM 应用
  • 无需复杂编排即可利用多模型
  • 内置安全与合规能力

对组织​

  • 通过路由到合适模型降低成本
  • 通过专用模型选择提升质量
  • 借助内置 PII 与安全控制满足合规

对用户​

  • 获得更准确、更好的回答
  • 通过缓存等方式更快得到响应
  • 安全与隐私得到加强

下一步​

进一步了解核心概念：