跳到主要内容
版本：v0.4

快速开始

Fleet Sim 是独立的规划工具。它不会由 vllm-sr serve 启动，也不会通过 Semantic Router 仪表盘对外暴露。

安装 CLI​

在源码检出目录中：

cd src/fleet-sim
python -m venv .venv
source .venv/bin/activate
python -m pip install -e .
vllm-sr-sim --version

Windows PowerShell 用户可用 .venv\Scripts\Activate.ps1 激活环境。

运行第一次研究​

下面的命令会搜索低成本的双池机队，并对前列候选做 DES 校验：

vllm-sr-sim optimize \
  --cdf data/azure_cdf.json \
  --lam 200 \
  --slo 500 \
  --b-short 6144 \
  --verify-top 3 \
  --n-sim-req 30000

先理解输入，再看输出：

  • --cdf 描述累计 token 长度分布。
  • --lam 是假定到达率，单位为每秒请求数。
  • --slo 是 P99 TTFT 目标，单位为毫秒。
  • --b-short 将不超过该阈值的请求发往短池。
  • --verify-top 选出解析候选，供 DES 验证。

得到的 GPU 数量和成本是基于所选内置 profile 的估计值。在校准目标部署之前，请替换这些 profile，或把结果当作相对参考。

选择命令​

命令用途
optimize搜索双池机队，并可选择对候选做 DES 校验
simulate对固定的短池和长池数量运行 DES
whatif扫描到达率或内置 GPU profile
pareto根据工作负载 CDF 比较 token 阈值
compare-routers在同一固定机队上比较 CLI 的长度、压缩后路由和随机策略
disagg分别为 prefill 和 decode 池做规模估算
grid-flex在降低建模并发和功耗时估计延迟
tok-per-watt比较建模能效
simulate-fleet模拟任意多池 JSON 拓扑
serve启动 Fleet Sim HTTP 服务

运行 vllm-sr-sim <command> --help 查看当前选项。需要机器可读 JSON 时，对支持的命令加上 --out FILE。

启动独立服务​

安装 API 依赖并启动 FastAPI：

cd src/fleet-sim
python -m pip install -e '.[api]'
vllm-sr-sim serve --host 127.0.0.1 --port 8000

然后检查：

curl -sS http://127.0.0.1:8000/healthz

交互式 API 文档位于 http://127.0.0.1:8000/api/docs，OpenAPI 文档位于 /api/openapi.json。

仅当其他主机或容器必须连接时才使用 --host 0.0.0.0，并在服务前部署认证和网络控制。Fleet Sim 的 FastAPI 应用本身不增加认证层。

在把示例结果当作部署建议之前，请继续阅读容量规划工作流。