来源为用户提供的《P40、L20 与 Serving 框架性能测试报告》，共 9 页，报告日期 2026-09-21。网站整理日期为 2026-10-11。
来源对应关系
| 内容 | 报告页码 |
|---|---|
| 测试矩阵、样本量与可比性限制 | 第 2 页 |
| vLLM 配置及分别启动要求 | 第 3 页 |
| 压测命令及复测请求数量 | 第 4 页 |
| Embedding QPS、L20 P50 与 P95 | 第 5、6 页 |
| Reranker QPS、L20 P50 与 P95 | 第 7、8 页 |
| P40 两个选定档位 P95、复测方向 | 第 9 页 |
数据与计算
CSV共 30 行：2 种服务 × 3 种部署 × 5 个并发档位。每组请求数均为 100，QPS 与延迟使用原报告显示值，延迟单位为毫秒。未提供的 P40 延迟单元格留空，不以零代替。没有逐请求日志可用于重新估计分位数。
同档 QPS 比值为 L20 + vLLM 除以 L20 + Xinference；峰值比值则分别取各部署在五档并发中的最大 QPS 后相除。
| 计算项 | 公式 | 结果 |
|---|---|---|
| Embedding 同档比值范围 | 各档 L20 vLLM / L20 Xinference | 3.86 至 4.66 倍 |
| Reranker 同档比值范围 | 各档 L20 vLLM / L20 Xinference | 2.06 至 3.46 倍 |
| Embedding 测试内峰值比 | 1197.76 / 257.23 | 4.66 倍 |
| Reranker 测试内峰值比 | 310.71 / 135.96 | 2.29 倍 |
| vLLM Embedding 并发 20 至 30 的 QPS 增幅 | 1197.76 / 1000.88 − 1 | 19.7% |
| vLLM Reranker 并发 20 至 30 的 QPS 降幅 | 1 − 308.64 / 310.71 | 0.7% |
| vLLM Reranker 并发 20 至 30 的 P95 增幅 | 128.65 / 78.61 − 1 | 63.7% |
表述边界
原报告将结果归因到动态调度与批处理；网站整理保留观测结果，不将该机制视为已经通过对照实验验证的原因。报告未记录 Xinference 实际后端、精度、版本、worker 数、预热策略、输入分布和实际动态批大小。两种 vLLM 模型按报告要求分别运行，不能据此评估共存部署。
并发 20、30 等档位作为复测线索，未标记为经过长期验证的生产容量。未发布原报告中的内部部署地址，未公开原 PDF。