← 技术报告
技术报告 · 语音识别测试

ASR 模型延迟与字正确率测试对比

发布于Leslie · 11 分钟阅读

在 Xinference 下比较 P40 与 Xeon CPU 的短音频延迟,并对照 T1H 机器人集、S5H 客服集的字正确率,分析模型选择、热词收益与测试边界。

#ASR#Xinference#语音识别#热词#P40#性能测试

语音识别模型的选择,需要同时考虑等待时间和业务语料上的识别结果。这份报告整理了 14 组部署的短音频延迟,以及 11 组模型或热词配置在机器人、客服测试集上的字正确率。

在本批结果中,Qwen3-ASR-1.7B 的 T1H 机器人集字正确率最高,为 92.3%;Fun-ASR-Nano-2512 的 S5H 客服集最高,为 96.9%。 P40 上的普通 Paraformer 与 SenseVoiceSmall 则表现出较低的短音频延迟。识别效果与响应速度的优先级不同,适合关注的模型也不同。

测试环境与统计口径

项目 本次记录
延迟测试入口 Xinference
GPU NVIDIA Tesla P40
CPU Intel Xeon E5-2650 v3 @ 2.30GHz
输入音频时长 1、3、5、7 秒
延迟单位 秒
识别测试集 T1H 机器人测试集;S5H 客服测试集
字正确率 (1 − CER) × 100%,CER 为字符错误率
测试日期 未记录;本页整理于 2026-10-11

CPU 行是单独的部署记录;其他延迟行使用 P40。字正确率表未标明硬件,因此不将其自动归入 GPU 或 CPU 测试。T1H、S5H 沿用测试集名称,不据名称推断样本数或时长。

延迟数据未注明是均值、中位数还是单次调用,也没有给出重复次数与并发。下面将它们称为记录值,不改写成 P50、P95 或线上服务保证。

短音频延迟对比

表头的 1s 至 7s 指输入音频时长,表内数值均为秒。绿色高亮标注各音频时长下 P40 组与 CPU 组各自的最低值,并列最低一并标注。

模型 硬件 1s 音频 3s 音频 5s 音频 7s 音频
njueaiv2 P40 0.20 0.44 0.70 0.96
paraformer-zh-hotword P40 0.64 0.63 0.65 0.69
paraformer-zh-hotword CPU 0.57 0.66 0.77 0.88
seaco-paraformer-zh P40 0.22 0.26 0.34 0.37
seaco-paraformer-zh CPU 0.31 0.42 0.56 0.73
paraformer-zh P40 0.17 0.21 0.24 0.27
paraformer-zh CPU 0.24 0.35 0.43 0.54
SenseVoiceSmall P40 0.19 0.23 0.24 0.26
SenseVoiceSmall CPU 0.25 0.35 0.47 0.56
whisper-large-v3 P40 0.77 0.75 0.88 1.65
Fun-ASR-Nano-2512 P40 0.50 0.52 1.03 1.32
Fun-ASR-MLT-Nano-2512 P40 0.40 0.49 0.96 0.91
Qwen3-ASR-0.6B P40 0.49 0.58 1.05 1.40
Qwen3-ASR-1.7B P40 0.53 0.67 1.18 1.44

P40 上,普通 Paraformer 的记录值为 0.17 至 0.27 秒,SenseVoiceSmall 为 0.19 至 0.26 秒。两者在这组短音频测试中都比较快:1 秒和 3 秒音频上 Paraformer 较低,5 秒时相同,7 秒时 SenseVoiceSmall 低 0.01 秒。没有重复测量和方差,不宜把这样的微小差值当作稳定优势。

CPU 部署中,普通 Paraformer 与 SenseVoiceSmall 在 7 秒音频上分别为 0.54、0.56 秒;SeACo 为 0.73 秒,热词版 Paraformer 为 0.88 秒。这些记录可用于挑选复测对象,还不能回答多路并发下能服务多少用户。

GPU 并非在每个记录点都更低。例如热词版 Paraformer 的 1 秒音频,CPU 为 0.57 秒,P40 为 0.64 秒。短输入、固定开销和测试波动可能影响结果,具体原因需要分阶段测量,不能只按硬件名称判断。

实时因子与流式体验需要区分

按记录值计算,实时因子 RTF = 处理延迟 / 音频时长。例如 7 秒音频上,P40 SenseVoiceSmall 的 RTF 约为 0.037,CPU 普通 Paraformer 约为 0.077;这两条记录的处理延迟都小于输入时长。

这里的 RTF 不包含尚未明确的录音等待与分段策略。它不能直接代表流式首字延迟、边说边出的能力,或机器人完整交互的响应时间。

两套业务测试集的字正确率

绿色高亮标注每个测试集的最高字正确率。所有数值统一为百分比。Qwen3-ASR-0.6B 原表中的 91.7、95.9 按同列百分比口径展示。普通 paraformer-zh 没有对应的字正确率数据,不使用热词版结果代替。

模型或配置 T1H 机器人集 S5H 客服集
njueaiv2 85.8% 95.1%
SenseVoiceSmall 90.8% 95.3%
seaco-paraformer-zh 91.1% 95.9%
paraformer-zh-hotword 91.1% 95.8%
paraformer-zh-hotword,加 3 个热词 91.3% 96.8%
whisper-large-v3 78.6% 87.2%
Fun-ASR-Nano-2512 89.7% 96.9%
Fun-ASR-MLT-Nano-2512 82.4% 63.4%
xunfei 87.8% 96.5%
Qwen3-ASR-1.7B 92.3% 96.5%
Qwen3-ASR-0.6B 91.7% 95.9%

机器人集上,Qwen3-ASR-1.7B 比 njueaiv2 高 6.5 个百分点,Qwen3-ASR-0.6B 高 5.9 个百分点。客服集上,Fun-ASR-Nano-2512 比 njueaiv2 高 1.8 个百分点。百分点差值描述的是当前测试集上的结果变化,不是相对提升百分比。

Qwen3-ASR-1.7B 相比 0.6B,两个测试集都高 0.6 个百分点,但四个音频档位的延迟记录也都更高。当前数据说明了这一配置下的效果与等待时间差异,尚不包含显存、并发、成本或显著性比较。

Fun-ASR-MLT-Nano-2512 的客服集结果为 63.4%,明显低于其他记录。应优先复核模型版本、语言设置、音频预处理和逐条错误,再分析具体失误类型。它的多语言覆盖不能自动转化为这套中文业务语料上的识别优势。

xunfei 没有具体产品或版本,也没有延迟数据,因此只保留字正确率结果,不参与速度比较。

三个热词带来的变化

为同名 Paraformer 热词模型加入 3 个热词后,机器人集从 91.1% 升至 91.3%,客服集从 95.8% 升至 96.8%,分别增加 0.2 和 1.0 个百分点。

在客服集上,按已确认的指标口径换算,CER 从 4.2% 降到 3.2%。这让热词配置成为值得继续验证的方向。不过目前没有热词列表、逐条错误与加热词后的延迟数据,不能说明它纠正了哪些业务词,也不能认为收益没有额外开销。

下一轮可以分别统计热词相关句子与普通句子的错误,同时测量热词数量变化带来的延迟,判断收益是否集中在目标词汇上。

语言支持和功能不是本次测量结果

SenseVoiceSmall 的官方资料列出中文、粤语、英语、日语、韩语,并支持语音识别、语种识别、情感识别与声学事件检测。这里没有测试后三类任务的效果。SenseVoice 官方资料

Fun-ASR-Nano-2512 与 MLT 是不同的模型:前者面向中文、英文、日文及中文方言、口音,后者覆盖 31 种语言。训练规模与语言范围可以帮助理解模型定位,却不能替代业务集验证。Fun-ASR 官方资料

Qwen3-ASR 两个规模的官方资料列出 30 种语言和 22 种中文方言。当前报告只展示两套业务测试集的结果,不把它扩展成多语言评测。Qwen3-ASR 官方资料

Paraformer 相关资料还列出了长音频、VAD、标点、说话人处理与热词模型的不同组合。它们需要按具体模型 ID 和处理链路核对,不能将不同组合的时间戳或分角色能力合并成一个模型的测量结果。模型记录与资料说明

复测时优先补齐哪些记录

下一轮应固定音频与文本归一化规则,记录每套测试集的样本数、字符数、音频总时长,以及 CER 是按总字符聚合还是按句子平均。标点、数字、英文大小写与繁简转换规则,都需要随指标一起保存。

延迟测试应记录 Xinference、推理后端与模型版本,明确是否包含 VAD、标点、音频解码、上传和排队,并分别测试预热后的单请求及并发负载。重复测量后再报告均值、P50、P95 与错误率。

当前可以形成三个复测方向:机器人语料优先验证 Qwen3-ASR 两个规模;客服语料重点对照 Fun-ASR-Nano 与热词版 Paraformer;低延迟需求继续验证 SenseVoiceSmall 和普通 Paraformer。普通 Paraformer 的识别效果、各模型的 CPU 识别结果和长音频表现仍需补齐,才能形成完整选择依据。

数据下载

这些数据来自提供的测试记录,并未在本文整理过程中重新执行模型推理。

相关资料

事实核对记录 ↗

下载本文 Markdown ↓