Logo
返回博客
Fundamentals

ASR 转写准确率:从 80% 到 98% 之间,差的不是模型,是这 4 件事

从收音设备、录音环境、录音距离和说话人因素四个维度,梳理影响 ASR 转写准确率的原因,以及热词定制、说话人分离、词级置信度与离线转写的工程用法。

ASR 转写准确率:从 80% 到 98% 之间,差的不是模型,是这 4 件事

TL;DR

  • 模型不是瓶颈:主流引擎在开源测试集上的字错率(CER)已普遍低于 5%,真实场景却常常只有 80%~90%——差距来自音频前端。
  • 四个失真源:收音设备(采样率/指向性)、录音环境(底噪/混响)、录音距离(嘴到麦 30~50 cm 最佳)、说话人因素(语速/同音字/叠话/术语)。
  • 一通百通的规律:专业播音员朗读 CER < 1%,标准会议 3%~6%,客服通话 5%~10%——录音条件决定上限。
  • 前端控不了怎么办:拿到的音频已经定型时,靠热词定制、说话人分离、词级置信度、离线批量转写这四个后处理手段,还能把精度再推上去。
  • 一句话结论:精度不是单点指标,是"前端 + 模型 + 后处理 + 复核"的系统工程。

模型决定下限,前端决定上限

语音识别(ASR)早已不是稀缺技术。手机输入法、会议录音笔、客服通话系统、视频字幕,几乎每一段声音在被"听"的同时都在被"写"。在开源测试集上,主流引擎的字错率(CER)已经普遍低于 5%——也就是说,纯音频信号条件良好的情况下,模型已经能做到接近专业速记员的水平。

但回到真实业务场景,很多团队的体感却大相径庭:客服通话转写出来姓名错乱、会议录音把"开户"识别成"开始"、访谈里大量"嗯""那个"塞进正文、甚至一段 30 秒的静音被模型"补"出一整段会议纪要。这些不是模型不行,是音频前端的质量决定了模型能不能稳定发挥。

我们在 DolphinVoice 的工程实践中反复验证过一句话:当录音在安静的室内、说话人靠近麦克风、语速适中、术语预先登记时,任何主流引擎都能做到 95% 以上;当音频伴随空调噪音、远距离拾音、多人叠话、专业词汇时,再先进的模型也只能在 80%~90% 之间徘徊。剩下的 5~10 个百分点,不靠换模型,靠把"录音这件事"做对。

本文沿着自动语音识别的基本原理展开,回答两个问题:

  • 转写为什么会出错——从设备、环境、距离、说话人四个维度拆解常见失真源
  • 怎么把准确率从 80% 推到 98%——按场景给出可执行的工程建议

自动语音识别的基本原理

一段语音变成文字,中间至少要经过三个环节:

  1. 声学特征提取:把原始波形切成 25ms 一帧的小段,提取频谱、梅尔倒谱系数(MFCC)等特征向量
  2. 声学 + 语言模型:把每一帧的特征向量映射到音素,再由语言模型把音素串拼成词序列
  3. 后处理:大小写、标点、说话人标签、热词替换、敏感词过滤、置信度标注

其中第一环(声学特征提取)只能决定"模型能听清多少",第二三环(语言模型 + 后处理)才能决定"模型能猜对多少"。前者受限于录音质量,后者受限于训练数据与定制能力。

从音频输入到声学处理、语言推断和文字输出的流程图 1:从音频输入、声学处理、语言推断到文字输出,录音质量与识别处理共同影响转写结果。

这也是为什么 DolphinVoice 在工程化交付时,把"热词定制 + 词级置信度 + 说话人分离"做进了后处理环节——前端的物理失真我们没法替客户解决,但后端能榨出的精度,一个字都不想放过。

接口字段、调用方式、错误码等完整说明在 Docs 文档 上。

为什么转写会"翻车":四个失真源

转写出错的原因虽然千差万别,归根到底都可以归到四个失真源。下面按可控性从高到低排列。

收音设备:从源头决定信噪比

内置麦克风(笔记本/手机/平板自带)

  • 拾音距离短(约 30 cm ~ 1 m),多人会议时离说话人远的声源信噪比骤降
  • 容易拾取设备的电子噪声和风扇声
  • 频响范围通常 100 Hz ~ 8 kHz,对齿音/s/明显不足

外置麦克风(USB / 3.5 mm / 蓝牙)

  • 拾取范围与灵敏度优于内置麦,但麦克风本身的频响和指向性才是决定因素
  • 廉价 USB 全向麦在多人场景下未必比笔记本麦好——它把环境噪声也"等量"拾进来了

蓝牙耳机

  • 部分蓝牙耳机仅支持 8 kHz 采样率,采样率直接决定模型能听到的细节上限
  • 16 kHz Wide Band Speech(HD Voice)已经够用,再高对识别率没有增益
  • 蓝牙编解码(AAC/SBC/aptX)在传输过程中会做有损压缩,进一步损失细节

专用录音设备

  • 选择麦克风前先确认三件事:频响范围、采样率、指向性
  • 单人发言选心形(Cardioid)指向;多人圆桌选全向(Omnidirectional);采访对话选双向(Bidirectional)
笔记本内置麦克风、桌面麦克风、蓝牙耳机和专业录音麦克风图 2:从左到右依次为笔记本内置麦、桌面外置麦、蓝牙耳机、专业录音麦克风。应按录音场景检查采样率、频响和指向性。

录音环境:噪音比距离更致命

会议场景

  • 多人会议室推荐使用会议扬声器(speakerphone),它本质是带阵列麦克风的全向设备
  • 笔记本内置麦在会议室里的拾音半径不超过 1 米,离得远的同事声音会直接被噪声淹没
  • 空调、风扇、投影仪散热风扇是会议室三大持续噪声源——开会前先关掉,比换任何麦克风都管用

访谈场景

  • 在安静的室内、靠近麦克风的位置录制,关闭一切可能的噪声源
  • 正式录制前做 30 秒测试录音,回放确认音量、清晰度、有无削顶
  • 让受访者自然语速说话;咬字清晰的访谈者,转写准确率几乎贴近 100%

户外场景

  • 风噪是最难处理的噪声,建议使用防风罩(wind muff)或领夹麦贴近嘴部
  • 街道交通噪声集中在 500 Hz ~ 2 kHz,恰好覆盖人声主要频段,识别率会明显下降
  • 如果需要在户外长期采集,选择降噪算法强、说话人分离能力好的引擎比选择更好的麦克风更划算
会议、室内访谈和户外录音三类场景图 3:会议、访谈、户外三类场景的噪声结构完全不同——会议要防混响与多人叠话,访谈要防环境底噪,户外最难的是风噪。

录音距离:嘴到麦的黄金区间是 30~50 cm

  • 太近(< 20 cm):齿音、气流喷麦会过载,模型反而识别困难
  • 太远(> 60 cm):声压级衰减、环境噪声比例上升,识别率断崖式下降
  • 多人会议:麦克风居中放置比每个人都贴近更稳定;或者使用支持波束成形的会议扬声器

理想情况下,单人发言保持嘴到麦 30~50 cm;多人场景麦克风摆在圆桌中央,所有人到麦克风的距离大致相当。

说话人与麦克风之间的录音距离图 4:距离越远,声压级衰减越明显、环境噪声占比越高。理想区间是 30~50 cm。

说话人因素:模型再强也怕这 4 种声音

语速过快或音量过大/过小

  • 语速超过 250 字/分钟或音量低于 -20 dBFS,识别率都会下降
  • 自然语速、自然音量说话最有利于识别

同音字

  • 同音字和近音词需要结合上下文判断
  • 模型只能基于上下文判断,而会议录音里上下文往往不够

多人同时说话

  • 两个人叠话时,模型无法判断谁是谁,识别率显著下降
  • 尽可能让说话人轮流发言;或者使用支持说话人分离(Speaker Diarization)的引擎

专业术语 / 专有名词

  • 通用 ASR 模型对人名、产品代号、行业术语的识别率明显低于日常口语
  • 解决办法是预先在词库中登记这些词汇,让模型带着"上下文"去识别
语速、同音字、叠话和专业术语四类说话人因素图 5:模型再强也怕这四种声音——语速、同音字、叠话、术语。前两个靠"说清楚"解决,后两个靠"引擎能力"解决。

不同场景下的精度预期

回到工程实践,把上面四件事做到不同水位,转写准确率会有非常明显的梯度差异:

场景录音条件预期 CER备注
专业播音员朗读单人 + 安静 + 近距离 + 标准普通话< 1%模型上限,接近理论天花板
干净访谈单人 + 安静室内 + 近距离 + 自然语速1% ~ 3%通用模型即可达到
标准会议多人 + 会议室 + 会议扬声器3% ~ 6%建议开启说话人分离 + 热词
客服通话多人 + 客户侧噪声 + 术语多5% ~ 10%必须用热词定制 + 后处理过滤
户外采访多人 + 风噪 + 远距离10% ~ 20%物理失真为主,再换模型也难

上表的 CER 区间是行业普遍观测值——DolphinVoice 与主流引擎在开源测试集上的实测对比,在 Playground 上可以直接试听。

一句话总结:把"收音设备 + 录音环境 + 录音距离 + 说话人因素"四件事做到位,干净录音能从 80% 一路推到 98%;做不到位,再贵的模型也只能在 80%~90% 之间徘徊。

把上面四件事做到位:DolphinVoice 的工程化做法

软硬件的建议已经写在前面,但很多团队反馈:"录音环节我们控不了——录音在客户那里、在现场、在合作方,我们只能拿到最终音频。"这一节写给"控制不了前端"的团队——告诉你在拿到音频之后,还能做哪些事把精度往上推。

1. 热词定制(Vocabulary Customization)

人名、产品代号、行业术语、SOP 流程编号——这些词通用模型几乎识别不出来。在 DolphinVoice 中可以在管理后台或 API 里分钟级更新热词表,不需要重新训练模型。

2. 说话人分离(Speaker Diarization)

多人叠话的场景下,自动给每段话打上"说话人 1 / 说话人 2"的标签,并把不同说话人的发言按时间线拼接。即便叠话本身无法 100% 识别,会议纪要的"谁说了什么"也能准确还原。

3. 词级置信度(Word-level Confidence)

转写文本不只是"一段话",还是"一段带置信度的结构化数据"。DolphinVoice 输出每句话、每个词的置信度分数(0 ~ 1),业务系统可以基于置信度做人工复核触发、关键字段校验、自动重听等下游逻辑。

4. 离线批量转写

会议录音批量入库、客服通话次日质检、档案录音长期管理——这些场景对实时性没有要求,但对精度和稳定性要求极高。DolphinVoice 离线转写能看到完整音频信号,精度比同引擎实时版本更高(典型情况下 CER 低 1~3 个百分点),且支持 CPU 推理,3,000 小时的月度处理量单机即可承担。

3,000 小时/月只是单机能力上限,真实项目按并发与部署形态计费——具体价目在 Pricing 上。

热词定制、说话人分离、置信度和批量转写四类处理能力图 6:前端控制不了的情况下,DolphinVoice 从后处理环节把精度再往上推一轮。

ASR 转写准确率:从 80% 到 98% 之间,差的不是模型,是这 4 件事

想自己跑一遍这四项能力?登录后台 拿一个试用 Token,5 分钟就能接入 API。

常见问题

Q1:语音识别准确率多少算好?

看场景。在音频条件良好的情况下(安静室内、近距离、标准发音),主流引擎的字错率(CER)通常能做到 1%~3%,也就是准确率 97% 以上;而在客服通话、多人会议、户外采访等"脏音频"场景,5%~15% 的 CER 属于正常范围。判断准确率是否达标,要先判断你的音频属于哪一档——用干净音频的标准去要求脏音频,会得出"引擎不行"的错误结论。

Q2:为什么我的录音转写准确率特别低?

按出现频率排序,四个最常见原因:一是录得太远(笔记本内置麦在会议室里拾音半径不足 1 米);二是环境噪声(空调、风扇、投影仪持续底噪);三是多人叠话(模型无法判断谁在说话);四是专业术语(通用模型没见过你的行业词汇)。这四类问题都不需要换引擎,调整录音方式或配置热词表即可显著改善。

Q3:麦克风离嘴多远最合适?

单人发言建议保持 30~50 cm。太近(小于 20 cm)容易出现喷麦和齿音过载,太远(超过 60 cm)会导致声压级衰减、环境噪声占比上升。多人会议场景,把麦克风放在圆桌中央比每个人都贴近更好——让所有人到麦克风的距离大致相当,避免个别人声音过小。

Q4:多人会议怎么提高转写准确率?

三个动作按性价比排序:第一,使用会议扬声器替代笔记本内置麦,它的麦克风阵列能覆盖整个会议室;第二,关闭空调、风扇等持续噪声源;第三,开启引擎的说话人分离(Speaker Diarization)能力,即便发生叠话,会议纪要的"谁说了什么"也能准确还原。

Q5:专业术语、人名、产品代号总是识别错怎么办?

这是通用模型的固有短板——它没见过你的行业词汇。解决办法是热词定制:把高频出现的专业术语、人名、产品代号、流程编号登记进引擎的词库,让模型带着这些"上下文"去做识别。DolphinVoice 支持在管理后台或 API 中分钟级更新热词表,不需要重新训练模型。

Q6:离线转写和实时转写,哪个准确率更高?

同一引擎下,离线转写通常更准。原因是架构差异:实时转写只能看到当前及此前的音频片段,而离线转写可以看到完整音频信号,能利用后文信息去校正前文的歧义判断。典型情况下,离线转写的 CER 比同引擎实时版本低 1~3 个百分点。对精度敏感、对时效要求不高的场景(会议入库、通话质检、档案归档),优先选离线。

写在最后:精度不是单点,是系统工程

很多团队在评估 ASR 方案时,把"准确率"当成一个数字比较:这家 95%、那家 97%、再换一家 99%。但转写准确率从来不是一个数字,而是一个系统:

  • 音频前端的质量决定了模型能听清多少
  • 模型的训练数据与架构决定了它能把听清的多少猜对
  • 后处理的热词与说话人分离决定了猜对的部分能不能贴合业务
  • 词级置信度与人工复核决定了漏网的部分能不能被发现和纠正

把这四件事做到位,80% 的场景下准确率可以稳在 98% 以上;做不到位,再先进的模型也只能在 80% 附近徘徊。

具体场景的精度评估与适配方案,欢迎 联系企业团队;想顺带了解 公司背景与技术路线 也可以一并看。

试试看

数据出处

  • 主流引擎 CER < 5%:公开语音识别测试集基线(CSJ、AISHELL、TED-LIUM 等)
  • 各场景精度预期(1% ~ 20%):综合公开文献与 DolphinVoice 工程实践经验;录音条件与识别率的对应关系为行业普遍观测结果
  • 采样率与 Wide Band Speech:语音识别通用工程共识——16 kHz Wide Band Speech(HD Voice)已满足识别需求,采样率更高对识别率无增益
  • 麦克风指向性分类:麦克风行业通用分类(心形、全向、双向、超心形、锐心形、双耳式)

分享文章