股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

案例|为智能座舱语音大模型构建多方言训练数据

驾驶者可能用不同地区的方言发出导航、车控或信息查询指令,也可能在人机交互中使用口语化表达。智能座舱要在这些场景中理解用户,训练数据就需要覆盖相应的地域、人群和表达差异,并提供可靠的语音及文本的采集和标注。数据来源与授权同样要清楚,才能支持后续训练和使用。

01
目标

某新能源汽车品牌计划为智能座舱语音识别及相关模型训练补充多方言数据,希望扩大地域和自然口语的覆盖范围,让数据更贴近实际交互需求。

在数据规模上,项目计划采集九类汉语方言、共11000小时的语音数据。定制采集需规划方言类别、地域、人群、录制设备与环境,以及每名发音人的录制时长;数据处理需提供与音频对应的文本及所需情绪信息,明确方言词语和转写规则,并进行质量检查。两类数据还需分别核对来源、授权范围和可追溯记录。

02
挑战

数据集能否有用,首先取决于覆盖的多样性,包括但不限于:发音人、采集地域、噪音环境、应用场景等因素,以及各因素之间的分布比例。以发音人为例,不仅要考虑其性别、年龄、地域,还要关注口音、说话习惯等因素。如果样本集中在少数人群或单一录制条件,即使总时长达到规划规模,也难以充分反映实际座舱中的表达。

其次是标注质量。除了常见语音数据标注困难外,由于缺少相关的规范和标准,方言转写最大的难点在于音字一致,通常表现为同音不同字,以及同字不同音等情况。例如,吴语中“勿要”连读合为一音时,可写作“覅”;若同一类语音有时写作“勿要”、有时写作“覅”,就会出现不同的转写文本。而“嫑”在西安和成都方言中的读音不同,体现了同字不同音的情况。

大规模采集还需管理发音人授权、数据来源与重复情况。若记录不完整,即使音频和标注达到质量要求,后续核验与使用也可能受到影响。

03
解决方案

针对覆盖多样性、标注质量和数据来源三方面要求,海天瑞声将数据集规划、采集与标注、质量检查及授权管理衔接起来,并分别明确现有数据与定制采集数据的适用范围。

01
数据规划与多样性设计

先依据目标方言和座舱交互需求设计语料,再规划采集地域、发音人结构、设备与录制条件,并为不同人群和场景设定覆盖目标。项目按每名发音人0.5至1小时的要求分配采集量,控制单一发音人的占比;在分批采集过程中检查各类样本的覆盖情况,及时调整后续采集计划。


02
标注规范与质量控制

海天瑞声与语言专家协作,制定面向目标方言的语音标注规范。规范明确文本转写内容的判定口径,并对方言词语、合音给出统一的处理规则。同时,建立方言词典,记录词语的统一写法、对应读音及常见异读,配合疑难样本示例,为标注人员判断音字对应关系提供依据。

批量标注前,通过试标检验规范和发音词典是否覆盖实际语料;对出现分歧的样本进行复核,补充词条和处理规则。批量标注时,按统一口径检查转写结果和音文对应关系,减少同类表达出现不同写法的情况。

音频质量与标注质量同步控制。录制前统一设备和环境要求;录制后结合自动检测与人工核查,排查截幅、毛刺、底噪、文本错误等问题。对不合格数据进行复核、剔除或补采,并依据客户确认的标准统一质检口径。面向座舱场景的样本还需按目标声音环境核验,避免仅用安静录制条件下的单一信噪比指标判断其适用性。


03
授权与数据可追溯管理

采集环节需记录发音人的知情同意与授权范围,并保留数据处理和质量检查记录。对可核验的数据开展重复性检查,便于客户核查数据来源与使用条件。


04
方案价值

按目标场景规划11000小时语音数据的采集范围,有助于控制方言、人群和录制条件的分布。分批检查样本覆盖情况,可以尽早发现缺口,减少后续集中返工。

统一的语音标注规范、发言词典和疑难样本处理规则,有助于减少同类语音的标注分歧;音文核查与授权记录,也便于客户在训练前整理和核验数据。具体模型效果仍需通过后续训练与测试评估。

05
服务能力

海天瑞声可将多地区方言资源、语料与人群规划、采集标注和质量管理能力组合使用,支持客户按目标场景建设多方言语音数据集。

这类项目的关键在于从目标交互场景倒推数据需求,并在建设过程中持续核对覆盖、标注和授权条件,使交付数据更便于后续训练与评估。

END
公司简介

海天瑞声(股票代码:688787)是一家专注人工智能基础数据解决方案提供商,是国内唯一一家AI数据行业上市公司。已服务近1300家全球AI企业及科研机构,主要为大模型、多模态、语音合成、语音识别、自然语言处理、计算机视觉等技术提供一站式AI数据解决方案。




原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。