方言口语语料自动转写与标注方法及其系统

本发明涉及自然语言处理，具体涉及方言口语语料自动转写与标注方法及其系统。

背景技术：

1、随着语音识别技术的飞速发展，方言口语语料的自动化转写与标注已成为构建多语言大数据资源库、优化智能客服系统及推广方言文化保护的关键环节。在现有的技术方案中，针对单一语种或标准普通话的语音识别已较为成熟，主要采用基于深度神经网络或隐马尔可夫模型的单通道解码架构，通过提取梅尔频率倒谱系数、线性预测编码等声学特征，结合大规模语料训练的声学模型与语言模型，实现对连续语音流的端到端识别。对于涉及混合语码的场景，现有技术通常采用多语言混合训练模型或简单的后处理拼接策略，即利用统一的声学模型同时学习多种语言的发音规律，或者在识别完成后通过规则匹配对特定外语词汇进行修正。此外，部分现有系统引入了固定的阈值机制来辅助判断语种切换边界，并依赖预设的规则库来识别特定的专业术语，旨在提高转写的准确率。

2、然而，上述现有技术在面对方言口语中频繁出现的“方言-外语”连续混合语码场景时，仍存在显著的技术局限性。由于方言口音往往导致声调、音长及共振峰分布发生畸变，使得标准的多语言声学模型难以准确区分带有浓重方言腔调的外语词汇与方言本身的特殊发音，导致识别混淆率高；同时，固定不变的语种切换阈值无法适应电商直播、本地生活客服等不同业务场景下外语品牌词与专业词汇密度的动态变化，极易造成误切分或漏检；更为关键的是，传统单通道解码架构缺乏针对混合语码的动态路由机制，无法在检测到潜在切换时灵活调用专用的外语识别通道，且纯音频处理模式缺乏视觉信息的辅助验证，难以有效解决同音异义词歧义问题，最终导致生成的语料数据时间戳精度不足、语种标签错误率高，难以满足高质量数据集构建的实际需求。

技术实现思路

1、本发明的目的是提供方言口语语料自动转写与标注方法及其系统，以解决上述的问题。

2、为了实现上述目的，本发明提供如下技术方案：方言口语语料自动转写与标注方法，包括以下步骤：

3、获得包含连续混合语码的方言音频流数据；

4、处理所述方言音频流数据，通过提取滑动时间窗口内的多尺度声学特征，计算相邻音频帧的共振峰畸变率和能量包络一阶导数，生成局部声学突变矩阵；

5、判断所述局部声学突变矩阵中的极值是否超过基于当前业务场景动态加载的语码转换阈值；

6、若极值超过所述语码转换阈值，则判定触发语种切换边界，挂起当前单一方言解码器，并调用双通道解码树对越界音频切片进行并行解码计算与交叉置信度比对，若极值未超过所述语码转换阈值，则采用当前单一方言解码器进行解码；

7、基于所述交叉置信度比对的输出结果，获得包含精准时间戳的语码边界节点、语种标签以及归一化文本的混合转写与联合标注结果，以生成目标方言语料。

8、进一步地，所述通过提取滑动时间窗口内的多尺度声学特征，计算相邻音频帧的共振峰畸变率和能量包络一阶导数，生成局部声学突变矩阵，包括：

9、将所述方言音频流数据划分为具有预设重叠率的连续滑动时间窗口；

10、在所述滑动时间窗口内提取梅尔频率倒谱系数以及基频特征作为所述多尺度声学特征；

11、对所述多尺度声学特征进行导数运算，分别获取表示声道形状突变的所述共振峰畸变率以及表示发音停顿或爆发的所述能量包络一阶导数；

12、将同一时刻的所述共振峰畸变率和能量包络一阶导数进行特征融合，构建得到表征音频流突发属性的所述局部声学突变矩阵。

13、进一步地，所述基于当前业务场景动态加载的语码转换阈值的获取过程，包括：

14、提取当前业务场景的上下文元数据，其中，所述业务场景包括电商直播场景或本地生活客服场景；

15、基于所述上下文元数据及业务系统标签，确定场景内的特定领域词汇预设分布密度，所述特定领域词汇包括外语品牌词和专业词汇；

16、利用所述特定领域词汇密度，在预设的场景-阈值映射表中进行匹配，自适应调整并加载当前的所述语码转换阈值。

17、进一步地，所述调用双通道解码树对越界音频切片进行并行解码计算与交叉置信度比对，包括：

18、将所述越界音频切片分别输入至所述双通道解码树包含的方言音素通道与外来词专属多语种通道；

19、在所述方言音素通道中输出第一候选文本及其对应的方言声学置信度，在所述外来词专属多语种通道中输出第二候选文本及其对应的多语种声学置信度；

20、计算所述方言声学置信度与所述多语种声学置信度的差值，并将其输入至交叉判别模型中，以选取置信度更高的候选文本作为该越界音频切片的解码输出结果。

21、进一步地，所述外来词专属多语种通道中集成有微观韵律向量提取模块；

22、在解码所述越界音频切片时，所述微观韵律向量提取模块将方言口音带来的声调畸变映射为标准外语发音特征空间中的距离补偿向量，利用所述距离补偿向量辅助生成所述多语种声学置信度。

23、进一步地，在所述判断所述局部声学突变矩阵中的极值是否超过基于当前业务场景动态加载的语码转换阈值之前，还包括：

24、获取与所述方言音频流数据同步的视频画面流；

25、提取所述视频画面流中的商品展示特征作为跨模态锚点；

26、计算所述跨模态锚点与当前局部声学突变矩阵对应音频帧的互信息增益，并利用所述互信息增益的数值对已加载的所述语码转换阈值进行动态降低或提高。

27、进一步地，所述基于所述交叉置信度比对的输出结果，获得包含精准时间戳的语码边界节点、语种标签以及归一化文本的混合转写与联合标注结果，包括：

28、提取所述解码输出结果对应音频帧的起始时间与终止时间，作为所述包含精准时间戳的语码边界节点；

29、根据最终选定的解码通道，为所述语码边界节点内的文本分配对应的所述语种标签；

30、将所述语码边界节点、所述语种标签与所述归一化文本以预设的结构化格式进行数据绑定，完成所述方言语料的联合标注。

31、一种方言口语语料自动转写与标注系统，所述系统包括：

32、数据获得模块，用于获得包含连续混合语码的方言音频流数据；

33、突变处理模块，用于处理所述方言音频流数据，通过提取滑动时间窗口内的多尺度声学特征，计算相邻音频帧的共振峰畸变率和能量包络一阶导数，生成局部声学突变矩阵；

34、边界判断模块，用于判断所述局部声学突变矩阵中的极值是否超过基于当前业务场景动态加载的语码转换阈值；以及在判断结果为是时，判定触发语种切换边界，挂起当前单一方言解码器；

35、双通道解码模块，用于在所述单一方言解码器被挂起时，调用双通道解码树对越界音频切片进行并行解码计算与交叉置信度比对；

36、联合标注模块，用于基于所述交叉置信度比对的输出结果，获得包含精准时间戳的语码边界节点、语种标签以及归一化文本的混合转写与联合标注结果，以生成目标方言语料。

37、与现有技术相比，本发明提供的方言口语语料自动转写与标注方法及其系统具备以下有益效果：

38、1.显著提升混合语码识别的准确率与鲁棒性

39、通过构建“局部声学突变矩阵”，实时捕捉共振峰畸变率与能量包络一阶导数的瞬时变化，能够精准定位方言口音下外语词汇切换的细微声学特征。相较于传统单通道模型容易因方言声调畸变导致的混淆，在检测到突变后自动“挂起”单一解码器并启动“双通道并行解码架构”，利用方言音素通道与外来词专属多语种通道的交叉置信度比对机制，有效区分了带有浓重方言腔调的外语词与方言特有发音，大幅降低了误识率和漏识率，解决了传统方法在处理复杂混合语码时识别精度不足的问题。

40、2.实现业务场景自适应的动态阈值调控

41、针对现有固定阈值无法适应不同业务场景导致误报或漏报的缺陷，本技术引入基于上下文元数据的动态加载机制。系统能根据当前场景下的特定领域词汇密度，利用预设的场景-阈值映射表自适应调整语码转换阈值。这种动态调节策略使得系统在词汇密集场景下保持高灵敏度，在稀疏场景下降低噪声干扰，显著提升了系统在不同应用场景下的泛化能力和抗干扰性能。

42、3.突破纯音频处理的局限，实现跨模态辅助决策

43、通过引入视频画面流作为跨模态锚点，提取商品展示特征并与音频突变进行互信息增益计算。利用视觉信息来辅助听觉判断，有效解决了纯音频模式下同音异义词难以区分的难题。特别是在电商直播等强视觉依赖场景中，该机制能够显著降低因语义歧义导致的语种边界判定错误，进一步提升了转写结果的业务相关性和准确性。

44、4.优化微观韵律补偿，增强方言口音下的外语识别能力

45、通过在多语种通道中集成微观韵律向量提取模块，能够将方言口音带来的声调畸变映射为标准外语发音特征空间中的距离补偿向量。这一技术特征使得标准外语模型能够“理解”带有方言腔调的发音，修正了因口音差异导致的声学概率分布偏差，从而在保持高分辨率的同时提升了对外语词汇的置信度评分，实现了从“勉强识别”到“精准匹配”的跨越。

46、5.提供高精度、结构化的联合标注成果

47、最终输出的结果不仅包含归一化文本，还附带了毫秒级精度的时间戳、准确的语种标签以及结构化数据绑定。相较于传统转写工具仅输出纯文本且缺乏时间轴和语种属性的现状，本方案生成的目标方言语料可直接用于高质量数据集的构建与模型训练，极大降低了后期人工清洗和二次标注的成本，为方言保护及智能语音技术的迭代提供了标准化的数据基础。