一种方言与小语种语音无监督自动语义标注方法与流程

请本技术属于语音信号处理、自然语言处理及人工智能，具体涉及一种方言与小语种语音无监督自动语义标注方法。

背景技术：

1、随着人工智能语音技术的发展，普通话、英语等高资源语种已经积累了大量人工标注语音数据，基于语音识别、文本分类、意图识别等模型能够实现较高精度的语音转写和语义标注。然而，方言、小语种、少数民族语言等低资源语种普遍存在语料规模小、人工标注成本高、专业标注人员不足、发音规则不统一、缺乏标准书写体系等问题。

2、现有语音语义标注技术通常依赖人工标注样本、语音文本转录数据或者语音-文本-语义对应数据集。例如，部分现有方案先将语音识别为文本，再基于文本相似度、关键词、分类模型或人工校验结果生成标签；部分小语种标注方案则需要目标语种文字样本、目标语种语音样本或少量人工标注样本作为监督或微调基础。上述方案对于具备大规模标注资源的语种具有一定适用性，但难以直接应用于无标注、无文本转录、无专属词典的方言与小语种语音数据。

3、此外，虽然无监督聚类能够根据语音特征相似性将语音片段划分为若干聚类簇，但聚类结果通常仅表现为机器可识别的类别编号或特征集合，缺少与人类可读语义标签之间的稳定映射关系，难以直接形成场景、语义、情感、属性等层级化标注结果。对于方言与小语种语音而言，不同口音、非标准发音、短时语音、语义表达模糊以及环境噪声还会导致同一聚类簇内标签分布离散、不同层级标签之间出现逻辑冲突、低置信样本集中以及语义强关联聚类簇标签不一致等问题。若仅依赖单次聚类结果或单次相似度匹配结果进行标注，容易产生局部错标和全局标签不一致，难以满足低资源语音语料库构建和后续模型训练对标注数据准确性、稳定性及可读性的要求。

技术实现思路

1、本技术目的在于针对现有方言与小语种语音语义标注技术依赖人工标注样本、依赖文本转录数据、无监督聚类结果难以转化为可读标签、标签结果易出现低置信和语义冲突的问题，提供一种方言与小语种语音无监督自动语义标注方法。

2、为了实现上述目的，本技术采用以下技术方案予以实现。

3、一种方言与小语种语音无监督自动语义标注方法，包括：

4、获取未配置人工语义标注标签及文本转录数据的目标语种语音数据；

5、将所述语音数据映射至统一语义向量空间，得到各语音片段的语义表征向量；

6、对所述语义表征向量进行无监督聚类，得到若干语音聚类簇及各聚类簇对应的聚类簇中心语义向量；

7、获取跨语种通用语音语义原型库，所述原型库中包含若干层级语义原型及各语义原型对应的可读语义标签；

8、将所述聚类簇中心语义向量与所述原型库中的语义原型进行匹配，根据匹配结果确定各聚类簇对应的候选层级语义标签及标签置信度；

9、当所述候选层级语义标签满足预设异常条件时，基于各语音聚类簇之间的语义关联关系对所述候选层级语义标签进行校准修正；

10、根据所述候选层级语义标签或经校准修正后的层级语义标签，输出带有所述层级语义标签的语音标注数据。

11、进一步地，所述无监督聚类包括粗聚类和细聚类两个阶段。粗聚类阶段基于语义表征向量之间的特征相似度对全部语音片段进行聚类，将特征相似度高于粗聚类阈值的语音片段划分至同一基础聚类簇，得到若干基础聚类簇。细聚类阶段对各基础聚类簇内部的语音片段进行二次聚类，基于基础聚类簇内部的特征差异将同一基础聚类簇内的语音片段拆分为至少两个精细化聚类簇。

12、进一步地，跨语种通用语音语义原型库包括至少两级层级语义原型。基础场景层级语义原型用于表征语音片段的基础语音行为场景，细分语义层级语义原型用于在已确定的基础语音行为场景下对语音聚类簇进行进一步语义区分，属性特征层级语义原型用于表征语音片段的语音属性特征。

13、进一步地，所述跨语种通用语音语义原型库基于跨语种通用语音数据构建，对每一类语义原型对应的多维融合语音特征向量进行聚合、归一化、中心化或固化处理，生成对应的原型中心向量。所述原型库中的语义原型不绑定任何特定语种的文字、词汇或语法规则。

14、进一步地，所述匹配包括层级约束匹配。先将聚类簇中心语义向量与基础场景层级语义原型进行第一级匹配，确定一级基础场景标签；再在已匹配的一级基础场景标签对应的原型范围内，将聚类簇中心语义向量与细分语义层级语义原型进行第二级匹配，确定二级细分语义标签。当第二级匹配得到的二级细分语义标签未满足与一级基础场景标签之间的预设层级对应关系时，将二级细分语义标签标记为层级语义冲突标签。

15、进一步地，所述语义关联关系通过语义向量相似度、时序相邻关联度和发音结构相似性加权融合得到，用于确定两个语音聚类簇之间的语义关联边权重。

16、进一步地，所述预设异常条件包括以下至少一种：同一聚类簇内候选层级语义标签的离散度超过预设离散阈值；聚类簇的候选层级语义标签中，下级语义标签与上级基础场景标签之间不满足预设层级对应关系；同一聚类簇内匹配置信度低于预设准入阈值的语音片段占比超过预设比例阈值；语义关联强度超过预设强度的两个聚类簇之间的候选层级语义标签不一致。

17、进一步地，所述校准修正包括簇内多数表决校准、上层语义约束校准和强关联簇标签对齐校准中的至少一种。

18、进一步地，当匹配置信度低于预设准入阈值时，将对应语音聚类簇标记为语义待定类别，并将语义待定类别的语音聚类簇回流至聚类模块重新进行特征优化与聚类。当同一语义待定类别的语音样本累积达到预设数量阈值时，基于所述语音样本生成新的语义原型，根据通用语义拓扑确定新的语义原型对应的层级归属和可读语义标签，并将新的语义原型及对应的可读语义标签纳入原型库。

19、进一步地，将目标语种语音数据映射至统一语义向量空间，包括：提取目标语种语音数据的语音特征；将所述语音特征输入跨语种语音语义编码器，得到语义表征向量；其中，跨语种语音语义编码器被配置为使不同语种或不同口音的语音特征在统一语义向量空间中具有可比较的语义表征。

20、与现有技术相比，本发明具有以下显著优点：

21、本技术通过将未配置人工语义标注标签及文本转录数据的目标语种语音数据映射至统一语义向量空间，并基于语义表征向量进行无监督聚类，能够在不依赖目标语种人工标注样本和文本转录数据的情况下形成语音聚类簇，解决了低资源方言与小语种语音数据无法自动处理的问题。

22、本技术通过构建跨语种通用语音语义原型库，将聚类簇中心语义向量与层级语义原型进行匹配，能够将无监督聚类得到的无名语音聚类簇转换为可读层级语义标签，解决了传统无监督聚类结果无法直接形成可用语义标注数据的问题。

23、本技术通过层级约束匹配机制，先确定基础场景标签，再在对应原型范围内确定细分语义标签，可以降低下级语义标签与上级基础场景标签之间发生语义冲突的概率，提高层级语义标签的逻辑一致性。

24、本技术通过语义关联关系对候选层级语义标签进行校准修正，在候选标签出现低置信、簇内离散、层级冲突或强关联簇标签不一致时，能够利用关联聚类簇的标签信息对局部错标进行修正，提高标注结果的整体一致性和稳定性。

25、本技术通过低置信标签迭代处理机制，将低置信语音聚类簇回流至聚类模块重新处理，并在满足条件时扩充原型库，可以提高系统对未知语音模式、特殊口音及新增语音数据的适配能力。

26、本技术通过跨语种语音语义编码器实现不同语种、不同口音语音特征在统一语义向量空间中的可比较表征，能够降低语种差异、口音差异对语义聚类和原型匹配的干扰，提高方言与小语种语音语义标注的泛化能力。