基于多维度特征的角色语音区分与建模方法、装置、设备、介质及系统与流程

本技术涉及语音处理，具体而言，涉及一种基于多维度特征的角色语音区分与建模方法、装置、电子设备、计算机可读存储介质及系统。

背景技术：

1、在影视译配、动画配音、虚拟角色语音生成以及多角色语音素材管理等应用场景中，不同角色的语音需要在音色、语调、语速和情绪表达等层面保持相对稳定的声学辨识度。随着视听数据来源不断增加，同一角色可能出现在不同场景、不同录制条件和不同情绪状态下，角色语音的差异性与相似性同时增大，对角色声音区分、归属识别和后续建模处理提出了更高要求。

2、现有的角色语音处理方案通常采用静态声纹模板方式对多段音频进行归类。该方案先对输入音频进行切分，再从切分后的音频中提取平均频谱或固定声纹模板，最后将固定声纹模板与已有角色标签进行匹配，以完成后续的语音归属处理。该方案主要依赖单一模板与固定标签之间的匹配关系，处理链路相对简单。

3、然而，上述方案存在一定技术缺陷。由于静态声纹模板难以同时反映同一角色在不同语境下的多维声学变化，也难以对相近角色语音之间的结构差异进行连续区分，导致角色语音样本容易出现归属混淆；同时，在完成初步建模后，缺少利用独立语音数据检测输出分布与原始声学表现之间偏移状态的修正环节，使得后续生成的角色声学表达与真实角色语音之间容易产生偏离，角色语音区分与建模的适配性较低。

技术实现思路

1、本技术提供一种基于多维度特征的角色语音区分与建模方法、装置、电子设备、计算机可读存储介质及系统，以至少缓解上述技术问题。

2、一种基于多维度特征的角色语音区分与建模方法，包括：

3、获取初始视听数据中的源角色语音片段，提取所述源角色语音片段的声学多维特征，并将所述声学多维特征绑定至用于标识所述源角色语音片段归属的预设角色标记，以生成特征关联序列；

4、解析所述特征关联序列内的所述声学多维特征的结构相近度，并基于所述结构相近度，将达到预设逼近阈值的所述声学多维特征实施特征聚拢处理，以生成角色专属特征簇；

5、将所述角色专属特征簇内的所述声学多维特征导入初始声学拓扑网络，以更新所述初始声学拓扑网络的节点参数，直至所述初始声学拓扑网络的输出分布逼近所述角色专属特征簇的特征分布，以生成基础角色声学网络；

6、获取校验语音片段，将所述校验语音片段导入所述基础角色声学网络，以生成预期分布特征，并检测所述预期分布特征同所述校验语音片段的原生特征的表征偏移状态，进而根据所述表征偏移状态调整所述基础角色声学网络的节点参数，以生成最终角色声学网络。

7、一种基于多维度特征的角色语音区分与建模装置，包括：

8、特征关联序列生成模块，用于获取初始视听数据中的源角色语音片段，提取所述源角色语音片段的声学多维特征，并将所述声学多维特征绑定至用于标识所述源角色语音片段归属的预设角色标记，以生成特征关联序列；

9、角色专属特征簇生成模块，用于解析所述特征关联序列内的所述声学多维特征的结构相近度，并基于所述结构相近度，将达到预设逼近阈值的所述声学多维特征实施特征聚拢处理，以生成角色专属特征簇；

10、基础角色声学网络生成模块，用于将所述角色专属特征簇内的所述声学多维特征导入初始声学拓扑网络，以更新所述初始声学拓扑网络的节点参数，直至所述初始声学拓扑网络的输出分布逼近所述角色专属特征簇的特征分布，以生成基础角色声学网络；

11、最终角色声学网络生成模块，用于获取校验语音片段，将所述校验语音片段导入所述基础角色声学网络，以生成预期分布特征，并检测所述预期分布特征同所述校验语音片段的原生特征的表征偏移状态，进而根据所述表征偏移状态调整所述基础角色声学网络的节点参数，以生成最终角色声学网络。

12、一种电子设备，包括处理器、存储器以及存储在所述存储器中并能够在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于多维度特征的角色语音区分与建模方法。

13、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于多维度特征的角色语音区分与建模方法。

14、一种基于多维度特征的角色语音区分与建模系统，包括特征关联处理端、特征聚拢处理端、声学网络训练端以及声学网络校验端；

15、所述特征关联处理端用于获取初始视听数据中的源角色语音片段，提取所述源角色语音片段的声学多维特征，并将所述声学多维特征绑定至用于标识所述源角色语音片段归属的预设角色标记，以生成特征关联序列；

16、所述特征聚拢处理端用于解析所述特征关联序列内的所述声学多维特征的结构相近度，并基于所述结构相近度，将达到预设逼近阈值的所述声学多维特征实施特征聚拢处理，以生成角色专属特征簇；

17、所述声学网络训练端用于将所述角色专属特征簇内的所述声学多维特征导入初始声学拓扑网络，以更新所述初始声学拓扑网络的节点参数，直至所述初始声学拓扑网络的输出分布逼近所述角色专属特征簇的特征分布，以生成基础角色声学网络；

18、所述声学网络校验端用于获取校验语音片段，将所述校验语音片段导入所述基础角色声学网络，以生成预期分布特征，并检测所述预期分布特征同所述校验语音片段的原生特征的表征偏移状态，进而根据所述表征偏移状态调整所述基础角色声学网络的节点参数，以生成最终角色声学网络。

19、本技术提供的技术方案的技术好处：

20、本技术的基于多维度特征的角色语音区分与建模方法，针对现有静态声纹模板方式难以反映同一角色在不同语境下多维声学变化的技术缺陷，先获取初始视听数据中的源角色语音片段，提取源角色语音片段的声学多维特征，并将声学多维特征绑定至用于标识源角色语音片段归属的预设角色标记，以生成特征关联序列。相较于传统方案将音频处理结果直接对应到固定模板的方式，本技术通过特征关联序列把语音片段的声学多维特征和角色归属标记纳入同一处理链路，使后续处理不再仅依赖单一静态模板，而是能够基于已经建立关联关系的声学多维特征继续执行结构区分与建模处理，从而缓解同一角色跨场景语音变化难以统一处理的问题。

21、本技术进一步解析特征关联序列内的声学多维特征的结构相近度，并基于结构相近度，将达到预设逼近阈值的声学多维特征实施特征聚拢处理，以生成角色专属特征簇。相较于传统方案仅通过固定声纹模板进行直接匹配的处理方式，本技术在完成声学多维特征与预设角色标记绑定之后，继续以结构相近度作为声学多维特征之间是否接近的判定依据，并通过预设逼近阈值筛选需要实施特征聚拢处理的声学多维特征，使得相近声学表现能够被纳入角色专属特征簇。由此，角色语音区分过程不再停留在单个样本与单个模板之间的对应关系上，而是能够围绕角色专属特征簇形成更适合后续训练的特征集合，对相近角色语音之间的归属混淆具有较好的缓解作用。

22、本技术还将角色专属特征簇内的声学多维特征导入初始声学拓扑网络，以更新初始声学拓扑网络的节点参数，直至初始声学拓扑网络的输出分布逼近角色专属特征簇的特征分布，以生成基础角色声学网络。相较于传统方案仅保存静态声纹模板并在后续处理时重复调用的方式，本技术通过角色专属特征簇驱动初始声学拓扑网络的节点参数更新，使网络输出分布逐步接近角色专属特征簇的特征分布。这样，基础角色声学网络的生成过程与前序角色专属特征簇形成连续承接关系，使角色语音建模结果能够反映角色专属特征簇中已经聚拢的声学多维特征，而不是仅反映某一段音频或某一个固定模板的声学表现，从而提高角色声学表达的适配性。

23、本技术最后获取校验语音片段，将校验语音片段导入基础角色声学网络，以生成预期分布特征，并检测预期分布特征同校验语音片段的原生特征的表征偏移状态，进而根据表征偏移状态调整基础角色声学网络的节点参数，以生成最终角色声学网络。相较于传统方案在完成初步模板建立后缺少独立校验修正环节的处理方式，本技术通过校验语音片段形成对基础角色声学网络输出结果的外部检验，并以预期分布特征和原生特征之间的表征偏移状态作为节点参数调整依据，使网络参数更新能够围绕实际偏移状态继续执行。由此，角色声学网络在完成基础训练后还能通过校验语音片段进行修正，降低输出分布与原生声学表现之间的偏离程度，使最终角色声学网络更适合用于多角色语音区分与建模场景。