面向配音模型的迭代训练方法、装置、设备、介质及系统与流程
本技术涉及语音处理与多媒体数据处理，具体而言，涉及一种面向配音模型的迭代训练方法、装置、电子设备、计算机可读存储介质及系统。
背景技术：
1、随着影视译制、动画配音、教学视频本地化以及多语种视听内容制作需求的增加，配音生成技术需要在语音内容转换的基础上兼顾画面播放节奏、发声时段衔接以及角色声音延续等技术要求。对于包含画面和声音的连续媒体数据而言，配音生成结果不仅需要表达目标语言内容，还需要在时间位置、发声持续过程和画面变化过程之间保持较好的匹配关系，否则容易影响后续播放端的数据合成效果。
2、在现有的配音生成处理方案中，通常先获取原始语音内容，再将原始语音内容转换为目标语言文本，随后由语音生成处理程序根据目标语言文本生成目标语音数据，最后将目标语音数据按照原始片段位置回填至视频轨道中。该方案主要围绕语音内容转换和目标语音生成展开，训练过程通常依赖已有语音样本、文本样本或成对语音文本样本，使语音生成处理程序学习发音、语调和语言表达关系。
3、然而，上述处理方案存在一定技术缺陷。由于训练过程侧重语音数据本身，画面中的发声时段变化、口部开合状态以及节奏停顿位置难以稳定参与训练闭环，生成的目标语音数据在回填到画面后可能出现起止位置偏移或节奏贴合不足的问题；同时，已有训练过程往往缺少针对声画偏差结果的样本回灌机制，导致训练轮次之间难以围绕偏差片段进行定向修正，配音生成处理程序对声画同步场景的适配能力较低。
技术实现思路
1、本技术提供一种面向配音模型的迭代训练方法、装置、电子设备、计算机可读存储介质及系统，以至少缓解上述技术问题。
2、一种面向配音模型的迭代训练方法，包括：
3、接收待译制声画同步数据，根据所述待译制声画同步数据中的对白时序连续性生成对白时间锚定记录，所述对白时间锚定记录用于标识待配音片段在画面中的发声区间；
4、根据所述对白时间锚定记录确定所述待配音片段，按照所述发声区间提取画面约束标签，将携带所述画面约束标签的所述待配音片段封装为样本承载索引；
5、利用所述样本承载索引对待训练配音模型进行训练推演，生成试配音片段，根据所述画面约束标签对所述试配音片段进行声画贴合校验，得到声画偏差记录；
6、根据所述声画偏差记录确定待回灌样本记录，将所述待回灌样本记录写入所述样本承载索引以触发下一轮训练，重复执行上述训练推演、声画贴合校验及样本回灌的步骤，直至所述声画偏差记录满足训练结束条件，将满足所述训练结束条件时得到的配音模型确定为目标配音模型。
7、可选地，所述根据所述待译制声画同步数据中的对白时序连续性生成对白时间锚定记录，包括：
8、对所述待译制声画同步数据进行帧级解包，得到携带同一时间基准的声画对齐帧；
9、根据所述对白时序连续性从所述声画对齐帧中确定对白起止边界；
10、在相邻的所述声画对齐帧之间确定口型变化连续性，根据所述口型变化连续性对所述对白起止边界进行修正；
11、将修正后的所述对白起止边界写入所述对白时间锚定记录，并将修正后的所述对白起止边界所限定的时间区间登记为所述发声区间。
12、可选地，所述根据所述对白时间锚定记录确定所述待配音片段，按照所述发声区间提取画面约束标签，将携带所述画面约束标签的所述待配音片段封装为样本承载索引，包括：
13、根据所述对白时间锚定记录从所述待译制声画同步数据中截取目标声轨段，将所述目标声轨段确定为所述待配音片段的声音承载内容；
14、将所述目标声轨段转写为源语音表征文本；
15、在所述发声区间对应的画面帧中提取口型闭合状态和节律停顿位置；
16、根据所述口型闭合状态和所述节律停顿位置生成所述画面约束标签；
17、将所述源语音表征文本、所述目标声轨段、所述画面约束标签和片段定位标识封装为所述样本承载索引，所述样本承载索引用于建立所述待配音片段、所述发声区间与所述画面约束标签之间的定位关系。
18、可选地，所述利用所述样本承载索引对待训练配音模型进行训练推演，生成试配音片段，包括：
19、从所述样本承载索引中确定所述画面约束标签和所述源语音表征文本；
20、根据所述画面约束标签中的口型闭合状态和节律停顿位置生成发声时长约束；
21、将所述发声时长约束加载至所述待训练配音模型的训练推演过程中；
22、控制所述待训练配音模型按照所述发声时长约束对所述源语音表征文本生成目标语音素承载序列；
23、根据所述目标语音素承载序列合成试配音片段，并将所述对白时间锚定记录写入所述试配音片段。
24、可选地，所述根据所述画面约束标签对所述试配音片段进行声画贴合校验，得到声画偏差记录，包括：
25、解析所述试配音片段的语音能量边界，得到试配音发声区间；
26、根据所述试配音片段携带的所述对白时间锚定记录，将所述试配音发声区间映射至所述发声区间对应的画面帧；
27、在映射后的所述画面帧中确定所述画面约束标签对应的口型闭合状态和节律停顿位置；
28、根据所述试配音发声区间与所述口型闭合状态及所述节律停顿位置之间的贴合关系生成声画偏差记录，所述声画偏差记录用于标识需要触发回灌的片段定位标识。
29、可选地，所述根据所述声画偏差记录确定待回灌样本记录，包括：
30、当所述声画偏差记录标识所述试配音发声区间相对于所述发声区间发生偏移时，在所述样本承载索引中根据所述片段定位标识定位对应的对白时间锚定记录；
31、根据对应的所述对白时间锚定记录确定所述画面约束标签和所述源语音表征文本；
32、根据所述画面约束标签中的口型闭合状态和节律停顿位置重新生成发声时长约束；
33、将重新生成的所述发声时长约束、对应的所述源语音表征文本和所述片段定位标识封装为待回灌样本记录。
34、可选地，所述将所述待回灌样本记录写入所述样本承载索引以触发下一轮训练，包括：
35、在所述样本承载索引中确定与所述片段定位标识对应的原样本承载项，将所述原样本承载项标记为待替换状态；
36、在同一片段定位标识下创建回灌承载位置；
37、将所述待回灌样本记录写入所述回灌承载位置，并建立所述待替换状态与所述回灌承载位置之间的承接关系；
38、在下一轮训练中，确定所述待回灌样本记录替代所述原样本承载项参与训练推演，并保留所述原样本承载项的片段定位标识。
39、可选地，所述训练结束条件通过如下方式确定：
40、在当前轮次训练完成所述声画贴合校验后，确定所述声画偏差记录，判断所述声画偏差记录是否生成新的待回灌样本记录；
41、若所述声画偏差记录未生成新的待回灌样本记录，则确定所述样本承载索引中各对白时间锚定记录的校验状态；
42、当各所述对白时间锚定记录均处于校验通过状态时，将当前轮次训练推演后的待训练配音模型确定为目标配音模型。
43、可选地，在确定所述目标配音模型之前，还包括：
44、根据所述对白时间锚定记录之间的角色声纹连续性生成角色声纹锚点；
45、将所述角色声纹锚点写入所述样本承载索引中与所述片段定位标识对应的承载位置；
46、从所述试配音片段中确定对应所述角色声纹锚点的声学表征，将所述声学表征写入角色一致性校验记录；
47、当所述角色一致性校验记录指示同一角色声纹锚点未被连续承接时，从所述样本承载索引中确定对应试配音片段的片段定位标识、源语音表征文本和画面约束标签，将所述片段定位标识、所述源语音表征文本和所述画面约束标签封装为待回灌样本记录后写入所述样本承载索引。
48、一种面向配音模型的迭代训练装置，包括：
49、锚定记录生成模块，用于接收待译制声画同步数据，根据所述待译制声画同步数据中的对白时序连续性生成对白时间锚定记录，所述对白时间锚定记录用于标识待配音片段在画面中的发声区间；
50、样本承载索引生成模块，用于根据所述对白时间锚定记录确定所述待配音片段，按照所述发声区间提取画面约束标签，将携带所述画面约束标签的所述待配音片段封装为样本承载索引；
51、训练推演校验模块，用于利用所述样本承载索引对待训练配音模型进行训练推演，生成试配音片段，根据所述画面约束标签对所述试配音片段进行声画贴合校验，得到声画偏差记录；
52、样本回灌迭代模块，用于根据所述声画偏差记录确定待回灌样本记录，将所述待回灌样本记录写入所述样本承载索引以触发下一轮训练，重复执行上述训练推演、声画贴合校验及样本回灌的步骤，直至所述声画偏差记录满足训练结束条件，将满足所述训练结束条件时得到的配音模型确定为目标配音模型。
53、一种电子设备，包括处理器、存储器以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述面向配音模型的迭代训练方法。
54、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述面向配音模型的迭代训练方法。
55、一种面向配音模型的迭代训练系统，包括声画同步数据接收端、样本承载处理端、训练推演端以及校验回灌端；
56、所述声画同步数据接收端用于接收待译制声画同步数据，根据所述待译制声画同步数据中的对白时序连续性生成对白时间锚定记录，所述对白时间锚定记录用于标识待配音片段在画面中的发声区间；
57、所述样本承载处理端用于根据所述对白时间锚定记录确定所述待配音片段，按照所述发声区间提取画面约束标签，将携带所述画面约束标签的所述待配音片段封装为样本承载索引；
58、所述训练推演端用于利用所述样本承载索引对待训练配音模型进行训练推演，生成试配音片段；
59、所述校验回灌端用于根据所述画面约束标签对所述试配音片段进行声画贴合校验，得到声画偏差记录，根据所述声画偏差记录确定待回灌样本记录，将所述待回灌样本记录写入所述样本承载索引以触发下一轮训练，直至所述声画偏差记录满足训练结束条件，将满足所述训练结束条件时得到的配音模型确定为目标配音模型。
60、一种基于目标配音模型的配音片段生成方法，其包括：
61、获取目标配音模型以及待生成配音的声画同步数据，所述目标配音模型为通过面向配音模型的迭代训练方法训练得到的配音模型；
62、根据所述待生成配音的声画同步数据中的对白时序连续性生成生成期对白时间锚定记录，所述生成期对白时间锚定记录用于标识待生成配音片段在画面中的发声区间；
63、根据所述生成期对白时间锚定记录确定所述待生成配音片段，并按照所述发声区间提取生成期画面约束标签，将携带所述生成期画面约束标签的所述待生成配音片段封装为生成承载索引；
64、将所述生成承载索引输入所述目标配音模型，使所述目标配音模型根据所述生成期画面约束标签对所述待生成配音片段对应的目标语文本生成配音语音素承载序列，并根据所述配音语音素承载序列合成候选配音片段；
65、根据所述生成期画面约束标签对所述候选配音片段进行声画贴合校验，若所述候选配音片段通过所述声画贴合校验，则将所述候选配音片段确定为目标配音片段。
66、本技术提供的技术方案的技术好处：
67、本技术的面向配音模型的迭代训练方法，针对现有配音生成处理方案中训练过程侧重语音数据本身、画面侧发声变化难以参与训练闭环的技术缺陷，通过接收待译制声画同步数据，并根据待译制声画同步数据中的对白时序连续性生成对白时间锚定记录，使后续训练不再仅以语音内容作为处理基础，而是先将待配音片段在画面中的发声区间作为训练关联依据。相较于传统方案直接围绕语音文本生成目标语音数据的处理方式，该处理过程能够使待配音片段与画面中的发声区间建立稳定关联，为后续提取画面约束标签和执行声画贴合校验提供明确的数据定位基础，从而缓解目标语音数据回填后起止位置偏移的问题。
68、进一步地，本技术根据对白时间锚定记录确定待配音片段，并按照发声区间提取画面约束标签，将携带画面约束标签的待配音片段封装为样本承载索引，解决了传统训练样本难以承载画面侧约束信息的问题。传统处理方案中的训练样本通常仅体现语音内容与文本内容之间的对应关系，难以把画面变化过程纳入训练数据组织结构；而本技术通过样本承载索引将待配音片段和画面约束标签绑定，使训练推演时能够同时读取语音侧内容和画面侧约束内容，进而使训练过程具备面向声画同步场景的样本组织基础。
69、进一步地，本技术利用样本承载索引对待训练配音模型进行训练推演生成试配音片段，并根据画面约束标签对试配音片段进行声画贴合校验得到声画偏差记录，解决了传统方案缺少针对生成结果进行画面侧校验的问题。传统处理方式通常在目标语音数据生成后进行轨道回填，难以在训练过程中识别目标语音数据与画面发声节奏之间的偏差；而本技术在训练推演后将试配音片段与画面约束标签进行声画贴合校验，使偏差能够以声画偏差记录的形式被结构化保留，便于后续训练轮次针对偏差片段进行处理。
70、进一步地，本技术根据声画偏差记录确定待回灌样本记录，并将待回灌样本记录写入样本承载索引以触发下一轮训练，重复执行训练推演、声画贴合校验及样本回灌的步骤，解决了传统训练轮次之间缺少偏差样本回灌机制的问题。相较于重复使用固定训练样本的处理方式，本技术能够将声画偏差记录对应的待回灌样本记录重新写入样本承载索引，使下一轮训练围绕已暴露的声画偏差进行更新；当声画偏差记录满足训练结束条件时，将对应配音模型确定为目标配音模型，由此形成从声画同步数据接收、样本承载索引生成、训练推演校验到样本回灌迭代的闭环处理链路，提高配音模型对声画同步配音场景的适配性。