一种用于动画译制的语音特征提取方法及系统与流程

本发明涉及语音信号处理，尤其涉及一种用于动画译制的语音特征提取方法及系统。

背景技术：

1、随着文化交流的日益频繁和动画产业的快速发展，大量优秀动画作品需要在不同语言市场之间进行译制与传播。在动画译制过程中，译制配音不仅需要在语义上准确传达原作内容，还需要在语音的音色、语调、情感及节奏等特征上与原始配音及动画角色的口型、表演保持高度契合，以保证译制作品的观赏体验和艺术表现力。

2、目前，动画译制中的语音处理主要依赖于配音人员的人工听辨与经验模仿相结合的方式，译制时通常由配音导演和配音演员反复聆听原始配音，凭借主观感受把握原声的音色、语调和情感特征，再由配音演员进行模仿和再现，并通过多次试录、比对和调整，使译制配音在语音表现上尽量贴近原声，最终完成配音的录制与合成。

3、然而，上述现有方法存在诸多不足，人工听辨与模仿高度依赖配音人员的主观判断和经验水平，难以对原始配音的音色、语调、情感等语音特征进行客观、准确的量化提取，容易出现译制配音与原声特征偏差较大的问题，反复试录与人工比对调整的流程繁琐、耗时较长，制作效率低，且不同配音人员之间的处理结果一致性难以保证，无法满足动画译制对高效、精准、稳定的语音特征提取的需求。因此，如何克服传统人工听辨模仿主观性强及一致性差的不足，进而实现动画译制语音特征的精准及稳定提取成为了亟待解决的问题。

技术实现思路

1、本发明提供一种用于动画译制的语音特征提取方法、计算机可读存储介质，其主要目的在于克服传统人工听辨模仿主观性强及一致性差的不足，进而实现动画译制语音特征的精准及稳定提取。

2、为实现上述目的，本发明提供的一种用于动画译制的语音特征提取方法，包括：

3、确认出待译制动画，对待译制动画进行音频流提取，得到原始音频流；

4、对原始音频流进行语音活动检测，得到纯净人声段；

5、对纯净人声段进行说话人分离，得到多个语音片段集；

6、对多个语音片段集中的每一个语音片段集均执行如下操作：

7、基于语音片段集及待译制动画确认出口型视频帧序列，其中，口型视频帧序列包括：多个口型视频帧；

8、对语音片段集进行声学特征提取，得到声学特征序列，其中，声学特征序列包括：多个梅尔频率倒谱系数集；

9、对声学特征序列进行情感分析，得到情感类别；

10、基于声学特征序列中的多个梅尔频率倒谱系数集确认出韵律特征参数；

11、将韵律特征参数与情感类别进行联合编码，得到角色语音风格向量；

12、基于口型视频帧序列中的多个口型视频帧确认出视觉时序特征；

13、基于声学特征序列及视觉时序特征确认出音画耦合特征；

14、基于角色语音风格向量及音画耦合特征确认出角色语音特征画像；

15、汇总角色语音特征画像，得到多个角色语音特征画像，完成语音特征提取。

16、可选地，所述对原始音频流进行语音活动检测，得到纯净人声段，包括：

17、对原始音频流进行再采样处理，得到再采样音频流；

18、对再采样音频流进行加重处理，得到目标音频流；

19、按照预设的第一时长窗口对目标音频流进行分帧处理，得到长时帧序列，其中，长时帧序列包括：多个长时帧；

20、对长时帧序列中的多个长时帧中的每一个长时帧均执行如下操作：

21、对长时帧进行能量分解，得到语音主频能量及非语音能量；

22、根据语音主频能量及非语音能量计算语音显著度，其中，语音显著度等于语音主频能量除以非语音能量；

23、汇总语音显著度，得到多个语音显著度；

24、按照预设的第二时长窗口对目标音频流进行分帧处理，得到短时帧序列，其中，短时帧序列包括：多个短时帧；

25、对短时帧序列中的多个短时帧中的每一个短时帧均执行如下操作：

26、基于短时帧确认出语音活动得分；

27、汇总语音活动得分，得到多个语音活动得分；

28、基于原始音频流、长时帧序列、短时帧序列、多个语音显著度及多个语音活动得分确认出多个初始语音段；

29、对多个初始语音段中的每一个初始语音段均执行如下操作：

30、对初始语音段进行人声增强，得到增强语音段；

31、对增强语音段进行平滑处理，得到纯净语音段；

32、汇总纯净语音段，得到多个纯净语音段；

33、基于多个纯净语音段确认出纯净人声段。

34、可选地，所述对长时帧进行能量分解，得到语音主频能量及非语音能量，包括：

35、对长时帧进行时频变化，得到长时帧频谱，其中，长时帧频谱包括：多个频点；

36、基于多个频点确认出功率谱序列，其中，功率谱序列包括：多个功率谱密度；

37、按照预设的人声主频区间对所述功率谱序列进行子带划分，得到主频子带功率序列及非主频子带功率序列；

38、对主频子带功率序列进行基频检测，得到长时帧基频估计值及基频置信度；

39、比较基频置信度与预设的置信度门限值，若基频置信度大于置信度门限值，则基于长时帧基频估计值确认出多个谐波频点；

40、对多个谐波频点中的每一个谐波频点均执行如下操作：

41、基于谐波频点、预设的谐波带宽及主频子带功率序列确认出谐波峰值功率；

42、汇总谐波峰值功率，得到多个谐波峰值功率；

43、基于多个谐波峰值功率确认出谐波结构能量，其中，谐波结构能量为多个谐波峰值功率的和；

44、将多个谐波峰值功率从主频子带功率序列中剔除，得到剔除序列，其中，剔除序列包括：多个背景功率；

45、基于剔除序列中的多个背景功率确认出主频背景能量，其中，主频背景能量为剔除序列中的多个背景功率的和；

46、根据谐波结构能量、主频背景能量及预设的谐波增益系数计算语音主频能量；

47、若基频置信度小于等于置信度门限值，则基于主频子带功率序列确认出语音主频能量，其中，语音主频能量为主频子带功率序列中的多个主频子带功率的和；

48、基于非主频子带功率序列确认出子带非语音能量；

49、根据功率谱序列计算噪声占比系数，计算公式如下所示：

50、

51、其中，表示噪声占比系数，表示功率谱序列中多个功率谱密度中功率谱密度的个数，表示功率谱序列中多个功率谱密度中第个功率谱密度，表示对数函数，表示以为底的指数函数，其中，为自然常数；

52、根据子带非语音能量及噪声占比系数计算折算非语音能量，其中，折算非语音能量为子带非语音能量与噪声占比系数的积；

53、基于主频子带功率序列及预设的功率下限确认出主频残余能量；

54、基于折算非语音能量及主频残余能量确认出非语音能量，其中，非语音能量为折算非语音能量与主频残余能量的和。

55、可选地，所述基于短时帧确认出语音活动得分，包括：

56、对短时帧进行过零率检测，得到过零率值；

57、对短时帧进行能量计算，得到短时能量值；

58、对短时帧进行时频变化，得到短时频谱；

59、基于短时频谱确认出谱平坦度值；

60、对过零率值、短时能量值及谱平坦度值进行归一化处理，得到归一化过零率、归一化短时能量及归一化谱平坦度；

61、根据归一化过零率、归一化短时能量及归一化谱平坦度计算语音活动得分。

62、可选地，所述基于原始音频流、长时帧序列、短时帧序列、多个语音显著度及多个语音活动得分确认出多个初始语音段，包括：

63、对短时帧序列中的多个短时帧中的每一个短时帧均执行如下操作：

64、基于短时帧及多个语音活动得分确认出中心时刻及目标语音活动得分；

65、基于中心时刻及长时帧序列确认出对应长时帧；

66、基于对应长时帧及多个语音显著度确认出目标语音显著度；

67、比较目标语音显著度与预设的显著度阈值，若目标语音显著度小于显著度阈值，则将短时帧作为非语音帧；

68、若目标语音显著度大于等于显著度阈值，则比较目标语音活动得分与预设的第一门限；

69、若目标语音活动得分大于等于第一门限，则将短时帧作为语音帧；

70、若目标语音活动得分小于第一门限，则比较目标语音活动得分与预设的第二门限；

71、若目标语音活动得分小于第二门限，则将短时帧作为非语音帧；

72、若目标语音活动得分大于等于第二门限，则将短时帧作为待定帧；

73、分别汇总语音帧、非语音帧及待定帧，得到多个语音帧、多个非语音帧及多个待定帧；

74、对多个待定帧中的每一个待定帧均执行如下操作：

75、基于待定帧、多个语音帧及多个非语音帧确认出待定帧标注结果，其中，待定帧标准结果为语音帧或非语音帧；

76、汇总待定帧标注结果，得到多个待定帧标注结果；

77、基于原始音频流、多个待定帧标注结果、多个语音帧、多个非语音帧及多个待定帧确认出多个初始语音段。

78、可选地，所述对纯净人声段进行说话人分离，得到多个语音片段集，包括：

79、按照预设的片段时长及预设的滑动步长对纯净人声段进行重叠切分，得到多个语音分析片段；

80、对多个语音分析片段中的每一个语音分析片段均执行如下操作：

81、对语音分析片段进行声学特征提取，得到片段声学特征；

82、将片段声学特征输入至预构建的说话人嵌入网络，得到说话人嵌入向量；

83、汇总说话人嵌入向量，得到多个说话人嵌入向量；

84、从多个说话人嵌入向量中提取出第个说话人嵌入向量，其中，的初始值为1；

85、从多个说话人嵌入向量中提取出第个说话人嵌入向量，其中，的初始值为1；

86、基于第个说话人嵌入向量及第个说话人嵌入向量确认出第个目标相似度，其中，第个目标相似度为第个说话人嵌入向量与第个说话人嵌入向量的余弦相似度；

87、将第个目标相似度放入预构建的相似度集中，得到更新相似度集；

88、令，将作为，将更新相似度集作为相似度集，返回所述从多个说话人嵌入向量中提取出第个说话人嵌入向量的步骤，直到，将更新相似度集作为第一目标集，其中，为多个说话人嵌入向量中说话人嵌入向量的个数；

89、令，将作为，将第一目标集作为相似度集，返回所述从多个说话人嵌入向量中提取出第个说话人嵌入向量的步骤，直到，将第一目标集作为目标相似度集；

90、基于目标相似度集确认出多个说话人类簇；

91、对多个说话人类簇中的每一个说话人类簇均执行如下操作：

92、基于说话人类簇及多个语音分析片段确认出语音片段集；

93、汇总语音片段集，得到多个语音片段集。

94、可选地，所述基于目标相似度集确认出多个说话人类簇，包括：

95、基于目标相似度集确认出相似度矩阵；

96、对相似度矩阵进行对称归一化，得到归一化相似度矩阵；

97、基于归一化相似度矩阵构建拉普拉斯矩阵；

98、对拉普拉斯矩阵进行分解，得到多个特征值及多个特征向量；

99、基于多个特征值及多个特征向量确认出特征向量矩阵；

100、对特征向量矩阵进行逐行归一化，得到归一化特征向量矩阵；

101、确认出多个候选聚类数目，对多个候选聚类数目中的每一个候选聚类数目均执行如下操作：

102、从归一化特征向量矩阵中抽取前列，得到候选特征子矩阵，其中，等于候选聚类数目；

103、对候选特征子矩阵进行聚类，得到聚类结果；

104、基于聚类结果计算聚类系数；

105、汇总聚类系数，得到多个聚类系数；

106、基于多个聚类系数确认出最大聚类系数，其中，最大聚类系数为多个聚类系数中最大的聚类系数；

107、基于最大聚类系数及多个候选聚类数目确认出最优说话人类别数；

108、基于最优说话人类别数及归一化特征向量矩阵确认出多个说话人类簇。

109、可选地，所述基于声学特征序列中的多个梅尔频率倒谱系数集确认出韵律特征参数，包括：

110、对声学特征序列中多个梅尔频率倒谱系数集中的每一个梅尔频率倒谱系数集均执行如下操作：

111、从梅尔频率倒谱系数集中提取出零阶梅尔频率倒谱系数；

112、将所述零阶梅尔频率倒谱系数作为帧能量值；

113、汇总帧能量值，得到多个帧能量值；

114、基于多个帧能量值确认出能量均值，其中，能量均值为多个帧能量值的平均值；

115、根据多个帧能量值及能量均值计算韵律特征参数，计算公式如下所示：

116、

117、其中，表示韵律特征参数，表示多个帧能量值中第个帧能量值，表示多个帧能量值中第个帧能量值，表示能量均值，表示多个帧能量值中帧能量值的个数，及分别表示预设的第一韵律权重系数及预设的第二韵律权重系数，表示取绝对值。

118、可选地，所述基于口型视频帧序列中的多个口型视频帧确认出视觉时序特征，包括：

119、对口型视频帧序列中的多个口型视频帧中的每一个口型视频帧均执行如下操作：

120、对口型视频帧进行人脸区域检测，得到人脸区域图像；

121、对人脸区域图像进行口型关键点检测，得到多个内唇关键点；

122、基于多个内唇关键点确认出内唇竖直开口距离及内唇水平宽度；

123、根据内唇竖直开口距离及内唇水平宽度确认出口型张合度，其中，口型张合度等于内唇竖直开口距离除以内唇水平宽度；

124、将多个内唇关键点依次连接，得到内唇轮廓多边形，其中，内唇轮廓多边形包括：多个顶点，其中，顶点包括：顶点x坐标及顶点y坐标；

125、根据内唇轮廓多边形计算内唇轮廓面积；

126、将口型张合度与内唇轮廓面积进行组合，得到口型几何特征；

127、汇总口型几何特征，得到多个口型几何特征；

128、对多个口型几何特征进行时序编码，得到视觉时序特征。

129、为实现上述目的，本发明还提供一种用于动画译制的语音特征提取系统，包括：

130、语音片段获取模块，用于确认出待译制动画，对待译制动画进行音频流提取，得到原始音频流，对原始音频流进行语音活动检测，得到纯净人声段，对纯净人声段进行说话人分离，得到多个语音片段集；

131、情感类型识别模块，用于对多个语音片段集中的每一个语音片段集均执行如下操作：基于语音片段集及待译制动画确认出口型视频帧序列，其中，口型视频帧序列包括：多个口型视频帧，对语音片段集进行声学特征提取，得到声学特征序列，其中，声学特征序列包括：多个梅尔频率倒谱系数集，对声学特征序列进行情感分析，得到情感类别；

132、视觉特征确认模块，用于基于声学特征序列中的多个梅尔频率倒谱系数集确认出韵律特征参数，将韵律特征参数与情感类别进行联合编码，得到角色语音风格向量，基于口型视频帧序列中的多个口型视频帧确认出视觉时序特征；

133、语音特征提取模块，用于基于声学特征序列及视觉时序特征确认出音画耦合特征，基于角色语音风格向量及音画耦合特征确认出角色语音特征画像，汇总角色语音特征画像，得到多个角色语音特征画像，完成语音特征提取。

134、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

135、存储器，存储至少一个指令；及

136、处理器，执行所述存储器中存储的指令以实现上述所述的用于动画译制的语音特征提取方法。

137、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的用于动画译制的语音特征提取方法。

138、本发明为解决背景技术所述问题，本发明通过确认出待译制动画，对待译制动画进行音频流提取，得到原始音频流，可见本发明实施例通过从待译制动画中分离出独立的音频，获取完整的原始声音数据，为后续的人声检测和特征分析提供基础音频素材，进而对原始音频流进行语音活动检测，得到纯净人声段，可见本发明实施例通过检测原始音频中的人声活动区间，将人声与静音、背景音乐、环境音等非人声部分区分开来，提取出只含对白的纯净人声片段，减少无关信号的干扰，对纯净人声段进行说话人分离，得到多个语音片段集，可见本发明实施例通过根据声音的音色、频率等特征，将纯净人声段按不同说话人进行聚类分组，每个说话人的所有语音片段归为一个集合，便于后续按角色独立处理，对多个语音片段集中的每一个语音片段集均执行如下操作：基于语音片段集及待译制动画确认出口型视频帧序列，其中，口型视频帧序列包括：多个口型视频帧，可见本发明实施例通过将该说话人对应的语音片段与动画画面进行时间轴对齐，从视频中截取与该语音时段相对应的口型画面帧，形成用于唇动分析的口型序列，对语音片段集进行声学特征提取，得到声学特征序列，其中，声学特征序列包括：多个梅尔频率倒谱系数集，可见本发明实施例通过从该说话人的语音片段中提取声学参数，形成随时间变化的声学特征序列，对声学特征序列进行情感分析，得到情感类别，可见本发明实施例通过分析声学特征中的能量变化、语调起伏等，判断该段语音所表达的情绪属性，为风格向量提供情感维度。基于声学特征序列中的多个梅尔频率倒谱系数集确认出韵律特征参数，可见本发明实施例通过从声学特征中进一步提取语速、音高变化率、停顿分布等与韵律相关的参数，反映说话节奏和语调模式，将韵律特征参数与情感类别进行联合编码，得到角色语音风格向量，可见本发明实施例通过将韵律信息与情感类别组合成一个固定维度的向量，用来表达该说话人特有的语音表达风格，基于口型视频帧序列中的多个口型视频帧确认出视觉时序特征，可见本发明实施例通过分析口型帧序列中嘴唇开合、形状变化等视觉信息，提取随时间变化的轮廓特征，基于声学特征序列及视觉时序特征确认出音画耦合特征，可见本发明实施例通过将声学特征与口型视觉特征进行时间对齐和关联分析，找出声音和画面之间的同步关系与匹配程度，基于角色语音风格向量及音画耦合特征确认出角色语音特征画像，可见本发明实施例通过将语音风格向量与音画耦合特征合并，构建出该角色完整的涵盖音质、韵律、情绪及口型配合等多方面信息，汇总角色语音特征画像，得到多个角色语音特征画像，完成语音特征提取，可见本发明实施例通过将所有角色的特征画像汇集在一起，形成整部动画的角色语音特征集合。因此，本发明可克服传统人工听辨模仿主观性强及一致性差的不足，进而实现动画译制语音特征的精准及稳定提取。