一种面向教育的多维度歌唱评价方法与流程

1.本发明涉及歌唱评价技术领域，特别指一种面向教育的多维度歌唱评价方法。


背景技术：

2.随着中小学生素质教育被不断重视，各种类型的教育系统如雨后春笋般涌现出来。但是，在巨大的升学压力下，社会往往将研究重心放在文化考试科目上，对于音乐等素质教育的关注很少，导致音乐教育类可用的系统却寥寥无几。
3.针对歌唱评价，传统上并未进行多维度评价，因为传统的歌唱评价是围绕着音乐娱乐进行的，目标用户并不真正关心最后的评价结果是否完全准确，也不关心哪一部分唱的不好，因此对于歌唱评价的评价结果往往缺乏准确性和可解释性。因此，如何提供一种面向教育的多维度歌唱评价方法，实现对歌唱进行多维度评价，以提升歌唱评价的准确性和可解释性，成为一个亟待解决的技术问题。


技术实现要素：

4.本发明要解决的技术问题，在于提供一种面向教育的多维度歌唱评价方法，实现对歌唱进行多维度评价，以提升歌唱评价的准确性和可解释性。
5.本发明是这样实现的：一种面向教育的多维度歌唱评价方法，包括如下步骤：
6.步骤s10、获取包括待评价音频数据和标准音频数据的音频数据集；
7.步骤s20、对所述音频数据集进行数据清洗；
8.步骤s30、提取数据清洗后的所述音频数据集的声学特征；
9.步骤s40、对所述声学特征进行预处理；
10.步骤s50、创建一乐感评价模型、一音准评价模型、一节奏评价模型、一整体性评价模型、一咬字吐字评价模型以及一总评价模型；
11.步骤s60、基于所述乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型、咬字吐字评价模型以及预处理后的声学特征对评价音频数据进行评价，依次生成乐感评价值、音准评价值、节奏评价值、整体性评价值以及咬字吐字评价值；
12.步骤s70、总评价模型基于所述乐感评价值、音准评价值、节奏评价值、整体性评价值以及咬字吐字评价值生成总评价值；
13.步骤s80、展示所述乐感评价值、音准评价值、节奏评价值、整体性评价值、咬字吐字评价值以及总评价值。
14.进一步地，所述步骤s20具体包括：
15.步骤s21、对所述音频数据集中的各待评价音频数据和标准音频数据进行音频格式、采样率以及声道数的统一；
16.步骤s22、去除各所述待评价音频数据和标准音频数据的首尾无声段数据；
17.步骤s23、将各所述待评价音频数据和标准音频数据的噪声降低到预设的噪声阈值内。
18.进一步地，所述步骤s30具体包括：
19.步骤s31、对数据清洗后的所述音频数据集进行预加重、分帧以及加窗的预处理得到时域信号；
20.步骤s32、对所述时域信号进行快速傅里叶变换得到频域信号；
21.步骤s33、对所述频域信号进行梅尔滤波组、离散余弦变换、动态差分参数的提取得到梅尔频率倒谱系数；
22.对所述频域信号进行频谱平方、滤波器输出取对数得到相应频带的对数功率谱；
23.基于所述时域信号提取声强、响度、短时平均能量以及短时过零率；
24.基于所述频域信号以及倒谱法得到音频数据集的基频；
25.基于所述时域信号和频域信号计算信噪比、谐噪比、频率微扰以及共振峰。
26.进一步地，所述步骤s40具体为：
27.将所述待评价音频数据和标准音频数据的基频去除无效值后进行对齐；
28.去除所述待评价音频数据和标准音频数据中，无声段对应的所述梅尔频率倒谱系数；
29.创建一响度范围，调整超出所述响度范围的响度；
30.创建一信噪比范围、一谐噪比范围以及一频率响应范围，基于所述信噪比范围、谐噪比范围以及频率响应范围分别对信噪比、谐噪比以及频率微扰进行筛选。
31.进一步地，所述步骤s50中，所述乐感评价模型用于：
32.提取所述音频数据集的无伴奏连续发声段，利用vad算法计算所述无伴奏连续发声段中至少一个发声句的气息评价值；所述气息评价值包括气息量评分、气息支撑评分和气息控制评分中的至少一项；
33.通过所述梅尔频率倒谱系数和基频对准待评价音频数据和标准音频数据的各语音帧进行对齐，基于对齐后的所述语音帧的重叠性计算节奏评价值；
34.基于所述气息评价值和节奏评价值计算得到乐感评价值。
35.进一步地，所述步骤s50中，所述音准评价模型用于：
36.利用所述信噪比以及谐噪比对待评价音频数据和标准音频数据进行去噪处理；
37.通过所述梅尔频率倒谱系数和基频对准待评价音频数据和标准音频数据的各语音帧进行对齐；
38.计算所述音频数据集的基频均值，将各所述语音帧的频率减去基频均值以计算音高，进而得到音准评价值。
39.进一步地，所述步骤s50中，所述节奏评价模型用于：
40.通过所述梅尔频率倒谱系数和基频对准待评价音频数据和标准音频数据的各语音帧进行对齐；
41.基于对齐后的所述语音帧计算各音节的长短、快慢以及停顿程度，进而得到节奏评价值。
42.进一步地，所述步骤s50中，所述整体性评价模型用于：
43.通过歌词准确性、旋律流畅性、节奏合理性生成整体性评价值。
44.进一步地，所述步骤s50中，所述咬字吐字评价模型用于：
45.通过高斯混合模型和隐马尔可夫模型，对所述待评价音频数据和标准音频数据中
的单词和音素进行对齐后，结合深度神经网络计算咬字吐字评价值。
46.进一步地，所述步骤s50中，所述总评价模型用于：
47.基于预设的权重系数对所述乐感评价值、音准评价值、节奏评价值、整体性评价值以及咬字吐字评价值进行加权计算，得到总评价值。
48.本发明的优点在于：
49.通过对音频数据集进行数据清洗，并提取至少包括梅尔频率倒谱系数、对数功率谱、声强、响度、短时平均能量、短时过零率、基频、信噪比、谐噪比、频率微扰以及共振峰的声学特征，基于五个维度创建乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型以及咬字吐字评价模型，进而基于乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型、咬字吐字评价模型以及声学特征对评价音频数据进行多维度的评价，即通过多维声学特征提取结合人工智能实现对歌唱进行多维度评价，可以更好地学习到演唱者歌唱的方方面面，尽可能将演唱者的演唱功底以数字化的形式反映出来，且将多种模型相结合的方式可以更精确地对演唱者的演唱效果作出评价，最终极大的提升了歌唱评价的准确性和可解释性。
附图说明
50.下面参照附图结合实施例对本发明作进一步的说明。
51.图1是本发明一种面向教育的多维度歌唱评价方法的流程图。
52.图2是本发明一种面向教育的多维度歌唱评价方法的流程示意图。
具体实施方式
53.本技术实施例中的技术方案，总体思路如下：通过对音频数据集进行数据清洗，并提取多维的声学特征，基于五个维度创建乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型以及咬字吐字评价模型，进而基于乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型、咬字吐字评价模型以及声学特征对评价音频数据进行多维度的评价，以提升歌唱评价的准确性和可解释性。
54.请参照图1至图2所示，本发明一种面向教育的多维度歌唱评价方法的较佳实施例，包括如下步骤：
55.步骤s10、获取包括待评价音频数据和标准音频数据的音频数据集；所述音频数据集可从音乐网站、数据库、论文数据集、人工采集等渠道获取；
56.步骤s20、对所述音频数据集进行数据清洗；
57.步骤s30、提取数据清洗后的所述音频数据集的声学特征；不同的声学特征能够从不同的方面来反映一首歌，不同的声学特征对音乐的评价效果不同，因此需要提取多维声学特征；
58.步骤s40、对所述声学特征进行预处理；
59.步骤s50、创建一乐感评价模型、一音准评价模型、一节奏评价模型、一整体性评价模型、一咬字吐字评价模型以及一总评价模型；
60.步骤s60、基于所述乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型、咬字吐字评价模型以及预处理后的声学特征对评价音频数据进行评价，依次生成乐感
评价值、音准评价值、节奏评价值、整体性评价值以及咬字吐字评价值；
61.步骤s70、总评价模型基于所述乐感评价值、音准评价值、节奏评价值、整体性评价值以及咬字吐字评价值生成总评价值；
62.步骤s80、展示所述乐感评价值、音准评价值、节奏评价值、整体性评价值、咬字吐字评价值以及总评价值；具体实施时，可进一步给出每个片段详细演唱情况和指导建议。
63.所述步骤s20具体包括：
64.步骤s21、对所述音频数据集中的各待评价音频数据和标准音频数据进行音频格式、采样率以及声道数的统一；
65.由于获取的各音频数据可能是多种不同的音频类型，因此需要进行音频格式转换，优选为wav格式；
66.步骤s22、去除各所述待评价音频数据和标准音频数据的首尾无声段数据；
67.步骤s23、将各所述待评价音频数据和标准音频数据的噪声降低到预设的噪声阈值内。由于明显的噪声会对各评价模型造成消极影响，因此需要将噪声降低到预设的噪声阈值内。
68.所述步骤s30具体包括：
69.步骤s31、对数据清洗后的所述音频数据集进行预加重、分帧以及加窗的预处理得到时域信号；
70.步骤s32、对所述时域信号进行快速傅里叶变换得到频域信号；
71.步骤s33、对所述频域信号进行梅尔滤波组、离散余弦变换、动态差分参数的提取得到梅尔频率倒谱系数(mel-scale frequency cepstral coefficients，简称mfcc)；
72.所述梅尔频率倒谱系数是在mel标度频率域提取出来的倒谱参数，考虑到人类的听觉特征，先将线性频谱映射到基于听觉感知的mel非线性频谱中，然后转换到倒谱上，mel标度描述了人耳频率的非线性特性；
73.对所述频域信号进行频谱平方、滤波器输出取对数得到相应频带的对数功率谱(fbank)；
74.基于所述时域信号提取声强、响度、短时平均能量以及短时过零率；
75.基于所述频域信号以及倒谱法得到音频数据集的基频；
76.基于所述时域信号和频域信号计算信噪比、谐噪比、频率微扰以及共振峰。
77.所述步骤s40具体为：
78.将所述待评价音频数据和标准音频数据的基频去除无效值后进行对齐；
79.去除所述待评价音频数据和标准音频数据中，无声段对应的所述梅尔频率倒谱系数；
80.创建一响度范围，调整超出所述响度范围的响度；
81.创建一信噪比范围、一谐噪比范围以及一频率响应范围，基于所述信噪比范围、谐噪比范围以及频率响应范围分别对信噪比、谐噪比以及频率微扰进行筛选。
82.所述步骤s50中，所述乐感评价模型用于：
83.提取所述音频数据集的无伴奏连续发声段，利用vad算法计算所述无伴奏连续发声段中至少一个发声句的气息评价值；所述气息评价值包括气息量评分、气息支撑评分和气息控制评分中的至少一项；
84.通过所述梅尔频率倒谱系数和基频对准待评价音频数据和标准音频数据的各语音帧进行对齐，基于对齐后的所述语音帧的重叠性计算节奏评价值；
85.基于所述气息评价值和节奏评价值计算得到乐感评价值。
86.从乐感角度出发，应能准确把握歌曲的旋律，与伴奏配合默契，不脱节，不抢拍，可以通过旋律、节奏、气息等技术观测来计算评价。
87.所述步骤s50中，所述音准评价模型用于：
88.利用所述信噪比以及谐噪比对待评价音频数据和标准音频数据进行去噪处理；
89.通过所述梅尔频率倒谱系数和基频对准待评价音频数据和标准音频数据的各语音帧进行对齐；
90.计算所述音频数据集的基频均值，将各所述语音帧的频率减去基频均值以计算音高，进而得到音准评价值。
91.从音准角度出发，应该做到唱出的音高与规定的音高一致，可用音高等技术观测来计算评价。将各所述语音帧的频率减去基频均值用于消除男女生之间、和男女生内部之间频率的差异。
92.所述步骤s50中，所述节奏评价模型用于：
93.通过所述梅尔频率倒谱系数和基频对准待评价音频数据和标准音频数据的各语音帧进行对齐；
94.基于对齐后的所述语音帧计算各音节的长短、快慢以及停顿程度，进而得到节奏评价值。
95.从节奏角度出发，应该做到对歌曲中音的长短组合记忆清晰，对强弱表现准确，对表现音乐特点的节奏音型表现鲜明，可以通过音的长短、快慢、停顿等技术观测来实现。
96.所述步骤s50中，所述整体性评价模型用于：
97.通过歌词准确性、旋律流畅性、节奏合理性生成整体性评价值。
98.从整体性角度出发，应该做到演唱过程不中断，歌词、节奏、旋律记忆准确，可以通过歌词、旋律、节奏等技术观测来实现。
99.所述步骤s50中，所述咬字吐字评价模型用于：
100.通过高斯混合模型和隐马尔可夫模型(gmm-hmm)，对所述待评价音频数据和标准音频数据中的单词和音素进行对齐后，结合深度神经网络(deep neural networks,简称dnn)计算咬字吐字评价值。
101.所述隐马尔可夫模型(hidden markov model，hmm)是一种时序的概率模型，描述由一个隐的马尔科夫链随机生成的不可观察的隐状态序列，在每一个隐状态下随机产生观察值构成一个可观测的随机序列；其中关键是状态序列是满足马尔科夫性质的，且可观测序列是由隐藏的状态序列以一定的概率随机生成。
102.gmm-hmm用于对输入的语音数据进行分帧，获得语音数据中包含的语音帧,并提取每一语音帧对应的语音特征,以及将每一语音帧分别与目标语音帧对应的真实音素进行强制对齐。
103.所述深度神经网络是一种计算模型，由大量的节点(或神经元)直接相互关联而构成；网络的输出由于激励函数和权重的不同而不同，是对于某种函数的逼近或是对映射关系的近似描述。
104.从咬字吐字角度出发，应该做到歌唱时能清楚的唱出歌词中的每个字音，吐字清晰，发音准确，可以通过歌词发音、音素发音、类语音识别等技术观测来实现。
105.所述步骤s50中，所述总评价模型用于：
106.基于预设的权重系数对所述乐感评价值、音准评价值、节奏评价值、整体性评价值以及咬字吐字评价值进行加权计算，得到总评价值。
107.综上所述，本发明的优点在于：
108.通过对音频数据集进行数据清洗，并提取至少包括梅尔频率倒谱系数、对数功率谱、声强、响度、短时平均能量、短时过零率、基频、信噪比、谐噪比、频率微扰以及共振峰的声学特征，基于五个维度创建乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型以及咬字吐字评价模型，进而基于乐感评价模型、音准评价模型、节奏评价模型、整体性评价模型、咬字吐字评价模型以及声学特征对评价音频数据进行多维度的评价，即通过多维声学特征提取结合人工智能实现对歌唱进行多维度评价，可以更好地学习到演唱者歌唱的方方面面，尽可能将演唱者的演唱功底以数字化的形式反映出来，且将多种模型相结合的方式可以更精确地对演唱者的演唱效果作出评价，最终极大的提升了歌唱评价的准确性和可解释性。
109.虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。