一种器乐指法展示以及智能评分的方法与流程

1.本发明涉及乐器管理技术领域，更具体的说，本发明涉及一种器乐指法展示以及智能评分的方法。


背景技术：

2.当前线上教育已成为趋势，乐器类的线上练习系统也层出不穷。但现有的线上练习系统普遍存在以下的问题：a、器乐声部集中在钢琴，针对其他器乐的练习系统几乎没有，特别是西洋管乐在国内的发展处在初级阶段，学习爱好者以及从业者相对较少；b、包含除钢琴外其他器乐同时包含五线谱和指法同步练习的系统目前是空白；c、不支持适配场景的含伴奏演奏；d、不支持任意自动选择小节循环练习；e、不支持自定义乐谱上传功能；f、不支持管乐乐器的的声音频段的声音收集比对和传输；g、不支持无损的情况下播放速度的自定义。


技术实现要素：

3.为了克服现有技术的不足，本发明提供一种器乐指法展示以及智能评分的方法，通过该方法能够实现乐曲的智能评分，覆盖全声部器乐学习练习系统的空白，具有广泛的适用性。
4.本发明解决其技术问题所采用的技术方案是：一种器乐指法展示以及智能评分的方法，其改进之处在于，该方法包括以下的步骤：
5.s10、音频采集，通过麦克风采集用于演奏的音频信息；
6.s20、音频数据处理，将采集的音频与模板音频采样率进行统一，将输入的音频信息转换为数字信息，得到每帧的采样率fs、总帧数fn以及音频时域信息；
7.根据音频时域信息绘制出随时间变化的波形图，该波形图包含音频信息中不同时刻的频率信息；
8.按照设定帧大小划分n段帧区间，选取每一帧区间中幅度最大的频率点，作为特征值的点，n段帧区间的特征值的点组成节奏特征值；
9.进行有效时长的提取，将音频时域信息中在连续的设定时间内的音频频率处于设定频率以下的音频帧过滤掉，用剩下的帧长度乘以帧时长，得到音频的有效时长；
10.s30、特征数据对比，依次进行音准评分、节奏评分、完整性评分以及总得分的输出。
11.进一步的，所述步骤s10之前，还包括以下的步骤：
12.s100、用户选择曲目或导入musicxml文件后，系统生成相应乐谱并展示；
13.s200、乐谱播放时，根据播放进度，同步显示当前乐器的指法图；
14.s300、进行选段播放；
15.s400、选择原音与伴奏的切换，通过加载原音音频或伴奏音频信息进行即时播放。
16.进一步的，所述步骤s100包括以下的步骤：
17.s1001、读取musicxml文件信息；
18.s1002、按照musicxml文件的schema定义对文件进行解析，得到元素；
19.s1003、将解析后的元素与乐谱信息映射共同作用生成乐谱。
20.进一步的，所述步骤s200包括以下的步骤：
21.s2001、选取练习曲目；
22.s2002、按需加载音源库；
23.s2003、按照乐器孔位，进行分解为不同的图片；
24.s2004、根据乐器标准指法，将指法信息转化为图片的绑定信息；
25.s2005、按需加载当前声部的指法数据；
26.s2006、乐谱播放后，按照musicxml文件中音符持续时间与顺序，播放音源库中对应的音频；
27.s2007、播放中结合当前播放时间与曲谱中即时获取到的音符信息，通过音符指法表进行映射即可得到当前乐器指法。
28.进一步的，所述步骤s300包括以下的步骤：
29.s3001、选择练习曲目；
30.s3002、通过musicxml文件解析获取当前节拍信息，根据musicxml文件中记录的音符持续时间计算出每个音符处于正常速度下的时间刻度信息；
31.s3003、根据渲染出的曲谱svg，查找出所有音符，获取节点，并创建方便点选的点击层，并绑定id；
32.s3004、进入选段模式，点击任意音符，根据当前绑定的id获取音符信息，并映射的开始时间标记，即可选择当前小节作为起始小节；
33.s3005、重复步骤s3004，即可获取结束时间信息完成选段；
34.s3006、进行播放时，将播放进度设置为开始时间标记；
35.s3007、播放进度过程中即时验证点选结束时间标记，如超出标记范围则回到步骤s3006。
36.进一步的，步骤s20中，通过ffmpeg将采集的音频与模板音频采样率统一成44.1khz；采用开源工具tarsosdsp，将输入的音频信息转换为数字信息。
37.进一步的，步骤s20中，每帧的采样率fs＝1024，音频时域信息即为不同时刻各种频率叠加在一起的最终结果。
38.进一步的，步骤s20中，在进行有效时长的提取时，设定时间为3秒，设定频率为20hz。
39.进一步的，步骤s30中，音准评分包括以下内容：
40.计算源音音频的频率向量与录制音频频率向量之间的距离，得到各个时间点两组音频数据之间的差异。
41.进一步的，步骤s30中，节奏评分包括以下内容：
42.源音节奏点记为总节奏点，根据源音节奏特征点在相似时间点上录制音频是否存在相同的音频特征，记为相同节奏数量，根据匹配数量计算出节奏评分：
43.节奏评分＝相同节奏数量/总节奏点。
44.进一步的，步骤s30中，完整性评分包括以下的内容：
45.通过分析录制音频的时长，得出用户演奏的完整性得分：完整性得分＝录制时长/总时长。
46.进一步的，步骤s30中，总得分的计算过程如下：
47.根据音准评分和节奏评分，按以下公式计算总得分：总得出＝音准评分
×
0.5 节奏评分
×
0.5。
48.本发明的有益效果是：本发明的一种器乐指法展示以及智能评分的方法，其目的是让器乐爱好者在没有老师指导下，也能轻松进行乐曲练习，完成练习指法、合奏练习以及自我测评；进行评测时，会自动接收用户演奏出的声音，用户演奏结束后，系统会根据所接收的声音信号，从完整性、节奏、音准3个方面进行分析，最终给出一个演奏的综合得分。
附图说明
49.图1为本发明的一种器乐指法展示以及智能评分的方法的流程示意图。
50.图2为本发明的一种器乐指法展示以及智能评分的方法的音频的波形图。
51.图3为本发明的一种器乐指法展示以及智能评分的方法的节奏特征值的示意图。
52.图4为本发明的一种器乐指法展示以及智能评分的方法的具体实施例图。
53.图5为本发明的一种器乐指法展示以及智能评分的方法的音准评分的具体实施例图。
54.图6为本发明的一种器乐指法展示以及智能评分的方法中选段播放的流程示意图。
55.图7为本发明的一种器乐指法展示以及智能评分的方法中指法展示的流程示意图。
具体实施方式
56.下面结合附图和实施例对本发明进一步说明。
57.以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整地描述，以充分地理解本发明的目的、特征和效果。显然，所描述的实施例只是本发明的一部分实施例，而不是全部实施例，基于本发明的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本发明保护的范围。另外，专利中涉及到的所有联接/连接关系，并非单指构件直接相接，而是指可根据具体实施情况，通过添加或减少联接辅件，来组成更优的联接结构。本发明创造中的各个技术特征，在不互相矛盾冲突的前提下可以交互组合。
58.参照图1所示，本发明提供了一种器乐指法展示以及智能评分的方法，通过该方法，能够实现乐曲的智能评分，其目的是让器乐爱好者在没有老师指导下，也能轻松进行乐曲练习，完成练习指法、合奏练习以及乐曲的自我测评。具体的，结合图4所示，该方法包括以下的步骤：
59.s10、音频采集，通过麦克风采集用于演奏的音频信息；
60.一般情况下，可以通过手机麦克风实现音频信息的采集，当然，也可以采用其他带有麦克风的设备实现音频信息的采集；采集后，可以将音频信息上传至服务器，通过服务器实现云端存储；
61.s20、音频数据处理，将采集的音频与模板音频采样率进行统一，将输入的音频信息转换为数字信息，得到每帧的采样率fs、总帧数fn以及音频时域信息；
62.在本实施例中，通过ffmpeg将采集的音频与模板音频采样率统一成44.1khz；并且，采用开源工具tarsosdsp，将输入的音频信息转换为数字信息；并且，每帧的采样率fs＝1024，音频时域信息即为不同时刻各种频率叠加在一起的最终结果；
63.根据音频时域信息绘制出随时间变化的波形图，该波形图包含音频信息中不同时刻的频率信息；结合图2所示，即为本实施例中波形图的示意图；
64.按照设定帧大小划分n段帧区间，选取每一帧区间中幅度最大的频率点，作为特征值的点，n段帧区间的特征值的点组成节奏特征值；在本实施例中，结合图3所示，每一帧区间中幅度最大的频率点即为峰值点，峰值点组成节奏特征值；
65.进行有效时长的提取，将音频时域信息中在连续的设定时间内的音频频率处于设定频率以下的音频帧过滤掉，用剩下的帧长度乘以帧时长(计算方法即为1000
×
fs/44100)，得到音频的有效时长；在本实施例中，在进行有效时长的提取时，设定时间为3秒，设定频率为20hz；
66.s30、特征数据对比及总得分的输出，依次进行音准评分、节奏评分、完整性评分以及总得分的输出。
67.在上述的实施例，对于步骤s30中特征数据对比及总得分的输出的步骤，本发明提供了一具体实施例，其中，对于所述的音准评分，包括以下内容：
68.计算源音音频的频率向量与录制音频频率向量之间的距离，得到各个时间点两组音频数据之间的差异。结合图5所示，本发明提供了一具体实施例，包括向量点a(x1,y1)和向量点b(x2,y2)，该方案中，向量点a(x1,y1)即为源音音频的频率向量，向量点b(x2,y2)即为录制音频频率向量，由勾股定理可以计算出a(x1,y1)、b(x2,y2)两点之间距离的公式为：
[0069][0070]
进一步的，步骤s30中，节奏评分包括以下内容：
[0071]
源音节奏点记为总节奏点，根据源音节奏特征点在相似时间点上录制音频是否存在相同的音频特征，记为相同节奏数量，根据匹配数量计算出节奏评分：
[0072]
节奏评分＝相同节奏数量/总节奏点。
[0073]
更进一步的，步骤s30中，完整性评分包括以下的内容：
[0074]
通过分析录制音频的时长，得出用户演奏的完整性得分：完整性得分＝录制时长/总时长，完整性得分用于向用于进行展示。
[0075]
最后，本实施例中，步骤s30中，总得分的计算过程如下：
[0076]
根据音准评分和节奏评分，按以下公式计算总得分：总得出＝音准评分
×
0.5 节奏评分
×
0.5。
[0077]
此后，可以将分析的结果返回至客户端。
[0078]
另外，对于上述的一种器乐指法展示以及智能评分的方法，本发明还提出了一实施例，并且本实施例中，也包括有上述的步骤s10至步骤s30，另外，本实施例在所述步骤s10之前，还包括步骤s100
‑
s400，结合图6和图7所示，具体内容如下：
[0079]
s100、用户选择曲目或导入musicxml文件后，系统生成相应乐谱并展示；
[0080]
步骤s100中，步骤步骤s1001
‑
s1003：
[0081]
s1001、读取musicxml文件信息；
[0082]
s1002、按照musicxml文件的schema定义对文件进行解析，得到元素；
[0083]
s1003、将解析后的元素与乐谱信息映射共同作用生成乐谱。
[0084]
s200、乐谱播放时，根据播放进度，同步显示当前乐器的指法图；结合图7所示，步骤s200在本实施例包括步骤s2001
‑
s2007：
[0085]
s2001、选取练习曲目；
[0086]
s2002、按需加载音源库；
[0087]
s2003、按照乐器孔位，进行分解为不同的图片；
[0088]
s2004、根据乐器标准指法，将指法信息转化为图片的绑定信息；
[0089]
s2005、按需加载当前声部的指法数据；
[0090]
s2006、乐谱播放后，按照musicxml文件中音符持续时间与顺序，播放音源库中对应的音频；
[0091]
s2007、播放中结合当前播放时间与曲谱中即时获取到的音符信息，通过音符指法表进行映射即可得到当前乐器指法。
[0092]
s300、进行选段播放；结合图6所示，步骤s300在本实施例中包括步骤s3001
‑
s3007：
[0093]
s3001、选择练习曲目；
[0094]
s3002、通过musicxml文件解析获取当前节拍信息，根据musicxml文件中记录的音符持续时间计算出每个音符处于正常速度下的时间刻度信息；
[0095]
s3003、根据渲染出的曲谱svg，查找出所有音符，获取节点，并创建方便点选的点击层，并绑定id；
[0096]
s3004、进入选段模式，点击任意音符，根据当前绑定的id获取音符信息，并映射的开始时间标记，即可选择当前小节作为起始小节；
[0097]
s3005、重复步骤s3004，即可获取结束时间信息完成选段；
[0098]
s3006、进行播放时，将播放进度设置为开始时间标记；
[0099]
s3007、播放进度过程中即时验证点选结束时间标记，如超出标记范围则回到步骤s3006。
[0100]
s400、选择原音与伴奏的切换，通过加载原音音频或伴奏音频信息进行即时播放。
[0101]
通过上述的一种器乐指法展示以及智能评分的方法，其目的是让器乐爱好者在没有老师指导下，也能轻松进行乐曲练习，完成练习指法、合奏练习以及自我测评。进行评测时，会自动接收用户演奏出的声音，用户演奏结束后，系统会根据所接收的声音信号，从完整性、节奏、音准3个方面进行分析，最终给出一个演奏的综合得分。
[0102]
基于上述的技术方案，本发明与现有技术相比，具有以下的优点：1)可覆盖全声部器乐学习练习系统的空白；2)全声部器乐的五线谱和指法同步练习；3)支持适配场景的含伴奏演奏；4)支持任意自动选择小节循环练习；5)支持自定义乐谱上传功能；6)支持管乐乐器的的声音频段的声音收集比对和传输；7)支持无损的情况下播放速度的自定义。
[0103]
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施
例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。