一种基于音频和手部关节的钢琴陪练评价方法及系统与流程

1.本发明涉及钢琴陪练技术领域，具体涉及一种基于音频和手部关节的钢琴陪练评价方法及系统。


背景技术：

2.练习钢琴，大多是独自重复练习，没有科学的评价不易知晓自己错误姿势，无法形成客观的评价。因此市场中出现了很多智能陪练软件，通过音频对演奏进行评价，但是都存在评价不够客观的问题，同时无法纠正手部动作。现在的评分标准是把演奏音频和乐谱进行对比，但这种方法存在缺陷：
3.1、环境中噪音较大时，严重影响识别的精准度；
4.2、评价方式单一，只能判断音调是否准确，不能判断手势是否正确和演奏的真假。
5.因此现有的钢琴陪练评价方法精准度不高、陪练评价方式单一是亟待解决的技术问题。


技术实现要素：

6.为了解决现有的钢琴陪练评价方法精准度不高、陪练评价方式单一的技术问题，本发明提供了一种基于音频和手部关节的钢琴陪练评价方法及系统，以提高评价的精准度和全面性。
7.为了实现上述目的，本发明一种基于音频和手部关节的钢琴陪练评价方法，包括以下步骤：
8.采集演奏过程中每乐句的音频信息和手部关节信息，并将所述音频信息和所述手部关节信息与曲库中的标准信息比对，获得每乐句的音频准确度a
i
和每乐句的手部关节吻合度b
i
；
9.根据预设动态难度系数算法计算得到每乐句的动态难度系数c
i
；
10.根据所述每乐句的音频准确度a
i
、所述每乐句的手部关节吻合度b
i
以及所述每乐句的动态难度系数c
i
，通过预设加权算法计算得到钢琴陪练的演奏准确程度e。
11.优选地，所述预设动态难度系数算法具体为：
[0012][0013]
其中，v为曲速，n
i
为每乐句特殊奏法数目，σ、ω为大于0的常数。
[0014]
优选地，所述预设加权算法具体为：
[0015][0016]
其中，n为演奏的乐句数量，α
i
和β
i
分别为音频准确度和手部关节吻合度的加权系数。
[0017]
此外，为了实现上述目的，本发明还提供了一种基于音频和手部关节的钢琴陪练评价系统，包括：
[0018]
信息采集模块，用于采集演奏过程中每乐句的音频信息和手部关节信息，并将所述音频信息和所述手部关节信息与曲库中的标准信息比对，获得每乐句的音频准确度a
i
和每乐句的手部关节吻合度b
i
；
[0019]
动态难度系数计算模块，用于通过预设动态难度系数算法计算得到每乐句的动态难度系数c
i
；
[0020]
演奏准确程度计算模块，用于根据所述每乐句的音频准确度a
i
、所述每乐句的手部关节吻合度b
i
以及所述每乐句的动态难度系数c
i
，通过预设加权算法计算得到钢琴陪练的演奏准确程度e。
[0021]
优选地，所述预设动态难度系数算法具体为：
[0022][0023]
其中，v为曲速，n
i
为每乐句特殊奏法数目，σ、ω为大于0的常数。
[0024]
优选地，所述预设加权算法具体为：
[0025][0026]
其中，n为演奏的乐句数量，α
i
和β
i
分别为音频准确度和手部关节吻合度的加权系数。
[0027]
本发明的有益效果是：本发明利用音频和手部姿态共同对演奏者进行评价，避免了音调识别不准确，噪音影响，无法判断演奏真假的问题，为每乐句生成动态难度系数，结合难度系数进行评价打分，更具有客观性和全面性。
附图说明
[0028]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0029]
图1是本发明一种基于音频和手部关节的钢琴陪练评价方法的流程图；
[0030]
图2是本发明一种基于音频和手部关节的钢琴陪练评价系统的结构图；
[0031]
图3是本发明评价结果图。
具体实施方式
[0032]
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
[0033]
请参考图1，图1是本发明一种基于音频和手部关节的钢琴陪练评价方法的流程图；
[0034]
本实施例中，一种基于音频和手部关节的钢琴陪练评价方法，包括以下步骤：
[0035]
s1、采集演奏过程中每乐句的音频信息和手部关节信息，并将所述音频信息和所述手部关节信息与曲库中的标准信息比对，获得每乐句的音频准确度a
i
和每乐句的手部关节吻合度b
i
；
[0036]
具体地，在每个乐句中，通过放置在钢琴周围的麦克风阵列进行收音获取各个角度的声音，经过计算机分析识别得到不同的音阶音调，再通过与曲库中乐谱的比对判断演奏者弹奏的音频的重合度，即为音频准确度a
i
，通过摄像头获取手部动作视频，用openpose算法检测手部关节的状态，并与标准视频进行对比，得到每乐句的手部关节吻合度b
i
；
[0037]
s2、根据预设动态难度系数算法计算得到每乐句的动态难度系数c
i
；
[0038]
所述预设动态难度系数算法具体为：
[0039][0040]
其中，v为曲速，n
i
为每乐句特殊奏法数目，σ、ω、b为大于0的常数，可根据需要进行设置。
[0041]
在本实施例中，取σ＝2，ω＝5，b＝0.9866。
[0042]
s3、根据所述每乐句的音频准确度a
i
、所述每乐句的手部关节吻合度b
i
以及所述每乐句的动态难度系数c
i
，通过预设加权算法计算得到钢琴陪练的演奏准确程度e；
[0043]
所述预设加权算法具体为：
[0044][0045]
其中，n为演奏的乐句数量，α
i
和β
i
分别为音频准确度和手部关节吻合度的加权系数。
[0046]
在本实施例中，取α
i
＝0.6，β
i
＝0.4。
[0047]
参考图2，图2是本发明一种基于音频和手部关节的钢琴陪练评价系统的结构图；
[0048]
本实施例中，提供了一种基于音频和手部关节的钢琴陪练评价系统，包括：
[0049]
信息采集模块，用于采集演奏过程中每乐句的音频信息和手部关节信息，并将所述音频信息和所述手部关节信息与曲库中的标准信息比对，获得每乐句的音频准确度a
i
和每乐句的手部关节吻合度b
i
；
[0050]
动态难度系数计算模块2，用于通过预设动态难度系数算法计算得到每乐句的动态难度系数c
i
；
[0051]
演奏准确程度计算模块3，用于根据所述每乐句的音频准确度a
i
、所述每乐句的手部关节吻合度b
i
以及所述每乐句的动态难度系数c
i
，通过预设加权算法计算得到钢琴陪练的演奏准确程度e。
[0052]
参考图3，图3是本发明评价结果图；由图3可知，本发明方法能够实时的显示演奏过程中的每乐句的音频准确度、手部关节吻合度以及综合准确率，通过预设加权算法可以得到最终的演奏准确程度e，同时标记演奏过程中的错误片段，达到了精准的评价效果。
[0053]
在本实施例中，以贝多芬的《第一奏鸣曲》第一乐章前15乐句为例：若音频准确率a
i
为：80％、90％、78％、85％、86％、84％、72％、70％、65％、80％、82％、81％、80％、77％、85％，若手势准确率b
i
为：90％、92％、88％、80％、84％、83％、75％、69％、71％、83％、85％、85％、80％、76％、80％，曲速取132，动态难度系数依次为5、4、5、4、4、4、7、8、7、4、4、4、5、6、4，经过加权计算后此次演奏最终得分e＝29.56。
[0054]
本发明实施后的有益效果是：
[0055]
1.利用音频和手部姿态共同对演奏者进行评价，提高了评价的精准度；
[0056]
2.避免了音调识别不准确，噪音影响，无法判断演奏真假的问题；
[0057]
3.为每乐句生成动态难度系数。
[0058]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有
的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0059]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0060]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。