曲谱呈现方法及电子设备与流程

1.本发明涉及计算机技术领域，尤其涉及一种曲谱呈现方法及电子设备。


背景技术：

2.目前，在乐器演奏场景中，可通过电子设备来呈现电子曲谱，以供演奏者观看。通常，在电子曲谱中，用以提示演奏进度的光标按照一定的速度向前移动，演奏者跟着光标移动的进度进行演奏。而在实际的乐器演奏中，是由演奏者来掌握演奏速度的，演奏者不可能完全严格按照规定的演奏速度来，实际演奏可能忽快忽慢，演奏者也可能在演奏中弹错了停顿一下，甚至重复，或跳跃。显然，按照一定速度指示演奏者进行演奏的方式无法与演奏者的实际演奏进步相匹配，进而则无法掌握准备的翻谱时机。相关技术中还提供了另一种通过逐音跟随的方式来呈现谱曲，在该方式中，演奏者每正确演奏出一个音符，相应的，电子曲谱中的光标移动到下一个音符，以此类推，但该种方式对演奏者的演奏水平具有较高的要求，演奏者需确保其演奏的每一个音符都百分之百正确，否则无法继续参照曲谱进行演奏。可见，一种定位演奏者演奏进度的措施有待被提出。


技术实现要素：

3.有鉴于此，本发明一个或多个实施例提供一种曲谱呈现方法及电子设备，能够根据当前正在被演奏的曲谱的音频数据有效定位到当前演奏的位置。
4.本发明一个或多个实施例提供了一种曲谱呈现方法，包括：获取演奏者演奏曲谱的产生的音频数据；将所述音频数据转换为以音符的数字控制信号形式表示的第一目标数据；以所述第一目标数据中的每个音符作为起点，将所述第一目标数据截取为多个曲谱分段；确定各所述曲谱分段与预设曲谱分段之间的相似度，其中，所述各预设曲谱分段由所述曲谱转换得到的第二目标数据进行截取得到；根据确定出的最高相似度对应的预设曲谱分段确定所述曲谱当前演奏的位置；根据所述曲谱当前演奏的位置呈现所述曲谱。
5.可选的，以所述第一目标数据中的每个音符作为起点，将所述第一目标数据截取为多个曲谱分段，包括：以所述第一目标数据中的每个音符作为起点，以各所述起点分别截取多个不同长度的曲谱分段，得到所述多个曲谱分段。
6.可选的，确定各所述曲谱分段与预设曲谱分段之间的相似度，包括：分别计算所述多个曲谱分段中各曲谱分段的特征值；根据所述特征值以及各预设曲谱分段的特征值分别确定各所述曲谱分段与各所述预设曲谱分段之间的相似度，其中，所述各曲谱分段的特征值包括所述各曲谱分段对应的音高的平均值，和/或所述各曲谱分段对应的音高的方差值。
7.可选的，所述方法还包括：在根据确定出的所述相似度最高的曲谱分段确定所述曲谱当前演奏的位置之后，在所述曲谱中定位当前演奏所对应的行。
8.可选的，根据所述曲谱当前演奏的位置呈现所述曲谱，包括：响应于根据确定出的当前演奏所对应的行，确定在预设时间段之后到达翻谱位置，执行翻谱操作。
9.可选的，根据确定出的最高相似度对应的曲谱分段确定所述曲谱当前演奏的位
置，包括：响应于确定出的最高相似度对应多个预设曲谱分段，将在所述曲谱中与上一次确定出的历史演奏位置相邻的且处于所述历史演奏位置之后的预设曲谱分段所在的位置为所述曲谱当前演奏的位置。
10.可选的，所述方法还包括：在获取当前正在被演奏的曲谱的音频数据之前，将所述曲谱转换为以音符的数字控制信号形式表示的第二目标数据；以所述第二目标数据中的每个音符作为起点，将所述第二目标数据截取为多个曲谱分段，得到所述预设曲谱分段；计算各所述预设曲谱分段的特征值。
11.可选的，以所述第二目标数据中的每个音符作为起点，将所述第二目标数据截取为多个曲谱分段，包括：将所述曲谱中左手、右手以及双手对应的音轨中的每个音符作为起点，将所述第二目标数据截取为多个曲谱分段。
12.可选的，所述第一目标数据以及所述第二目标数据为乐器数字接口midi数据。
13.本发明一个或多个实施例还提供了一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为所述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于上述任意一种曲谱呈现方法。
14.本发明一个或多个实施例提供的曲谱呈现方法，将获取到的演奏者演奏曲谱的产生的音频数据转换为以音符的数字控制信号形式表示的第一目标数据，将该第一目标数据截取为多个曲谱分段，确定各曲谱分段与预设曲谱分段之间的相似度，根据确定出的最高相似度对应的预设曲谱分段确定曲谱当前的演奏位置，根据曲谱当前演奏位置呈现所述曲谱，实现了根据演奏者演奏曲谱产生的音频数据有效定位到当前演奏的位置的目的，从而可根据演奏者实际演奏情况同步呈现曲谱的目的，提高了所呈现的曲谱与演奏者实际演奏情况的匹配度。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
16.图1是根据本发明一个或多个实施例示出的一种曲谱呈现方法的流程图；
17.图2是根据本发明一个或多个实施例示出的一种电子设备的结构示意图。
具体实施方式
18.下面结合附图对本发明实施例进行详细描述。
19.应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
20.图1是根据本发明一个或多个实施例示出的一种曲谱呈现方法的流程图，如图1所示，该方法包括：
21.步骤101：获取演奏者演奏曲谱的产生的音频数据；
22.在本发明的一个或多个实施例中，可通过移动终端中安装的用于采集声音的应用程序来采集演奏者演奏的曲谱的音频数据，该音频数据例如可以是wav格式的波形音频数据。
23.步骤102：将所述音频数据转换为以音符的数字控制信号形式表示的第一目标数据；
24.在本发明的一个或多个实施例中，音频数据仍以wav格式的波形音频数据为例，当前演奏者演奏曲谱所使用的乐器例如可以是钢琴，在本实施例中以88键钢琴为例，可将演奏者演奏曲谱的音频数据输入预先训练完成的深度神经网络系统，使该深度神经网络系统可输出各琴键的对应的概率事件，该概率事件分别用来表示88个琴键被按下的概率。由于音频数据为多帧数据，对每一帧数据，每个琴键产生一个事件概率，故各琴键对应的事件概率为一个多帧概率序列数据。对每个琴键的事件概率，在第一帧概率不小于预设概率时，得到基于该琴键的事假概率转换得到的第一目标数据。其中，第一目标数据例如可以是任意一种用音符的数字控制信号来记录声音的声音数据，本发明以midi(musical instrument digital interface，乐器数字接口)数据为例。上述预设概率可根据实际需求预先进行设置，本发明不做具体限制。
25.上述深度神经网络系统可采用cnn(convolutional neural networks，卷积神经网络)以及lstm(long short-term memory，长短期记忆网络)网络模型实现，演奏所使用的乐器仍以钢琴为例，可通过cnn网络向lstm网络输入多个琴键对应的音频数据所提取出的特征，lstm网络输出多个琴键的对应的概率事件。
26.步骤103：以所述第一目标数据中的每个音符作为起点，将所述第一目标数据截取为多个曲谱分段；
27.在一个实施例中，第一目标数据包括n个音符，该n个音符可用数组表示，可先以该数组中的第一个音符作为起点，截取m(m不大于n)个音符长度的曲谱分段，再以第二个音符作为起点，截取m个音符长度的曲谱分段，以此类推，直至截取到数组中的最后一个音符，得到多个曲谱分段。
28.在另一个实施例中，在以数组中的各个音符作为起点截取曲谱分段时，可截取包括不同个数音符长度的多个曲谱分段，从而得到数量更多的曲谱分段。
29.步骤104：确定各所述曲谱分段与预设曲谱分段之间的相似度，其中，所述各预设曲谱分段由所述曲谱转换得到的第二目标数据进行截取得到；
30.例如，对于截取得到的多个曲谱分段中的任一曲谱分段，可以利用该曲谱分段中所体现出的多种声音特征中的至少一种声音特征作为曲谱分段的特征，将该特征与预设曲谱分段的该特征进行比较，得出二者之间的相似度。
31.在一个实施例中，基于第二目标数据截取得到预设曲谱分段的方式可与基于第一目标数据截取得到上述多个曲谱分段的方式相同，也可不同，本发明不做具体限制。
32.步骤105：根据确定出的最高相似度对应的预设曲谱分段确定所述曲谱当前演奏的位置；
33.步骤106：根据所述曲谱当前演奏的位置呈现所述曲谱。
34.例如，分别计算由第一目标数据截取得到的各曲谱分段与多个预设曲谱分段之间
中各预设曲谱分段的相似度，得到多个相似度的数值，取其中数值最大的相似度对应的预设曲谱分段，可将该预设曲谱分段在曲谱中的位置确定为当前演奏的位置。
35.本发明一个或多个实施例提供的曲谱呈现方法，将获取到的演奏者演奏曲谱的产生的音频数据转换为以音符的数字控制信号形式表示的第一目标数据，将该第一目标数据截取为多个曲谱分段，确定各曲谱分段与预设曲谱分段之间的相似度，根据确定出的最高相似度对应的预设曲谱分段确定曲谱当前的演奏位置，根据曲谱当前演奏位置呈现所述曲谱，实现了根据演奏者演奏曲谱产生的音频数据有效定位到当前演奏的位置的目的，从而可根据演奏者实际演奏情况同步呈现曲谱的目的，提高了所呈现的曲谱与演奏者实际演奏情况的匹配度。
36.在本发明的一个或多个实施例中，以所述第一目标数据中的每个音符作为起点，将所述第一目标数据截取为多个曲谱分段，可包括：
37.以所述第一目标数据中的每个音符作为起点，以各所述起点分别截取多个不同长度的曲谱分段，得到所述多个曲谱分段。例如，假设第一目标数据中包括7个音符，用数组表示为：[3,2,1,2,3,3,3]。先以第一个音符为起点，选择3-5个音的长度的不同曲谱分段，例如得到[3,2,1]，[3,2,1,2]，[3,2,1,2,3]三个曲谱分段，再以第2个音符为起点，选择3-5个音的长度的不同曲谱分段，例如得到[2,1,2]，[2,1,2,3]，[2,1,2,3,3]三个曲谱分段，以此类推。
[0038]
在本发明的一个或多个实施例中，确定各所述曲谱分段与预设曲谱分段之间的相似度，可包括：
[0039]
分别计算所述多个曲谱分段中各曲谱分段的特征值；根据所述特征值以及各预设曲谱分段的特征值分别确定各所述曲谱分段与各所述预设曲谱分段之间的相似度，例如，假设由上述第一目标数据截取得到i个曲谱分段，由上述第二目标数据截取得到j个预设曲谱分段，则依次根据该i个曲谱分段中各曲谱分段的特征值与j个预设曲谱分段中各曲谱分段的特征值，确定该i个曲谱分段中各曲谱分段与j个预设曲谱分段中各曲谱分段之间的相似度，其中，所述各曲谱分段的特征值可包括所述各曲谱分段对应的音高的平均值，和/或所述各曲谱分段对应的音高的方差值。根据演奏的曲谱分段的特征值与由曲谱截取得到的预设曲谱分段的特征值确定与演奏的曲谱分段相似度最高的预设曲谱分段，再根据该相似度最高的预设曲谱分段确定当前演奏的位置，可以实现通过采集到演奏者演奏的音频数据，自动定位到当前演奏的位置，降低了对演奏者的演奏水平和演奏方式的要求。即使在演奏者的演奏出现大量错误的情况下(包括错音、丢音、多音、节奏错误、卡顿、重弹以及跳跃等演奏错误)，仍然能够做到准确定位当前演奏的位置。
[0040]
在本发明的一个或多个实施例中，所述方法还可包括：
[0041]
在根据确定出的所述相似度最高的曲谱分段确定所述曲谱当前演奏的位置之后，在所述曲谱中定位当前演奏所对应的行。例如，在演奏者根据曲谱进行演奏的过程中，曲谱始终呈现在电子设备的屏幕上，可在每次在曲谱中定位了当前演奏所对应的行之后，在曲谱中突出显示该行，以起到向演奏者提示当前演奏进度的目的。
[0042]
在本发明的一个或多个实施例中，根据所述曲谱当前演奏的位置呈现所述曲谱，可包括：响应于根据确定出的当前演奏所对应的行，确定在预设时间段之后到达翻谱位置，执行翻谱操作。其中，翻谱操作例如可以是在显示曲谱的电子设备的屏幕上由显示的当前
曲谱页面切换至显示下一页曲谱。预设时间段可根据实际情况进行设置，本发明对此不做具体限制。在本实施例中，为了使翻谱时机比实际演奏进度略微提前，以便于演奏者可以及时查看到即将演奏的曲谱部分，该预设时间段可以设置为0.5秒。在乐器演奏过程中，演奏者的眼睛一般都会盯到当前演奏位置的之后的一个片段，而不是当前片段，因为演奏者需要提前读谱，才能流畅演奏。故通过使翻谱的时机比实际演奏进度略微提前，可以便于演奏者及时读谱，提升了演奏者的使用感受。
[0043]
在本发明的一个或多个实施例中，根据确定出的最高相似度对应的曲谱分段确定所述曲谱当前演奏的位置，可包括：
[0044]
响应于确定出的最高相似度对应多个预设曲谱分段，将在所述曲谱中与上一次确定出的历史演奏位置相邻的且处于所述历史演奏位置之后的预设曲谱分段所在的位置为所述曲谱当前演奏的位置。例如，在确定出由第二目标数据截取得到的多个预设曲谱分段中，存在多个预设曲谱分段与由第一目标数据截取得到的某一个曲谱分段的相似度最高时，可优先选择在曲谱中与上一次确定出的历史演奏位置相邻的，且处于该历史演奏位置之后的预设曲谱分段所在的位置为当前演奏的位置。由于一般情况下演奏者都是依照曲谱从前到后顺序演奏，故，采用该种方式可进一步提高对当前演奏位置的定位精度。
[0045]
在本发明的一个或多个实施例中，所述方法还可包括：在获取当前正在被演奏的曲谱的音频数据之前，将所述曲谱转换为以音符的数字控制信号形式表示的第二目标数据；以所述第二目标数据中的每个音符作为起点，将所述第二目标数据截取为多个曲谱分段，得到所述预设曲谱分段；计算各所述预设曲谱分段的特征值。第二目标数据可以midi数据为例，在本实施例中，可采用将上述音频数据转换为第一目标数据同样的方式来将曲谱转换为第二目标数据，此处不再赘述。在将第二目标数据截取为多个预设曲谱分段，以及计算各预设曲谱分段的特征值之后，可建立各预设曲谱分段与其对应的预设值之间的对应关系，以便于后续通过预设曲谱分段的特征值与基于第一目标数据截取得到的曲谱分段的特征值来确定二者之间的相似度。
[0046]
在本发明的一个或多个实施例中，为了可以自动识别出获取到的音频数据属于左手、右手或双手的演奏，可在将曲谱截取为预设曲谱分段时，即进行区别处理，基于此，以所述第二目标数据中的每个音符作为起点，将所述第二目标数据截取为多个曲谱分段，可包括：将所述曲谱中左手、右手以及双手对应的音轨中的每个音符作为起点，将所述第二目标数据截取为多个曲谱分段。
[0047]
本发明一个或多个实施例还提供了一种电子设备，所述电子设备包括：壳体、处理器、存储器、电路板和电源电路，其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路，用于为所述电子设备的各个电路或器件供电；存储器用于存储可执行程序代码；处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行上述任意一种曲谱演奏位置确定方法。
[0048]
为了便于对本发明的理解，以下以一个例子对本发明一个或多个实施例的曲谱呈现方法进行进一步说明。
[0049]
通过上述深度神经网络系统将曲谱转换成midi数据；
[0050]
分别将midi数据中左、右手以及双手的音轨中每个音符作为起点，截取得到不同的长度的预设曲谱分段，计算得到的各预设曲谱分段的特征值，其中，特征值可以取该预设
曲谱分段所对应的音高平均值以及方差值；
[0051]
通过上述深度神经网络系统，将从移动端采集到的演奏者演奏曲谱产生的波形音频数据转换成midi数据；其中，可通过运行安装于移动终端中的用于声音采集的应用程序来采集演奏者演奏曲谱产生的波形音频数据。
[0052]
将演奏者演奏曲谱得到的midi数据中左、右手以及双手的音轨中每个音符作为起点，截取得到不同的长度的曲谱分段，计算得到的各曲谱分段的特征值，同样的，该特征值可以该预设曲谱分段所对应的音高平均值以及方差值；
[0053]
计算每一对演奏者演奏的曲谱分段和预设曲谱分段之间的相似度；
[0054]
找到相似度时对应的预设曲谱分段，将该预设曲谱分段在曲谱中的位置作为当前演奏的位置，并进行翻谱操作。翻谱可定位到当前演奏所对应的行。例如，根据演奏者当前演奏的速度，如果判断0.5秒后将到达翻谱位置，则进行翻谱操作。
[0055]
相应的，如图2所示，本发明一个或多个实施例还提供了一种电子设备，可以包括：壳体21、处理器22、存储器23、电路板24和电源电路25，其中，电路板24安置在壳体21围成的空间内部，处理器22和存储器23设置在电路板24上；电源电路25，用于为所述服务器的各个电路或器件供电；存储器23用于存储可执行程序代码；处理器22通过读取存储器23中存储的可执行程序代码来运行与可执行程序代码对应的程序，用于执行前述实施例提供的任一种曲谱呈现方法。
[0056]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0057]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0058]
尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0059]
为了描述的方便，描述以上装置是以功能分为各种单元/模块分别描述。当然，在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
[0060]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0061]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。