一种用于翻谱的二维序列相似度评估系统的制作方法

1.本发明涉及相似度评估领域，更具体地说，涉及一种用于翻谱的二维序列相似度评估系统。


背景技术：

2.目前，ai陪练已经被广泛地应用在钢琴陪练这一领域，早期的ai陪练是通过人工神经网络对弹琴者弹奏曲子的录音进行分析，以对弹琴者的弹琴情况进行评价，通常，此类评价是以对弹琴者整体弹琴水平的一个评分的形式体现，近期的ai陪练也可以进行同步显示弹琴过程与演奏结果，还有一些ai陪练可以在弹琴过程中随着作者的弹琴，乐曲的谱面也随着翻动，现有乐曲谱面的翻动技术的实际载体一般是智能移动设备包括但不限于手机、平板电脑，乐曲谱面翻动技术在这些设备的屏幕上在实质上的以上下滑动的形式实现的，在屏幕上存在多行曲谱信息(手机常规是两行，平板电脑常规是三行)，在本行弹完后曲谱自动将上滑动：隐区本行，拉取下一行信息，其内部实现机制则是存在两条序列，一条是标准曲谱序列，一条是弹琴者的实际弹奏序列，通过对这两条序列的比对来判定当前弹琴人实际弹奏到的地方，将两个音符序列使用myers差分算法(或者相类似的算)进行处理，通过myers找到这两个序列的最长公共子序列(lcs)，这个最长公共子序列就是弹奏者实际弹奏的与曲谱重合的部分，将重合部分的最后一个音符的位置，即最长公共子序列的最后一个值的位置作为弹奏者当前实时弹奏的位置，并输出该位置给智能设备，智能设备来判别输出位置是否超过本行，若超过则翻谱(将本行向屏幕顶部滚动，从屏幕底部拉取下一行信息，并向上滚动)，若不超过则继续进行下一次计算。
3.但该方式只是在匹配后就直接输出弹奏者弹奏的当前位置，因为匹配算法的目标是尽可能去匹配，且中间是不连续的，所以很大可能会跳过一定的位置，导致直接输出的位置是弹奏者未弹奏的。即输出的弹奏位置不是实际的弹奏位置，钢琴曲谱标准序列是按照乐曲谱面上的音符顺序的弹奏时间的先后排列的，常规处理是将一维音符序列仅按照时间点先后顺序来给每个音符排列，由于存在相同时间点按多个键的情况即和弦的情况，从而在用户练习过程中录入准确性不高，易产生错误录入现象发生，影响检测评估的准确性，为此我们推出了一种用于翻谱的二维序列相似度评估系统来解决上述问题。


技术实现要素：

4.针对现有技术中存在的问题，本发明的目的在于提供一种用于翻谱的二维序列相似度评估系统，以解决在用户练习过程中录入准确性不高，易产生错误录入现象发生，影响检测评估的准确性的问题。
5.为解决上述问题，本发明采用如下的技术方案。
6.一种用于翻谱的二维序列相似度评估系统，包括智能终端，所述智能终端包括与其通信连接的ai模块、录入模块、生成模块、数据分析模块、占比分析模块、存储模块、第一检测模块与第二检测模块；
7.所述录入模块用于将外界音源录入至ai模块中，利用ai模块输出一个音符序列；
8.所述生成模块用于将用户预先输入的标准曲子音符序列与ai模块输出的音符序列从简单按时间排序的一维序列升成按时间和音高排序的二维序列；
9.所述数据分析模块用于将标准曲子生成的二维序列与ai模块生成的二维序列数据进行汇总分析；
10.所述占比分析模块用于计算标准谱子序列的音符元素完整性占比与输出序列中与标准谱子序列匹配上的那些音符的元素完整性得分，并构建音符完整性得分序列；
11.所述存储模块用于存储所有超过阈值a的音符元素位置；
12.所述第一检测模块用于检查终点位置是否大于起点位置，若大于起点位置，则检查此时的得分子序列的相似度归一化值是否超过阈值b，若超过阈值b，则输出当前元素位置，即结束运算；若终点位置不大于起点位置，利用第二检测模块检查完整性得分序列中是否还有完整元素，若存在完整元素，则重新进入音符完整性得分序列，若不存在完整元素，则结束本次运作。
13.作为上述技术方案的进一步描述：
14.所述音符完整性得分序列即为以完整性元素为起点，以完整性音符系列的结尾为终点。
15.作为上述技术方案的进一步描述：
16.所述生成模块中所生成的音符序列均采用myers算法。
17.作为上述技术方案的进一步描述：
18.所述智能终端中的录入模块会以256ms一次的频率进行录入，将256ms的实时音频流输出给ai模块。
19.作为上述技术方案的进一步描述：
20.所述智能终端为智能手机、电脑。
21.相比于现有技术，本发明的优点在于：
22.本方案中不仅仅比对了音高，还加入了时间，将同一时间的多个音符看作为一个整体，进行计算，更符合其本身的特性，以完整匹配且比对上的多个音符为基准，多次构建子序列，即使弹奏着多次失误也能通过不断向后搜索计算，来实现实时跟住弹奏者当前的弹奏位置，且每一个构建的完整性子序列中，从后向前地去计算子序列的相似度完整性，可以覆盖弹奏者在短时间连续弹奏多个音符元素，可以在一次计算中就及时输出最新的当前位置，更加贴合用户使用，使用户在练习过程中的检测评估效果更准确。
附图说明
23.图1为本发明的系统示意图；
24.图2为本发明每256ms一次的处理流程示意图。
25.图中标号说明：
26.1、智能终端；2、ai模块；3、录入模块；4、生成模块；5、数据分析模块；6、占比分析模块；7、存储模块；8、第一检测模块；9、第二检测模块。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；
28.请参阅图1～2，本发明中，一种用于翻谱的二维序列相似度评估系统，包括智能终端1，智能终端1包括与其通信连接的ai模块2、录入模块3、生成模块4、数据分析模块5、占比分析模块6、存储模块7、第一检测模块8与第二检测模块9；
29.录入模块3用于将外界音源录入至ai模块2中，利用ai模块2输出一个音符序列；
30.生成模块4用于将用户预先输入的标准曲子音符序列与ai模块2输出的音符序列从简单按时间排序的一维序列升成按时间和音高排序的二维序列；
31.数据分析模块5用于将标准曲子生成的二维序列与ai模块2生成的二维序列数据进行汇总分析；
32.占比分析模块6用于计算标准谱子序列的音符元素完整性占比与输出序列中与标准谱子序列匹配上的那些音符的元素完整性得分，并构建音符完整性得分序列；
33.存储模块7用于存储所有超过阈值a的音符元素位置；
34.第一检测模块8用于检查终点位置是否大于起点位置，若大于起点位置，则检查此时的得分子序列的相似度归一化值是否超过阈值b，若超过阈值b，则输出当前元素位置，即结束运算；若终点位置不大于起点位置，利用第二检测模块9检查完整性得分序列中是否还有完整元素，若存在完整元素，则重新进入音符完整性得分序列，若不存在完整元素，则结束本次运作。
35.其中：生成模块4中所生成的音符序列均采用myers算法。
36.本发明中，在用户进行乐器练习时，可预先将智能终端1摆放好，随后利用ai模块2、录入模块3与生成模块4配合使用将输入的标准曲子的音符序列和ai模型输出的音符序列升维，从简单按时间排序的一维序列升成按时间和音高排序的二维序列，接着利用数据分析模块5对标准曲子生成的二维序列与ai模块2生成的二维序列数据进行汇总分析，利用占比分析模块6运作，从而计算标准谱子序列的音符元素完整性占比(单位音符分数)，根据myers匹配上的结果，计算输出序列中与标准谱子序列匹配上的那些音符的元素完整性得分，并构建音符完整性得分序列，利用存储模块7来统计所有超过阈值a的音符元素位置，以完整性元素为起点，以完整性音符系列的结尾为终点，构建完整性得分子序列，利用第一检测模块8检查终点位置是否大于起点位置，若大于则检查此时的得分子序列的相似度归一化值是否超过阈值b，若超过则输出当前元素位置(即结束运算)，反之，则在当前子序列的情况下，起点不变，终点前移一个与元素位置，随后再次检测，利用第二检测模块9的设置，若终点位置不大于起点位置则检查完整性得分序列中是否还有完整元素，若有则以完整性元素为起点，以完整性音符系列的结尾为终点，构建完整性得分子序列(下一个完整元素为起点)，反之若没有完整元素则结束本次运算。
37.其中：音符完整性得分序列即为以完整性元素为起点，以完整性音符系列的结尾为终点。
38.本发明中，根据音符完整性得分序列即为以完整性元素为起点，以完整性音符系列的结尾为终点，即为整首曲子的开始与结束。
39.其中：智能终端1中的录入模块3会以256ms一次的频率进行录入，将256ms的实时
音频流输出给ai模块2。
40.本发明中，根据智能终端1中的录入模块3会以256ms一次的频率进行录入，将256ms的实时音频流输出给ai模块2，可达到良好的实时录入效果，减少未录入与间隔录入的现象发生。
41.其中：智能终端1为智能手机、电脑。
42.本发明中，根据智能终端1为智能手机、电脑，多样化选择，便于用户根据自身情况进行选择。
43.需要说明的是，本技术中的各设备均为市场常见设备，具体使用时可根据需求选择，且各设备的电路连接关系均属于简单的串联、并联连接电路，在电路连接这一块并不存在创新点，本领域技术人员可以较为容易的实现，属于现有技术，不再赘述。
44.工作原理：在用户进行乐器练习时，可预先将智能终端1摆放好，随后利用ai模块2、录入模块3与生成模块4配合使用将输入的标准曲子的音符序列和ai模型输出的音符序列升维，从简单按时间排序的一维序列升成按时间和音高排序的二维序列，接着利用数据分析模块5对标准曲子生成的二维序列与ai模块2生成的二维序列数据进行汇总分析，利用占比分析模块6运作，从而计算标准谱子序列的音符元素完整性占比(单位音符分数)，根据myers匹配上的结果，计算输出序列中与标准谱子序列匹配上的那些音符的元素完整性得分，并构建音符完整性得分序列，利用存储模块7来统计所有超过阈值a的音符元素位置，以完整性元素为起点，以完整性音符系列的结尾为终点，构建完整性得分子序列，利用第一检测模块8检查终点位置是否大于起点位置，若大于则检查此时的得分子序列的相似度归一化值是否超过阈值b，若超过则输出当前元素位置(即结束运算)，反之，则在当前子序列的情况下，起点不变，终点前移一个与元素位置，随后再次检测，利用第二检测模块9的设置，若终点位置不大于起点位置则检查完整性得分序列中是否还有完整元素，若有则以完整性元素为起点，以完整性音符系列的结尾为终点，构建完整性得分子序列(以下一个完整元素为起点)，反之若没有完整元素则结束本次运算；
45.首先计算标准曲谱序列的每一个元素里每个音符占据本元素的比重，若该元素有三个音符，则每个音符占据该元素的1/3比重，将其量化为数据值1/3；同理若该元素有两个音符，则每个音符占据1/2的比重，将其量化为数据值1/2；本文将其量化的数据值定义为音符元素完整性单位分数；
46.每个元素的完整性得分计算方法为：该元素匹配上的音符个数除以该元素所有音符数目，某一元素的完整性分数区间为[0,1]，若该元素匹配上的音符个数等于该元素所有音符数目，则说明该元素完全完整即完整行得分为1分，若该元素匹配上音符个数为0，说明全部完整性得分为0分；
[0047]
具体音符元素得分序列计算方法如下：
[0048]
接着以标准序列为基准，构建一个ai模型输出序列的完整性得分序列，得分序列指的是两个序列(ai模型输出的序列与标准曲谱序列)经过myers算法匹配后，将输出的序列中匹配上的一一对应到标准序列上，计算每个元素的完整性得分，在标准序列中若某个元素有三个音符在模型输出的音符序列中匹配上两个(该元素的完整性占比单位分数为1/3，该元素的完整性得分为2/3)；
[0049]
遍历完整性得分序列，记录下所有超过阈值的位置，记录下所有超过阈值a的元
素，以这些超过阈值的元素为起点，分别构建各自的完整性得分子序；
[0050]
在完整性得分子序列中，以超过阈值的元素的位置为起点，以当前子序列的结束位置为终点，进行完整性得分归一化计算，并逐一按照每次将结束位置的前一位置作为终点，计算本序列的完整性得分归一化值，在逐一向前的过程中若子序列里某个区间的完整性得分归一化值超过阈值b，则输出该区间的终点(即曲谱当前位置)，当起点与终点相邻时结束本元素的子序列计算，以下一个超过阈值a的元素为起点，继续进行下一个元素的子序列的计算，如果没有下一个了，则结束本次计算；
[0051]
具体的，二维序列子序列的得分序列的相似度完整性计算公式如下：
[0052][0053]
式中a和b都为正整数，且a的取值范围是零到倒数第二个完整点之间的离散值，b的取值范围是1到序列的长度，a是完整性子序列中某个超过阈值的位置，以该位置为起点构建的得分子序列的起点；b为该得分子序列的终点；s是指以第a个完整位置的音符位置为起点，以a b为终点，标准谱子序列元素的完整性得分序列，β
(a，b)
是指以第a个完整位置的音符位置为起点，以b为终点子序列的相似度完整性的值；
[0054]
以位置a为起点，位置a b为终点的子序列的相似度完整性计算方法如下：
[0055][0056]
位置为i的音符元素的完整性得分si的计算方法如下：
[0057][0058]
整个装置，可以大幅度提高准确率，减少错误录入现象发生，便于用户练习使用即使弹奏着多次失误也能通过不断向后搜索计算，来实现实时跟住弹奏者当前的弹奏位置，且每一个构建的完整性子序列中，从后向前地去计算子序列的相似度完整性，可以覆盖弹奏者在短时间连续弹奏多个音符元素，可以在一次计算中就及时输出最新的当前位置，更加贴合用户使用，减少错误录入现象发生，使用户在练习过程中的检测评估效果更准确。
[0059]
以上所述，仅为本发明较佳的具体实施方式；但本发明的保护范围并不局限于此。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。