曲谱与音频的同步方法及计算机可读存储介质与流程

技术特征：
1.一种曲谱与音频的同步方法，其特征在于，包括：获取待同步音频，并提取所述待同步音频的主旋律音轨；根据所述主旋律音轨，提取音高，得到音符序列以及所述音符序列中各组主旋律音符的起止时间，同一组主旋律音符的起止时间一致；将所述音符序列与所述待同步音频对应的曲谱进行比对，确定所述音符序列中的各组主旋律音符与所述曲谱中的各组曲谱音符的对应关系，同一组曲谱音符为需同一时刻演奏的曲谱音符；播放所述待同步音频时，根据各组主旋律音符的起止时间以及所述对应关系，确定当前播放时间对应的曲谱音符，并在曲谱中高亮显示所述对应的曲谱音符或所述对应的曲谱音符所在的小节。2.根据权利要求1所述的曲谱与音频的同步方法，其特征在于，所述根据所述主旋律音轨，提取音高，得到音符序列以及所述音符序列中各组主旋律音符的起止时间具体为：从所述主旋律音轨中提取基频序列；对所述基频序列进行音高拟合，得到音符序列，并获取所述音符序列中各主旋律音符的起止时间；将起止时间一致的主旋律音符划分为同一组。3.根据权利要求1所述的曲谱与音频的同步方法，其特征在于，所述将所述音符序列与所述待同步音频对应的曲谱进行比对，确定所述音符序列中的各组主旋律音符与所述曲谱中的各组曲谱音符的对应关系具体为：从所述音符序列中获取第i组主旋律音符，作为当前主旋律音符，i的初始值为1；判断当前主旋律音符与所述待同步音频对应的曲谱中的第j组曲谱音符是否相同，j的初始值为1；若相同，则将当前主旋律音符与所述第j组曲谱音符进行关联，并对i加一，对j加1，继续执行所述从所述音符序列中获取第i组主旋律音符，作为当前主旋律音符的步骤；若不同，则通过匹配算法，从所述曲谱中获取最佳匹配音符，并将当前主旋律音符与所述最佳匹配音符进行关联。4.根据权利要求3所述的曲谱与音频的同步方法，其特征在于，所述通过匹配算法，从所述曲谱中获取最佳匹配音符，并将当前主旋律音符与所述最佳匹配音符进行关联具体为：获取当前主旋律音符及其之后连续的k组主旋律音符，得到待匹配音符串，k的初始值为预设的数值；根据所述待匹配音符串，在所述曲谱中查找最佳匹配音符串，所述最佳匹配音符串与所述待匹配音符串相同；若未匹配到最佳匹配音符串，则对i加一或对i加k 1，继续执行所述从所述音符序列中获取第i组主旋律音符，作为当前主旋律音符的步骤；若所述最佳匹配音符串的数量为1，则分别将所述待匹配音符串中的各主旋律音符与所述最佳匹配音符串中的各组曲谱音符按照顺序一一对应进行关联，并对i加k 1，令j＝a 1，a为所述最佳匹配音符串中的最后一组曲谱音符在曲谱中的序号，继续执行所述从所述音符序列中获取第i组主旋律音符，作为当前主旋律音符的步骤。
5.根据权利要求4所述的曲谱与音频的同步方法，其特征在于，所述根据所述待匹配音符串，在所述曲谱中查找最佳匹配音符串之后，进一步包括：若所述最佳匹配音符串的数量大于1，则判断k是否达到预设的阈值；若是，则对i加一或对i加k 1，继续执行所述从所述音符序列中获取第i组主旋律音符，作为当前主旋律音符的步骤；若否，则对k加一，继续执行所述获取当前主旋律音符及其之后连续的k组主旋律音符，得到待匹配音符串的步骤。6.根据权利要求4所述的曲谱与音频的同步方法，其特征在于，所述主旋律音轨为人声音轨；所述根据所述主旋律音轨，提取音高，得到音符序列以及所述音符序列中各组主旋律音符的起止时间之后，进一步包括：根据所述主旋律音轨，通过音频转文本技术，生成歌词序列，并获取所述歌词序列中各歌词的起止时间；根据所述音符序列中各组主旋律音符的起止时间以及所述歌词序列中各歌词的起止时间，确定主旋律音符与歌词的对应关系。7.根据权利要求6所述的曲谱与音频的同步方法，其特征在于，所述根据所述待匹配音符串，在所述曲谱中查找最佳匹配音符串之后，进一步包括：若所述最佳匹配音符串的数量大于1，则根据所述主旋律音符与歌词的对应关系，获取所述待匹配音符串对应的待匹配歌词串；根据所述曲谱，分别获取各最佳匹配音符串对应的歌词串；分别计算所述待匹配歌词串与各最佳匹配音符串对应的歌词串的匹配度，并获取匹配度最高的歌词串对应的最佳匹配音符串，作为唯一最佳匹配音符串；分别将所述待匹配音符串中的各组主旋律音符与所述唯一最佳匹配音符串中的各曲谱音符按照顺序一一对应进行关联，并对i加k 1，令j＝b 1，b为所述唯一最佳匹配音符串中的最后一组曲谱音符在曲谱中的序号，继续执行所述从所述音符序列中获取第i个主旋律音符，作为当前主旋律音符的步骤。8.根据权利要求1所述的曲谱与音频的同步方法，其特征在于，所述播放所述待同步音频时，根据各组主旋律音符的起止时间以及所述对应关系，确定当前播放时间对应的曲谱音符，并在曲谱中高亮显示所述对应的曲谱音符或所述对应的曲谱音符所在的小节具体为：播放所述待同步音频，并实时获取播放进度，得到当前播放时间；根据当前播放时间以及所述音符序列中各组主旋律音符的起止时间，确定当前播放时间对应的主旋律音符；根据所述对应关系，获取当前播放时间对应的主旋律音符关联的曲谱音符，得到当前播放时间对应的曲谱音符；显示曲谱，并高亮显示当前播放时间对应的曲谱音符或其所在的小节。9.根据权利要求1所述的曲谱与音频的同步方法，其特征在于，所述待同步音频为乐器演奏音频；所述提取所述待同步音频的主旋律音轨；根据所述主旋律音轨，提取音高，得到音符序
列以及所述音符序列中各组主旋律音符的起止时间具体为：提取所述乐器演奏音频的乐器独奏音轨，作为主旋律音轨；通过音乐转录技术，生成所述主旋律音轨对应的midi文件；根据所述midi文件，得到音符序列以及所述音符序列中各组主旋律音符的起止时间。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-9任一项所述的方法。

技术总结
本发明公开了一种曲谱与音频的同步方法及计算机可读存储介质，方法包括：提取待同步音频的主旋律音轨；根据主旋律音轨，提取音高，得到音符序列以及音符序列中各组主旋律音符的起止时间，同一组主旋律音符的起止时间一致；将音符序列与待同步音频对应的曲谱进行比对，确定音符序列中各组主旋律音符与曲谱中各组曲谱音符的对应关系，同一组曲谱音符为需同一时刻演奏的曲谱音符；播放待同步音频时，根据各组主旋律音符的起止时间以及对应关系，确定当前播放时间对应的曲谱音符，并在曲谱中高亮显示对应的曲谱音符或其所在的小节。本发明可实现谱音同步。可实现谱音同步。可实现谱音同步。


技术研发人员：陈勇 王子亮
受保护的技术使用者：福建星网视易信息系统有限公司
技术研发日：2021.12.31
技术公布日：2022/4/29