演奏辅助系统及其演奏辅助方法与流程

本发明涉及音乐演奏领域，特别是涉及一种演奏辅助系统及演奏辅助方法。

背景技术：

1、现有的合奏训练架构多采用中心节点向所有终端广播或简单寻址的方式分发合奏控制指令，例如利用乐谱中的声部信息向对应声部的乐器终端推送灯光引导指令的方式来控制乐器终端上对应的led灯光的亮灭、颜色等，从而实施声部切换预告等指示。但这种指令分发的方式无法实现“一人一谱”的乐器级的精准管控与信道隔离，且灯光仅能指示声部切换预告，并无法实现完善的教学引导。

2、并且，现有的合奏训练架构多与固定场景绑定，缺乏完善的节奏引导、多声部协同演奏等教学引导与反馈机制，难以适配多声部、多终端等多样化的衍生场景下的精细化声部分工需求，也难以满足集体教学与协同演奏的实时性要求，尤其难以支撑例如百人规模教学、专业乐团排练等高要求协同场景。

3、另外，现有的演奏终端仅具备基础演奏功能，缺乏视觉化指示功能以及节奏反馈指示功能等，无法满足现代化教学对实时引导、协同合奏、数据反馈等多方面的需求。尤其是针对初学者，不仅读谱上手门槛高，而且容易出现错弹、漏弹、难以精准把握演奏节拍（节奏概念脱离，初学无法养成节奏习惯）等问题，由此导致教学效率低下。而且，由于缺乏视觉化指示功能以及节奏反馈指示功能等，导致演奏者的演奏表现力不足，同时无法通过力度等变化，实现细腻、个性化的感性艺术处理教学。

4、另外，现有的演奏终端缺乏预判演奏提示，无法预判整条旋律，会造成演奏存在严重断续、割裂等情况，从而影响教学。

技术实现思路

1、本发明的目的在于提供一种演奏辅助系统及其演奏辅助方法，可以有效解决现有技术的至少一缺陷。

2、为了实现上述目的，本发明提供一种演奏辅助系统，其包括数据处理端与演奏交互端。所述数据处理端用于获取总谱数据并解析生成多路分谱数据，并内置时序同步单元与过滤分发单元；所述时序同步单元用于生成全局时间戳，并周期性地下发时钟校准指令，统一所述演奏辅助系统中所有终端硬件的时钟；所述过滤分发单元用于执行分层过滤操作，依据乐器或演奏角色对所述总谱数据进行分层过滤，经过滤的分谱数据携带时序标签下发至所述演奏交互端。所述演奏交互端与所述数据处理端建立双向的数据通道，用于接收所述分谱数据；所述演奏交互端还用于采集演奏者生成的演奏数据并回传至所述数据处理端；所述演奏交互端还包含演奏提示单元，所述演奏提示单元与对应的所述分谱数据的音符时序绑定，并同步输出当前音符的实时演奏提示，以及基于演奏时间轴的后续音符的预判提示。

3、在本发明的一些实施例中，所述分层过滤包含乐器组过滤、单乐器过滤、和弦单音过滤中的至少一种或任意组合；所述数据处理端还包含映射表生成单元，用于执行映射表生成操作，生成反映“终端 - 座位 - 乐器 - 数据通道”之间四维关系的映射表，其中所述过滤分发单元是依据所述映射表下发所述分谱数据；其中，所述数据处理端支持单乐器独立屏蔽，所述经过滤的分谱数据通过隔离的所述数据通道下发。

4、在本发明的一些实施例中，所述演奏提示单元包括灯阵单元，所述灯阵单元包含至少一行灯行，并通过亮度、行数、或色彩来区分所述实时演奏提示与所述预判提示；其中，所述预判提示的视觉强度与对应音符距离当前演奏时刻的时长呈负相关，并采用多行灯行或单行灯行梯度亮度的方式来实现所述预判提示。

5、在本发明的一些实施例中，所述演奏交互端还用于对所述演奏数据附加本地时序戳之后再回传至所述数据处理端；所述时序同步单元还用于对回传的所述演奏数据进行时序偏差校验。

6、在本发明的一些实施例中，所述演奏提示单元还包括震动单元和/或视觉节拍器单元；所述震动单元用于执行震动指示操作，根据所述分谱数据中的强拍信息以第一震动方式进行演奏落拍引导提示；所述视觉节拍器单元用于执行节拍提示操作，根据所述分谱数据中的强拍信息以第一视觉提示方式进行节拍引导指示；和/或，所述灯阵单元还用于执行时值指示操作，根据所述分谱数据中的音符时值信息，点亮所述灯阵单元中对应数量的指示灯。

7、在本发明的一些实施例中，所述演奏交互端还包含演奏输入单元，用于执行演奏输入操作，所述演奏者通过所述演奏输入单元进行演奏时产生第一演奏数据；和/或，所述演奏交互端还包含多模态感知单元，用于执行多模态控制操作，所述演奏者通过所述多模态感知单元进行多模态控制时产生第二演奏数据；和/或，所述演奏者通过原声乐器进行演奏时生成的演奏信号经拾音器转化后产生第三演奏数据，所述第三演奏数据经由所述演奏交互端上传至所述数据处理端。

8、在本发明的一些实施例中，所述数据处理端还包括以下单元中的一或多者：

9、渲染单元，用于执行分谱渲染操作，将对应的所述分谱数据渲染为可视化分谱数据，所述可视化分谱数据为可视化五线谱或可视化简谱；

10、反馈分析单元，用于执行反馈分析操作；其中，所述反馈分析单元包括错奏反馈单元和/或节奏反馈单元；所述错奏反馈单元用于执行错奏指示操作，根据所述第一演奏数据或所述第三演奏数据与对应的分谱数据进行演奏判定，当判定发生错奏时，通过所述灯阵单元和/或所述震动单元进行错奏指示；所述节奏反馈单元用于执行节奏反馈指示操作，通过所述震动单元进行强拍指示；

11、角色配置单元，用于执行角色配置操作，从旋律手、和声手、配器手、节奏手、及音效手中选择一或多个角色，并对应配置一或多个角色终端；

12、转播单元，用于执行转播操作，将第一终端的演奏数据转发至第二终端进行转播；

13、音频输出单元，用于执行音频输出操作，根据所述演奏数据，通过调用预置的vst音源来实现音频输出；

14、翻页单元，用于执行实体乐谱架翻页操作，根据所述第一演奏数据或所述第三演奏数据与对应的分谱数据确定当前演奏进度，且在当前演奏进度进行到当前页面的最后一小节时进行实体乐谱翻页。

15、在本发明的一些实施例中，所述数据处理端被配置为能够从多个工作模式中选择一者，所述多个工作模式包含交响排练模式、多人教学模式、多人合奏模式、即兴共创模式、以及趣味练琴模式。其中，于所述交响排练模式下，所述数据处理端的所述过滤分发单元被配置为进行包含所述乐器组过滤的单层过滤。其中，于所述多人教学模式或所述多人合奏模式下，所述数据处理端的所述过滤分发单元被配置为进行包含所述乐器组过滤以及所述单乐器过滤的双层过滤，或者进行包含所述乐器组过滤、所述单乐器过滤、以及所述和弦单音过滤的三层过滤；并且，在所述多人教学模式或所述多人合奏模式或所述即兴共创模式下，所述数据处理端与多个所述演奏交互端通过并联组网。其中，于所述即兴共创模式下，所述旋律手通过对应的旋律手终端进行即兴演奏时产生的即兴演奏数据、所述和声手通过对应的和声手终端进行和声演奏时产生的和声数据、所述配器手通过对应的配器手终端产生的配器指令、所述节奏手通过对应的节奏手终端产生的节奏指令、和所述音效手通过对应的音效手终端产生的音效指令是上传至所述数据处理端，并通过所述音频输出单元实现音频输出。其中，于所述趣味练琴模式下，所述第一终端的演奏数据能够经由所述数据处理端转发至所述第二终端进行转播。

16、在本发明的一些实施例中，所述演奏辅助系统还包括：云端，与所述数据处理端通信连接。所述云端至少包括：训练单元，用于执行演奏数据训练操作，根据所述演奏数据进行模型训练，生成与演奏者对应的虚拟乐手模型；云端数据库，用于存储数据。其中，所述数据处理端还包括虚拟乐手加载单元，用于执行虚拟乐手加载操作，将与所述演奏者对应的所述虚拟乐手模型加载于所述数据处理端以替代所述演奏者进行演奏。

17、为了实现上述目的，本发明还提供一种演奏辅助方法，其包括以下步骤：

18、s1、数据处理端获取总谱数据，并解析生成多路分谱数据；

19、s2、所述数据处理端对所述总谱数据执行分层过滤操作，依据乐器或演奏角色对所述总谱数据进行分层过滤，经过滤的分谱数据通过数据通道下发；

20、s3、演奏交互端接收所述分谱数据，依据音符时序通过演奏提示单元同步输出当前音符的实时演奏提示，以及基于演奏时间轴的后续音符的预判提示；

21、s4、所述演奏交互端采集演奏者的演奏数据并回传至所述数据处理端。

22、本发明通过数据处理端的过滤分发单元进行分层过滤分发，可以适应不同应用场景下的多样化需求，尤其是通过双层过滤和三层过滤，可以实现“乐器级”和“和弦级”的分谱数据的精准过滤和分发，并可以杜绝非本乐器组通道的信号干扰。

23、本发明通过演奏交互端的演奏提示单元（例如灯阵单元）可以同时实现实时演奏提示和预判演奏提示的可视化引导（即理性认知），可以帮助演奏者提前预判音符，减少错弹、漏弹，尤其适合初学者教学，有利于提升教学效率。

24、本发明还可通过演奏交互端的多模态感知单元，实现演奏表情参数（例如包括但不限于cc1颤音、cc2呼吸、力度、cc7音量、cc11表情等）的精准采集，并可通过将灯阵单元、视觉节拍器单元与多模态感知单元和震动单元的深度协同，形成“视觉+体感”以及“理性+感性”的双重节奏引导，并可丰富交响演奏、趣味练琴及即兴创作等表达形式，进一步提升演奏表现力和教学引导效果。同时，通过多模态感知单元所采集的演奏表情参数（例如力度等包络线），可以提供细腻、个性化的艺术处理的感性教学支撑。

25、本发明可根据不同应用场景，通过外接移动终端（例如手机/平板电脑/笔记本电脑等）、软音源、拾音器等设备，可解决传统原声乐器音色单一的问题，并可将原声乐器的演奏信号转化成为midi/xml信号并传输进入数据处理端，以进行音高与节奏等判定，不仅方便于原声乐器教学，而且可适配多样化的场景需求。并且，通过设置不同的工作模式，可以适配课堂教学、户外演奏、个人练习、交响排练、录音棚vst实录等不同场景，并可进一步延伸出例如交响排练教学、多人教学、集体音乐展演、多人协同创作、多人趣味练琴等多类延伸系统。各类延伸系统无需修改本发明的演奏辅助系统的底层控制逻辑，仅通过场景化参数适配，即可精准覆盖不同教学、展演、练琴及协同创作等场景。

26、本发明通过云端的训练单元，可基于演奏者的演奏数据训练出对应的虚拟乐手模型（有时也可被称为“影子模型”）。通过本地加载虚拟乐手模型，可高度复制模拟真人乐手的演奏习惯等，替代演奏者进行演奏。并且，通过虚拟乐手模型，可以实现虚拟乐手与真人乐手的协同合奏，还可以实现异地合奏、一人多声部合奏、和历史自己合奏、跨终端影子转播实现远程教学等延伸应用。

27、本发明的额外方面和优点将部分地在下面的描述中阐述，并且部分地将从描述中变得显然，或者可以通过本发明的实践而习得。