基于技法族意图映射的虚拟乐器演奏控制智能推理方法与流程

摘要: 本发明涉及智能乐器控制领域,具体是基于技法族意图映射的虚拟乐器演奏控制智能推理方法。背景技术:1、随着数字音乐技术和人机交互技术的飞速发展,虚拟乐器演奏系统已广...
基于技法族意图映射的虚拟乐器演奏控制智能推理方法与流程

本发明涉及智能乐器控制领域,具体是基于技法族意图映射的虚拟乐器演奏控制智能推理方法。

背景技术:

1、随着数字音乐技术和人机交互技术的飞速发展,虚拟乐器演奏系统已广泛用于音乐创作、远程音乐教育、舞台演出特效、游戏音频交互以及康复训练等众多场景,这套系统通过捕捉演奏者的肢体动作,将其转化为虚拟乐器的发声控制信号,使用户无需实体乐器即可获得接近真实的演奏体验,对于降低音乐创作门槛、丰富音乐表现形式具有重要意义。

2、现有系统通常由数据手套、惯性传感器或深度摄像头等动作捕捉设备及配套映射引擎构成,其运行原理为:传感器实时采集手部位置、角度、速度、力度等动作数据,软件系统按预设的确定性规则将物理信号直接转换为midi或音频合成参数;部分商用工具采用静态键位映射表,将特定动作固定对应到预设演奏技法,整体控制逻辑依赖于传感器信号与输出参数之间的静态、即时性对应关系。

3、上述映射架构存在一个固有技术缺陷——缺乏对演奏时序上下文与乐谱结构信息的主动感知能力,现有系统均为“信号→参数”的单点瞬时映射,同一动作输入在任意时刻、任意乐句位置均触发相同的控制参数输出,然而,音乐演奏具有客观的时序逻辑和句法结构,这些上下文信息直接决定了同一底层动作应当产生的实际音响效果,现有静态映射架构在物理层完全屏蔽了此类信息,导致输出的演奏控制参数缺乏乐句连贯性和结构表达力,该缺陷由映射逻辑自身的“上下文盲区”所致,与演奏者操作习惯无关,因此,针对上述问题提出基于技法族意图映射的虚拟乐器演奏控制智能推理方法。

技术实现思路

1、为了弥补现有技术的不足,解决背景技术中所提出的至少一个技术问题,本发明提出基于技法族意图映射的虚拟乐器演奏控制智能推理方法。

2、本发明解决其技术问题所采用的技术方案是:基于技法族意图映射的虚拟乐器演奏控制智能推理方法,包括以下步骤:

3、s1:构建技法族知识图谱,获取目标虚拟乐器的演奏技法体系数据,将所述演奏技法按照动作模式、声学效果和演奏功能三个维度进行聚类,形成若干技法族,基于所述技法族的聚类结果构建技法族知识图谱;

4、s2:采集并预处理用户演奏动作数据,通过动作捕捉设备实时采集用户在三维空间中的演奏动作数据,对所述演奏动作数据进行预处理,所述预处理包括去噪滤波、姿态归一化、动作分段和特征提取;

5、s3:执行技法族意图推理,将预处理后的演奏动作数据输入至技法族分类器,输出当前演奏动作所属的技法族类别及其置信度分数,当所述置信度分数低于第一预设阈值时,启动上下文推理机制进行修正;当上下文推理机制的修正置信度仍低于第二预设阈值时,启动技法族推测机制进行修正;

6、s4:执行技法族到演奏意图的映射,基于确定的技法族识别结果,从技法族-意图映射库中检索对应的演奏意图集合,当所述演奏意图集合包含多个演奏意图时,执行意图消歧处理以确定当前演奏意图;

7、s5:生成多维演奏控制参数,基于确定的演奏意图,从意图-参数映射库中检索对应的多维演奏控制参数集,对所述多维演奏控制参数执行参数平滑处理;

8、s6:输出演奏控制指令,将平滑处理后的多维演奏控制参数按照目标虚拟乐器的控制协议格式进行封装,生成演奏控制指令并发送至虚拟乐器播放引擎。

9、优选的,所述s1中,所述技法族知识图谱以技法族为节点,以技法族之间的相似关系、衍生关系、互斥关系和时序关系为边,以各技法族所包含的具体演奏技法及其属性信息为节点属性。

10、优选的,所述技法族分类器基于深度学习模型构建,采用多任务学习架构,在主任务为技法族分类的同时设置辅助任务为演奏动作重建和演奏力度回归。

11、优选的,所述s3中,所述上下文推理机制包括以下处理:获取当前演奏时刻之前的连续n个时刻的技法族识别结果序列;获取当前演奏的乐曲上下文信息,所述乐曲上下文信息至少包括当前音符在乐句结构中的位置信息;将所述技法族识别结果序列与所述乐曲上下文信息输入至时序推理模型,输出经上下文修正后的技法族识别结果。

12、优选的,所述s3中,所述技法族推测机制包括以下处理:提取当前演奏动作的动作特征向量;计算所述动作特征向量与技法族知识图谱中各技法族节点所对应的典型动作特征向量之间的相似度;选取相似度最高的技法族作为推测结果。

13、优选的,所述s4中,所述技法族-意图映射库采用以下方法构建:针对每个技法族,确定该技法族在不同演奏上下文条件下所能实现的一个或多个演奏意图;建立技法族标识符与演奏意图标识符之间的多对多映射关系;为每个映射关系配置上下文条件参数和优先级权重。

14、优选的,所述s4中,所述意图消歧处理包括以下步骤:获取当前演奏的乐曲上下文信息,所述乐曲上下文信息至少包括当前音符在乐句中的位置序号、乐句总长度、前后音符的音程关系和时值比例;获取用户的历史演奏风格偏好数据;基于所述乐曲上下文信息和所述历史演奏风格偏好数据,计算各候选演奏意图的条件概率;选取条件概率最高的演奏意图作为当前演奏意图输出。

15、优选的,所述s5中,所述参数平滑处理包括以下步骤:获取上一时刻生成的演奏控制参数值;以所述上一时刻的演奏控制参数值为基准,对当前时刻生成的演奏控制参数值进行限幅平滑,确保相邻时刻之间的参数变化量不超过预设的最大变化率阈值。

16、优选的,还包括以下步骤:

17、演奏效果评估:在所述s6之后,采集虚拟乐器实际输出的音频信号,对所述音频信号进行演奏效果评估;将评估结果反馈至所述s3的技法族推理过程和所述s4的意图映射过程,实现闭环自适应优化。

18、优选的,还包括以下步骤:

19、多乐器切换:获取用户选择的目标乐器类型,根据所述目标乐器类型加载对应的技法族知识图谱、技法族-意图映射库和意图-参数映射库。

20、本发明的有益之处在于:

21、1.本发明通过引入技法族知识图谱与三级递进推理机制(直接判定、上下文时序推理、知识图谱相似度推测),能够依据置信度分层处理,结合历史识别序列及乐曲上下文修正模糊动作,使同一演奏动作在不同乐句条件下自适应映射为符合音乐逻辑的意图与参数,从而克服现有静态映射缺乏上下文感知的缺陷,提高了演奏的连贯性和表达力。

22、2.本发明通过技法族到演奏意图的分层映射架构,结合乐曲上下文信息与用户历史演奏风格偏好进行意图消歧,实现了从底层动作特征到高层音乐语义的转换,能够匹配不同用户的个性化演奏习惯,降低了单一映射规则导致的表达受限的风险,提高了系统的个性化适配能力。

23、3.本发明通过意图-参数映射生成多维演奏控制参数,并以相邻时刻最大变化率阈值为约束进行平滑处理,能够抑制因动作抖动引起的参数突变,经标准协议封装后输出指令驱动虚拟乐器发声,具有良好的通用性与可移植性。

1.基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:所述s1中,所述技法族知识图谱以技法族为节点,以技法族之间的相似关系、衍生关系、互斥关系和时序关系为边,以各技法族所包含的具体演奏技法及其属性信息为节点属性。

3.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:所述技法族分类器基于深度学习模型构建,采用多任务学习架构,在主任务为技法族分类的同时设置辅助任务为演奏动作重建和演奏力度回归。

4.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:所述s3中,所述上下文推理机制包括以下处理:

5.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:所述s3中,所述技法族推测机制包括以下处理:

6.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:所述s4中,所述技法族-意图映射库采用以下方法构建:

7.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:所述s4中,所述意图消歧处理包括以下步骤:

8.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:所述s5中,所述参数平滑处理包括以下步骤:

9.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:还包括以下步骤:

10.根据权利要求1所述的基于技法族意图映射的虚拟乐器演奏控制智能推理方法,其特征在于:还包括以下步骤: