一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

舞蹈动画生成方法、模型练方法、装置、设备及存储介质与流程

2021-07-23 21:35:00 来源:中国专利 TAG:方法 装置 生成 模型 舞蹈
舞蹈动画生成方法、模型练方法、装置、设备及存储介质与流程

本申请涉及视频制作技术领域,具体而言,涉及一种舞蹈动画生成方法、模型练方法、装置、设备及存储介质。



背景技术:

音乐舞蹈游戏是游戏中一种常见的玩法,该玩法给玩家用户提供了丰富的舞蹈片段,玩家用户可以自由地组合这些舞蹈片段并配以合适的音乐,得到音乐舞蹈动画。在制成音乐舞蹈动画后,玩家还可以进一步将制作好的音乐舞蹈动画上传到社交媒体上进行分享和交流,因此该玩法广受欢迎。

音乐舞蹈动画在游戏中无论是玩法还是动画制作中都是重要的一部分。目前的制作流程主要有三部分,第一步,音乐分析师解构音乐,专业编舞师依据现有音乐及解构结果进行舞蹈的动作设计和编排;第二步,由舞蹈演员进行舞蹈,并对舞蹈动作进行捕捉,并根据捕捉结果制作保存舞蹈动作对应的数字模型,第三步,由动画师对动作进行精修,根据精修后的动作和音乐生成音乐舞蹈动画。

但是这样的音乐舞蹈动画的制作方法较为复杂,导致制作一个音乐舞蹈动画的编排耗时较长,时间成本和人力成本的消耗均较大。



技术实现要素:

本申请的目的在于,针对上述现有技术中的不足,提供一种舞蹈动画生成方法、模型练方法、装置、设备及存储介质,以解决现有技术中制作一个音乐舞蹈动画的编排耗时较长,时间成本和人力成本的消耗均较大的问题。

为实现上述目的,本申请实施例采用的技术方案如下:

第一方面,本申请一实施例提供了一种舞蹈动画生成方法,所述方法包括:

对输入音乐进行分割,得到所述输入音乐的多个音乐片段;

对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征;

确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征;其中,所述样本数据集中包括多个样本音乐舞蹈数据,每个样本音乐舞蹈数据包括样本音乐片段以及所述样本音乐片段对应的样本舞蹈片段,并且所述样本音乐特征为通过对所述样本音乐片段进行特征分析得到;确定所述目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各所述音乐片段对应的目标舞蹈片段;

根据所述目标舞蹈片段,生成目标舞蹈动画。

可选地,所述对输入音乐进行分割,得到所述输入音乐的多个音乐片段,包括:

对所述输入音乐进行乐理分析,得到多个所述音乐片段。

可选地,所述对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征,包括:

采用预设的音乐分析模型,对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征。

可选地,所述音乐分析模型包括:预设编码器、预设转换模型;所述对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征,包括:

将各所述音乐片段转换为音乐频谱信号;

采用所述预设编码器对所述音乐频谱信号进行编码处理,得到各所述音乐片段的一维特征;

采用所述预设转换模型,对各所述音乐片段的一维特征进行转换,得到各所述音乐片段的音乐特征;各所述音乐片段的音乐特征包括:前后音乐片段的上下文信息。

可选地,所述音乐分析模型还包括:预设解码器,所述方法还包括:

采用所述预设解码器对各所述音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的音乐频谱信号;

根据各所述音乐片段的所述重建信号和所述音乐频谱信号,计算目标损失函数值;

根据所述目标损失函数值,对所述预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

可选地,所述还原后的音乐频谱信号包括:还原后的音乐片段的音乐特征,各所述音乐频谱信号包括:各所述音乐片段的音乐特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的音乐片段的音乐特征和各所述音乐片段的音乐特征,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号包括:还原后的音乐片段的梅尔频谱特征,各所述音乐频谱信号包括:各所述音乐片段的梅尔频谱特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的音乐片段的梅尔频谱特征和各所述音乐片段的梅尔频谱特征,计算第一损失函数值;

根据所述第一损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号音乐频谱信号还包括:所述还原后的音乐片段的旋律特征,各所述音乐频谱信号包括:各所述音乐片段的旋律特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,还包括:

根据所述还原后的音乐片段的旋律特征和各所述音乐片段的旋律特征,计算第二损失函数值;

根据所述第一损失函数值和所述第二损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号音乐频谱信号还包括:所述还原后的音乐片段的节拍特征,各所述音乐频谱信号包括:各所述音乐片段的节拍特征;

所述根据所述还原后的音乐频谱信号音乐频谱信号和各所述音乐频谱信号,计算目标损失函数值,还包括:

根据所述还原后的音乐片段的节拍特征和各所述音乐片段的节拍特征,计算第三损失函数值;

根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值,计算所述目标损失函数值。

可选地,所述确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征之前,所述方法还包括:

对所述样本音乐片段进行特征分析,得到所述样本音乐片段对应的样本音乐特征。

可选地,所述确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征之前,所述方法还包括:

获取单个样本音乐舞蹈动画中的样本音乐和样本舞蹈;

对所述样本音乐进行拆分,得到多个样本音乐片段;

对所述样本舞蹈进行拆分,得到多个样本舞蹈片段;

根据各样本音乐片段的分割点和各样本舞蹈片段的节奏点,确定所述各样本音乐片段对应的样本舞蹈片段。

可选地,所述对所述样本舞蹈进行拆分,得到多个样本舞蹈片段,包括:

根据所述样本舞蹈中骨骼关键点的运动参数,从所述样本舞蹈中确定多个预选时刻;

根据所述运动参数,从所述多个预选时刻中确定运动参数变化超出预设的参数变化范围的预选时刻为目标节奏点;

根据所述目标节奏点对所述样本舞蹈进行拆分,得到所述多个样本舞蹈片段。

可选地,所述根据所述样本舞蹈中骨骼关键点的运动参数,从所述样本舞蹈中确定多个预选时刻,包括:

根据所述样本舞蹈中骨骼关键点的速度和加速度,确定加速度为0的样本舞蹈时刻为预选时刻;

对应的,所述根据所述运动参数,从所述多个预选时刻中确定运动参数变化超出预设的参数变化范围的预选时刻为目标节奏点,包括:

计算各所述预选时刻的动作速度变化,确定所述动作速度变化超出预设的参数变化范围的预选时刻为目标节奏点。

可选地,所述确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征,包括:

根据余弦匹配算法,确定样本数据集中与所述音乐片段的音乐特征的余弦距离最小的样本音乐特征作为所述目标音乐特征。

可选地,所述根据所述目标舞蹈片段,生成目标舞蹈动画,包括:

计算相邻目标舞蹈片段的过渡帧;

根据各所述音乐片段、各所述音乐片段对应的所述目标舞蹈片段和所述过渡帧,生成所述目标音乐舞蹈动画。

第二方面,本申请另一实施例提供了一种音乐分析模型的训练方法,所述音乐分析模型包括:预设编码器、预设转换模型和预设解码器,所述方法包括:

将样本音乐片段转换为样本音乐频谱信号;

采用所述编码器对所述样本音乐频谱信号进行编码处理,得到各所述样本音乐片段的一维特征;

采用所述预设转换模型,对各所述样本音乐片段的一维特征进行转换,得到各所述样本音乐片段的音乐特征;各所述样本音乐片段的音乐特征包括:前后样本音乐片段的上下文信息;

采用所述预设解码器对各所述样本音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的样本音乐频谱信号;

根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值;

根据所述目标损失函数值,对所述预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

可选地,所述还原后的样本音乐频谱信号包括:还原后的样本音乐片段的音乐特征,各所述样本音乐频谱信号包括:各所述样本音乐片段的音乐特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的音乐特征和各所述样本音乐片段的音乐特征,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的梅尔频谱特征,各所述音乐频谱信号包括:各所述样本音乐片段的梅尔频谱特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的梅尔频谱特征和各所述样本音乐片段的梅尔频谱特征,计算第一损失函数值;

根据所述第一损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的旋律特征,各所述音乐频谱信号包括:各所述样本音乐片段的旋律特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的旋律特征和各所述样本音乐片段的旋律特征,计算第二损失函数值;

根据所述第一损失函数值和所述第二损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的节拍特征,各所述音乐频谱信号包括:各所述样本音乐片段的节拍特征;

所述根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值,包括:

根据所述还原后的样本音乐片段的节拍特征和各所述样本音乐片段的节拍特征,计算第三损失函数值;

根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值,计算所述目标损失函数值。

第三方面,本申请另一实施例提供了一种舞蹈动画生成装置,所述装置包括:分割模块、分析模块、确定模块和生成模块,其中:

所述分割模块,用于对输入音乐进行分割,得到所述输入音乐的多个音乐片段;

所述分析模块,用于对各所述音乐片段进行特征分析,得到各所述音乐片段的音乐特征;

所述确定模块,用于确定样本数据集中与所述音乐片段的音乐特征的相似度达到预设阈值的样本音乐片段的样本音乐特征作为目标音乐特征;其中,所述样本数据集中包括多个样本音乐舞蹈数据,每个样本音乐舞蹈数据包括样本音乐片段以及所述样本音乐片段对应的样本舞蹈片段,并且所述样本音乐特征为通过对所述样本音乐片段进行特征分析得到;确定所述目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各所述音乐片段对应的目标舞蹈片段;

所述生成模块,用于根据所述目标舞蹈片段,生成目标舞蹈动画。

可选地,所述分析模块,具体用于对所述输入音乐进行乐理分析,得到多个所述音乐片段。

可选地,所述分析模块,具体用于采用预设的音乐分析模型,对所述音乐片段进行特征分析,得到所述音乐片段的音乐特征。

可选地,所述音乐分析模型包括:预设编码器、预设转换模型;所述装置还包括:转换模块和处理模块,其中:

所述转换模块,用于将各所述音乐片段转换为音乐频谱信号;

所述处理模块,用于采用所述预设编码器对所述音乐频谱信号进行编码处理,得到各所述音乐片段的一维特征;

所述转换模块,具体用于采用所述预设转换模型,对各所述音乐片段的一维特征进行转换,得到各所述音乐片段的音乐特征;各所述音乐片段的音乐特征包括:前后音乐片段的上下文信息。

可选地,所述装置还包括:计算模块和优化模块,其中:

所述处理模块,具体用于采用所述预设解码器对各所述音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的音乐频谱信号;

所述计算模块,用于根据各所述音乐片段的所述重建信号和所述音乐频谱信号,计算目标损失函数值;

所述优化模块,用于根据所述目标损失函数值,对所述预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

可选地,所述还原后的音乐频谱信号包括:还原后的音乐片段的音乐特征,各所述音乐频谱信号包括:各所述音乐片段的音乐特征;

所述计算模块,具体用于根据所述还原后的音乐片段的音乐特征和各所述音乐片段的音乐特征,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号音乐频谱信号包括:所述还原后的音乐片段的梅尔频谱特征,各所述音乐频谱信号包括:各所述音乐片段的梅尔频谱特征;

所述计算模块,具体用于根据所述还原后的音乐片段的梅尔频谱特征和各所述音乐片段的梅尔频谱特征,计算第一损失函数值;根据所述第一损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号音乐频谱信号还包括:所述还原后的音乐片段的旋律特征,各所述音乐频谱信号包括:各所述音乐片段的旋律特征;

所述计算模块,具体用于根据所述还原后的音乐片段的旋律特征和各所述音乐片段的旋律特征,计算第二损失函数值;根据所述第一损失函数值和所述第二损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号音乐频谱信号还包括:所述还原后的音乐片段的节拍特征,各所述音乐频谱信号包括:各所述音乐片段的节拍特征;

所述计算模块,具体用于根据所述还原后的音乐片段的节拍特征和各所述音乐片段的节拍特征,计算第三损失函数值;根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值,计算所述目标损失函数值。

可选地,所述分析模块,具体用于对所述样本音乐片段进行特征分析,得到所述样本音乐片段对应的样本音乐特征。

可选地,所述获取模块,用于获取所述单个样本音乐舞蹈动画中的样本音乐和样本舞蹈;

所述分割模块,具体用于对所述样本音乐进行拆分,得到多个样本音乐片段;对所述样本舞蹈进行拆分,得到多个样本舞蹈片段;

所述确定模块,具体用于根据各样本音乐片段的分割点和各样本舞蹈片段的节奏点,确定所述各样本音乐片段对应的样本舞蹈片段。

可选地,所述确定模块,具体用于根据所述样本舞蹈中骨骼关键点的运动参数,从所述样本舞蹈中确定多个预选时刻;根据所述运动参数,从所述多个预选时刻中确定运动参数变化超出预设的参数变化范围的预选时刻为目标节奏点;

所述分割模块,具体用于根据所述目标节奏点对所述样本舞蹈进行拆分,得到所述多个样本舞蹈片段。

可选地,所述确定模块,具体用于根据所述样本舞蹈中骨骼关键点的速度和加速度,确定加速度为0的样本舞蹈时刻为预选时刻;计算各所述预选时刻的动作速度变化,确定所述动作速度变化超出预设的参数变化范围的预选时刻为目标节奏点。

可选地,所述确定模块,具体用于根据余弦匹配算法,确定样本数据集中与所述音乐片段的音乐特征的余弦距离最小的样本音乐特征作为所述目标音乐特征。

可选地,所述计算模块,具体用于计算相邻目标舞蹈片段的过渡帧;

所述生成模块,具体用于根据各所述音乐片段、各所述音乐片段对应的所述目标舞蹈片段和所述过渡帧,生成所述目标音乐舞蹈动画。

第四方面,本申请另一实施例提供了一种音乐分析模型的训练装置,所述音乐分析模型包括:预设编码器、预设转换模型和预设解码器,所述装置包括:转换模块、处理模块、计算模块和优化模块,其中:

所述转换模块,用于将样本音乐片段转换为样本音乐频谱信号;

所述处理模块,用于采用所述编码器对所述样本音乐频谱信号进行编码处理,得到各所述样本音乐片段的一维特征;

所述转换模块,具体用于采用所述预设转换模型,对各所述样本音乐片段的一维特征进行转换,得到各所述样本音乐片段的音乐特征;各所述样本音乐片段的音乐特征包括:前后样本音乐片段的上下文信息;

所述处理模块,具体用于采用所述预设解码器对各所述样本音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的样本音乐频谱信号;

所述计算模块,用于根据各所述样本音乐片段的所述重建信号和所述样本音乐频谱信号,计算目标损失函数值;

所述优化模块,用于根据所述目标损失函数值,对所述预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

可选地,所述还原后的样本音乐频谱信号包括:还原后的样本音乐片段的音乐特征,各所述样本音乐频谱信号包括:各所述样本音乐片段的音乐特征;

所述计算模块,具体用于根据所述还原后的样本音乐片段的音乐特征和各所述样本音乐片段的音乐特征,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的梅尔频谱特征,各所述音乐频谱信号包括:各所述样本音乐片段的梅尔频谱特征;

所述计算模块,具体用于根据所述还原后的样本音乐片段的梅尔频谱特征和各所述样本音乐片段的梅尔频谱特征,计算第一损失函数值;根据所述第一损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的旋律特征,各所述音乐频谱信号包括:各所述样本音乐片段的旋律特征;

所述计算模块,具体用于根据所述还原后的样本音乐片段的旋律特征和各所述样本音乐片段的旋律特征,计算第二损失函数值;根据所述第一损失函数值和所述第二损失函数值,计算所述目标损失函数值。

可选地,所述还原后的音乐频谱信号包括:还原后的样本音乐片段的节拍特征,各所述音乐频谱信号包括:各所述样本音乐片段的节拍特征;

所述计算模块,具体用于根据所述还原后的样本音乐片段的节拍特征和各所述样本音乐片段的节拍特征,计算第三损失函数值;根据所述第一损失函数值、所述第二损失函数值和所述第三损失函数值,计算所述目标损失函数值。

第五方面,本申请另一实施例提供了一种电子设备,包括:处理器、存储介质和总线,所述存储介质存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储介质之间通过总线通信,所述处理器执行所述机器可读指令,以执行如上述第一方面或第二方面任一所述方法的步骤。

第六方面,本申请另一实施例提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行如上述第一方面或第二方面任一所述方法的步骤。

本申请的有益效果是:采用本申请提供的舞蹈动画生成方法,可以对输入的音乐进行分割,得到输入音乐的多个音乐片段,随后对各音乐片段进行特征分析,得到各音乐片段的音乐特征,并在样本数据集中确定与各音乐片段的音乐特征的相似度达到预设阈值的样本音乐特征为目标音乐特征,随后确定目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各音乐片段对应的目标舞蹈片段,最后根据目标舞蹈片段生成目标舞蹈动画,即生成与输入音乐对应的目标舞蹈动画,从而实现了快速自动生成目标舞蹈动画,减少了生成舞蹈动画会消耗大量的时间和人力成本的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1为本申请一实施例提供的舞蹈动画生成方法的流程示意图;

图2为本申请另一实施例提供的舞蹈动画生成方法的流程示意图;

图3为本申请另一实施例提供的舞蹈动画生成方法的流程示意图;

图4为本申请一实施例提供的编码器优化的流程示意图;

图5为本申请另一实施例提供的舞蹈动画生成方法的流程示意图;

图6为本申请另一实施例提供的舞蹈动画生成方法的流程示意图;

图7为本申请另一实施例提供的舞蹈动画生成方法的流程示意图;

图8为本申请一实施例提供的舞蹈动画生成方法的流程示意图;

图9为本申请一实施例提供的舞蹈动画生成装置的结构示意图;

图10为本申请另一实施例提供的舞蹈动画生成装置的结构示意图;

图11为本申请一实施例提供的舞蹈动画生成装置的结构示意图;

图12为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。

另外,本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本申请内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。

如下结合多个具体的应用示例,对本申请实施例所提供的一种舞蹈动画生成方法进行解释说明。图1为本申请一实施例提供的一种舞蹈动画生成法的流程示意图,如图1所示,该方法包括:

s101:对输入音乐进行分割,得到输入音乐的多个音乐片段。

在本申请的一个实施例中,例如可以对输入音乐进行乐理分析,得到多个音乐片段。举例说明,例如可以先利用音频分析算法对输入音乐进行简单分析,得出输入音乐的节拍,随后对得到的节拍进行整合,寻找输入音乐的多个音乐静止点,并根据多个音乐静止点对输入音乐进行分割,得到输入音乐的多个音乐片段。

在一些可能的实施例中,确定多个音乐片段的方式可以包括下述三种方式:以句末休止的方式进行判断:一般在音乐片段中要有某种形式的半终止式或终止式,即该音乐片段的末尾没有长音,但有较长时值的休止;或是以句末长音的方式进行判断:该音乐片段结尾处有较长时值的音,音乐片段被延长后,旋律就没有了上下起伏的状态,旋律线就变成水平了,听觉上就有旋律静止了的感觉;或是以旋律或节奏重复的方式进行判断:有的音乐片段的句末没有长音,也没有休止,但前后的旋律或节奏是重复的形态,也能分清楚各个音乐片段,这样的情况通常是在速度较快、动感较强的歌曲中出现。

s102:对各音乐片段进行特征分析,得到各音乐片段的音乐特征。

在一些可能的实施例中,例如可以采用预设的音乐分析模型,对各音乐片段进行特征分析,得到各音乐片段的音乐特征。

其中,预设的音乐分析模型的输入为音乐片段,输出为音乐片段的音乐特征。

s103:确定样本数据集中与各音乐片段的音乐特征的达到预设阈值的样本音乐片段的样本音乐特征为目标音乐特征。

在s103之前,可以通过对样本音乐片段进行特征分析的方式,得到样本音乐片段对应的样本音乐特征。

在本申请的一个实施例中,样本数据集中与各音乐片段的音乐特征的相似度的计算方式例如可以为余弦匹配算法、欧式距离计算算法、皮尔森相关系数计算算法等,应当理解上述实施例仅为示例性说明,具体相似度的计算方法可以根据用户需要灵活调整,并不以上述实施例给出的为限。

以相似度的计算方法为余弦匹配算法为例进行说明,样本数据集中与音乐片段的音乐特征的余弦距离最小的样本音乐特征为目标音乐特征,其中,每个音乐片段均有其对应的目标音乐特征。

其中,样本数据集中包括:多个样本音乐舞蹈数据,每个样本音乐舞蹈数据包括:样本音乐片段的音乐特征,以及样本音乐片段对应的样本舞蹈片段,并且样本音乐特征为通过对样本音乐片段进行特征分析得到;其中,样本音乐片段与样本舞蹈片段之间的对应关系为时序上的对应,且为节奏上的对应。

在本申请的一个实施例中,样本音乐片段和样本舞蹈片段可以为从单个样本音乐舞蹈动画得到的,例如可以为将样本音乐舞蹈动画拆分为多个样本音乐舞蹈动画片段,随后对多个样本音乐舞蹈动画片段的音乐和舞蹈进行分割,同一个样本音乐舞蹈动画片段拆分得到的样本音乐片段和样本舞蹈片段之间存在对应关系。

在上述实施例中,由于样本音乐片段的音乐特征,以及样本音乐片段对应的样本舞蹈片段均是从单个样本音乐舞蹈动画得到的,因此这样的样本音乐舞蹈数据,样本音乐和样本舞蹈之间的匹配度更高。

s104:确定目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各音乐片段对应的目标舞蹈片段。

其中,由于样本音乐片段和样本音乐片段对应的样本舞蹈片段为从单个样本音乐舞蹈动画得到的,因此这样得到的目标舞蹈片段与音乐片段的匹配度更高,并且得到的目标舞蹈片段可以保留样本舞蹈片段中原动作的精细程度,从而提高了目标舞蹈片段与音乐片段之间匹配的精确度。

s105:根据目标舞蹈片段,生成目标舞蹈动画。

在本申请的一个实施例中,还可以根据各音乐片段和各音乐片段对应的各目标舞蹈片段,根据对应关系拼接后生成目标舞蹈动画;具体的,例如最后可以根据各音乐片段,和各音乐片段对应的目标舞蹈片段,构成各音乐舞蹈片段,再对各音乐舞蹈片段进行衔接后,即可生成最终的整段目标音乐舞蹈动画,这种将输入音乐进行分段,并为分段后的各音乐片段确定各音乐片段对应的目标舞蹈片段的方式,相对于直接根据整个输入音乐确定目标舞蹈片段的方式,通过分段的方式将输入音乐细化,并确定各音乐片段对应的目标舞蹈片段,使得最终生成的目标音乐舞蹈动画更加精确细化,音乐和舞蹈之间的贴合度更高。

在本申请的一个实施例中,上述舞蹈动画生成方法例如为基于一次机会(oneshot)游戏场景下构建的,oneshot游戏场景下的舞蹈动画生成方法无需迭代,即使在只有一个训练样本的情况下,仍旧可以完成一定准确率的预测,例如在只有一段音乐-舞蹈动捕数据的情况下实现精确的匹配;并且采用本申请提供的方法生成的舞蹈动作可直接应用于游戏场景。但是具体本申请提供的方法的应用场景并不以此为限,可以应用于任何需要根据输入音乐生成对应的音乐舞蹈动画的场景中,本申请在此不做任何限制。

采用本申请提供的舞蹈动画生成方法,可以对输入的音乐进行分割,得到输入音乐的多个音乐片段,随后对各音乐片段进行特征分析,得到各音乐片段的音乐特征,并在样本数据集中确定与各音乐片段的音乐特征的相似度达到预设阈值的样本音乐特征为目标音乐特征,随后确定目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各音乐片段对应的目标舞蹈片段,最后根据目标舞蹈片段生成目标舞蹈动画,即生成与输入音乐对应的目标舞蹈动画,从而实现了快速自动生成目标舞蹈动画,减少了生成舞蹈动画会消耗大量的时间和人力成本的问题。

可选地,在上述实施例的基础上,本申请实施例还可提供一种舞蹈动画生成方法,如下结合附图对上述方法的实现过程进行示例说明。图2为本申请另一实施例提供的一种舞蹈动画生成方法的流程示意图,音乐分析模型包括:预设编码器、预设转换模型;如图2所示,s103可包括:

s106:将各音乐片段转换为音乐频谱信号。

示例地,在一些可能的实施例中,例如可以将各音乐片段的音频信号通过梅尔频谱的方法,转换为音乐频谱信号。

s107:采用预设编码器对音乐频谱信号进行编码处理,得到各音乐片段的一维特征。

在本申请的一个实施例中,编码器例如可以为基于卷积神经网络的编码器,该神经网络例如可以为残差网络(residualnetwork,resnet),根据该resnet网络生成各音乐片段对应的一组一维特征。

s108:采用预设转换模型,对各音乐片段的一维特征进行转换,得到各音乐片段的音乐特征。

各音乐片段的音乐特征包括:前后音乐片段的上下文信息。

在一些可能的实施例中,预设转换模型例如可以为基于自注意力机制的模型(例如可以为transformer模型),为了让音乐特征具有前后音乐片段的上下文信息,在本申请的实施例中,编码器首先对各音乐片段对应的音乐频谱信号进行处理,得到各音乐片段的一维特征,随后将属于同一输入音乐的各音乐片段对应的一维特征一同输入至预设转换模型中,得到具有前后音乐片段的上下文信息的各音乐片段的音乐特征。

示例地,在本申请的一个实施例中,为了进一步增强音乐特征的表达能力,本申请进一步采用了掩码机制,对输入预设转换模型的一维特征进行随机掩码,此时预设转换模型需要根据其他未掩码位置的特征,对被掩码位置的一维特征进行预测。掩码区域对于预设转换模型来说是需要学习的,而未掩码区域根据输入可以直接得到输出。由于预设转换模型内部包含自注意力机制模块,可以根据上下文信息改变当前位置的特征,当输入是掩膜时,预设转换模型可以识别该掩膜并根据上下文特征替换该掩膜。因此若输入音乐特征存在噪声等其他情况,经过学习之后的预设转换模型可以直接根据上下文信息对存在噪声情况的部分予以补全,而不是直接输出具有噪声的音乐特征,可见经过掩码机制进行学习之后的预设转换模型将具有更强的鲁棒性。

可选地,在上述实施例的基础上,本申请实施例还可提供一种舞蹈动画生成方法,如下结合附图对上述方法的实现过程进行示例说明。图3为本申请另一实施例提供的一种舞蹈动画生成方法的流程示意图,图4为本申请一实施例提供的编码器优化的流程示意图,音乐分析模型还包括:预设解码器,如图3所示,该方法还可包括:

s109:采用预设解码器对各音乐片段的音乐特征进行解码处理,得到解码后的重建信号。

示例地,在一些可能的实施例中,为了得到音乐的本质表达,本申请引入了第一解码器来对各音乐片段的一维特征进行还原,获取重建信号,其中重建信号为还原后的音乐频谱信号,在本申请的一个实施例中,第一解码器例如可以具有8个转置的2d卷积层。

s110:根据各音乐片段的重建信号和音乐频谱信号,计算目标损失函数值。

在本申请的一个实施例中,还原后的音乐频谱信号还原后的音乐频谱信号包括:还原后的音乐片段的梅尔频谱特征,各音乐频谱信号包括:各音乐片段的梅尔频谱特征;此时目标损失函数的计算方式可以为:根据还原后的音乐片段的梅尔频谱特征和各音乐片段的梅尔频谱特征,计算第一损失函数值;根据第一损失函数值,计算目标损失函数值。

此时第一损失函数值的计算方式例如可以为:lspe(e,g)=||g(e(x))-x||1;其中,e为预设编码器,g为预设解码器,x为梅尔频谱特征;此时得到的第一损失函数值即为目标损失函数值。

在本申请的另一实施例中,还原后的音乐频谱信号音乐频谱信号还包括:还原后的音乐片段的旋律特征,各音乐频谱信号包括:各音乐片段的旋律特征;此时目标损失函数的计算方式可以为:根据还原后的音乐片段的旋律特征和各音乐片段的旋律特征,计算第二损失函数值;根据第一损失函数值和第二损失函数值,计算目标损失函数值。

在一些可能的实施例中,还原后的音乐片段的旋律特征例如可以为根据第二解码器还原得到的,第二解码器例如可以是具有5个转置的以为卷积层的解码器,此时第二损失函数值的计算方式例如可以为根据下述公式计算得到的:lmld(e,g2)=||g2(e(x))-melody(x)||1,其中,e为预设编码器,g2为具有5个转置的以为卷积层的解码器,x为旋律特征。

在本申请的另一实施例中,还原后的音乐频谱信号音乐频谱信号还包括:还原后的音乐片段的节拍特征,各音乐频谱信号包括:各音乐片段的节拍特征;此时目标损失函数的计算方式可以为:根据还原后的音乐片段的节拍特征和各音乐片段的节拍特征,计算第三损失函数值;根据第一损失函数值、第二损失函数值和第三损失函数值,计算目标损失函数值。

在一些可能的实施例中,还原后的音乐片段的节拍特征例如可以为根据第三解码器还原得到的,第三解码器例如可以为节奏解码器,其结构例如可以与第二解码器类似,但是第三解码器会生成二进制输出,此时第三损失函数值的计算方式例如可以为根据下述公式计算得到的:lrym(e,g3)=bceloss(g3(e(x));rythm(x))。其中:e为预设编码器,g3为节奏解码器,其结构与g2类似,但会产生二进制输出,x为节拍特征,bceloss为二元交叉熵损失函数。

在本申请的一个实施例中,各音乐片段的主旋律和节奏可以采用常用的音乐分析库得到,其中音乐分析数据库例如可以为语音信号处理库librosa,具体音乐分析数据库的选择可以根据用户需要灵活调整,并不以上述实施例给出的为限。

应当理解上述实施例仅为示例性说明,具体目标损失函数值是根据第一损失函数值、第二损失函数值、第三损失函数值中的一个损失函数值、还是两个损失函数值、还是三个损失函数值计算得到的,可以根据用户需要灵活调整,并不以上述实施例给出的为限。

在目标损失函数值为根据至少两个损失函数值计算得到时,例如各损失函数值之间可以以预设权重进行累加,累加得到的值即为目标损失函数值,具体目标损失函数值的计算方式可以根据用户需要灵活调整,并不以上述实施例给出的为限。

s111:根据目标损失函数值,对预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

如图4所示,对编码器的优化流程例如可以为根据编码器对各样本音乐片段的音乐频谱信号进行编码后,得到各样本音乐片段对应的一维特征,并将各一维特征输入预设转换模型,随后预设转换模型根据各样本音乐片段的一维特征,得到各样本音乐频谱信号,随后通过解码器对各音乐特征进行解码,得到各音乐特征对应的重建信号,并根据重建信号和各样本音乐特征本身的音乐频谱信号计算目标损失函数,并根据目标损失函数对编码器进行优化,直至满足预设停止条件。

这种根据目标损失函数值对预设编码器的编码参数进行优化的方式,可以使得经过编码器进行编码得到的一维特征更加符合对应的音乐片段的一维特征,经过该一维特征还原后的音乐片段的特征与该音乐片段原有的特征保持一致,从而提高了后续得到各音乐频谱信号的准确性。

可选地,在上述实施例的基础上,本申请实施例还可提供一种舞蹈动画生成方法,如下结合附图对上述方法的实现过程进行示例说明。图5为本申请另一实施例提供的一种舞蹈动画生成方法的流程示意图,如图5所示,s103之前,该方法还可包括:

s112:获取单个样本音乐舞蹈动画中的样本音乐和样本舞蹈。

其中,根据单个样本音乐舞蹈动画进行样本音乐和样本舞蹈的分割,获取单个样本音乐舞蹈动画对应的样本音乐和样本舞蹈。

s113:对样本音乐进行拆分,得到多个样本音乐片段。

在本申请的一个实施例中,对样本音乐进行拆分的方式可以与上述对输入音乐进行拆分的方式相同,本申请在此不再赘述。

s114:对样本舞蹈进行拆分,得到多个样本舞蹈片段。

其中,对样本舞蹈的拆分例如可以为根据不可分的最小动作序列,例如根据每组舞步为单位进行拆分,由于不同类型的舞蹈的每组舞步对应的节拍不一定相同,因此在本申请的一个实施例中,可以根据不同类型的样本音乐舞蹈动画,对样本舞蹈进行拆分,例如以华尔兹舞蹈为例进行说明,若样本音乐舞蹈动画的类型为华尔兹,则此时每小节三拍为一组舞步,每拍一个舞步,第一拍为重拍,三个舞步为一个一起伏循环,具体对样本舞蹈进行拆分的方法可以根据用户需要灵活调整,并不以上述实施例给出的为限。

s115:根据各样本音乐片段的分割点和各样本舞蹈片段的节奏点,确定各样本音乐片段对应的样本舞蹈片段。

其中,各样本音乐片段对应的样本舞蹈片段,与各样本音乐片段的时长相同。

由于每个样本音乐片段均有其对应的样本舞蹈片段,且样本音乐片段和样本舞蹈片段均为从单一的样本音乐舞蹈中拆分并配对的,因此这样得到的样本音乐舞蹈数据中的样本音乐片段和样本舞蹈片段之间的配合度和契合度更高。

可选地,在上述实施例的基础上,本申请实施例还可提供一种舞蹈动画生成方法,如下结合附图对上述方法的实现过程进行示例说明。图6为本申请另一实施例提供的一种舞蹈动画生成方法的流程示意图,如图6所示,s114可包括:

s116:根据样本舞蹈中骨骼关键点的运动参数,从样本舞蹈中确定多个预选时刻。

在本申请的一个实施例中,运动参数例如可以包括:加速度、速度等,即例如可以根据样本舞蹈中骨骼关键点的加速度,确定多个加速度为0的时刻为预选时刻。

对应的,s115可包括:

s117:根据运动参数,从多个预选时刻中确定运动参数变化超出预设的参数变化范围的预选时刻为目标节奏点。

示例地,例如可以根据预选点的前后帧的动作变化速度,筛选出动作变化速度超出预设的动作变化速度范围的预选时刻为目标节奏点,即筛选出动作变化速度大于或等于最大动作变化速度阈值的预选时刻,或动作变化速度小于或等于最小动作变化速度阈值的预选时刻为目标节奏点。

在一些可能的实施例中,由于样本舞蹈的节奏点相对音乐片段的分割点更为密集,本申请进一步结合对应音乐片段的分割点对样本音乐进行分割。当音乐片段的分割点与样本音乐的目标节奏点重合时,直接根据该样本音乐的目标节奏点对样本音乐进行分割;当音乐片段的分割点与样本音乐的目标节奏点不重合时,确定距离音乐片段的分割点最近的目标节奏点作为目标分割点,并根据该目标分割点对样本音乐进行切割。

这种通过音乐片段的分割点进一步确定样本舞蹈的节奏点的方式,可以进一步提高样本舞蹈切割点的精度,使得切割后的样本音乐片段和样本舞蹈片段之间更加匹配。

可选地,在上述实施例的基础上,本申请实施例还可提供一种舞蹈动画生成方法,如下结合附图对上述方法的实现过程进行示例说明。图7为本申请另一实施例提供的一种舞蹈动画生成方法的流程示意图,如图7所示,s105可包括:

s118:计算相邻目标舞蹈片段的过渡帧。

在本申请的一个实施例中,由于不同目标舞蹈片段的首尾之间不一定完全相接,因此本申请采用混合算法计算相邻目标舞蹈片段之间的过渡帧,该混合算法例如可以是线性算法,也可以是基于深度学习的方法,本申请在此不做任何限制。

s109:根据各音乐片段、各音乐片段对应的目标舞蹈片段和过渡帧,生成目标音乐舞蹈动画。

这种通过过渡帧对相邻目标舞蹈片段之间进行过渡的方式,使得得到的目标音乐舞蹈动画更加流畅,从而进一步提高了用户体验。

采用本申请提供的舞蹈动画生成方法,可以根据输入音乐生成高质量的音乐舞蹈动画,并且生成的音乐舞蹈动画不但可以保留原样本音乐舞蹈动画中舞蹈动作的精细程度,而且本申请提供的方法还可以实现对输入音乐的上下文理解,从而生成更加连贯的符合输入音乐风格的音乐舞蹈动画,提高了用户在生成音乐舞蹈动画时的用户体验。

图8为本申请一实施例提供的音乐分析模型的训练方法的流程示意图,述音乐分析模型包括:预设编码器、预设转换模型和预设解码器,如图8所示,该方法包括:

s201:将样本音乐片段转换为样本音乐频谱信号。

其中,样本音乐片段例如可以为从样本音乐舞蹈片段中拆分出来的,或从网络行爬取获得的,具体样本音乐片段的获取方式可以根据用户需要灵活调整,并不以上述实施例给出的为限。

s202:采用编码器对样本音乐频谱信号进行编码处理,得到各样本音乐片段的一维特征。

在本申请的一个实施例中,编码器例如可以为基于卷积神经网络的编码器,该神经网络例如可以为残差网络(residualnetwork,resnet),根据该resnet网络生成各音乐片段对应的一组一维特征。

s203:采用预设转换模型,对各样本音乐片段的一维特征进行转换,得到各样本音乐片段的音乐特征。

在一些可能的实施例中,预设转换模型例如可以为基于自注意力机制的模型(例如可以为transformer模型),为了让音乐特征具有前后音乐片段的上下文信息,在本申请的实施例中,编码器首先对各音乐片段对应的音乐频谱信号进行处理,得到各音乐片段的一维特征,随后将属于同一输入音乐的各音乐片段对应的一维特征一同输入至预设转换模型中,得到具有前后音乐片段的上下文信息的各音乐片段的音乐特征。

各样本音乐片段的音乐特征包括:前后样本音乐片段的上下文信息。

示例地,在本申请的一个实施例中,为了进一步增强音乐特征的表达能力,本申请进一步采用了掩码机制,对输入预设转换模型的一维特征进行随机掩码,此时预设转换模型需要根据其他未掩码位置的特征,对被掩码位置的一维特征进行预测。掩码区域对于预设转换模型来说是需要学习的,而未掩码区域根据输入可以直接得到输出。由于预设转换模型内部包含自注意力机制模块,可以根据上下文信息改变当前位置的特征,当输入是掩膜时,预设转换模型可以识别该掩膜并根据上下文特征替换该掩膜。因此若输入音乐特征存在噪声等其他情况,经过学习之后的预设转换模型可以直接根据上下文信息对存在噪声情况的部分予以补全,而不是直接输出具有噪声的音乐特征,可见经过掩码机制进行学习之后的预设转换模型将具有更强的鲁棒性。

s204:采用预设解码器对各样本音乐片段的音乐特征进行解码处理,得到解码后的重建信号。

其中,重建信号为还原后的样本音乐频谱信号。

在本申请的一个实施例中,还原后的样本音乐频谱信号包括:还原后的样本音乐片段的音乐特征,各样本音乐频谱信号包括:各样本音乐片段的音乐特征;此时计算目标损失函数值的方式可以为:根据还原后的样本音乐片段的音乐特征和各样本音乐片段的音乐特征,计算目标损失函数值。

示例地,在一些可能的实施例中,还原后的音乐频谱信号包括:还原后的样本音乐片段的梅尔频谱特征,各音乐频谱信号包括:各样本音乐片段的梅尔频谱特征;此时目标损失函数值的计算方式可以为:根据还原后的样本音乐片段的梅尔频谱特征和各样本音乐片段的梅尔频谱特征,计算第一损失函数值;根据第一损失函数值,计算目标损失函数值。

示例地,在另一些可能的实施例中,还原后的音乐频谱信号包括:还原后的样本音乐片段的旋律特征,各音乐频谱信号包括:各样本音乐片段的旋律特征;此时目标损失函数值的计算方式可以为:根据还原后的样本音乐片段的旋律特征和各样本音乐片段的旋律特征,计算第二损失函数值;根据第一损失函数值和第二损失函数值,计算目标损失函数值。

示例地,在另一些可能的实施例中,还原后的音乐频谱信号包括:还原后的样本音乐片段的节拍特征,各音乐频谱信号包括:各样本音乐片段的节拍特征;此时目标损失函数值的计算方式可以为:根据还原后的样本音乐片段的节拍特征和各样本音乐片段的节拍特征,计算第三损失函数值;根据第一损失函数值、第二损失函数值和第三损失函数值,计算目标损失函数值。

s205:根据各样本音乐片段的重建信号和样本音乐频谱信号,计算目标损失函数值。

s206:根据目标损失函数值,对预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

这种根据目标损失函数值对预设编码器的编码参数进行优化的方式,可以使得经过编码器进行编码得到的一维特征更加符合对应的音乐片段的一维特征,经过该一维特征还原后的音乐片段的特征与该音乐片段原有的特征保持一致,从而提高了后续得到各音乐频谱信号的准确性。

下述结合附图对本申请所提供的舞蹈动画生成装置进行解释说明,该舞蹈动画生成装置可执行上述图1-图7任一舞蹈动画生成方法,其具体实现以及有益效果参照上述,如下不再赘述。

图9为本申请一实施例提供的舞蹈动画生成装置的结构示意图,如图9所示,该装置包括:分割模块301、分析模块302、确定模块303和生成模块304,其中:

分割模块301,用于对输入音乐进行分割,得到输入音乐的多个音乐片段。

分析模块302,用于对各音乐片段进行特征分析,得到各音乐片段的音乐特征。

确定模块303,用于确定样本数据集中与各音乐片段的音乐特征的相似度达到预设阈值的样本音乐特征为目标音乐特征;其中,样本数据集中包括:多个样本音乐舞蹈数据,每个样本音乐舞蹈数据包括样本音乐片段的音乐特征以及样本音乐片段对应的样本舞蹈片段,并且样本音乐特征为通过对样本音乐片段进行特征分析得到;确定目标音乐特征所在的样本音乐片段对应的样本舞蹈片段为各音乐片段对应的目标舞蹈片段。

生成模块304,用于根据目标舞蹈片段,生成目标舞蹈动画。

可选地,分析模块302,具体用于对输入音乐进行乐理分析,得到多个音乐片段。

可选地,分析模块302,具体用于采用预设的音乐分析模型,对音乐片段进行特征分析,得到音乐片段的音乐特征。

图10为本申请一实施例提供的舞蹈动画生成装置的结构示意图,音乐分析模型包括:预设编码器、预设转换模型;如图10所示,该装置还包括:转换模块305和处理模块306,其中:

转换模块305,用于将各音乐片段转换为音乐频谱信号。

处理模块306,用于采用编码器对音乐频谱信号进行编码处理,得到各音乐片段的一维特征。

转换模块305,具体用于采用预设转换模型,对各音乐片段的一维特征进行转换,得到各音乐片段的音乐特征,各音乐片段的音乐特征包括:前后音乐片段的上下文信息。

如图10所示,该装置还包括:计算模块307和优化模块308,其中:

处理模块306,具体用于采用预设解码器对各音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,所述重建信号为还原后的音乐频谱信号。

计算模块207,具体用于根据各音乐片段的重建信号和音乐频谱信号,计算目标损失函数值。

优化模块308,用于根据目标损失函数值,对预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

可选地,还原后的音乐频谱信号音乐频谱信号包括:还原后的音乐片段的音乐特征,各音乐频谱信号包括:各音乐片段的音乐特征;

计算模块307,具体用于根据还原后的音乐片段的音乐特征和各音乐片段的音乐特征,计算目标损失函数值。

可选地,还原后的音乐频谱信号音乐频谱信号包括:还原后的音乐片段的梅尔频谱特征,各音乐频谱信号包括:各音乐片段的梅尔频谱特征。

计算模块307,具体用于根据还原后的音乐片段的梅尔频谱特征和各音乐片段的梅尔频谱特征,计算第一损失函数值;根据第一损失函数值,计算目标损失函数值。

可选地,还原后的音乐频谱信号音乐频谱信号还包括:还原后的音乐片段的旋律特征,各音乐频谱信号包括:各音乐片段的旋律特征。

计算模块307,具体用于根据还原后的音乐片段的旋律特征和各音乐片段的旋律特征,计算第二损失函数值;根据第一损失函数值和第二损失函数值,计算目标损失函数值。

可选地,还原后的音乐频谱信号音乐频谱信号还包括:还原后的音乐片段的节拍特征,各音乐频谱信号包括:各音乐片段的节拍特征。

计算模块307,具体用于根据还原后的音乐片段的节拍特征和各音乐片段的节拍特征,计算第三损失函数值;根据第一损失函数值、第二损失函数值和第三损失函数值,计算目标损失函数值。

如图10所示,该装置还包括:获取模块309,用于获取单个样本音乐舞蹈动画中的样本音乐和样本舞蹈。

分割模块301,具体用于对样本音乐进行拆分,得到多个样本音乐片段;对样本舞蹈进行拆分,得到多个样本舞蹈片段。

确定模块303,具体用于根据各样本音乐片段的分割点和各样本舞蹈片段的节奏点,确定各样本音乐片段对应的样本舞蹈片段。

可选地,确定模块303,具体用于根据样本舞蹈中骨骼关键点的运动参数,从样本舞蹈中确定多个预选时刻;根据运动参数,从多个预选时刻中确定运动参数变化超出预设的参数变化范围的预选时刻为目标节奏点。

分割模块301,具体用于根据目标节奏点对样本舞蹈进行拆分,得到多个样本舞蹈片段。

可选地,确定模块303,具体用于根据样本舞蹈中骨骼关键点的速度和加速度,确定加速度为0的样本舞蹈时刻为预选时刻;计算各预选时刻的动作速度变化,确定动作速度变化超出预设的参数变化范围的预选时刻为目标节奏点。

可选地,确定模块303,具体用于根据余弦匹配算法,确定样本数据集中与音乐片段的音乐特征的余弦距离最小的样本音乐特征作为目标音乐特征。

可选地,计算模块307,具体用于计算相邻目标舞蹈片段的过渡帧;

生成模块304,具体用于根据各音乐片段、各音乐片段对应的目标舞蹈片段和过渡帧,生成目标音乐舞蹈动画。

下述结合附图对本申请所提供的音乐分析模型的训练装置进行解释说明,该音乐分析模型的训练装置可执行上述图8的音乐分析模型的训练方法,其具体实现以及有益效果参照上述,如下不再赘述。

图11为本申请一实施例提供的舞蹈动画生成装置的结构示意图,音乐分析模型包括:预设编码器、预设转换模型和预设解码器,如图11所示,该装置包括:转换模块401、处理模块402、计算模块403和优化模块404,其中:

转换模块401,用于将样本音乐片段转换为样本音乐频谱信号;

处理模块402,用于采用编码器对样本音乐频谱信号进行编码处理,得到各样本音乐片段的一维特征;

转换模块401,具体用于采用预设转换模型,对各样本音乐片段的一维特征进行转换,得到各样本音乐片段的音乐特征;各样本音乐片段的音乐特征包括:前后样本音乐片段的上下文信息;

处理模块402,具体用于采用预设解码器对各样本音乐片段的音乐特征进行解码处理,得到解码后的重建信号;其中,重建信号为还原后的样本音乐频谱信号;

计算模块403,用于根据各样本音乐片段的重建信号和样本音乐频谱信号,计算目标损失函数值;

优化模块404,用于根据目标损失函数值,对预设编码器的编码参数进行优化,直至满足预设停止条件,得到优化后的编码器。

可选地,还原后的样本音乐频谱信号包括:还原后的样本音乐片段的音乐特征,各样本音乐频谱信号包括:各样本音乐片段的音乐特征;

计算模块403,具体用于根据还原后的样本音乐片段的音乐特征和各样本音乐片段的音乐特征,计算目标损失函数值。

可选地,还原后的音乐频谱信号包括:还原后的样本音乐片段的梅尔频谱特征,各音乐频谱信号包括:各样本音乐片段的梅尔频谱特征;

计算模块403,具体用于根据还原后的样本音乐片段的梅尔频谱特征和各样本音乐片段的梅尔频谱特征,计算第一损失函数值;根据第一损失函数值,计算目标损失函数值。

可选地,还原后的音乐频谱信号包括:还原后的样本音乐片段的旋律特征,各音乐频谱信号包括:各样本音乐片段的旋律特征;

计算模块403,具体用于根据还原后的样本音乐片段的旋律特征和各样本音乐片段的旋律特征,计算第二损失函数值;根据第一损失函数值和第二损失函数值,计算目标损失函数值。

可选地,还原后的音乐频谱信号包括:还原后的样本音乐片段的节拍特征,各音乐频谱信号包括:各样本音乐片段的节拍特征;

计算模块403,具体用于根据还原后的样本音乐片段的节拍特征和各样本音乐片段的节拍特征,计算第三损失函数值;根据第一损失函数值、第二损失函数值和第三损失函数值,计算目标损失函数值。

上述装置用于执行前述实施例提供的方法,其实现原理和技术效果类似,在此不再赘述。

以上这些模块可以是被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(applicationspecificintegratedcircuit,简称asic),或,一个或多个微处理器(digitalsingnalprocessor,简称dsp),或,一个或者多个现场可编程门阵列(fieldprogrammablegatearray,简称fpga)等。再如,当以上某个模块通过处理元件调度程序代码的形式实现时,该处理元件可以是通用处理器,例如中央处理器(centralprocessingunit,简称cpu)或其它可以调用程序代码的处理器。再如,这些模块可以集成在一起,以片上系统(system-on-a-chip,简称soc)的形式实现。

图12为本申请一实施例提供的电子设备的结构示意图,该电子设备可以集成于终端设备或者终端设备的芯片。

该电子设备包括:处理器501、存储介质502和总线503。

处理器501用于存储程序,处理器501调用存储介质502存储的程序,以执行上述图1-图8对应的方法实施例。具体实现方式和技术效果类似,这里不再赘述。

可选地,本申请还提供一种程序产品,例如存储介质,该存储介质上存储有计算机程序,包括程序,该程序在被处理器运行时执行上述方法对应的实施例。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,简称:rom)、随机存取存储器(randomaccessmemory,简称:ram)、磁碟或者光盘等各种可以存储程序代码的介质。

再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文章

  • 日榜
  • 周榜
  • 月榜