一种基于ResNet-LSTM的运动数据重定向方法与流程

一种基于resnet-lstm的运动数据重定向方法
技术领域
1.本发明涉及计算机三维动画技术领域，尤其涉及一种基于resnet-lstm的运动数据重定向方法。


背景技术：

2.人体骨骼运动数据被广泛地用于角色动画制作领域，骨骼运动数据驱动三维模型是角色动画制作的主要方式。骨骼运动数据的采集主要依靠市面上的动作捕捉设备，尽管动捕设备捕捉的骨骼运动数据精度高、自然真实，但捕捉到的数据终究是有限的；而影视动画中角色的骨骼拓扑结构、长度比例多种多样，对运动数据的需求是无限的。所以，将现有的源角色骨骼运动数据重定向至不同骨骼结构或骨骼长度比例的目标角色上，是这一问题的解决方案。
3.目前，对运动重定向已有各项研究，但存在计算量巨大、视觉质量差等问题：
4.比较常见的是以ik为代表的传统数值分析方法其核心是对运动值施加多种约束来实现重定向。常见约束类型包括时空约束、运动学约束、动力学约束。但由于约束条件多且计算复杂，导致重定向时间较长，运动缺乏物理真实性。
5.holden利用逆运动学建立网络约束，使用卷积神经网络建立运动控制约束与隐藏运动特征之间的联系，由二维足部关结轨迹生成角色的三维运动，但该方法忽略了平滑性约束和骨骼长度约束，生成的运动在视觉质量上有待提高。


技术实现要素：

6.本发明的目的是克服现有技术的不足，提供一种基于resnet-lstm的实现运功重定向的方法，解决现有技术中计算量大、视觉质量差的问题。
7.本发明通过以下技术方案来实现上述目的：
8.一种基于resnet-lstm的运动数据重定向方法，包括以下步骤：
9.步骤1，获取训练样本集合和测试样本集合；所述训练样本集合和测试样本集合均包括源、目标两种骨骼拓扑结构不同的角色运动片段，运动类型均包括步行和跑步；
10.步骤2，以总损失函数最小化为优化目标，利用所述训练样本集合训练resnet-lstm网络，获得训练好的resnet-lstm网络；
11.步骤3，利用测试数据集合获取待重定向的源角色运动数据，将所述测试数据输入所述训练好的resnet-lstm网络，得到重定向后的运动数据。
12.进一步方案为，所述步骤1中，从cmu数据库中选取运动类型为步行和跑步的运动片段，将所述步行和跑步的运动片段使用ik方法重定向到源角色、目标角色两种骨骼拓扑结构不同的角色上；取源角色、目标角色的60％作为训练样本集合，取源角色、目标角色的40％作为测试样本集合；所述训练样本集合和测试样本集合均包括源角色、目标角色两种骨骼拓扑结构不同的角色运动片段，运动类型包括步行和跑步。
13.进一步方案为，所述步骤2具体包括：
14.构造resnet-lstm网络；所述resnet-lstm网络包括基于resnet的卷积神经网络、基于lstm的循环神经网络；
15.首先将训练样本集合中源角色的运动数据输入所述基于resnet的卷积神经网络，得到卷积神经网络的输出数据；其次将卷积神经网络的输出数据输入所述基于lstm的循环神经网络，得到循环神经网络的输出数据；
16.根据循环神经网络的输出数据与训练样本集合中目标角色的运动数据计算当前resnet网络的均方误差、骨骼长度误差；
17.根据公式：loss＝λmlossm(y) λblossb(y)更新总损失函数，其中，loss表示总损失函数，λm、λb分别表示均方误差权重参数、平滑性误差权重参数，lossm(y)、losss(y)分别表示均方误差、平滑性误差；
18.通过误差的反向传播算法和自适应矩估计优化算法动态调整权重参数和学习率，以总误差损失函数最小化为目标，获得训练好的resnet-lstm网络。
19.进一步方案为，所述步骤3中，所述均方误差约束的损失函数为进一步方案为，所述步骤3中，所述均方误差约束的损失函数为其中，f为训练数据的总帧数，y
lstm
表示基于resnet-lstm的网络的输出，x为对应的目标角色运动数据；
20.所述平滑性约束的损失函数为：重复基于resnet-lstm的网络的输出的边界元素得到y
′
lstm
：y
′
lstm(1，k)
＝y
′
lstm(2，k)
＝y
lstm(i，k)
，y
′
lstm(f 1，k)
＝y
′
lstm(f 2，k)
＝y
lstm(f，k)
，，1≤k≤177，2≤i≤f-1。平滑矩阵o为：
[0021][0022]
进一步方案为，所述resnet-lstm网络包括基于resnet的卷积神经网络、基于lstm的循环神经网络；
[0023]
所述基于resnet的卷积神经网络包括四层全连接网络和一个resnet网络；所述基于lstm的循环神经网络包括两层全连接网络和一个lstm长短时记忆单元。
[0024]
本发明的有益效果在于：
[0025]
本发明将源角色的运动数据映射为拓扑结构不同的目标角色的运动数据，从而有效促进了运动数据的复用。
[0026]
本发明通过连接基于resnet的卷积神经网络和基于lstm的循环神经网络，综合resnet的高预测精度和lstm有利于处理序列数据的优点，从而提升网络输出运动数据的准确性和平滑自然性。
[0027]
本发明采用均方误差约束和骨骼长度误差约束解决异构骨骼模型数据的映射关系，可以提高网络输出数据与目标角色运动数据的一致性。
附图说明
[0028]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要实用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]
图1为本发明实施例提供的方法的流程图；
[0030]
图2为本发明实施例提供的resnet-lstm网络的结构框图。
具体实施方式
[0031]
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
[0032]
在任一实施例中，如图1-2所示，本发明的一种基于resnet-lstm的运动数据重定向方法，包括：
[0033]
步骤101，获取训练样本集合，所述训练样本集合和测试样本集合均包括源、目标两种骨骼拓扑结构不同的角色运动片段，运动类型均包括步行和跑步，具体包括：
[0034]
从cmu数据库中选取运动类型为步行和跑步的运动片段，将所述步行和跑步的运动片段使用ik方法重定向到源角色、目标角色两种骨骼拓扑结构不同的角色上；取源角色、目标角色的60％作为训练样本集合，取源角色、目标角色的40％作为测试样本集合；所述训练样本集合和测试样本集合均包括源角色、目标角色两种骨骼拓扑结构不同的角色运动片段，运动类型包括步行和跑步；
[0035]
步骤102，以总损失函数最小化为优化目标，利用所述训练样本集合训练resnet-lstm网络，获得训练好的resnet-lstm网络，具体包括：
[0036]
构造resnet-lstm网络；所述resnet-lstm网络包括基于resnet的卷积神经网络、基于lstm的循环神经网络；
[0037]
根据所述训练样本集合对resnet-lstm网络进行训练，得到训练好的resnet-lstm网络模型，具体包括：
[0038]
根据所述训练样本集合对所述resnet-lstm网络训练：首先将训练样本集合中源角色的运动数据输入所述基于resnet的卷积神经网络，得到卷积神经网络的输出数据；其次将卷积神经网络的输出数据输入所述基于lstm的循环神经网络，得到循环神经网络的输出数据；
[0039]
根据循环神经网络的输出数据与训练样本集合中目标角色的运动数据计算当前resnet网络的均方误差、骨骼长度误差；
[0040]
根据公式：loss＝λmlossm(y) λblossb(y)更新总损失函数。其中loss表示总损失函数，λm、λb分别表示均方误差权重参数、平滑性误差权重参数，lossm(y)、losss(y)分别表示均方误差、平滑性误差；
[0041]
通过误差的反向传播算法和自适应矩估计优化算法动态调整权重参数和学习率，以总误差损失函数最小化为目标，获得训练好的resnet-lstm网络。
[0042]
步骤103，利用测试数据集合获取待重定向的源角色运动数据，将所述测试数据输入所述训练好的resnet-lstm网络，得到重定向后的运动数据。
[0043]
本实施例中，所述均方误差约束的损失函数为其中，f为训练数据的总帧数，y
lstm
表示基于resnet-lstm的网络的输出，x为对应的目标角色运动数据。
[0044]
所述平滑性约束的损失函数为：重复基于resnet-lstm的网络的输出的边界元素得到y
′
lstm
：y
′
lstm(1，k)
＝y
lstm(2，k)
＝y
lstm(1，k)
，y
lstm(f 1，k)
＝y
lstm(f 2，k)
＝y
lstm(f，k)
，y
lstm(i，k)
＝y
lstm(i-1，k)
，1≤k≤177，2≤i≤f-1。平滑矩阵o为：
[0045][0046]
图2为本发明实施例提供的resnet-lstm网络结构图，下面根据图2介绍网络结构：
[0047]
所述resnet-lstm网络包括基于resnet的卷积神经网络、基于lstm的循环神经网络；
[0048]
所述基于resnet的卷积神经网络由四层全连接网络和一个resnet网络组成；所述基于lstm的循环神经网络由两层全连接网络和一个lstm长短时记忆单元组成。
[0049]
在本发明实施例提供的一种基于resnet-lstm的运动重定向方法的流程中，源角色的运动数据x输入基于resnet的卷积神经网络，得到基于resnet的卷积神经网络输出y
resnet
＝w4×
(w3×
(resnet(w2×
(w1×
x b1) b2)) b3) b4；y
resnet
输入基于lstm的循环神经网络，得到基于lstm的循环神经网络输出y
lstm
＝w6×
(lstm(w5×yresnet
b5)) b6，y
lstm
也为resnet-lstm网络的输出。其中wi表示全连接层fci的权重，bi表示全连接层fci的偏置。
[0050]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。此外，本发明的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明的思想，其同样应当视为本发明所公开的内容。