一种基于深度特征解耦的可控人体形状补全方法与流程

1.本发明涉及计算机人体形状处理技术领域，具体地说是一种基于深度解耦特征的可控人体形状补全方法。


背景技术：

2.作为计算机多媒体技术的重要组成部分，人体形状建模受到较为广泛的关注。随着3d形状获取设备的性能发展，3d形状可以直接从现实世界中进行捕获，但由于受到物体遮挡、拍摄角度、设备精度等客观条件的限制，捕获到的3d形状往往是残缺的，这些残缺的形状需要经过一定程度的补全处理才能满足下游任务的需求。近年来，深度学习技术强大的函数拟合能力使其在众多领域具有较好的应用前景，其通过简单函数的多层嵌套和基于损失函数优化的有监督训练机制实现对输入数据的强大特征提取性能。但是，直接通过有监督训练得到的深度学习模型提取到的数据特征通常是混杂且不可解释的。
3.现有技术地形状补全方法主要针对刚体形状设计，且对输入形状破损程度的容忍度较低，一般要求输入形状保留一定程度的形状骨架。相比刚体，针对非刚体尤其是人体形状的补全方法较为少见，人体作为可变形体，其最大的特点是千姿百态而没有固定的基准形状，这种特性使其蕴含的先验信息少于刚体，因此对补全方法的性能提出更高要求。同时，当输入人体形状的某个较大连续区域缺失时，理论上无法从剩余区域中直接推断唯一确定的补全结果，此时需要引入额外的信息辅助进行补全。
4.近年来，深度学习技术强大的函数拟合能力使其在众多领域具有较好的应用前景，其通过简单函数的多层嵌套和基于损失函数优化的有监督训练机制实现对输入数据的强大特征提取性能。但是，直接通过有监督训练得到的深度学习模型提取到的数据特征通常是混杂且不可解释的。


技术实现要素：

5.本发明的目的是针对现有技术的不足而提供的一种基于深度特征解耦的可控人体形状补全方法，采用深度特征解耦学习的方法，实现在体型和姿势特征相互解耦的特征空间中完成补全，充分利用神经网络的强大特征提取能力，分别从破损人体形状和一组骨架关节点，重建人体的完整体型和姿势特征，使人体形状补全任务转化为刚体补全任务。该方法通过独特的模型训练方式和损失函数设计，使得深度学习模型提取到训练时预先指定的语义特征，大大降低对补全模型的鲁棒性要求。
6.本发明的目的是这样实现的：一种基于深度特征解耦的可控人体形状补全方法，其特点是该方法主要包括f、e、d和h四个神经网络，其中神经网络f用于从破损形状中重建人体形状的完整体型特征；神经网络e和d用于从一组可控的骨架关节点还原或从高斯噪声向量中生成人体的完整姿势特征，神经网络e用于将骨架关节点集映射到过渡特征空间中的一个点，神经网络d用于将该点坐标或一个高斯噪声向量映射到完整的人体姿势特征；最后利用一个预训练的人体形状合成神经网络h，根据两种特征合成姿势可控的人体形状补
全结果，该方法包括以下步骤：
7.1)重建完整人体体型特征
8.根据输入的破损人体形状重建完整人体体型特征，设矩阵x为输入的一个破损人体形状数据，其行数为输入形状的点数、列数为3，每行记录一个点的三维坐标，将其输入一个体型特征重建神经网络f，所述重建神经网络f包含1个多层感知机神经网络和一个全局平均池化层，设输出为下述i式表示重建的人体体型特征向量为α
s
：
9.α
s
＝f(x,θ)＝p(m
f
(x,θ
k
,θ
b
)),
ꢀꢀꢀꢀꢀ
(i)；
10.式中：m
f
表示多层感知机神经网络；θ
k
和θ
b
均为m
f
通过优化损失函数确定的参数，前者表示线性变换，后者表示偏移量；θ表示θ
k
和θ
b
的集合；p为全局平均池化函数，其输出为下述ii式表示的向量：
[0011][0012]
式中：m为输入的矩阵，其大小为m行n列；p(m)
j
向量的元素个数和m的列数相等，j的取值为m的第j列所有元素的算数平均值。
[0013]
2)重建完整人体姿势特征
[0014]
根据输入的骨架关节点集重建或根据高斯噪声向量生成完整人体姿势特征，设向量k为一组骨架关节点集，其元素数量为57，连续记录19个关节点的三维坐标，将其输入一个由解码子神经网络d和编码子神经网络e组成的神经网络，所述编码子神经网络e将骨架关节点集映射到过渡特征空间的一个点z上，且由解码子神经网络d将该点映射到下述iii式表示的完整人体姿势特征向量α
p
：
[0015]
α
p
＝d(z,φ
d
),
ꢀꢀꢀꢀꢀꢀꢀ
(iii)；
[0016]
式中：φ
d
和φ
e
分别代表两个子神经网络的参数集合；z为下述iv式表示的过渡特征空间内的一个点坐标；
[0017][0018]
式中：向量z的取值为，当存在输入的骨架关节点集k时，z由编码子神经网络e映射而得；当k不存在时，z为从标准高斯分布中进行一次采样得到的样本向量z
′
，表示高维标准高斯分布；所述函数e
′
和解码子神经网络d均由多层堆叠的全连接神经网络和残差神经网络组成。
[0019]
3)人体形状补全结果
[0020]
根据重建的完整人体体型和姿势特征合成姿势可控的人体形状补全结果，使用一个预训练的人体形状合成神经网络h将重建的完整形状和姿势特征映射到由下述vi式表示的补全结果矩阵y：
[0021]
y＝h(α
s
，α
p
，ξ
*
)
ꢀꢀꢀꢀꢀ
(v)；
[0022]
式中：ξ
*
为合成神经网络h的参数；补全结果矩阵y的大小为6890行、3列，每行分别记录补全形状的点坐标。
[0023]
本发明与现有技术相比具有利用神经网络的强大特征提取能力，分别从破损人体形状和一组骨架关节点重建人体的完整体型和姿势特征，将人体形状补全任务转化为刚体
补全任务(因为重建体型特征和姿势无关)，降低了对相应神经网络的性能要求，使最终的补全结果变得可控。当作为控制信息的骨架关节点集坐标不存在时，完整的人体姿势特征可以从标准高斯分布中直接生成。应用本发明可以对由3d形状捕捉设备采集到的3d人体模型进行快速准确的补全与重建，并可在此基础上对作为补全结果的人体模型进行姿势编辑，若不提供骨架关节点集信息，则还可以生成随机姿势的补全结果。本发明采用深度特征解耦学习方法，通过独特的模型训练方式和损失函数设计，使得深度学习模型提取到训练时预先指定的语义特征，由于语义是人为设定的，该方法大大提升了模型提取到的数据特征的可解释性。在人体形状处理领域，该技术常常用于体型和姿势的迁移处理，但在形状补全领域，这一技术并未得到很好的利用，若能够在体型和姿势特征相互解耦的特征空间中完成补全，则可以大幅度降低对补全模型的鲁棒性要求。
附图说明
[0024]
图1为本发明的神经网络框架图；
[0025]
图2为本发明针对大部分缺失的人体破损形状给出的补全结果；
[0026]
图3为本发明针对四肢完全缺失的人体破损形状给出的补全结果；
[0027]
图4为本发明针对无骨架关节点输入情形的姿势随机补全结果。
具体实施方式
[0028]
以下结合附图及实施例对本发明进行详细描述。
[0029]
实施例1
[0030]
本发明按下述步骤进行基于深度特征解耦的可控人体形状补全：
[0031]
1)获取破损的人体形状样本、骨架关节点集样本和对应两者的训练真值
[0032]
先获取完整的人体形状样本，单个样本以off网格格式文件存储，每个文件包含6890个点的三维坐标值和三角面片列表。然后对这些样本进行切割，切割过程模拟实际破损的情形，切割点序号以txt文本文件存储，利用序号和完整人体形状样本完成切割。骨架关节点集样本是从完整人体形状数据中提取的，以xyz网格格式文件存储，每个文件包含19个点的三维坐标值，所有完整形状的体型和姿势特征向量训练真值使用两个预训练的特征提取器进行提取。
[0033]
2)使用获取到的样本训练体型特征和姿势特征重建神经网络
[0034]
将破损形状x输入重建神经网络f，得到α
s
，设输入破损形状x的完整体型特征真值为向量β
s
，使用其和重建的体型特征向量α
s
之差的l2范数的平方作为下述vi式表示的损失函数：
[0035][0036]
设向量γ的长度为l，且由下述vii式定义为γ各元素的平方和：
[0037][0038]
根据上述vi式计算的损失函数值，反向求解网络参数集合θ的导数；根据导数信息，利用adam算法更新参数值，通过极小化vi式可以使神经网络f重建出的完整体型特征更
加准确；将骨架关节点集坐标向量k输入子神经网络e，根据iv式计算得向量z，以z和为均值、以z
″
为方差参数构建高斯分布，并从该分布中进行一次采样，z”为将k输入子神经网络e的后倒数第二层的输出输入一个全连接层后得到的向量，设采样得到的样本为下述viii式表示的向量为z
″′
：
[0039][0040]
式中：mσ表示一个全连接层；和是其参数矩阵。
[0041]
将z
″′
输入网络d得α
′
p
，设输入骨架关节点坐标k的完整姿势特征真值为向量β
p
，损失数为下述ix式表示的α
′
p
‑
β
p
的l2范数的平方和标准高斯分布与viii式中高斯分布的kullback
‑
leibler散度之和：
[0042][0043]
式中：d
kl
函数为kullback
‑
leibler散度。
[0044]
根据上述ix式计算的损失函数值，反向求解网络参数集合φ
e
和φ
d
的导数，利用adam算法更新参数值，并通过极小化j式使重建出的完整姿势特征更加准确。
[0045]
3)使用训练完成的两个神经网络和预训练的人体形状合成神经网络进行可控补全
[0046]
将需要补全的破损形状输入重建神经网络f，将一个人体骨架关节点集输入神经网络e或将标准高斯噪声输入神经网络d，并根据上述i式、iii式和iv式计算完整的体型和姿势特征向量值，然后将两个向量输入合成神经网络h，并根据v式计算补全结果。
[0047]
参阅图1，左侧破损的形状x为需要进行补全的人体形状，具有大致人体骨架轮廓的点云形状y为输入的骨架关节点集，右侧完整的人体形状y即为姿势受到关节点集控制的补全结果，神经网络e和神经网络d根据骨架关节点集重建完整的人体姿势特征α
p
重建神经网络f根据破损形状重建完整的人体体型特征α
s
，最后通过预训练的人体形状合成神经网络h，合成完整的可控补全形状y。
[0048]
参阅图2a，对大部分缺失的破损人体形状的补全结果，其左侧为输入破损人体形状的骨架关节点集，右侧为破损人体形状的补全结果。
[0049]
参阅图2b，从三组坐标位置不同的骨架关节点集和将其输入网络模型后产生的对应姿势的补全结果图中可以看出，完整人体形状的姿势和骨架关节点集描述的姿势基本保持一致，实现对补全结果姿势的控制。
[0050]
参阅图2c，从基于非特征空间解耦补全的结果图中可以看出，其补全结果有失真的现象。
[0051]
参阅图3a，输入四肢完全缺失的破损人体形状。
[0052]
参阅图3b，从三组不同的骨架关节点集和对应的补全结果图中可以看出，输出完整人体形状的姿势基本匹配输入的骨架关节点集。
[0053]
参阅图3c，使用非解耦的特征空间进行人体形状补全会出现失真的现象。
[0054]
参阅图4a，输入的破损人体形状。
[0055]
参阅图4b，三组不同的随机姿势补全结果。
[0056]
参阅图4c，从三组不同的非解耦特征空间方法随机生成的结果图中可以看出，非解耦特征空间方法随机生成的结果有失真现象。本发明随机生成的补全结果质量更高。
[0057]
以上仅是本发明的具体实施例，并不限于上述实施例，本领域的技术人员从本发明公开的内容直接导出或得到的启示均为等效实施，应包含于本发明专利的权利要求范围之内。