基于IMU和前向变形场的单目人体重建方法及装置与流程

技术特征：
1.一种基于imu和前向变形场的单目人体重建方法，其特征在于，包括：s1：采集佩戴惯性传感器的人体运动单目rgb视频，对所述人体运动单目rgb视频逐帧分割人体和背景，记录惯性传感器绑定的人体位置；s2：使用预训练好的人体参数化拟合模型逐帧拟合人体运动单目rgb视频，得到逐帧的人体参数化拟合模型的形状和姿态的初始估计，在人体参数化拟合模型对应的标准网格点标记传感器标签；s3：采用可学习的蒙皮权重，结合s2得到的初始估计结果，建立从基准空间中的点到逐帧人体运动图片对应的当前空间中的点的前向蒙皮变形场模型；s4：建立基准空间中表达基准形状的隐式符号距离场模型；s5：建立基准空间中表达颜色的神经辐射场模型；s6：采用体渲染的方式从逐帧人体运动图片对应的当前空间中采样射线，再沿所述射线采点；s7：根据前向蒙皮变形场将采样点变形到基准空间中，根据隐式符号距离场得到采样点符号距离值，根据神经辐射场得到采样点颜色值和透明度；s8：沿射线方向，根据所有采样点的颜色值和透明度，得到逐帧人体运动图片对应的渲染颜色值；s9：对s6中的每个采样点查找到人体参数化拟合模型对应的标准网格点中的最近点，将标准网格点的传感器标签迁移到采样点上；将绑定惯性传感器的采样点记为关键采样点，先变形到基准空间，再通过s3变形到相邻帧对应的当前空间得到新坐标，记录关键采样点的原始坐标和新坐标之间的欧氏距离；s10：训练由所述蒙皮变形场、所述隐式符号距离场和所述神经辐射场构成的动态人体重建模型，根据训练好的动态人体重建模型得到重建人体；s11：将新的人体参数化拟合模型的姿态输入s10训练好的动态人体重建模型，产生该重建人体的新姿态。2.根据权利要求1所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，s3中前向蒙皮变形场模型d
w
的函数为：其中，x
c
(r
i
,t
j
)表示基准空间中的点，x
d
(r
i
,t
j
)表示逐帧人体运动图片对应的当前空间中采样射线r
i
上，步长为t
j
的采样点，表示人体参数化拟合模型中骨头的变换矩阵，n
b
为骨头的数量；蒙皮变形公式为：其中，w
k
为可学习的蒙皮权重。3.根据权利要求2所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，s4中隐式符号距离场f
s
的函数为：f
s
:x
c
(r
i
,t
j
)
→
(s
ij
,f
ij
)其中，s
ij
表示得到的基准空间中表达基准形状的符号距离值，f
ij
是一个与该隐式符号距离场相关的一个特征，用于建立基准空间中表达基准形状的隐式符号距离场和表达颜色
的神经辐射场之间的联系。4.根据权利要求1所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，s4中从逐帧的人体参数化拟合模型的形状和姿态的初始估计中选取一帧，用该帧对应的标准网格初始化基准空间中表达基准形状的隐式符号距离场。5.根据权利要求3所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，s5中神经辐射场f
c
的函数为：f
c
:(x
c
(r
i
,t
j
),r
i
,f
ij
)
→
c
ij
其中，c
ij
为x
c
(r
i
,t
j
)的颜色值，根据离散化的体渲染公式，得到采样射线r
i
对应的颜色值c(r
i
)为：其中，n为该采样射线上的采样点个数，α
ij
为采样点对应的透明度：其中，φ
m
(x)＝(1 e-mx
)-1
是sigmoid函数，m为预定义参数，s
i(j 1)
是将采样射线r
i
上，步长为t
j 1
的采样点x
d
(r
i
,t
j 1
)变形后的基准空间点x
c
(r
i
,t
j 1
)输入隐式符号距离场f
s
得到的符号距离值。6.根据权利要求1所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，所述隐式符号距离场模型为神经网络模型，依次包括：输入层、非线性层、全连接层与损失层；所述神经辐射场模型为神经网络模型，依次包括：输入层、非线性层、全连接层与损失层。7.根据权利要求1-6中任一项所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，s10中，将s8得到的渲染颜色值和s1中分割出的人体图片对应点的颜色值的差异作为损失函数1；根据s8得到的渲染颜色值得到人体轮廓图，将该图与根据s1中分割出的人体图片得到的人体轮廓图的差异作为损失函数2；根据s9中的欧氏距离、惯性传感器帧率和视频拍摄帧率得到关键采样点加速度，将该加速度与惯性传感器导出的加速度的差异作为损失函数3；将三个损失函数的加权和作为训练的损失函数。8.根据权利要求1所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，s10中的损失函数还包含约束基准空间中表达基准形状的隐式符号距离场的eikonal损失函数。9.根据权利要求1所述的一种基于imu和前向变形场的单目人体重建方法，其特征在于，s2中得到的逐帧的人体参数化拟合模型的形状和姿态的初始估计，在s10的训练过程中作为可学习变量与所述动态人体重建模型联合优化。10.一种基于imu和前向变形场的单目人体重建装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，其特征在于，所述处理器执行所述可执行代码时，用
于实现如权利要求1-9中任一项所述的基于imu和前向变形场的单目人体重建方法。

技术总结
本发明公开了一种基于IMU和前向变形场的单目人体重建方法及装置，能通过用一段绑定惯性传感器的人体运动单目RGB视频训练，得到准确、高质量的重建动态人体的几何和新视角的自然真实的渲染结果，且可以用新输入的人体姿态驱动该重建人体得到新动作。本发明首先建立了表达基准空间形状的隐式符号距离场模型以及表达颜色的神经辐射场模型，然后建立前向蒙皮变形场得到逐帧图片对应的当前空间点到基准空间点的变形，得到逐帧图片中每个像素点的颜色值和透明度，将其与输入图片的差异作为一个主要的损失函数。为避免单目视频存在的自遮挡问题，本发明利用惯性传感器绑定在运动人体上提供相邻帧之间的相对位置信息作为另一个主要的损失函数进行训练。要的损失函数进行训练。要的损失函数进行训练。


技术研发人员：要宇馨 江博艺
受保护的技术使用者：杭州像衍科技有限公司
技术研发日：2022.03.04
技术公布日：2022/6/4