一种基于深度生成模型的人体点云实时修复方法与流程

技术特征：
1.一种基于深度生成模型的人体点云实时修复方法，其特征在于，根据深度图与空间点云的映射关系，采用转换策略将人体点云修复问题转换为人体深度图修复问题；所述转换策略具体如下：a、根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；b、利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；c、借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图。2.根据权利要求1所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，包括如下步骤：s1、结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理；s2、利用基于生成对抗网络的深度生成模型对人体深度图数据集进行训练，使得模型收敛；s3、对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图；s4、修复被遮挡的人体深度图，并将修复后的人体深度图像映射为人体空间点云。3.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤s1具体包括：s11、根据人机协作环境中人体形态特点，确定要收集的人员样本；s12、根据同一人员动作的多样性与连贯性特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；s13、对采集的深度图像数据集执行预处理操作，仅保留人体的深度数据，并对将图片的大小截取至256
×
256。4.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤s2具体包括：s21、提取原始人体深度图像x，生成与深度图像数据集具有相同尺寸的障碍物图像m，将两张图像构造为被遮挡的人体深度图像z，其中z＝x
⊙
m；s22、将z和m作为输入，生成预测人体深度图x'＝g(z,m)，并将x'的对应的障碍物区域的深度数据迁移到z中，输出结果其中g为生成对抗网络，为深度生成模型；s23、循环步骤s21和步骤s22，直到生成对抗网络g收敛。5.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤s3具体包括：s31、将三维体感摄影机捕获的完整人机协作单元的深度图像剔除共享工作空间之外的区域，突出共享工作空间，取该静态图像作为背景图像；s32、通过背景移除法去除背景图像中障碍物区域之外的部分，保留障碍物区域作为障碍物图像；
s33、对障碍物图像进行高斯滤波、腐蚀和膨胀来移除图像中的噪声，并进行连通体检测，检测多个障碍物，生成用多个矩形来分别表示多个障碍物的掩码图像；s34、将三维体感摄影机检测的人体深度图像与障碍物掩码图像构建为带有遮挡区域的人体深度图。6.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤s4具体包括：s41、向训练收敛的深度生成模型输入带有遮挡区域的人体深度图以及障碍物掩码图像，生成修复后的人体深度图；s42、获取三维体感摄影机内参f
x
和f
y
，其中f
x
表示相机x轴焦距，f
y
表示相机y轴焦距，通过坐标系映射关系，将人体深度图映射为人体空间点云，所述坐标系映射关系具体公式为：其中，(x
k
,y
k
,z
k
)表示三维体感摄影机空间坐标系中的空间点坐标，(u0,v0)表示像素坐标系的原点o
i
在像素坐标系下的坐标，(u,v)表示像素坐标系下的坐标，dx和dy分别表示在x轴、y轴方向上的物理尺寸。7.根据权利要求3所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于步骤s11中，所述人体形态特点具体包括身高、性别、体形；所述人员样本，男性与女性比例为1：1，男女性身高都均匀分布在多个范围内，同一身高范围内的同性人员具有不同体形。8.根据权利要求4所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于步骤s22中，所述深度生成模型由两个编码器-解码器组合组成生成器网络以及由一个全局鉴别器和一个局部鉴别器组成鉴别器网络；在训练过程中，训练鉴别器网络若干次后，再根据重建损失函数与鉴别器损失函数训练一次生成器网络，所述重建损失函数l
r
与鉴别器损失函数l
c
公式为：l
r
(x)＝||m
⊙
(g((1-m)
⊙
x)-x)||
11
其中，为生成对抗网络的一个梯度惩罚因子，其中且t～u[0,1]。9.根据权利要求5所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于步骤s32中，所述背景移除法是提取静态人机协作单元的背景图像，利用三维体感摄影机获取的每一帧图像与背景图像做差分，将差值图像进行二值化处理，获得原始动态障碍物图像，具体公式为：
其中，o(x,y)表示差值图像，i
n
(x,y)表示实时待检测的动态人机协作单元图像，i
o
(x,y)表示背景图像，t表示二值化阈值。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1至9中任一项所述的一种基于深度生成模型的人体点云实时修复方法。

技术总结
本发明涉及人机协作技术领域，尤其涉及一种基于深度生成模型的人体点云实时修复方法。首先根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；然后利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；最后借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图，达到人机协作环境下人体点云实时修复的目的。人机协作环境下人体点云实时修复的目的。人机协作环境下人体点云实时修复的目的。


技术研发人员：胡洋 朱伟锋 席晓芸 徐文君
受保护的技术使用者：中国舰船研究设计中心
技术研发日：2021.09.26
技术公布日：2022/1/10