一种基于深度生成模型的人体点云实时修复方法与流程

1.本发明涉及人机协作技术领域，尤其涉及一种基于深度生成模型的人体点云实时修复方法。


背景技术：

2.近年来，人机协作已成为智能制造的关注热点。在传统的制造场景中，由于安全原因，操作员和机器人被隔离在不同的工作区域，独立完成各自所分配的任务。在人机协作系统中，机器人除了独立执行自己的任务，也需要协助操作员完成复杂的任务，从而提高生产效率，降低人的负荷。人机协作环境下，在机器人配合操作员完成任务过程中，机器人需要实时获取人体空间位置，并且需要在被障碍物遮挡的情况下获取被遮挡的人体空间位置信息，这对机器人安全地协助人完成复杂任务至关重要。
3.三维人体点云模型是通过激光扫描技术，对物理人体进行全方位扫描获取的,包括人体的身高、外形特征、体貌形态等元素。将采集到的数据经过三维建模软件可视化渲染后，方便后期参数调整和图像处理。
4.目前，现有的人体点云修复技术无法适应动态障碍物情况下的人体点云修复，且没有考虑人机协作的背景，同时也未考虑人体形态和动作的多样性，难以为机器人实时提供准确的人体点云修复结果。


技术实现要素：

5.本发明要解决的技术问题是：提供一种基于深度生成模型的人体点云实时修复方法，能够在人机协作过程中人体被障碍物遮挡时，实时结合遮挡情况和人体形态特点，准确高效的修复人体点云。
6.为解决上述技术问题，本发明采用的技术方案是：
7.一种基于深度生成模型的人体点云实时修复方法，根据深度图与空间点云的映射关系，采用转换策略将人体点云修复问题转换为人体深度图修复问题，所述转换策略具体如下：
8.a、根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；
9.b、利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；
10.c、借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图。
11.进一步的，所述的一种基于深度生成模型的人体点云实时修复方法，具体包括如下步骤：
12.s1、结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理；
13.s2、利用基于生成对抗网络的深度生成模型对人体深度图数据集进行训练，使得
模型收敛；
14.s3、对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图；
15.s4、修复被遮挡的人体深度图，并将修复后的人体深度图像映射为空间点云。
16.进一步的，所述步骤s1具体包括：
17.s11、根据人机协作环境中人体形态特点，确定要收集的人员样本；
18.s12、根据同一人员动作的多样性与连贯性特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；
19.s13、对采集的深度图像数据集执行预处理操作，仅保留人体的深度数据，并对将图片的大小截取至256
×
256。
20.进一步的，所述步骤s2具体包括：
21.s21、提取原始人体深度图像x，生成与深度图像数据集具有相同尺寸的障碍物图像m，将两张图像构造为被遮挡的人体深度图像z，其中z＝x
⊙
m；
22.s22、将z和m作为输入，生成预测人体深度图x'＝g(z,m)，并将x'的对应的障碍物区域的深度数据迁移到z中，输出结果其中g为生成对抗网络，为深度生成模型；
23.s23、循环步骤s21和步骤s22，直到生成对抗网络g收敛。
24.进一步的，所述步骤s3具体包括：
25.s31、将三维体感摄影机捕获的完整人机协作单元的深度图像剔除共享工作空间之外的区域，突出共享工作空间，取该静态图像作为背景图像；
26.s32、通过背景移除法去除背景图像中障碍物区域之外的部分，保留障碍物区域作为障碍物图像；
27.s33、对障碍物图像进行高斯滤波、腐蚀和膨胀来移除图像中的噪声，并进行连通体检测，检测多个障碍物，生成用多个矩形来分别表示多个障碍物的掩码图像；
28.s34、将三维体感摄影机检测的人体深度图像与障碍物掩码图像构建为带有遮挡区域的人体深度图。
29.进一步的，所述步骤s4具体包括：
30.s41、向训练收敛的深度生成模型输入带有遮挡区域的人体深度图以及障碍物掩码图像，生成修复后的人体深度图；
31.s42、获取三维体感摄影机内参f
x
和fy，其中f
x
表示相机x轴焦距，fy表示相机y轴焦距，通过坐标系映射关系，将人体深度图映射为人体空间点云，所述坐标系映射关系具体公式为：
[0032][0033]
其中，(xk,yk,zk)表示三维体感摄影机空间坐标系中的空间点坐标，(u0,v0)表示像素坐标系的原点oi在像素坐标系下的坐标，(u,v)表示像素坐标系下的坐标，dx和dy分别表示在x轴、y轴方向上的物理尺寸。
[0034]
进一步的，步骤s11中所述人体形态特点具体包括身高、性别、体形；所述人员样本，男性与女性比例为1：1，男女性身高都均匀分布在多个范围内，同一身高范围内的同性人员具有不同体形。
[0035]
进一步的，步骤s22中所述深度生成模型由两个编码器-解码器组合组成生成器网络以及由一个全局鉴别器和一个局部鉴别器组成鉴别器网络；
[0036]
在训练过程中，训练鉴别器网络若干次后，再根据重建损失函数与鉴别器损失函数训练一次生成器网络，所述重建损失函数lr与鉴别器损失函数lc公式为：
[0037]
lr(x)＝||m
⊙
(g((1-m)x)-x)||1[0038][0039][0040]
其中，为生成对抗网络的一个梯度惩罚因子，其中且t～u[0,1]。
[0041]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如上述任一项所述的一种基于深度生成模型的人体点云实时修复方法。
[0042]
本发明与现有技术相比具有以下主要的优点：
[0043]
1、本发明提出了一种新颖的人机协作环境中人体点云实时修复方法，能够有效的修复被障碍物遮挡的人体点云。
[0044]
2、通过分析，借助坐标系映射关系将三维人体点云的修复转换为二维人体深度图像修复的问题，利用训练收敛的基于生成对抗网络的深度生成模型对人体缺失的深度数据进行实时修复。
[0045]
3、考虑到需实时检测空间中动态障碍物并生成障碍物掩码图像的问题，引入了一种障碍物实时检测方法，保证障碍物掩码图像生成效率。
[0046]
4、结合人机协作场景，充分分析了人机协作单元中操作人员特点，实现对人体空间点云的实时修复。
附图说明
[0047]
图1为本发明实施方案的整体流程图；
[0048]
图2为本发明实施方案的具体流程图；
[0049]
图3为本发明基于生成对抗网络的深度生成模型结构图；
[0050]
图4为本发明障碍物实时检测方法流程图；
[0051]
图5为本发明实施例障碍物图像；
[0052]
图6为本发明人体深度图映射人体空间点云示意图；
[0053]
图7为本发明人体点云修复结果图；
[0054]
图8为本发明的人体点云修复效果数据图。
具体实施方式
[0055]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0056]
需要指出，根据实施的需要，可将本技术中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
[0057]
本发明实施的一种基于深度生成模型的人体点云实时修复方法，如图1所示，根据深度图与空间点云的映射关系，采用转换策略将人体点云修复问题转换为人体深度图修复问题。
[0058]
其中，所述转换策略具体如下：
[0059]
a、根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；
[0060]
b、利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；
[0061]
c、借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图，达到人机协作环境下人体点云实时修复的目的。
[0062]
本实例中所述三维体感摄影机具体为kinect相机。
[0063]
如图2所示，所述一种基于深度生成模型的人体点云实时修复方法，具体包括如下步骤：
[0064]
s1，结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理。具体包括以下步骤：
[0065]
s11，根据人机协作环境中操作员具有明显差异特点，被收集人体对象包含不同身高、不同性别以及不同形态的操作员，确定要收集的人员样本；
[0066]
其中，男性操作员与女性操作员比例为1：1，男女性身高差距保持相对均匀分布到多个范围中，并且身高处在同一范围内的同性操作员要具有不同的形态特征，共安排16名操作人员。
[0067]
s12，根据人机协作环境中同一操作员动作的多样性与连贯性等特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；
[0068]
其中，根据同一操作员动作形态的多样性性与连贯性等特点，为每个操作员安排6种连贯性动作，根据深度学习对样本数据量的要求，收集操作人员约5000张人体连贯性动作深度图进行训练。
[0069]
s13，对采集的深度图像数据集执行预处理操作，如离群点滤波。
[0070]
具体的，对采集的人体深度图像数据集通过离群点滤波算法处理，仅保留人体的深度数据，并对将图片的大小截取至256
×
256。
[0071]
s2，利用基于生成对抗网络的深度生成模型对人体深度图像数据集进行训练，使得模型收敛。具体包括以下步骤：
[0072]
s21，提取原始人体深度图像x(未被遮挡的人体深度图)，生成与数据集图像具有
相同尺寸的二进制掩码图像m(障碍物图像)，将两张图像构造为z(被遮挡的人体深度图像)，其中z＝x
⊙
m；
[0073]
其中，所述掩码图像m是在大小为256
×
256的二进制图像中的任意位置生成任意大小的矩形掩码。在训练初始，掩码图像m与原始人体深度图x重新构造为图像z，其中z＝x
⊙
m。
[0074]
s22，将z和m作为输入，生成预测人体深度图结果x'＝g(z,m)，并将x'的对应的掩码区域的深度数据迁移到z中，输出结果其中g为生成对抗网络，为深度生成模型；
[0075]
进一步的，基于生成对抗网络的深度生成模型由两个编码器-解码器组合组成生成器网络以及由一个全局鉴别器和一个局部鉴别器组成鉴别器网络，如图3所示；
[0076]
另外，引入改进后的生成对抗网络的一个梯度惩罚因子其中且t～u[0,1]。在训练过程中，训练鉴别器网络5次后，再根据重建损失函数与鉴别器损失函数训练一次生成器网络，所述重建损失函数lr与鉴别器损失函数lc公式为：
[0077]
lr(x)＝||m
⊙
(g((1-m)
⊙
x)-x)||1[0078][0079][0080]
s3，引入一种人机协作环境中障碍物实时检测方法，对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图。如图4所示，具体包括以下步骤：
[0081]
s31，将三维体感摄影机捕获的完整人机协作单元的深度图像剔除共享工作空间之外的区域，突出共享工作空间，取该静态图像作为背景图像；
[0082]
s32，通过背景移除法去除背景图像中障碍物区域之外的部分，保留障碍物区域作为障碍物图像；
[0083]
其中，所述背景移除法是提取静态人机协作单元的背景图像，利用三维体感摄影机(kinect相机)获取的每一帧图像与背景图像做差分，将差值图像进行二值化处理，获得原始动态障碍物图像。o(x,y)表示差值图像，即原始的障碍物图像，in(x,y)表示实时待检测的动态人机协作单元图像，io(x,y)表示背景图像，t表示二值化阈值。阈值t的大小影响了障碍物区域的准确性和背景移除的效果，根据图像的效果来调整阈值t的大小。背景移除法的公式为：
[0084][0085]
如图5所示，为本实施例障碍物图像，图中(a)为障碍物二值图像，(b)为障碍物掩码图像。
[0086]
s33，对障碍物图像进行高斯滤波、腐蚀和膨胀来移除图像中的噪声。对图像进行连通体检测，检测多个障碍物，生成用多个矩形来分别表示多个障碍物的掩码图像；
[0087]
其中，首先通过高斯滤波对障碍物图像进行初步滤波，再依次进行等参数的腐蚀和膨胀，滤除干扰，并增加连通体检测过程，检测多个动态障碍物，生成障碍物的二进制掩码图像。
[0088]
s34，将三维体感摄影机检测的人体深度图像与障碍物掩码图像构建为带有遮挡区域的人体深度图。
[0089]
其中，三维体感摄影机获取的人机协作单元的人体深度图为x，障碍物掩码图像为m，构造的带有遮挡区域的人体深度图为z＝x
⊙
m。
[0090]
s4，修复被遮挡的人体深度图，并将修复后的人体深度图像映射为空间点云。
[0091]
具体包括以下步骤：
[0092]
s41，向训练收敛的深度生成模型输入带有遮挡区域的人体深度图以及障碍物掩码图像，生成修复后的人体深度图；
[0093]
s42、获取三维体感摄影机内参f
x
和fy，其中f
x
表示相机x轴焦距，fy表示相机y轴焦距，通过坐标系映射关系，将人体深度图映射为人体空间点云，如图6所示，所述坐标系映射关系具体公式为：
[0094][0095]
其中，(xk,yk,zk)表示三维体感摄影机空间坐标系中的空间点坐标，(u0,v0)表示像素坐标系的原点oi在像素坐标系下的坐标，(u,v)表示像素坐标系下的坐标，dx和dy分别表示在x轴、y轴方向上的物理尺寸。
[0096]
如图7所示，为本发明人体点云修复结果图，图中(c)为原始人体点云，(d)为被障碍物遮挡的人体点云，(e)为修复后的人体点云。
[0097]
实验测得的本实例人体点云修复效果数据如图8所示，图中ge为生成错误率，mds为平均偏差，agt为平均生成时间，
[0098]
本发明是基于深度生成模型来进行人机协作环境中的人体点云实时修复，其目标是在保证可修复的基础上，对于单个或多个残缺区域的修复也能保证较高的准确率以及实时性，为人机协作环境中操作员的安全提供了保障，进一步提高了机器人的智能性。
[0099]
采用本发明提出的一种新颖的人机协作环境中人体点云实时修复方法，能够有效的修复被障碍物遮挡的人体点云；
[0100]
通过分析，借助坐标系映射关系将三维人体点云的修复转换为二维人体深度图像修复的问题，利用训练收敛的基于生成对抗网络的深度生成模型对人体缺失的深度数据进行实时修复；
[0101]
考虑到需实时检测空间中动态障碍物并生成障碍物掩码图像的问题，引入了一种障碍物实时检测方法，保证障碍物掩码图像生成效率；
[0102]
结合人机协作场景，充分分析了人机协作单元中操作人员特点，实现对人体空间点云的实时修复。
[0103]
基于同一发明构思，本技术实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述
方法的所有方法步骤或部分方法步骤。
[0104]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。