一种基于深度图像二次分割的钢结构识别和定位方法与流程

1.本发明涉及深度图像的目标识别的技术领域，尤其涉及一种基于深度图像二次分割的钢结构识别和定位方法。


背景技术：

2.目前我国的钢结构防火涂料施工主要采用人工手持喷枪喷涂的方式，普遍存在着喷涂效率低、喷涂质量不稳定以及作业人员容易误吸入涂料影响健康等问题，工业化和智能化水平较低；采用自动化喷涂机器人替代原有人工方式进行喷涂作业，是我国智能建造与建筑工业化协同发展的必然趋势；深度图像也被称为距离图像，是指将从图像采集设备到场景中各点的距离作为像素值的图像，它包含了图像采集设备视野范围内的可见物体表面相对于图像采集设备的空间位置关系，是机器人获取待喷涂钢结构的空间位置信息的重要数据来源。
3.通过深度图像对目标进行识别和定位的方法在工业和物流运输领域已有较多应用，但在这类应用中要求对目标的背景进行设计和控制，以便获得稳定可靠的目标深度图像；而在实际施工环境中，由于作业目标的背景往往不可控，存在较多无关目标干扰，因而通过图像采集设备获取到的深度图像往往包含了较多无关目标的深度信息，这会对主要作业目标的深度图像分割和提取产生干扰，进而影响对于主要作业目标的识别和定位；目前，针对深度图像的分割方法大多是基于稳定、可控的图像背景，在工程环境下的相关研究和应用较少，这一问题已成为喷涂机器人获取作业目标空间位置信息的一大阻碍。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。
6.因此，本发明解决的技术问题是：现有技术方案针对深度图像的分割方法大多是基于稳定、可控的图像背景，在工程环境下的相关研究和应用较少，这一问题已成为喷涂机器人获取作业目标空间位置信息的一大阻碍。
7.为解决上述技术问题，本发明提供如下技术方案：采集施工目标的多幅彩色图像以及视角一致的目标彩色图像colorimage1和深度图像depthimage1，并在所述多幅彩色图像的每幅图像中标出作业目标所在区域，生成目标识别器的训练集，利用所述训练集对所述识别器进行训练；根据训练得到的目标识别器，对所述彩色图像colorimage1进行区域分割，得到目标钢结构所在的区域region1，并对所述region1进行形态学处理，得到region2；对所述深度图像depthimage1进行滤波处理，得到深度图像depthimage2，并根据预设的深度范围对所述深度图像depthimage2进行区域筛选和形态学处理，得到符合深度范围的像素所在区域region4；计算得到所述区域region2与region4的相交区域region5，并将预处
理后的深度图像depthimage2按region5进行裁剪，得到裁剪后剩余深度图像depthimage3；提取所述深度图像depthimage3中像素点的坐标值和对应的灰度值，并作为识别出的钢结构的空间三维点云的坐标，完成钢结构的识别和定位。
8.作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：所述目标识别器包括多层感知神经网络和卷积神经网络。
9.作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：所述深度图像的获取方式包括双目相机、rgbd相机、三维激光雷达或者深度相机。
10.作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：采用所述双目相机获取所述深度图像过程包括，采用安装在机器人上的双目相机采集左、右两幅彩色rgb通道图像，并根据双目相机标定参数对所述图像进行畸变校正与极线校正，得到校正后的左目图像leftimage1与右目图像rightimage1，同时将所述左目图像leftimage1复制并保存为colorimage1；将所述leftimage1和rightimage1分别转化为灰度图像，灰度范围压缩至0至255，得到转换后的灰度图像leftimage2和右目图像rightimage2，并利用匹配代价函数计算两幅图像中匹配点相似度；对所述图像进行路径迭代，在完成全部路径迭代计算后，以路径末端图像的坐标(x,y)为像素点坐标、d
(x,y)
为灰度值组成稠密视差图像disparityimage；根据相机内参和稠密视差图像disparityimage，按三角原理逐点计算得到所述深度图像depthimage1。
11.作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：所述匹配代价函数包括，
[0012][0013]
其中，为梯度计算符号，i
l
(x,y)和i
r
(x,y)分别为左右图像位于坐标(x,y)处的灰度值，d
(x,y)
是坐标(x,y)处的视差值，k
g
、k
d
和k
s
分别为灰度权重、梯度权重和平滑因子，误匹配惩罚函数，ε为柔化因子，取值范围[1,2]，γ为小正数。
[0014]
作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：所述region2的获取过程包括，基于所述训练得到的目标识别器，对采集到的彩色图像colorimage1进行初步区域分割，得到目标初步分割区域region1；断开所述region1中的非连通区域，根据经验值按面积要素筛选出钢结构所在的区域；采用矩形模板对所述region1进行开运算去除所述区域边缘毛刺，再做闭运算弥补开运算引起的边缘范围缩减，得到钢结构区域region2。
[0015]
作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：根据所述预设的深度范围对所述深度图像进行区域分割包括，根据喷涂机械手臂空间运动包络范围确定最近距离和最远距离再根据机械手臂与相机的相对位置关系，进行坐标系空间平移，得到机械手臂作业范围在相机坐标系下的对所述深度图像depthimage1采用3
×
3矩形模板进行高斯滤波，得到所述深度图像
depthimage2；根据对所述深度图像depthimage2进行阈值分割，提取出符合预设深度范围的图像区域region3；利用形态策略对所述region3进行处理，将经过处理后的二值图像记为区域region4，即为满足机器人作业范围的有效钢结构深度图像区域。
[0016]
作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：所述相交区域region5包括区域region2与region4在相同图像坐标系下存在叠加的部分。
[0017]
作为本发明所述的基于深度图像二次分割的钢结构识别和定位方法的一种优选方案，其中：所述钢结构的空间三维点云的坐标(x,y,z)包括所述depthimage3中像素点坐标值和对应的灰度值。
[0018]
本发明的有益效果：相比于传统的基于形态学分析的深度图像分割算法，本发明使得处理后的深度图像仅保留与机器人有效作业范围内的钢结构深度信息，而无关的深度信息大大减少，为后续的机械手臂喷涂轨迹拟合提供更为准确的输入数据源，提高喷涂机器人对于有效作业能力范围内的钢结构的喷涂效率与喷涂质量。
附图说明
[0019]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0020]
图1为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的基本流程示意图；
[0021]
图2为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的对钢结构所在区域进行标注的过程示意图；
[0022]
图3为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的获取到的原始钢结构深度图像depthimage1示意图；
[0023]
图4为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的目标初步分割得到的钢结构区域region1示意图；
[0024]
图5为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的经过形态学处理后的钢结构区域region2示意图；
[0025]
图6为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的region2与region4的交区域region5示意图；
[0026]
图7为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的经过分割的钢结构深度图像depthimage3示意图；
[0027]
图8为本发明一个实施例提供的一种基于深度图像二次分割的钢结构识别和定位方法的钢结构三维点云分布示意图。
具体实施方式
[0028]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而
不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0029]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0030]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0031]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0032]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0033]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0034]
实施例1
[0035]
参照图1，为本发明的一个实施例，提供了一种基于深度图像二次分割的钢结构识别和定位方法，包括：
[0036]
s1：采集施工目标的多幅彩色图像以及视角一致的目标彩色图像colorimage1和深度图像depthimage1，并在多幅彩色图像的每幅图像中标出作业目标所在区域，生成目标识别器的训练集，利用训练集对识别器进行训练；需要说明的是：
[0037]
目标识别器包括多层感知神经网络和卷积神经网络。
[0038]
深度图像的获取方式包括双目相机、rgbd相机、三维激光雷达或者深度相机。
[0039]
其中，施工目标图像获取方式包括施工现场拍摄、实验室模型拍摄以及通过建模仿真软件生成。
[0040]
具体的，在施工现场通过安装在机器人上的摄像头或人工手持相机方式，录制包含作业目标的视频，视频拍摄视角和距离应与喷涂机器人作业时的视角、距离和光照条件相接近，再对采集到的视频文件逐帧提取出多张包含作业目标的清晰的图像；使用区域选择工具，框出钢结构和非作业目标所在区域，并分别设置类别；对每一张包含作业目标的图像都执行上述过程，得到经过标注的图像集；利用经过标注的图像集对多层感知神经网络识别器进行训练，得到经过训练的识别器。
[0041]
进一步的，采用双目相机获取深度图像时，其具体步骤为：
[0042]
(1)使用安装在机器人上的双目相机采集左、右两幅彩色rgb通道图像，并根据双目相机标定参数将图像进行畸变校正与极线校正，得到校正后的左目图像leftimage1与右
目图像rightimage1，同时将leftimage1复制并保存为colorimage1；
[0043]
(2)将leftimage1和rightimage1分别转化为灰度图像，灰度范围压缩至0至255，得到转换后的灰度图像leftimage2和右目图像rightimage2，并利用匹配代价函数计算两幅图像中匹配点相似度，其中，匹配代价函数包括：
[0044][0045]
其中，为梯度计算符号，i
l
(x,y)和i
r
(x,y)分别为左右图像位于坐标(x,y)处的灰度值，d
(x,y)
是坐标(x,y)处的视差值，k
g
、k
d
和k
s
分别为灰度权重、梯度权重和平滑因子，误匹配惩罚函数，ε为柔化因子，取值范围[1,2]，γ为小正数；
[0046]
计算代价函数是进行双目立体匹配的一个必要环节，其作用是评价左、右图像中匹配点的相似程度，e越小，代表相似程度越高。
[0047]
(3)使用三层v迭代路径的multigrid方法，层与层之间采用双线性插值方式填补像素，根据所选择的迭代路径和层数，在初始层的leftimage2和rightimage2中，再根据实际距离估计出的视差范围[d
min
,d
max
]内，计算以点(x,y)为中心、3
×
3矩形窗口为积分范围的e(x,y)值，并记录达到最小值时的d
(x,y)
值，并作为下一路径节点迭代计算的初值；
[0048]
(4)在完成全部路径迭代计算后，以路径末端图像的坐标(x,y)为像素点坐标、d
(x,y)
为灰度值、组成稠密视差图像disparityimage；
[0049]
(5)根据相机内参和稠密视差图像disparityimage，按三角原理逐点计算得到深度图像depthimage1，该图像灰度值代表空间对应点与图像采集设备的实际距离。
[0050]
s2：根据训练得到的目标识别器，对彩色图像colorimage1进行区域分割，得到目标钢结构所在的区域region1，并对region1进行形态学处理，得到region2；需要说明的是，其具体步骤为：
[0051]
根据s1中训练得到的目标识别器，对采集到的彩色图像colorimage1进行初步区域分割，得到目标初步分割区域region1；
[0052]
断开region1中的非连通区域，根据经验值按面积要素筛选出钢结构所在的主要区域；
[0053]
使用矩形模板对region1进行开运算去除区域边缘毛刺，再做闭运算弥补开运算引起的边缘范围缩减，得到较为准确的钢结构区域region2。
[0054]
s3：对深度图像depthimage1进行滤波处理，得到深度图像depthimage2，并根据预设的深度范围对深度图像depthimage2进行区域筛选和形态学处理，得到符合深度范围的像素所在区域region4；需要说明的是：
[0055]
对深度图像进行滤波处理是为了进一步消除误匹配噪点；根据所预设的深度范围对深度图像进行区域分割还包括以下步骤：
[0056]
(1)根据喷涂机械手臂空间运动包络范围确定最近距离和最远距离再根据机械手臂与相机的相对位置关系，进行坐标系空间平移，得到机械手臂作业范围在相机坐标系下的
[0057]
(2)对深度图像depthimage1采用3
×
3矩形模板进行高斯滤波，消除误匹配噪点，得到深度图像depthimage2；
[0058]
(3)根据对深度图像depthimage2进行阈值分割，提取出符合深度范围的图像区域region3；
[0059]
(4)利用形态学方法对region3进行处理，首先填补region3内的细小空洞，再对二值图像使用方形模板进行开运算以去除区域中的孤立点并平滑边缘，之后做闭运算弥补开运算引起的边缘范围缩减；
[0060]
(5)将经过上述运算后的二值图像记为区域region4，即得到了满足机器人作业范围的有效钢结构深度图像区域。
[0061]
s4：计算得到区域region2与region4的相交区域region5，并将预处理后的深度图像depthimage2按region5进行裁剪，得到裁剪后剩余深度图像depthimage3；需要说明的是：
[0062]
计算区域region2与region4的相交区域region5；
[0063]
将s3中滤波处理后的深度图像depthimage2按region5进行裁剪，裁剪后剩余深度图像depthimage3即为机器人作业能力范围内的没有无关目标深度信息的钢结构深度图像。
[0064]
s5：提取深度图像depthimage3中像素点的坐标值和对应的灰度值，并作为识别出的钢结构的空间三维点云的坐标，完成钢结构的识别和定位；需要说明的是：
[0065]
钢结构的空间三维点云的坐标(x,y,z)包括depthimage3中像素点坐标值和对应的灰度值，其中，图像中，像素点的图像坐标值(二维的)对应x和y，像素点的灰度值是z。
[0066]
本发明首先利用相机所采集的彩色图像中包含的目标色彩和纹理信息，利用经过训练的神经网络分类器初步分离出钢结构在图像中的区域，再在深度图中按机器人的实际工作范围进行阈值分割；之后，将分类器分割结果和深度图像阈值分割结果取公共交集，使得处理后的深度图像仅保留与机器人有效作业范围内的钢结构深度信息，而无关的深度信息大大减少，为后续的机械手臂喷涂轨迹拟合提供更为准确的输入数据源，提高喷涂机器人对于有效作业能力范围内的钢结构的喷涂效率与喷涂质量。
[0067]
实施例2
[0068]
参照图2～8为本发明另一个实施例，为对本方法中采用的技术效果加以验证说明，本实施例基于具体实例对本发明方法进行测试，以科学论证的手段验证本方法所具有的真实效果。
[0069]
测试环境为某钢结构喷涂施工现场；根据实施例1的过程步骤进行测试，其中，所采集的图像如图2所示，获取视角一致的目标彩色图像colorimage1和深度图像depthimage1，如图3所示；对采集到的彩色图像colorimage1进行区域分割，得到目标钢结构所在的大致区域region1，如图4所示，并对region1进行形态学处理，得到region2，如图5所示。对深度图像depthimage1进行滤波处理，得到深度图像depthimage2，如图6所示，对深度图像depthimage2进行裁剪，裁剪后剩余深度图像depthimage3即为机器人作业能力范围内的没有无关目标深度信息的钢结构深度图像，如图7所示，将depthimage3中像素点的坐标值和对应的灰度值进行提取，作为识别出的钢结构的空间三维点云的坐标(x,y,z)，得到的点云空间分布如图8所示。
[0070]
进一步的，本实施例选取的视差范围为[
‑
100,
‑
50]，有效作业能力深度范围选取为[0.5,2.2]，各控制参数选取如下：k
g
取为0.1，k
d
取为14，k
s
取为4，ε取为2，γ取为0.01，计算过程通过halcon软件中binocular_distance_mg算子加以实现。
[0071]
根据测试所得的结果可以看出本发明方法具有的真实效果以及较好的图像分割性能。
[0072]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。