一种基于图像与点云融合的共面对接间隙三维定位方法

摘要: 本发明涉及机器视觉、三维测量及机器人焊接引导,具体涉及一种基于图像与点云融合的共面对接间隙三维定位方法。所述二维图像与点云可以由同一图像采集装置获得并具有直接像...
一种基于图像与点云融合的共面对接间隙三维定位方法

本发明涉及机器视觉、三维测量及机器人焊接引导,具体涉及一种基于图像与点云融合的共面对接间隙三维定位方法。所述二维图像与点云可以由同一图像采集装置获得并具有直接像素对应关系,也可以由不同传感器获得并通过标定参数建立二维图像位置与点云三维点之间的空间映射关系。

背景技术:

1、机器人自动焊接被广泛应用于金属结构件、框架类构件及其他工业工件的焊接作业。在机器人实施焊接之前,需要获取待焊接头的实际位置,以生成与工件实际装配状态相匹配的焊接轨迹。由于工件在加工、装配和装夹过程中可能存在位置偏差、尺寸误差及装配间隙变化,仅依靠预先设定的机器人运动轨迹难以保证焊枪始终准确作用于实际待焊位置。因此,利用视觉传感信息自主识别待焊对接间隙并确定其三维空间位置,是实现机器人自动焊接的重要技术环节。

2、现有焊缝视觉识别方法中,二维视觉是一类常用技术手段。对于未焊接的对接接头,待焊对接间隙在灰度图像或彩色图像中通常能够表现为灰度突变、暗色线状区域、边缘结构或者局部纹理不连续等外观特征。二维图像具有较高的横向空间分辨率,对细小线状结构较为敏感,因此对于部分宽度较小的对接间隙,其在二维图像中的外观特征仍能够得到较为清晰的表达。现有技术可以通过灰度分析、边缘检测、纹理分析、目标检测或者图像分割等方式确定待焊对接间隙在图像中的区域或位置。

3、然而,二维成像是三维场景向二维成像平面的投影过程,由二维图像获得的待焊对接间隙位置主要表现为像素坐标,其本身不包含能够直接用于机器人运动控制的三维空间坐标。因此,仅根据二维图像难以直接确定待焊轨迹在相机坐标系或机器人坐标系中的实际空间位置。此外,金属工件表面的镜面反射、阴影、划痕、氧化痕迹及局部纹理等也可能在二维图像中形成与真实对接间隙相似的暗线、边缘或纹理响应,从而对仅依赖二维外观信息的间隙识别造成干扰。

4、相比二维视觉,三维视觉能够获得工件表面的深度信息或三维点云,并进一步计算表面法向量、曲率、局部平面、边界及空间距离等几何信息,从而为待焊接头的空间定位提供度量依据。对于具有明显坡口、台阶、折角或者两侧母材明显非共面的接头,待焊区域通常能够在三维数据中形成一定的深度突变、法向变化、表面边界或者不同局部表面之间的空间关系。因此,可利用上述几何特征对待焊接头进行识别和三维定位。

5、但是,对于两侧母材近似共面的窄对接接头,待焊对接间隙在三维数据中的直接几何特征可能较弱。由于间隙两侧母材在局部范围内具有相近的空间位置和表面法向,其点云可能被同一局部公共平面描述,待焊区域难以形成明显的非共面交线、台阶、折角或者显著的法向变化。在此情况下,仅依靠平面分割、平面交线、曲率、法向变化等三维几何特征,难以稳定地区分对接间隙与周围连续母材表面,进而影响待焊轨迹的可靠提取。

6、另一方面,三维视觉数据的完整性还受到工件表面性质和成像条件的影响。对于镀锌钢管等具有较强反射特性的金属工件,采用结构光、双目视觉或其他深度测量方式获取三维数据时,可能受到镜面反射、遮挡、多次反射以及深窄间隙等因素影响,在局部区域产生异常点、随机空洞或无效深度。对于宽度较小的待焊对接间隙,间隙内部甚至可能无法获得连续、有效的三维测量点,使真实间隙在点云中表现为局部数据缺失。同时,由反射、遮挡或者测量噪声造成的无效区域也可能表现为类似的点云空洞。因此,仅将点云缺失、深度异常或者局部边界作为待焊对接间隙的判断依据,难以可靠地区分真实间隙与非接头因素造成的三维数据异常。

7、由此可见,对于近似共面的窄对接接头,二维视觉和三维视觉所能够提供的信息具有明显差异:待焊对接间隙在二维图像中通常具有较为明显的灰度、边缘或纹理等外观特征,但二维图像缺少直接的空间度量信息;三维视觉能够提供工件表面的空间几何信息,但待焊对接间隙本身可能存在几何特征较弱、有效深度不足或者局部三维数据缺失等问题。因此,现有仅依赖二维外观信息或者仅依赖三维几何信息的定位方式,在近似共面的窄对接接头场景下,难以同时兼顾待焊对接间隙的可靠识别与待焊轨迹的准确三维空间定位。

技术实现思路

1、针对上述现有技术存在的不足,本发明提供一种基于图像与点云融合的共面对接间隙三维定位方法,以解决近似共面的窄对接接头中待焊对接间隙三维几何特征较弱、间隙区域原始深度可能缺失或异常,以及二维外观伪特征和三维随机空洞容易造成误判的问题。

2、本发明所要解决的技术问题是:对于近似共面的窄对接接头,在对接间隙三维几何特征较弱、间隙区域有效深度缺失或异常,并且二维图像中的伪间隙特征与三维数据中的随机空洞均可能造成误判的情况下,如何实现真实对接间隙的可靠识别,并准确确定其在局部母材表面层面的三维空间位置。

3、本发明所述目标三维间隙位置不要求间隙内部实际存在与该位置对应的有效三维测量点。所述“共面”不要求两侧母材在整个工件范围内严格处于同一数学平面。

4、本发明解决其技术问题所采用的技术方案是:一种基于图像与点云融合的共面对接间隙三维定位方法,包括以下步骤:步骤一,获取待定位区域的二维图像、点云以及标定参数,根据所述标定参数建立二维图像位置与点云三维点之间的空间映射关系,并根据所述二维图像确定对接间隙候选区域。步骤二,从所述对接间隙候选区域周围获取三维点,从所述三维点中筛选用于表征候选区域周围母材表面的三维点,并根据筛选得到的三维点构建表征候选区域周围共面母材表面的局部公共平面。步骤三,在所述对接间隙候选区域内确定至少一个候选二维间隙位置以及与所述候选二维间隙位置对应的候选间隙延伸方向;针对各候选二维间隙位置确定包含该候选二维间隙位置的中心区域,并沿与所述候选间隙延伸方向相交的横向方向确定分别位于中心区域两侧的第一侧区域和第二侧区域;根据二维图像获得中心区域与第一侧区域和第二侧区域之间的图像外观关系,并根据所述空间映射关系获得中心区域、第一侧区域和第二侧区域内三维数据相对于局部公共平面的点云分布关系。步骤四,根据所述点云分布关系确定所述中心区域、第一侧区域和第二侧区域的母材点云支撑程度,根据所述图像外观关系以及所述第一侧区域和第二侧区域的母材点云支撑程度分别高于所述中心区域的母材点云支撑程度的点云分布关系,对所述候选二维间隙位置进行联合评价,根据联合评价结果确定至少一个目标二维间隙位置。步骤五,根据所述目标二维间隙位置和标定参数构建对应的相机射线,根据所述标定参数使所述相机射线与局部公共平面处于同一坐标系,将相机射线与所述局部公共平面求交,并根据二者的交点确定与目标二维间隙位置对应的目标三维间隙位置。

5、进一步地,步骤一中,对接间隙候选区域可由语义分割、实例分割、阈值分割、边缘提取、纹理分析或其他能够产生间隙候选区域的图像处理方式获得。可根据候选区域内图像位置坐标的分布确定候选对接间隙的粗略延伸方向,所述对接间隙候选区域和粗略延伸方向用于限定后续候选二维间隙位置的搜索范围,而不必直接作为最终目标二维间隙位置。

6、进一步地,步骤二中,构建局部公共平面所使用的三维点从候选区域周围获取并经筛选用于表征母材表面,而不以候选间隙中心位置或最终目标二维间隙位置对应像素的原始深度作为必要拟合依据。可对候选区域进行至少两种不同尺度的扩张,以较大尺度扩张区域与较小尺度扩张区域之间的差集形成外围环带,从外围环带中筛选有效母材三维点,并通过平面内点筛选和最小二乘、奇异值分解或其他平面拟合方式获得局部公共平面。

7、进一步地,在构建局部公共平面之前,可在候选区域周围确定外围支撑区域,并根据外围支撑区域中的有效三维数据数量、有效三维数据覆盖程度以及空间分布情况中的至少一种进行质量判断。当外围支撑区域缺少足以建立可靠局部公共平面的三维数据时,可停止该候选区域的后续三维定位。

8、进一步地,所述候选二维间隙位置可以由候选区域直接给出,也可以在候选区域内进一步搜索获得。在需要对候选中心线位置、方向和间隙尺度进行精修的实施方式中,可建立包括方向参数、横向位置参数和间隙尺度参数的候选参数空间;其中,方向参数和横向位置参数共同确定候选中心线,间隙尺度参数确定第一侧区域和第二侧区域相对于候选中心线的横向位置,并对不同候选参数组进行联合评价。

9、进一步地,对于在二维图像中表现为暗色线状区域的共面对接间隙,可在沿候选中心线的多个采样位置分别确定中心区域、第一侧区域和第二侧区域的灰度,根据第一侧区域灰度和第二侧区域灰度中的较小值与中心区域灰度之间的正差确定灰度暗谷强度,根据第一侧区域和第二侧区域的灰度均高于中心区域灰度的采样位置数量与全部采样位置数量的比例确定灰度暗谷连续性,并根据所述灰度暗谷强度和灰度暗谷连续性确定灰度暗谷评价量。

10、进一步地,真实共面对接间隙的点云分布关系表现为第一侧区域和第二侧区域的近公共平面母材支撑程度分别高于中心区域的近公共平面母材支撑程度。在优选实施方式中,第一侧区域和第二侧区域均具有较高的近公共平面母材支撑,而中心区域具有相对较低的近公共平面母材支撑。对于普通暗纹,中心区域虽然可能具有与对接间隙相似的图像外观,但其三维点仍可能连续分布于局部公共平面附近;对于随机三维数据空洞,虽然中心区域可能出现低点云支撑,但若不同时具有符合对接间隙的图像外观差异,则不作为真实间隙的充分依据;对于单侧工件边缘,第一侧区域或第二侧区域中的至少一侧缺少母材点云支撑,从而与具有双侧母材支撑的共面对接间隙相区别。

11、进一步地,设沿候选中心线的采样位置处中心区域、第一侧区域和第二侧区域的母材点云支撑程度分别为第一侧区域和第二侧区域在各采样位置的母材点云支撑程度平均值分别为,则根据中心区域的低占据程度形成中心空缺量,根据第一侧区域和第二侧区域的高占据程度形成双侧支撑量,并据此形成表面间隙评价量。在一种实施方式中,表面间隙评价量可表示为:。其中,表示对各采样位置求平均。所述表面间隙评价量同时考虑中心区域的近公共平面支撑降低以及第一侧区域和第二侧区域的双侧母材支撑,任一侧母材支撑降低均会降低所述表面间隙评价量。

12、进一步地,可将所述灰度暗谷评价量作为候选二维间隙位置评价的基础项,并将所述表面间隙评价量 作为对所述基础项的修正项。在一种实施方式中,候选二维间隙位置评价值可表示为:。其中,。根据所述候选二维间隙位置评价值确定目标二维间隙位置。由于灰度暗谷评价量作为乘法基础项,当为零时,表面间隙评价量不单独形成正的候选二维间隙位置评价值。

13、进一步地,在利用图像处理或图像分割方法获得对接间隙类别概率的实施方式中,还可将所述对接间隙类别概率作为附加修正信息。设所述对接间隙类别概率为,则候选二维间隙位置评价值还可表示为:。

14、其中,为预设系数。

15、进一步地,所述目标二维间隙位置可包括二维中心点、二维中心线上的一个或多个位置、二维起点、二维终点中的至少一种。当需要获得二维起点和二维终点时,可沿由多个目标二维间隙位置形成的目标二维中心线构建间隙支持序列,采用高低阈值确定连续有效区段,并根据有效区段的两个端部确定二维起点和二维终点。所述间隙支持序列中的间隙支持程度根据目标二维中心线上各采样位置的图像外观关系确定;在一种实施方式中,根据各采样位置的灰度暗谷证据确定所述间隙支持程度。对于由反光或局部纹理造成的内部证据中断,可根据中断长度及中断两侧支持程度实施条件桥接;对于弱端部,可根据目标二维中心线两侧的母材支撑情况执行恢复或向内裁剪。

16、进一步地,同一局部公共平面在本方法中具有两项相互关联的作用:一方面作为中心区域和两侧区域点云分布关系的共同几何参照,用于候选二维间隙位置确认;另一方面作为相机射线求交的几何载体,用于目标三维间隙位置恢复,从而使候选确认与三维恢复采用一致的点云几何参照。

17、本发明的有益效果是:

18、1、利用二维图像对细小线状间隙的外观辨识能力确定候选区域,并利用候选区域周围母材点云提供空间几何参照,使二维候选识别与三维空间定位形成连续的图像与点云融合处理过程。

19、2、通过中心区域相对于两侧区域的图像外观差异、两侧区域相对于中心区域的共面母材点云支撑关系进行联合评价,有助于区分真实对接间隙与普通暗纹、随机三维数据空洞及单侧工件边缘等伪特征。

20、3、二维图像和点云既可来自具有直接像素对应关系的同一图像采集装置,也可来自通过标定建立空间映射关系的不同传感器,从而不将本方法限定于单一数据采集架构。

21、4、局部公共平面由候选区域周围母材三维点构建,目标间隙像素的原始深度不是三维位置恢复的必要条件;当目标像素无有效深度或者其深度错误落入内壁、背景或异常点时,仍可通过目标二维位置对应的相机射线与局部公共平面求交恢复三维位置。

22、5、同一局部公共平面同时用于候选间隙的点云几何确认和目标三维位置恢复,有利于保持二维候选评价阶段与三维空间恢复阶段的几何参照一致性。

23、6、在优选实施方式中,通过方向参数、横向位置参数和间隙尺度参数的联合搜索,可精化候选间隙的中心线位置和延伸方向,并自适应确定与间隙表观尺度相匹配的双侧证据采样位置;通过候选区域周围三维数据质量控制以及端点连续性处理,可进一步提高复杂反光和局部数据缺失条件下的定位稳定性。