焊缝跟踪检测的图像处理方法、装置、设备与介质与流程

1.本发明涉及工件加工领域，尤其涉及一种焊缝跟踪检测的图像处理方法、装置、设备与介质。


背景技术：

2.在需要对两个工件进行焊接时，可将两个工件放到机床，两个工件之间所需焊接的位置可形成缝隙(该缝隙可视作需要焊接的焊缝)，然后，基于焊缝传感器与焊接设备，可检测焊缝并对其实施焊接工艺。
3.基于焊缝传感器，可采集到视野范围内焊缝及其附近区域的图像，然而，然后基于该图像识别焊缝，进而实现焊缝的跟踪检测，现有相关技术中，焊接过程中，由于弧光、飞溅、反光的影响，焊缝跟踪检测的结果容易受到干扰，导致跟踪时焊缝识别错误、跟踪检测结果不稳定或者跟踪失败等情形。


技术实现要素：

4.本发明提供一种焊缝跟踪检测的图像处理方法、装置、设备与介质，以解决焊缝跟踪检测的结果容易受到干扰的问题。
5.根据本发明的第一方面，提供了一种焊缝跟踪检测的图像处理方法，包括：
6.在焊接设备焊接工件间的焊缝时，获取焊缝及所述焊缝附近区域的连续多帧待处理图像；
7.基于所述连续多帧待处理图像，确定目标图像；所述目标图像的白色像素部分包括所述焊缝的像素，并排除了以下至少之一的像素：火花、弧光，以及工件表面弧光的反光；
8.在所述目标图像中，定位所述焊缝，得到表征所述焊缝的焊缝线。
9.可选的，所述待处理图像中的白色像素部分包括所述火花、所述弧光、所述反光以及所述焊缝的像素部分，所述待处理图像中的黑色像素部分包括所述工件表面的像素部分。
10.可选的，所述基于所述连续多帧待处理图像，确定目标图像，包括：
11.对所述连续多帧待处理图像进行按位与操作，得到所述目标图像。
12.可选的，所述对所述连续多帧待处理图像进行按位与操作，得到所述目标图像，包括：
13.逐一遍历所述连续多帧待处理图像的每个像素点位置；
14.针对于任意之一当前像素点位置，若所述连续多帧待处理图像中所述当前像素点位置的像素点均为白色像素点，则确定所述目标图像中所述当前像素位置的像素点为白色像素点；
15.若所述连续多帧待处理图像中所述当前像素点位置的像素点并非均为白色像素点，则确定所述目标图像中所述当前像素位置的像素点为黑色像素点。
16.可选的，所述在所述目标图像中，定位所述焊缝，得到表征所述焊缝的焊缝线，包
括：
17.在所述目标图像中，确定所述焊缝中心线区域内的焊缝点；
18.基于所述中心线区域内的焊缝点，确定所述焊缝线。
19.可选的，所述在所述目标图像中，确定所述焊缝中心线区域内的焊缝点，包括：
20.确定所述焊缝的第一边缘的轮廓点与第二边缘的轮廓点；所述第一边缘与所述第二边缘为所述焊缝相对的两条边缘；
21.基于所述第一边缘的轮廓点与所述第二边缘的轮廓点，确定所述中心线区域内的焊缝点。
22.可选的，所述基于所述中心线区域内的焊缝点，确定所述焊缝线，包括：
23.多次随机选择所述中心线区域内的焊缝点，并基于每次所选择的焊缝点拟合参考线，得到多条拟合参考线；所述拟合参考线包括至少两条直线条；
24.基于所述拟合参考线中直线条所形成的夹角，在所述多条参考线中，选出多条备选参考线；
25.在所述多条备选参考线中，选择一条目标参考线作为所述焊缝线，所述目标参考线拟合时所使用的焊缝点的数量为所述多条备选参考线中最多的。
26.根据本发明的第二方面，提供了一种焊缝跟踪检测的图像处理装置，包括：
27.获取模块，用于在焊接设备焊接工件间的焊缝时，获取焊缝及所述焊缝附近区域的连续多帧待处理图像；
28.目标图像确定模块，用于基于所述连续多帧待处理图像，确定目标图像；所述目标图像的白色像素部分包括所述焊缝的像素，并排除了以下至少之一的像素：火花、弧光，以及工件表面弧光的反光；
29.焊缝线定位模块，用于在所述目标图像中，定位所述焊缝，得到表征所述焊缝的焊缝线。
30.根据本发明的第三方面，提供了一种电子设备，包括存储器与处理器，
31.所述存储器，用于存储代码；
32.所述处理器，用于执行所述存储器中的代码用以实现第一方面及其可选方案所述的方法。
33.根据本发明的第四方面，提供了一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现第一方面及其可选方案所述的方法。
34.本发明提供的焊缝跟踪检测的图像处理方法、装置、设备与介质中，由于火花、弧光，以及工件表面弧光的反光等是随着焊接过程而变化的，通常来说，在连续多帧图像中，并不会保持处于同一位置，所以，本发明中，基于所述连续多帧待处理图像，确定目标图像时，可以为以下结果的实现提供充分的依据：所述目标图像的白色像素部分排除了以下至少之一：火花、弧光，以及工件表面弧光的反光；进而，因为排除了部分或全部干扰因素，基于目标图像定位焊缝线时，可有助于避免或降低发生以下情形的可能性：焊缝识别错误、跟踪检测结果不稳定或者跟踪失败等情形。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1是本发明一实施例中一种焊缝跟踪检测的图像处理方法的流程示意图；
37.图2是本发明一实施例中待处理图像的示意图；
38.图3是本发明一实施例中另一种焊缝跟踪检测的图像处理方法的流程示意图；
39.图4是本发明一实施例中步骤s12的流程示意图；
40.图5是本发明一实施例中步骤s13的一种流程示意图；
41.图6是本发明一实施例中步骤s13的另一种流程示意图；
42.图7是本发明一实施例中焊缝跟踪检测的图像处理装置的程序模块示意图；
43.图8是本发明一实施例中电子设备的构造示意图。
具体实施方式
44.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
45.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
46.下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
47.本发明实施例的焊缝跟踪检测的图像处理方法、装置可应用于对焊缝传感器(或其所连接、使用的图像采集部)采集到的图像(或对该图像进行预处理之后的图像)进行处理。进而，本发明实施例的焊缝跟踪检测的图像处理方法、装置可应用于执行该处理的数据处理部。
48.其中的数据处理部，可理解为具有数据处理能力的设备或设备的组合。其可内置于焊缝传感器，也可与焊缝传感器(或图像采集部)电连接。
49.其中的焊缝传感器，也可理解为焊缝跟踪传感器，该传感器可实现焊缝的追踪定位，例如，可在采集到的图像中识别出焊缝线，然后基于识别的结果跟踪焊缝线运动。本领域任意已有或改进的焊缝传感器，均可作为本发明实施例的一种可选方案。
50.请参考图1，本发明实施例提供了一种焊缝跟踪检测的图像处理方法，包括：
51.s11：在焊接设备焊接工件间的焊缝时，获取焊缝及所述焊缝附近区域的连续多帧待处理图像；
52.s12：基于所述连续多帧待处理图像，确定目标图像；
53.所述目标图像的白色像素部分包括所述焊缝的像素，并排除了以下至少之一的像素：火花、弧光，以及工件表面弧光的反光；
54.s13：在所述目标图像中，定位所述焊缝，得到表征所述焊缝的焊缝线。
55.在步骤s13中，由于焊缝可包含互相连接的多个焊缝段(例如互相形成夹角的两个焊缝段)，进而，在得到焊缝线之后，还可计算多个焊缝段的焊缝线(例如两个焊缝段的焊缝线)的交点作为当前所需识别的位置。其他举例中，也可计算焊缝线的端点作为当前所需识别的位置。
56.其中的焊接设备可以为能够对焊缝进行焊接的任意设备或设备的组合，例如可以包括手动控制或自动控制的焊枪，一种举例中，焊枪可随焊缝传感器同步运动，例如，焊枪与焊缝传感器可直接或间接固定连接在一起。
57.其中的待处理图像，可以是图像采集部采集到的图像本身，也可以是对采集到的图像进行预处理之后而得到的图像，待处理图像可以为灰度图或黑白图。也不排除待处理图像为彩色图的方案。
58.在待处理图像中，通常包括火花、弧光、工件表面弧光的反光的像素，由于火花、弧光与反光是比较明亮的，故而，在待处理图像中，火花、弧光与反光的像素部分的像素点的部分或全部可以视作明亮像素点，部分举例中，该明亮像素点可理解为包括：纯白色的像素点，和/或：灰度值接近于纯白色(或偏向于白色)的像素点(例如灰度值与纯白色的灰度值之间差值小于第一指定阈值的像素点)，任意可区分明亮像素点与非明亮像素点，从而因亮度而将火花、弧光、反光中至少之一的像素点、焊缝的像素点区别于其余像素点的方式，均可作为判断明亮像素点的一种可选方案。
59.在待处理图像中，通常包括焊缝的像素，其通常也会显示为明亮像素点。
60.进而，其中一种实施方式中，所述待处理图像中的明亮像素点包括所述火花、所述弧光、所述反光中至少之一，以及所述焊缝的像素部分。
61.在待处理图像中，还可包括工件表面的像素，其可以为非明亮像素点，例如可以为黑色像素点和/或灰色像素点，也可能为其他彩色像素点，部分举例中，非明亮像素点的灰度值与纯白色的灰度值之间差值可大于第二指定阈值，第二指定阈值可大于或等于第一指定阈值。
62.另部分举例中，也可将非明亮像素点确定为黑色像素点，明亮像素点确定为非黑色像素点。或者：将白色像素点确定为明亮像素点，将非白色像素点确定为非明亮像素点。
63.除此以外，待处理图像中，也可能包括其他对象的像素。
64.其中：
65.飞溅，指的是起弧焊接过程中，高温火花飞溅；对应的，飞溅干扰，指的是焊缝跟踪传感器的图像采集部在跟踪焊缝的时候，捕获到了飞溅火花，导致相机视野中出现了明亮的直线段；
66.弧光，指的是焊枪(即一种焊接设备的部分或全部)起弧焊接时产生的高温弧光；对应的，弧光干扰，是指焊枪起弧焊接时，高温弧光被图像采集部捕获，从而导致视野中出现明亮的像素块(例如白色像素点形成的白色像素块)；
67.反光(及反光干扰)，指的是指焊枪产生的弧光经过光滑金属板(即一种工件的部分或全部)反射后进入相机，视野中出现明亮的像素块(例如白色像素点形成的白色像素
块)。
68.一种举例中，待处理图像可例如图2所示，其中，中间位置自左至右而形成的两条即为互相形成夹角的两个焊缝段，其为焊缝的一部分，其由明亮像素点构成(具体可以为白色像素点)，其他明亮像素点所构成的部分可视作火花、弧光、反光的像素。
69.其中，焊缝可能包括多个呈一定夹角的焊缝段，也可能为直线的一条焊缝段；多个焊缝段可能是工件表面形状、拍摄角度等因素而带来的，例如若工件为槽钢、h型钢，则会形成互相形成夹角(例如垂直)的表面，进而，在一定拍摄角度、工件的一定摆放角度下，亦或工件边缘形状的独特设计下，图像中的焊缝都会显示为呈一定角度的焊缝段。不论焊缝是何种形态，均可应用于本发明实施例而成为一种可选方案。
70.其中的焊缝线，可理解为能够对焊缝的位置、形状等进行描述的任意线条，且该焊缝线的确定，指的是利用量化数据在目标图像的图像坐标系或机床坐标系下描述出该焊缝线。
71.以上方案中，由于火花、弧光，以及工件表面弧光的反光等是随着焊接过程而变化的，通常来说，在连续多帧图像中，并不会保持处于同一位置，所以，本发明中，基于所述连续多帧待处理图像，确定目标图像时，可实现：所述目标图像的白色像素部分排除了以下至少之一：火花、弧光，以及工件表面弧光的反光；进而，因为排除了部分或全部干扰因素，基于目标图像定位焊缝线时，可有助于避免或降低发生以下情形的可能性：焊缝识别错误、跟踪检测结果不稳定或者跟踪失败等情形。
72.其中一种实施方式中，请参考图3，步骤s12可以包括：
73.s120：对所述连续多帧待处理图像进行按位与操作，得到所述目标图像。
74.其中的连续多帧待处理图像可例如为连续n帧待处理图像，其中的n可以取大于或等于3的整数。
75.具体的，请参考图4，步骤s120(或类似于步骤s120的处理过程)可以包括：
76.s121：逐一遍历所述连续多帧待处理图像的每个像素点位置；
77.针对于任意之一当前像素点位置，执行以下步骤：
78.s122：是否所述连续多帧待处理图像中所述当前像素点位置的像素点均为明亮像素点；
79.若是，则可执行步骤s123：确定所述目标图像中所述当前像素位置的像素点为白色像素点；
80.若否，则可执行步骤s124：确定所述目标图像中所述当前像素位置的像素点为黑色像素点。
81.其中，以飞溅干扰为例，根据飞溅干扰的特点，连续多帧待处理图像(例如连续三帧待处理图像)中，焊缝的位置基本差异不大，但飞溅火花的位置是随机的，所以通过按位与操作(可视作保留连续三帧中都出现的白色部分)，飞溅可在一定程度上被消除；弧光、反光等一定程度上的消除也可参照于此理解。
82.在步骤s12中，可能仅消除了部分或全部飞溅干扰(即在目标图像中排除了部分或全部火花的像素)，也可能同时消除了部分或全部弧光干扰、部分或全部反光干扰(即：目标图像中排除了部分或全部弧光的像素，部分或全部反光的像素)。
83.其中的至少部分干扰也可通过步骤s13的过程消除。
84.其中一种实施方式中，请参考图5，步骤s13可以包括：
85.s131：在所述目标图像中，确定所述焊缝中心线区域内的焊缝点；
86.s132：基于所述中心线区域内的焊缝点，确定所述焊缝线。
87.其中的中心线可理解为沿焊缝一端至另一端方向延伸的中心线，对应的，中心线区域可理解为中心线及其附近区域。
88.以上方案中，先确定中心线区域内的焊缝点，然后基于该些焊缝点确定焊缝线，进而，所确定的焊缝线可有助于防止或减轻跟踪扰动的影响，更精准地识别出焊缝线。
89.一种举例中，请参考图6，步骤s131可以包括：
90.s1311：确定所述焊缝的第一边缘的轮廓点与第二边缘的轮廓点；所述第一边缘与所述第二边缘为所述焊缝相对的两条边缘；
91.s1312：基于所述第一边缘的轮廓点与所述第二边缘的轮廓点，确定所述中心线区域内的焊缝点。
92.例如，参照于图2所示的待处理图像而得到的目标图像，针对于目标图像，可逐一遍历每一列像素；
93.针对每一列像素，均可从上往下找出黑色变为白色的像素点a(即第一边缘的轮廓点)，以及从下往上找出黑色变为白色的像素点b(即第二边缘的轮廓点)，计算a，b连线的中点坐标即为此处一个焊缝点的坐标；此即为针对一列像素而实施步骤s1311、s1312的过程，进而，通过重复该过程，可找到第一边缘的各轮廓点、第二边缘的各轮廓点，以及对应的中心线区域内的焊缝点。其他举例中，也可从左至右逐行遍历各个像素点，从而找到白色的像素点。
94.部分举例中，还可以先找到所有白色像素点，然后逐列找白色像素点，然后对白色像素点进行排序，每列中次序最靠前与次序最靠后的白色像素点分别作为第一边缘的轮廓点与第二边缘的轮廓点，然后再基于步骤1312的方式确定中心线区域的焊缝点。
95.以上方案中，可准确找到能够体现出焊缝中心线位置的一组焊缝点，进而，在此基础上所找到的焊缝线可准确反映焊缝的位置与形态。
96.一种举例中，在不采用步骤s1311、s1322的基础上，还可在找到所有白色像素点后，找到每一列中处于中间位次的一个或多个像素点作为中心线区域的焊缝点。
97.另一种举例中，也可基于训练好的识别模型(例如卷积神经网络)识别出中心线区域内的焊缝点。
98.其中一种实施方式中，步骤s132可以包括：
99.s1321：多次随机选择所述中心线区域内的焊缝点，并基于每次所选择的焊缝点拟合参考线，得到多条拟合参考线；
100.s1322：在所述多条拟合参考线中，选出多条备选参考线；
101.s1323：在所述多条备选参考线中，选择一条目标参考线作为所述焊缝线；
102.其中，所述目标参考线拟合时所使用的焊缝点的数量为所述多条备选参考线中最多的，即：目标参考线指拟合时所使用的焊缝点最多的一个条备选参考线。
103.所述拟合参考线可以包括至少一条直线条；例如，可以包括一条直线条，也可能包括多条直线条，具体的，对应于图2所示的具有两个焊缝段的焊缝，拟合得到的参考线可以包括两条直线条。
104.在步骤s1322中，可基于拟合参考线的角度进行选择，例如，若拟合参考线包含一条直线条，则可选择预设的第一倾角范围内的拟合参考线作为备选参考线，再例如，若拟合参考线包含多条直线条，也可选择多条直线条都在预设的第二倾角范围内的拟合参考线，还例如，若拟合参考线包含多条直线条，还可选择直线条间夹角都在预设夹角范围内拟合参考线；以上举例可单独实施，也可组合实施。
105.其中的倾角范围(例如第一倾角范围、第二倾角范围、预设夹角范围)可基于图像坐标系而预先标定、设定，也可随着工作过程而自动或手动调节。
106.通过以上步骤s1321至s1323，可结合随机抽样算法来解决跟踪扰动问题，达到稳定的焊缝跟踪效果。
107.其他举例中，也可基于训练好的识别模型(例如卷积神经网络)执行步骤s13，其中，将目标图像输入至该识别模型后，识别模型可直接得到焊缝线。
108.以上所提及的得到焊缝线，可理解为得到焊缝线在图像坐标系(或机床坐标系)的所有点(或采样点)的坐标，或者表征式等。只要能唯一确定坐标系内的一个条线，就不脱离该描述的范围。
109.综上可见，由于火花、弧光，以及工件表面弧光的反光等是随着焊接过程而变化的，通常来说，在连续多帧图像中，并不会保持处于同一位置，所以，本发明中，基于所述连续多帧待处理图像，确定目标图像时，可以为以下结果的实现提供充分的依据：所述目标图像的白色像素部分排除了以下至少之一：火花、弧光，以及工件表面弧光的反光；进而，因为排除了部分或全部干扰因素，基于目标图像定位焊缝线时，可有助于避免或降低发生以下情形的可能性：焊缝识别错误、跟踪检测结果不稳定或者跟踪失败等情形。
110.请参考图7，本发明实施例还提供了一种焊缝跟踪检测的图像处理装置，包括：
111.获取模块201，用于在焊接设备焊接工件间的焊缝时，获取焊缝及所述焊缝附近区域的连续多帧待处理图像；
112.目标图像确定模块202，用于基于所述连续多帧待处理图像，确定目标图像；所述目标图像的白色像素部分包括所述焊缝的像素，并排除了以下至少之一的像素：火花、弧光，以及工件表面弧光的反光；
113.焊缝线定位模块203，用于在所述目标图像中，定位所述焊缝，得到表征所述焊缝的焊缝线。
114.可选的，所述待处理图像中的明亮像素点包括所述火花、所述弧光、所述反光中至少之一，以及所述焊缝的像素部分，所述待处理图像中的非明亮像素点包括所述工件表面的像素部分。
115.可选的，所述目标图像确定模块202，具体用于：
116.对所述连续多帧待处理图像进行按位与操作，得到所述目标图像。
117.可选的，所述目标图像确定模块202，具体用于：
118.逐一遍历所述连续多帧待处理图像的每个像素点位置；
119.针对于任意之一当前像素点位置，若所述连续多帧待处理图像中所述当前像素点位置的像素点均为明亮像素点，则确定所述目标图像中所述当前像素位置的像素点为白色像素点；
120.若所述连续多帧待处理图像中所述当前像素点位置的像素点并非均为明亮像素
点，则确定所述目标图像中所述当前像素位置的像素点为黑色像素点。
121.可选的，所述焊缝线定位模块203，具体用于：
122.在所述目标图像中，确定所述焊缝中心线区域内的焊缝点；
123.基于所述中心线区域内的焊缝点，确定所述焊缝线。
124.可选的，所述焊缝线定位模块203，具体用于：
125.确定所述焊缝的第一边缘的轮廓点与第二边缘的轮廓点；所述第一边缘与所述第二边缘为所述焊缝相对的两条边缘；
126.基于所述第一边缘的轮廓点与所述第二边缘的轮廓点，确定所述中心线区域内的焊缝点。
127.可选的，所述焊缝线定位模块203，具体用于：
128.多次随机选择所述中心线区域内的焊缝点，并基于每次所选择的焊缝点拟合参考线，得到多条拟合参考线；所述拟合参考线包括至少两条直线条；
129.在所述多条拟合参考线中，选出多条备选参考线；
130.在所述多条备选参考线中，选择一条目标参考线作为所述焊缝线，所述目标参考线拟合时所使用的焊缝点的数量为所述多条备选参考线中最多的。
131.请参考图8，提供了一种电子设备30，包括：
132.处理器31；以及，
133.存储器32，用于存储所述处理器的可执行指令；
134.其中，所述处理器31配置为经由执行所述可执行指令来执行以上所涉及的方法。
135.处理器31能够通过总线33与存储器32通讯。
136.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以上所涉及的方法。
137.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
138.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。