一种识别焊缝状态的检测系统、检测方法及储存介质与流程

1.本发明属于焊缝识别技术领域，尤其涉及一种识别焊缝状态的检测系统、检测方法及储存介质。


背景技术：

2.目前，焊缝是利用焊接热源的高温，将焊条和接缝处的金属熔化连接而成的缝。焊缝金属发生一系列物理化学反应冷却后，即将两个焊件连成一个整体。根据焊缝金属位置形状不同可分为对接焊缝、角焊缝、塞焊缝等。
3.随着社会不断发展，自动化焊接技术因其具有焊接效率高、焊接质量高等特点得到了飞速发展，应用日趋广泛。而目前影响自动化焊接效果的最主要因素就是对焊缝的智能化检测，检测识别能力越强，焊接的的自动化水平也就越高，焊缝的质量和最终的效果也会越好。目前常用传统的焊缝检测方法有射线探伤法(rt)，超声探伤(ut)，渗透探伤(pt)，磁性探伤(mt)。传统方法多有对焊缝缺陷判断不准确，周期长，效率低，有安全风险等问题。
4.而在利用机器视觉检测焊缝方法中，机器视觉实现焊缝追踪，通常由于无法提取合适的特征区域，导致跟踪的精确度较低。就跟踪和检测过程而言，最为重要的技术问题就是如何提高焊缝检测的准确度。
5.通过上述分析，现有技术存在的问题及缺陷为：
6.(1)传统的焊缝检测方法有射线探伤法，超声探伤，渗透探伤，磁性探伤，但传统方法多有对焊缝缺陷判断不准确，周期长，效率低，有安全风险等问题。
7.(2)在利用机器视觉检测焊缝方法中，机器视觉实现焊缝追踪，通常由于无法提取合适的特征区域，导致跟踪的精确度较低。
8.解决以上问题及缺陷的难度为：传统焊缝检测方法是通过利用载体或者介质例如磁粉、超声波检测，检测效果要依靠载体或者介质本身的性质，想要提高检测效果，必须要改善介质或者载体，但这种效果是很难达到的，所以优化传统焊缝检测有一定的困难。现有的机器视觉检测，想要提高精度需要优化视觉算法，相关难度也较大
9.解决以上问题及缺陷的意义为：提高焊缝检测的精度，可以有效的提高焊接物品的质量，从而提高产品寿命，降低相关成本。


技术实现要素：

10.针对现有技术存在的问题，本发明提供了一种识别焊缝状态的检测系统、检测方法及储存介质。
11.本发明是这样实现的，一种识别焊缝状态的检测系统，所述识别焊缝状态的检测系统包括：ccd相机、cmos面阵相机、相机支架、半导体激光器、激光器支架、相机保护系统、冷却系统、jeston xavier和5g网络模块；其中，所述cmos相机安装在机械臂最上方主控模块，所述ccd相机和半导体结构光安装在焊枪旁边。
12.进一步，所述ccd相机包括tota
‑
400ii型ccd摄像机，ok_c20采集卡、带通滤光片和
xavie，用于把采集到的光学信号转变为数字信号，使机械臂能够判断进行打磨或者焊接处理，实现精确检测焊缝的状态。
13.进一步，所述cmos面阵相机安装于焊枪主体上方处，用于获取一定x和y范围内完整的目标图像，并能及时进行图像采集，并且实现初步路径规划和循迹，自主roi选取和跟踪。
14.所述cmos面阵相机能够拍摄大范围的焊材图片，通过机器视觉处理实现初步的路径规划和循迹，并进行自主roi选取和跟踪，从而精确定位焊缝所在位置；其中，所述机器视觉处理包括：canny算子提取边缘、均值滤波处理、二值化处理、霍夫变换和pnp解算坐标。
15.进一步，所述半导体激光器用于发射激光结构光，为ccd相机提供定频率，定伽马值线激光。
16.进一步，所述相机保护系统包括滤光保护镜片、偏振片和防飞溅挡板，所述滤光保护镜片，用于滤去焊接过程中半导体激光器产生的高亮度光源；所述偏振片，用于通过调整入射光的角度从而确保结构光可以垂直进入ccd相机；所述防飞溅挡板，用于在焊接过程中防止高温熔融物飞溅以至于损坏仪器。
17.进一步，所述冷却系统，用于在长时间通电工作情况下对机体降温。
18.进一步，所述jeston xavier是一种面向人工智能的处理芯片，具有计算能力和视觉处理能力。
19.进一步，所述5g网络模块是承载终端接入网络的关键部件，用于满足设备互联和远程交互应用需求。
20.本发明的另一目的在于提供一种应用所述的识别焊缝状态的检测系统的识别焊缝状态的检测方法，所述识别焊缝状态的检测方法包括以下步骤：
21.步骤一，cmos面阵相机依托其大的视野范围，对于焊材进行拍摄；
22.步骤二，通过机器视觉来识别焊缝，进行初步的路径规划和循迹，机械臂带着焊枪移动到焊缝所在位置；
23.步骤三，半导体激光器发出定频率，定伽马值线激光，照射于需要焊接的表面上，反射光通过滤光片之后垂直进入ccd相机；
24.步骤四，ccd相机通过内部的视觉传感器把采集到的光学信号传递给上位机，上位机对焊缝图片进行机器视觉处理，并对最后的结果进行边缘提取，偏频量图像旋转,基于固定航迹方程的姿态修正,轨迹精确度补足，将光信号转变成数字信号，由上位机根据数字信号判断焊缝的状态并判断进行焊接或者打磨等动作。
25.进一步，所述识别焊缝状态的检测方法，还包括手眼标定，所述手眼标定目的在于实现物体在世界坐标系和机器人坐标系中的变换。在标定时，在工作平面设置一个世界坐标系，该坐标系与机器人坐标系不重合，在完成相机的内外参标定后，可计算获得物体在世界坐标系中的位置；若需要机器人与视觉联动，需要获得物体在在机器人坐标系中的坐标。
26.其中，所述手眼标定实现步骤如下：
27.(1)通过张正友法(张氏标定法使用二维方格组成的标定板进行标定，采集标定板不同位姿图片，提取图片中角点像素坐标，通过单应矩阵计算出相机的内外参数初始值，利用非线性最小二乘法估计畸变系数，最后使用极大似然估计法优化参数。)标定相机的内参矩阵和畸变参数；其中，所述标定相机外参矩阵，用于图像坐标与世界坐标的转换；
28.(2)设置n个特征点，计算其世界坐标，移动机械臂工作末端到特征点，记录末端坐标，获得n组数据；其中，n>3，
29.(3)计算两组数据的rr和tt，其中特征点世界坐标为a组数据，末端坐标为b组数据；
30.(4)计算两组数据的变换矩阵实际上为3d的位姿估计问题，可用迭代最近点icp求解，实现方法；
31.(5)利用线性代数的求解；
32.(6)利用非线性优化方式的求解。
33.本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的识别焊缝状态的检测方法。
34.结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提供的识别焊缝状态的检测系统，在ccd相机的上方装有cmos相机获取图像并进行初步规划轨迹，位于ccd后下侧的激光器发出激光照射于焊接物体表面，反射光传回ccd相机后，ccd相机对焊缝图片进行采集，再将焊缝图片传递给上位机，上位机对焊缝图片进行机器视觉处理，将其转化成数字信号，从而根据数字信号判断进行焊接或者打磨等动作。本发明通过融合激光纹理特征和结构光条纹信息识别焊缝跟踪点，自动精密规划运动轨迹和焊点，提升了焊接的精度。本发明还能通过机器视觉识别，及对其的优化，实现对焊缝检测准确度的提高，从而对自动化焊接质量提高提高解决方案。
35.本发明在焊枪机械臂最上方的集成模块处装有cmos相机，用于获取图像并进行初步规划轨迹，cmos相机利用机器视觉将焊缝所在的位置转化并将坐标变换后的位置信息传给焊枪使其移动到指定位置，焊枪旁边安装有ccd相机和半导体激光器，半导体激光器发出激光照射于焊接物体表面，反射光通过滤光保护片和偏光片传入ccd相机，ccd相机对于拍摄的图片实现初步路径规划和循迹，自主roi选取，跟踪。本发明通过融合激光纹理特征和结构光条纹信息识别焊缝跟踪点，自动精密规划运动轨迹和焊点，提升了焊接的精度。
36.现有专利cn201810192965.3(“一种应用激光定位的焊缝检测用自动扫查器的检测方法”)使用行走控制机构控制行走机构移动从而带着设置于行走机构上的扫查机构自动进行移动扫查，与之相比，本发明中，利用cmos面阵相机对焊缝进行精确定位，再利用ccd相机和半导体激光器对焊缝状态进行检测，速度更快，精度更高。与现有专利cn201910432231.2(“一种复合钢板焊缝超声检测系统及其检测方法”)相比，本发明在检测焊缝状态的同时，还能够自主的判断对焊缝是否需要进行焊接或打磨等动作，从而控制机械臂进行相关操作，减少了人工操作，降低了人工成本。
37.为保证数据传输的准确性，本发明利用crc(循环冗余校验)技术在上位机和机械臂进行信息传输，机械臂对收到的信号进行解码，解码正确则意味着接下来的数据是正确的，可以接收并且进行处理，读取到停止码时，机械臂向上位机发送一样的数据信号，上位机接收并解码，从而判断机械臂接收到了正确信号，系统能够自主判断和纠错，保证了整个系统的稳定和有效。同时，本发明最终通过系统自行判断让机械臂执行焊接或打磨等动作，无需人工辅以处理，大大降低了人工劳动成本。
附图说明
38.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
39.图1是本发明实施例提供的识别焊缝状态的检测方法流程图。
40.图2是本发明实施例提供的识别焊缝状态的检测系统的ccd相机和线激光安装方式示意图；
41.图3是本发明实施例提供的主控模块放置位置示意图；
42.图中：(1)主控模块(包括cmos面阵相机)；(2)ccd相机；(3)相机支架；(4)激光结构光；(5)激光器支架；(6)相机保护系统；(7)焊枪；(8)焊材；(9)半导体激光器。
具体实施方式
43.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
44.针对现有技术存在的问题，本发明提供了一种识别焊缝状态的检测系统及检测方法，下面结合附图对本发明作详细的描述。
45.如图1所示，本发明实施例提供的识别焊缝状态的检测方法包括以下步骤：
46.s101，cmos面阵相机依托其大的视野范围，对于焊材进行拍摄；
47.s102，通过机器视觉来识别焊缝，进行初步的路径规划和循迹，机械臂带着焊枪移动到焊缝所在位置；
48.s103，半导体激光器发出定频率，定伽马值线激光，照射于需要焊接的表面上，反射光通过滤光片之后垂直进入ccd相机；
49.s104，ccd相机通过内部的视觉传感器把采集到的光学信号传递给上位机，上位机对焊缝图片进行机器视觉处理，并对最后的结果进行边缘提取，偏频量图像旋转,基于固定航迹方程的姿态修正,轨迹精确度补足，将光信号转变成数字信号，由上位机根据数字信号判断焊缝的状态并判断进行焊接或者打磨等动作。
50.下面结合实施例对本发明的技术方案作进一步描述。
51.实施例1
52.本发明为提供一种识别焊缝状态的检测系统，能通过机器视觉识别，及对其的优化，实现对焊缝检测准确度的提高，从而对自动化焊接质量提高提高解决方案。
53.本发明通过在焊枪机械臂最上方的集成模块处装有cmos相机，用于获取图像并进行初步规划轨迹，cmos相机利用机器视觉将焊缝所在的位置转化并将坐标变换后的位置信息传给焊枪使其移动到指定位置，焊枪旁边安装有ccd相机和半导体激光器，半导体激光器发出激光照射于焊接物体表面，反射光通过滤光保护片和偏光片传入ccd相机，ccd相机对于拍摄的图片实现初步路径规划和循迹，自主roi选取，跟踪。本发明通过融合激光纹理特征和结构光条纹信息识别焊缝跟踪点，自动精密规划运动轨迹和焊点，提升了焊接的精度。
54.现有专利cn201810192965.3(“一种应用激光定位的焊缝检测用自动扫查器的检
测方法”)使用行走控制机构控制行走机构移动从而带着设置于行走机构上的扫查机构自动进行移动扫查，与之相比，本发明中，利用cmos面阵相机对焊缝进行精确定位，再利用ccd相机和半导体激光器对焊缝状态进行检测，速度更快，精度更高。与现有专利cn201910432231.2(“一种复合钢板焊缝超声检测系统及其检测方法”)相比，本发明在检测焊缝状态的同时，还能够自主的判断对焊缝是否需要进行焊接或打磨等动作，从而控制机械臂进行相关操作，减少了人工操作，降低了人工成本。
55.本发明提供了一种用于识别焊缝状态的检测系统，包括了ccd相机、cmos面阵相机、相机支架、半导体激光器、激光器支架、相机保护系统、冷却系统、jeston xavier和5g网络模块。cmos相机安装在机械臂最上方主控模块，ccd相机和半导体结构光安装在焊枪旁边。
56.相机保护系统包括一块滤光保护片，一块偏振片和防飞溅挡板。
57.cmos面阵相机能够拍摄大范围的焊材图片，通过机器视觉处理(canny算子提取边缘、均值滤波处理、二值化处理、霍夫变换、pnp解算坐标)实现初步的路径规划和循迹，并进行自主roi选取，跟踪，从而精确定位焊缝所在位置。
58.ccd相机硬件包括能够实现精确检测，提升精度，相机将拍摄的图片传输给上位机进行处理，将光信号转变为数字信号，使机械臂能够判断进行打磨或者焊接处理。
59.所述ccd相机包括tota
‑
400ii型ccd摄像机，ok_c20采集卡、带通滤光片和xavie，它可以把采集到的光学信号转变为数字信号，实现精确检测焊缝的状态，从而提升了仪器的精度。
60.所述cmos面阵相机安装于焊枪主体上方处，可以获取一定x和y范围内完整的目标图像，并能及时进行图像采集，并且实现初步路径规划和循迹，自主roi选取，跟踪。
61.所述半导体激光器用于发射激光结构光，为ccd相机提供定频率，定伽马值线激光，为检测的准确性，稳定性提供了保障。
62.所述相机保护系统，包括滤光保护镜片，用于滤去焊接过程中半导体激光器产生的高亮度光源，防止其对仪器造成损害，从而延长了该系统的使用寿命；偏振片，可以通过调整入射光的角度从而确保结构光可以垂直进入ccd相机，提升了精确度；防飞溅挡板，用于在焊接过程中防止高温熔融物飞溅以至于损坏仪器。
63.所述冷却系统，用于在长时间通电工作情况下对机体降温，以确保其能正常工作和内部元器件的安全。
64.所述jeston xavier是一种面向人工智能的处理芯片，具有强大的计算能力和视觉处理能力，极大地降低了运行过程中可能出现的延迟，降低了失误率。
65.所述5g网络模块是承载终端接入网络的关键部件，具备业界领先的传输速率，可满足设备互联和远程交互应用需求。
66.本发明提供了一种用于识别焊缝状态的检测方法，包括以下步骤：
67.cmos面阵相机依托其大的视野范围，对于焊材进行拍摄，通过机器视觉来识别焊缝，进行初步的路径规划和循迹，机械臂带着焊枪移动到焊缝所在位置。之后半导体激光器发出定频率，定伽马值线激光，照射于需要焊接的表面上，反射光通过滤光片之后垂直进入ccd相机，ccd相机通过内部的视觉传感器把采集到的光学信号转变为数字信号，判断焊缝的状态并对轨迹进行精确地调整，并把数字信号通过通信模块传输给焊枪，焊枪根据一定
的坐标变换准确地移动到指定位置，并判断进行焊接或者打磨等动作。
68.实施例2
69.本发明提供了一种识别焊缝状态的检测系统，如图2和图3所示，包括cmos面阵相机(1)、ccd相机(2)、相机支架(3)、半导体激光器(9)、激光器支架(5)、相机保护系统(6)、冷却系统、jeston xavier和5g网络模块。
70.cmos面阵相机(1)依托其大的视野范围，对于焊材(8)进行拍摄，通过机器视觉来识别焊缝，进行初步的路径规划和循迹，机械臂带着焊枪(7)移动到焊缝所在位置。之后半导体激光器(9)发出定频率，定伽马值线激光结构光(4)，照射于需要焊接的表面上，反射光通过滤光片之后垂直进入ccd相机(2)，ccd相机(2)通过内部的视觉传感器把采集到的光学信号转变为数字信号，判断焊缝的状态并对轨迹进行精确地调整，并把数字信号通过通信模块传输给焊枪(7)，焊枪根据一定的坐标变换准确地移动到指定位置，并判断进行焊接或者打磨等动作。
71.其中相机保护系统包括滤光保护镜片，偏振片和防飞溅挡板。滤光保护镜片用于滤去焊接过程中半导体激光器产生的高亮度光源，防止其对仪器造成损害。偏振片可以通过调整入射光的角度从而确保结构光可以垂直进入ccd相机，提升了精确度。防飞溅挡板，用于在焊接过程中防止高温熔融物飞溅损坏仪器。
72.cmos面阵相机对图片处理步骤如下:对焊材图片进行canny算子提取边缘，均值滤波和二值化处理，对二值化处理的图像进行霍夫变换，pnp解算坐标，得到焊缝所在的xy坐标值。之后对其进行非线性优化，使结果线条与焊缝拟合效果更好。
73.ccd相机上位机对焊缝图片处理步骤如下：对图像进行限定roi分割,几何变换、平滑去噪、复原、增强、超分辨率还原等预处理，再对图像进行语义分割和二值化处理，之后利用log
‑
laplacian算子提取边缘，最后对图像进行偏频量旋转，基于固定航迹方程的姿态修正，从而使轨迹精度补足。将其转化为可计算的数字信号，从而进行相关判断。
74.为了保证机械臂在接收到主控模块传来的数据，进行精确的移动，需要进行手眼标定，手眼标定目的在于实现物体在世界坐标系和机器人坐标系中的变换。在标定时，一般在工作平面设置一个世界坐标系，该坐标系与机器人坐标系不重合，在完成相机的内外参标定后，可计算获得物体在世界坐标系中的位置。若需要机器人与视觉联动，需要获得物体在在机器人坐标系中的坐标。
75.手眼标定实现步骤如下：1.通过张正友法标定相机的内参矩阵和畸变参数；标定相机外参矩阵，用于图像坐标与世界坐标的转换；2.设置n个特征点(n>3)，计算其世界坐标，移动机械臂工作末端到特征点，记录末端坐标，获得n组数据；3.计算两组数据的rr和tt，其中特征点世界坐标为a组数据，末端坐标为b组数据；4.计算两组数据的变换矩阵实际上为3d
‑
3d的位姿估计问题，可用迭代最近点(iterative closest point，icp)求解，实现方法；5.利用线性代数的求解；6.利用非线性优化方式的求解。
76.为保证数据传输的准确性，本发明利用crc(循环冗余校验)技术在上位机和机械臂进行信息传输，机械臂对收到的信号进行解码，解码正确则意味着接下来的数据是正确的，可以接收并且进行处理，读取到停止码时，机械臂向上位机发送一样的数据信号，上位机接收并解码，从而判断机械臂接收到了正确信号，系统能够自主判断和纠错，保证了整个系统的稳定和有效。
77.本发明最终通过系统自行判断让机械臂执行焊接或打磨等动作，无需人工辅以处理，大大降低了人工劳动成本。
78.在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
79.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
80.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。