一种基于机器视觉的智能化自动检测平台

1.本技术涉及焊接检测技术领域，具体公开了一种基于机器视觉的智能 化自动检测平台。


背景技术：

2.焊接质量控制的研究是焊接过程自动化的重要组成部分。近年来，由 于计算机视觉技术的快速发展，利用摄像头直接观察并拍摄焊接熔池图像， 通过图像处理获得熔池的特征信息，已经成为一个重要的研究方向。能否 获得一个清晰的熔池图像是保证焊接质量好坏的一个重要环节。由于焊接 熔池是动态的，焊接过程中产生的强烈弧光以及熔池类镜面反射等特性， 使得实时获取熔池信息比较困难。图像获取的质量好坏对后续的图像处理 问题起着举足轻重的作用，而图像处理直接影响整个跟踪系统的实时性。
3.据视觉检测系统中成像光源是辅助光源还是焊接区自身产生的光源， 直接视觉检测系统可以分为主动式和被动式两大类。主动式直接视觉检测 方法采用激光等辅助光源对焊接区进行人工照明。由于激光具有高亮度、 高方向性、高单色性和高相干性等特点，因此利用此法可以获得较清晰的 熔池图像，但此方法采用高能量密度的脉冲光源和特殊电子快门的摄像机， 其设备及其昂贵，限制了这种方法在实际生产中的推广与应用。被动式直 接视觉传感是指利用熔池自身的辐射光或熔池对电弧的反射光或两者兼 而有之作为接收器件信号源的一种视觉传感方式。此种方法不需要辅助光 源，仅利用普通ccd摄像机直接获取熔池区正面图像，其设备简单、价 格低廉，适合生产应用。目前，无论是采用被动式或主动式的成像光源， 基于视觉的焊接熔池检测与控制研究主要集中在tig焊接过程中。tig焊 接过程电弧燃烧稳定，且无熔滴过渡过程。但在焊接过程中不仅存在较强 的弧光干扰，还伴有飞溅及烟尘的产生，并且频繁的短路过渡过程会产生 弧光闪烁，这些给熔池图像的传感带来了极大的困难。
4.采集熔池图像时，由于焊接过程总是存在声、光、电、热、磁及烟尘 杂物等诸多的干扰因素，使得熔池图像背景噪声十分强烈，针对预处理后 图像的特性，还要进一步对其进行后处理，通常使用图像滤波来去除噪声， 然后使用灰度形态学对图像进行膨胀和腐蚀处理从而得到完整清晰的熔 池图像，一般都用于电弧燃烧稳定的tig焊接，存在着计算量大、实时 性不强的缺点，并且滤波处理会模糊图像、膨胀和腐蚀处理会丢失熔池的 部分细节，因此，发明人有鉴于此，提供了一种基于机器视觉的智能化自 动检测平台，以便解决上述问题。


技术实现要素：

5.本发明的目的在于解决传统对熔池图像进行预处理时，滤波处理会模 糊图像、膨胀和腐蚀处理会丢失熔池的部分细节的问题。
6.为了达到上述目的，本发明的基础方案提供一种基于机器视觉的智能 化自动检测平台，包括用于工件放置的工作台和用于焊接工件的机器人本 体，机器人本体上设有焊
炬，还包括将ccd摄像机与焊炬固定的安装夹 具，还包括触发器、ccd摄像机和图像采集卡，触发器包括信号输入模 块、电流传感器模块、滤波器模块、波形整形变换模块、可变计数器模块 和信号输出模块，
7.进一步，所述机器人本体上设有用于安装焊炬的安装轴，所述焊炬和 ccd摄像机可沿安装轴轴线同步旋转。
8.进一步，所述可变计数器模块信号连接有显示技术模块。
9.进一步，本发明还提供一种基于机器视觉的智能化检测方法，包括以 下步骤：
10.s001，采集到的前一时刻的熔池图像照片a与后一时刻的熔池图像 照片b进行“与”运算；
11.s002，对“与”运算后得到的图像c进行阈值分割。
12.进一步，在s001中，照片a为坐标空间ta下获得的图像，照片b为 坐标空间tb＝ta d t
ba
下获得的图像，两照片相隔时间为δt。
13.进一步，在s002中，类间方差g＝ω1×
ω2×
(μ
1-μ2)2；
14.式中，照片a的像素点数占整幅图像的比例记为ω1，其平均灰度μ1；
15.照片b像素点数占整幅图像的比例为ω2，其平均灰度为μ2。
16.本方案的原理及效果在于：
17.1、本发明将采集到的前前一时刻的熔池图像照片a与后一时刻的熔 池图像照片b进行“与”操作，并进行阈值分割，从而获取清晰真实的 熔池图像。
18.2、本发明采用阈值分割，按照灰度级，对像素集合进行一个划分， 得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一 致的属性，而相邻区域布局有这种一致属性，实现简单、计算量小、性能 较稳定。
19.3、本发明无需额外增加辅助光源，而是利用电焊弧光作为成像光源 的焊接熔池跟踪系统，通过传感器控制ccd摄像机在焊接的短路阶段进 行熔池图像的采集，从而获取干扰最小的熔池图像信息，并采用简单高效 的图像处理方法去掉噪声及飞溅干扰，得到清晰准确的熔池图像。
附图说明
20.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述 中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅 是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动 的前提下，还可以根据这些附图获得其他的附图。
21.图1示出了在短路过渡焊接中电流电压波形图；
22.图2示出了在短路过渡焊接中电压信号波形图；
23.图3示出了在短路过渡检测电路输出电压信号波形图；
24.图4示出了本发明中触发器控制硬件原理图；
25.图5示出了一种基于机器视觉的智能化自动检测平台结构示意图。
具体实施方式
26.为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功 效，以下结
合附图及较佳实施例，对依据本发明的具体实施方式、结构、 特征及其功效，详细说明如后。
27.说明书附图中的附图标记包括：工作台1、工件2、焊炬3、机器人 本体4、ccd摄像机5、滤光片6。
28.一种基于机器视觉的智能化自动检测平台，以co2短路过渡焊接为例， 包括图像采集和图像处理。
29.在图像采集中，如图5所示，包括用于工件2放置的工作台1和用于焊 接工件2的机器人本体4，机器人本体4上设有焊炬3，还包括ccd摄像机 和将ccd摄像机与焊炬3固定的安装夹具，机器人本体4上设有用于安装 焊炬3的安装轴，所述焊炬3和ccd摄像机可沿安装轴轴线同步旋转，具 体的，安装轴周端套设有安装套环，安装套环与焊炬3固接，机器人本体4 上设有驱动安装套环转动的马达，马达通过齿轮副驱动安装套环转动。
30.在图像处理中，包括机器视觉系统和图像处理方法，机器视觉系统包 括触发器、ccd摄像机和图像采集卡，触发器包括信号输入模块、电流 传感器模块、滤波器模块、波形整形变换模块、可变计数器模块和信号输 出模块，可变计数器模块信号连接有显示技术模块。
31.于co2短路过渡焊接而言，一个短路周期大体经历了燃弧、弧隙短路、 液桥缩颈及断开、电弧复燃等四个阶段；对于co2短路过渡焊接而言，电 弧电压和焊接电流蕴藏了关于电弧燃烧过程和熔滴过渡过程的丰富信息， 焊接的短路周期与电流电压之间存在着关联关系，如图1所示：
32.弧隙短路阶段有助于得到清楚地熔池图像，主要表现为：
33.(1)短路阶段，电弧熄灭，不存在电弧的闪烁现象和烟尘干扰；
34.(2)熔池的表面温度已经下降到相对低的程度，因此几乎不存在燃 弧阶段焊接电弧和熔池之间的强烈反差，熔池图像灰度分布相对稳定；
35.(3)短路中期很少产生飞溅，可以很大程度地避免熔池图像中飞溅 产生的噪声干扰；
36.(4)没有再燃弧时电弧对熔池的冲击，熔池表面相对稳定。
37.在短路过渡中，可以将熔滴过渡的不同时刻与电弧电压的变化对应起 来,如图2所示的是短路过渡电压变化曲线，当熔滴短路时电弧电压急剧 下降，且短路阶段弧光和飞溅干扰较小，所以通过外触发将ccd摄像机 的曝光时刻都控制在电弧短路开始阶段的某一时刻时，弧光强度接近且干 扰较小。
38.同时将ccd摄像机的曝光时间设定较短，这样图像的曝光采集过程 都在短路阶段完成，因此就可以采集到亮度接近、干扰较少的图像，从 而克服了不同时刻采集亮度不同导致的图像忽明忽暗、飞溅等干扰较多的 问题。
39.当焊机正常工作时，工作电流一般在0～200a左右。采集焊机的电压 电流信号，通过配套的电流传感器的转换，输出变化规律与工作电流相同 的交流电流0～20ma或电压0～5v。首先通过300hz的低通滤波器滤波， 然后再通过波形整形变换器输出与焊机工作电流相同频率变化的矩形脉 冲波形，分析波形特点，检测出短路过渡，在熔滴短路时刻左右产生触发 ccd摄像机的ttl低电平，从而控制照相机的拍摄动作，如图3所示。 触发器控制硬件原理如图4所示。
40.一种基于机器视觉的智能化检测方法，包括以下步骤：
41.s001，采集到的前一时刻的熔池图像照片a与后一时刻的熔池图像 照片b进行“与”运算。
42.在机器人的操作机运动过程中,已知工件坐标系{t}，经过
△
t时间 后，新坐标系表示t d t
为：t d t＝trans(d
x
,dy,dz)rot(f,dθ)t
43.式中：trans(dx,dy,dz)表示基系中微分平移dx,dy和dz的变 换；rot(f,dθ)表示基系中绕矢量f的微分旋转dθ的变换。
44.以δ＝trans(dx,dy,dz)rot(f,dθ)
–
i，上式可化简为：
[0045][0046]
式中：δx,δy和δz分别为绕原坐标系三个轴x,y和z的微分转 动；dx,dy,和dz分别为微分平动量。
[0047]
必须将照片a和照片b转换到同一空间下。在平面焊接过程中，以 焊炬的顶点的运动方向为对称，照片a为坐标空间ta下获得的图像，照 片b为坐标空间tb＝ta d t
ba
下获得的图像，两照片相隔时间为δt。
[0048]
在同一空间下，飞溅弧光是动态量，熔池为相对稳定的量，因时间不 同，电弧飞溅弧光位置不同。由于平面焊接，故dz＝0；从焊接工艺参数 角度来看，机器人在平面焊接过程中行走角和工作角是不变的，所以绕y 轴旋转和绕x轴旋转为零，即对应位置像素不变，图像像素在绕x、y轴 的变形量是二次微分量，故微分算子为
[0049][0050]
因为第二幅照片的微移动是相对第一幅而言的，即
[0051][0052]
所以
[0069]
g＝ω1×
(μ-μ1)2 ω2×
(μ-μ2)2[0070]
整理以上公式，得到等价公式：
[0071]
g＝ω1×
ω2×
(μ
1-μ2)2[0072]
采用遍历的方法得到使类间方差最大的阈值t，即为所求。在熔池跟 踪系统中，ccd摄像机所获取的图像为256色的灰度图，因此t的取值 范围为[0，255]。这样在通过遍历的方法获取阈值时，需要经过256次运 算，复杂度较高。在对熔池图像的灰度直方图进行研究后，发现像素的灰 度值主要分布在60～240这个区间，图像对比度较小，熔池的边缘较为清 晰。因此我们在使用大津法求取阈值时，将遍历区间设置在[30，80]之间， 从而提高了运算的速度。目前，在对熔池图像进行处理时，一般都是根据 阈值直接将熔池图像进行二值化，将目标设置为0(白色)，背景设置为 1(黑色)。但是二值化后的图像只有黑、白两色，难以对熔池的具体形 态做出观察判断。因此，在本系统中，进行阈值分割时，并不是直接根据 阈值将熔池图像进行二值化，而是保留灰度值大于阈值的像素点(这些像 素点体现熔池部分)，灰度值小于阈值的像素点则重新赋值为0(这些像 素点为背景部分，直接显示黑色)，这样，既将熔池部分与背景进行了分 离，又将熔池部分清晰的显示出来，利于对熔池状态的观察和判断。显示 熔池图像的时候，因为阈值分割的原因，在熔池边缘会出现锯齿的情况， 因此需要对整幅图像进行灰度拉伸，降低图像对比度，以缓解锯齿。
[0073]
基于上述图像处理方法以及熔池动态变化、飞溅大和对比度高的特点。
[0074]
本发明采用被动式熔池视觉传感系统，不需要辅助光源，利用熔池自身 辐射光和反射的弧光作为光源采集熔池图像。如图5所示，该系统由焊接电 源、弧焊机械手、高速ccd摄像机5、触发器、图像采集卡和工控机组成。
[0075]
ccd摄像机5采集的光信号由两部分组成：一是，电弧、熔池自身 热辐射发光，被摄像机直接接收；二是，电弧光照射到熔池，熔池将弧光 反射进入摄像机。要想获取高清晰的熔池图像，就要通过光学途径抑制电 弧光，使熔池光尽可能完全被摄像机接收，其本质是为了增大熔池图像信 噪比。图像信噪比由以下公式给出：
[0076]
其中，σj为取像窗口内金属特征谱总和；
[0077]
σf为取像窗口内熔池对电弧的反射光总和；
[0078]
σz为取像窗口内熔池自身辐射光的总和；
[0079]
σq为取像窗口内电弧氛围中保护气体的特征谱总和；
[0080]
σl为取像窗口内电弧的连续谱总和。
[0081]
从可见至近红外光的波段上，随波长增大，电弧连续谱强度逐步降低， 而熔池的自身热辐射逐步增强，即σz增大，而σq减小，有利于获得高 的信噪比。虽然在近红外波段(如980nm、1064nm)，同脉冲频闪取像和中 远红外取像相比，电弧的中心区域没能完全滤除，熔池的头部被电弧部分 覆盖，但图像清晰度仍较高，熔池的特征清晰可辨。在可见光波段，如 611nm的窄带滤光，熔池自身在此区间的辐射较弱，即σz较小，要获得 高的信噪比，只有提高σf，减小σq，而采用中性滤光片减光时，σf 和σq会被同时等比例缩小，故其信噪比不如在近红外区获得的图像高。
[0082]
据plunk黑体辐射定律和wein位移定律计算出在接近近红外波段， 熔池的光谱辐射出射度随波长增加而增加，而弧光光强随波长的增加而减 弱，即信噪比逐步增大。单纯
利用熔池对电孤的反射光作信号，较难采集 到清晰的图像。同时普通ccd硅晶片对光波的敏感波长范围从400nm至 1060nm，而且在红外区域随波长的增加，ccd的感光度是逐渐降低的从 而会影响到图像的质量。
[0083]
滤光片6的主要作用是为了大幅度衰减电弧的光辐射强度，同时不影 响或较小地影响熔池辐射光和发射光的辐射强度。本试验中，考虑到在焊 接的短路阶段采集熔池图像，弧光光强较弱，因此选用近红外波长的窄带 滤光片6，带宽20nm，并配置防飞溅保护片，此方法获取的熔池图像清 晰、信噪比高，易于进一步处理。该种方法既经济，又易于实现，非常适 合科研与实际生产需求。
[0084]
图像采集卡的作用在于将摄像机的图像视频信号，以帧或场为单位， 送到计算机的内存和vga帧存，供计算机处理、存储、显示和传输等使 用。
[0085]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式 上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发 明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上 述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是 未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的 任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内
[0086]
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式 上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发 明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上 述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是 未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的 任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。