一种基于机器视觉的不锈钢焊点表面质量检测方法及系统

1.本发明涉及焊点视觉检测技术领域，具体涉及一种基于机器视觉的不锈钢焊点表面质量检测方法及系统。


背景技术：

2.电阻点焊作为生产效率高、热输入量小、易于实现自动化的压力焊加工技术，已成为汽车和轨道车辆领域中可靠的制造工艺技术。目前对于大量电阻焊的场合来说，有待解决点焊缺陷的简易无损质量检测和减少目前采用的破坏性抽检，以提高生产效率、降低生产成本。常见的外观检测方法以目视检测为主，依赖于人工肉眼，但人的疲劳、责任心和经验欠缺都可能造成误判，而且存在使用的人员数量较多所带来的管理问题，不同评判结果之间的争议没有评判标准等问题。近些年来，随着机器视觉等技术在人工智能领域的高速发展，机器视觉也逐渐成为在点焊缺陷检测上的热门研究方向，许多学者将机器视觉技术应用到点焊缺陷的检测并取得了不错的成果。然而电阻点焊是一个多因素交互作用的复杂过程，并且不锈钢产品表面容易受外部环境变化的干扰，如光照的变化、目标位置的变化，会增加焊点信息提取的难度，使得机器视觉检测技术应用于焊点表面缺陷类型识别的难度进一步加大。


技术实现要素：

3.本发明针对现有技术的不足，提出了一种高效率、高精度的基于机器视觉的不锈钢点焊表面质量检测方法及系统。
4.具体的技术方案为：
5.基于机器视觉的不锈钢焊点表面质量检测方法，所述方法包括：
6.步骤1图像采集；
7.步骤2图像预处理；
8.步骤3判断焊点表面是否合格：
9.焊点表面完好的图像特征为：焊点外部环形区域基本完整，没有裂纹和多余的金属，内部区域平整，没有出现孔洞；
10.步骤4缺陷检测：
11.包括焊点表面不合格情况下的缺陷检测及焊点表面合格情况下的缺陷检测。
12.基于机器视觉的不锈钢焊点表面质量检测系统，包括图像采集装置、主机以及控制单元，其特征在于，所述图像采集装置，包括相机、镜头、光源、装配件，所述装配件包括相机夹具、光源夹具、机械臂接口、顶板、左侧板、右侧板、前侧板、后侧板，相机通过相机夹具固定在顶板上，光源通过光源夹具调节高度；所述主机用于控制图像采集装置来采集图像，接收图像采集装置通过数据传输接口传入的图像，所述控制单元用于进行图像预处理、判断焊点表面是否合格及缺陷检测操作。
13.本发明的上述技术方案的有益效果如下：
14.本发明针对检测对象以及要求，搭建一套基于机器视觉的焊点缺陷检测方法及系统，包括硬件的选型、夹具设计以及图像处理模块开发，支持不锈钢点焊焊点图像的实时采集、处理等操作，以获取焊点缺陷、熔核直径等相关信息。通过otsu算法进行图像提取、通过像素计算熔核区域面积以及焊点缺陷判断等，同时弥补了人工检测法主观性较强、容易疲劳以及检测结果无法量化等缺点，精确测量焊点熔核尺寸以及有效区分裂纹、飞溅、焊点区域缺失、凹陷、焊穿缺陷，实现不锈钢点焊表面质量的实时检测，具有一定的实用性。
附图说明
15.图1为本发明的检测方法流程图；
16.图2为本发明的图像采集装置示意图；
17.图3为光源照射原理示意图。
18.附图标记如下：
19.1、相机；2、镜头；3、光源；4、相机夹具；5、光源夹具；6、机械臂接口；7、顶板；8、左侧板；9、右侧板；10、前侧板；11、后侧板。
具体实施方式
20.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
21.实施例1
22.本实施例提供基于机器视觉的不锈钢点焊表面质量检测方法，如图1所示，具体如下：
23.步骤1图像采集
24.图像采集之前要进行相机标定，通过相机标定可以校正镜头畸变，可以提高相机工作产生结果的准确性。相机标定采用张氏标定法获取相机内参，该方法标定精度高，且鲁棒性好。张氏标定法的具体操作如下：首先准备标定图片，将标定板置于不同位姿且保持标定板占据相机视场2/3左右采集20张标定图片；利用opencv自带的角点检测函数进行标定，得到相机的内参和外参系数，并对标定结果进行评价；还有要根据具体的实际情况来确定光源的位置以及光源的亮度，可以通过光源的夹具位置和光源控制器来调节。做完这些工作后，可以通过主机来控制图像采集装置来采集图像，然后通过usb 3.0数据传输接口传入主机。
25.步骤2图像预处理
26.图像预处理包括灰度化处理、中值滤波和基于otsu算法提取焊点目标，降低噪声干扰及减少图像处理运算量。图像在采集、传输、处理等各个阶段都有可能受到噪声干扰，导致图像中的重要信息丢失，影响后续的特征提取、图像识别的精确度，带来诸多问题。首先进行灰度化处理，将三通道图像转换为单通道图像；其次采用滤波核为3
×
3的中值滤波进行降噪处理，其能够在消除噪声的同时，还能保持图像的细节部分，防止图像的边缘部分模糊，且耗时短，适用于不锈钢点焊图像的滤波去噪；最后采取otsu法对图像进行处理，选取合适的阈值，使得图像前景和背景两类间方差值最大，取当前阈值为最佳分割阈值，得到焊点目标，焊点目标为点焊形成的焊点表面图像，为环形特征区域。焊点内部是下陷的，圆
弧内侧为斜坡。
27.步骤3判断焊点表面是否合格
28.焊点表面完好的图像特征：焊点外部环形区域基本完整，没有裂纹和多余的金属，内部区域平整，没有出现孔洞。
29.将得到的焊点目标图像通过模板匹配分为两个部分，焊点表面完好的归为一类，有问题的归为一类。在实际检测中，由于待测图像与相机之间的距离的变换，模板的大小因素的影响，为了得到较好的匹配结果，采用了自适应尺寸的模板匹配，首先选取表面完好的焊点作为模板图像，将其进入循环，每次循环缩放10％的比例，再进行模板匹配，最终得到了不同比例下的表面完好的焊点图像(roi区域)，对所有的roi区域与模板图片进行相似度的比较，选出相似度最高的匹配图像，同时获得最佳的匹配比例，然后以此为模板对待测图像进行匹配训练，得到roi区域，以此来完成对焊点表面是否合格的区分。
30.步骤4缺陷检测
31.(1)焊点表面不合格的缺陷检测
32.首先对焊点表面不合格的图像进行图像增强，采用直方图均衡化的方法对图像进行修正，通过使用累积分布函数对灰度值进行“调整”实现对比度增强，能够突出图像中某些信息进而更好的辨识，有利于后期提取到更好的特征信息。
33.裂纹：焊点裂纹可分为内部裂纹和周边裂纹，内部裂纹位于内部区域，为一条细直线，周边裂纹为围绕焊点圆周的裂缝；裂纹与环形特征区域在灰度上存在差异，裂纹的灰度值偏小，因此根据裂纹和背景在灰度上的差异，选取合适的阈值，选取合适的循环次数，阈值和循环次数需要人工多次尝试后确定，采用自动选取种子的区域生长来提取出图像中的裂纹，提取的裂纹为一条细直线，其背景灰度值为255。
34.飞溅：外观为表面粗糙而图像上看是有宽度的线段，有的部分粗，有的部分细，有的还会出现断裂的部分，毛刺的长度一般比规定的两个焊点的间距要小得多，根据部件的厚度可以确定焊点矩，以此可以确定毛刺直线的长度范围，然后通过霍夫直线变换在焊点边缘找出符合预设长度的直线。
35.焊点区域缺失：外部环形特征区域有部分缺失；根据霍夫变换的圆检测找到焊点的内外圆，焊点区域缺失检测到的圆不完整，有缺口。
36.凹陷：焊点内部是下陷的，而焊点外部是平坦的，焊点圆弧内侧是斜坡，正常内部区域为平整的，出现的坑则为凹陷；焊点凹陷部分的灰度值与内部其他区域的灰度值不同，图像显示上更暗，灰度值小，可以通过灰度值的不同，确定合适的阈值，确定合适的循环次数，阈值和循环次数需要人工多次尝试后确定，通过自动选取种子的区域生长法将凹陷的区域提取出来。
37.焊穿：焊穿是焊点中含有穿透，出现孔洞的现象；焊穿产生的焊点，内部灰度均匀，无明显的亮色区域，通过焊点内部灰度值变化，确定合适的阈值，确定合适的循环次数，阈值和循环次数需要人工多次尝试后确定，通过自动选取种子的区域生长法可以区分出焊穿缺陷。
38.(2)焊点表面合格的缺陷检测
39.虚焊：通过对比发现，虚焊产生的焊点，相对于正常情况下压出的焊点而言，其面积较小，也就是熔核直径比标准小，标准根据工件材料和其厚度查找点焊焊接质量标准来
确定，根据焊点熔核计算公式：其中d为熔核边缘两端最长的距离，d为熔核边缘两端最短的距离，也可以通过计算熔核区域像素点，来估算出其面积，以此得到熔核的相对直径，根据圆的直径计算公式：其中s为计算的熔核区域面积。
40.首先对焊点表面合格的图像进行形态学处理，来消除噪声，选择对背景噪声先腐蚀掉，对前景噪声进行膨胀，为避免对其他地方的影响，可以先使用闭运算去除前景噪声，使用开运算去除背景噪声；然后提取焊点轮廓信息，但是其轮廓可能不完整，其像素信息不能构成完整的圆形，为补全其轮廓，对其做最小外切圆，接下来对焊点做填充，计算其像素面积；最后由合格焊点的熔核计算出其面积，然后与实际的面积相比较，得到转换比例，然后根据质量标准的等级a和等级bf的值确定合格焊点的像素面积范围，以此作为阈值来判断焊点熔核直径是否满足标准，比其范围小的为虚焊点，不合格，比其范围大的也不合格的。
41.实施例2
42.本实施例提供基于机器视觉的不锈钢点焊表面质量检测系统，包括图像采集装置、主机以及控制单元；所述的图像采集装置安装在机械臂上进行点焊图像的实时采集，被采集的图像通过usb 3.0数据传输接口传入主机；主机通过图像处理模块实时处理传入的图像信号并实现不锈钢表面的质量检测功能，将检测结果显示于交互界面，并保存数据或发送控制信号。
43.所述的图像采集装置，如图2所示，包括相机1、镜头2、光源3、装配件，其中装配件包括相机夹具4、光源夹具5、机械臂接口6、顶板7、左侧板8、右侧板9、前侧板10、后侧板11，相机通过相机夹具4固定在顶板上，光源可通过光源夹具5调节高度。
44.图像采集装置作为焊点表面质量检测的前提，其得到的图片质量很大程度上决定了后续工作的开展及系统精度，因此基于检测任务和要求，设计出合理的采集装置显得尤为重要。图像采集装置主要包括成像三大件(相机、镜头、光源)，选型规则如下：
45.(1)相机的选型：根据芯片类型可分为ccd相机的cmos相机，ccd相机具有分辨率高，信噪比高，成像质量好等优点，cmos相机具有响应速度快，经济性好，集成度高等优点；相机视场要求大于目标尺寸；根据检测速度和检测精度确定扫描速率和相机分辨率；通过通讯距离、传输速率的要求选择合适的接口，如gige、camera link、hdmi以及usb接口等；
46.(2)镜头的选型：根据目标尺寸和测量精度，确定传感器尺寸和像素尺寸、放大倍率以及镜头的传递函数；根据系统尺寸和工作距离，结合放大倍率，计算镜头的焦距以及视场角；根据现场的照明条件确定光圈大小和工作波长；确定畸变、景深、相机接口等其它要求；
47.(3)光源的选型：机器视觉系统中，光源的作用是尽可能地突出被测物体的特征而弱化背景特征。为此需要根据实际使用场合选择合适类型的光源，并设计相匹配的照射方式。对工件表面的缺陷检测需求进行分析，为了解决不锈钢反光的问题，考察常用光源模型打光对不锈钢工件表面拍摄效果的影响后，最终选取各项性能指标都较好的同轴光源。同轴光源其突出特点是具备高对比度，在检测镜面、光泽面或希望以光泽差异进行辨别时非常有效，照射原理如图3所示。同轴光源从侧面将光线发射到半反射镜上，反射镜再将光线
反射到工件上，镜面反射光可以返回到相机，而工件表面如焊点等凹凸不平的部分产生的漫反射光则不能接受到，这样就使得工件的前后背景形成了对比度。
48.所述相机采用德国basler的aca5472-17um黑白cmos面阵相机，分辨率为5472
×
3648，接口为usb 3.0；所述镜头采用德国basler的c11-3520-12m-p，焦距为35mm；所述光源采用opt的coh6011-w，发光面尺寸为52mm，照明方式采用明场直射正面照明；光源控制器采用opt的dpa2024e-4h，256级可调的4通道恒流型数字控制器，不仅可以随时调节照明光源的亮度，而且输出电压也更加稳定可靠；所述装配件均采用高强度比、低密度的铝合金材料制作。
49.所述图像采集装置，由于在实际场景中，不锈钢产品表面容易受外部环境变化的干扰，因此，要确保相机、镜头及光源通过装配件固定在一条线上，同时确保其与产品水平面保持一致。
50.以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。