一种基于Halcon的焊接缺陷在线云处理方法

一种基于halcon的焊接缺陷在线云处理方法
技术领域
1.本发明涉及图像识别及焊接检测技术领域，具体涉及一种基于halcon的焊接缺陷在线云处理方法。


背景技术：

2.随着近年来经济的不断发展，各行各业对焊接的需求也越来越大。就我国焊接制造业的发展现状而言，焊接主要被应用到各材料之间的连接中。在很多行业中至关重要，如建筑行业、汽车、机械以及医疗等领域若脱离焊接技术也将无法运转。而随着异种材料的非金属材料连接技术的出现，现代焊接技术的发展前景将会变得更加光明、发展空间将会更加广阔。由于科技水平的不断进步，产品焊接的效率也随之越来越高，而如何在保证产品焊接质量的前提下实现产品生产的自动化与智能化已经成为了焊接行业中一项极其重要的任务。将现代高新技术融入智能化焊接中也将使得焊接技术更加紧跟时代发展的潮流。为节约人力物力，从焊接钢板到焊接检测都在向自动化方向发展。焊接检测中点焊的焊点区域提取，需要为含有焊点的图片编写处理程序，处理图片时必需要有计算机的运算参与，若周边没有复杂图像处理能力的计算机则无法提取焊点。


技术实现要素：

3.为解决现有技术的上述问题，本发明提供一种基于halcon的焊接缺陷在线云处理方法。
4.具体的技术方案为：
5.基于halcon的焊接缺陷在线云处理方法，所述方法包括：
6.步骤1焊点图像由前端输入到后端基于halcon的云服务器；
7.步骤2焊点图像预处理；
8.步骤3焊点图像去除背景；
9.步骤4焊点图像平滑处理；
10.步骤5从焊点图像中提取焊点特征值；
11.步骤6特征值输出并比对，确定异常图片及异常坐标；
12.步骤7将特征值异常的图片返回前端。
13.本发明的上述技术方案的有益效果如下：
14.本发明开发出了一种基于halcon的焊接缺陷在线云处理方法，是在考虑到焊接现场没有可进行复杂图像处理操作的计算机的情况，结合焊点图像提取方法的改进前提下开发的。可直接通过将需要处理的大量图像上传至互联网的方式来实现对图中焊点的自动提取。输出内容包括含有异常焊点的图像，异常焊点坐标及半径。仅通过网络即可实现对图像上焊点的自动提取及特征值输出，不需要下载相应的图像处理软件或编写相应的程序。方便了用户的使用，大大降低了操作门槛。通过云服务器进行程序运行，大大提高了图像处理的运算效率，用prometheus进行数据监控，不存在第三方依赖，监控系统搭建条件局限性
小。融合使用prometheus和druid既能对实时数据进行动态展示，又保障了数据分析快速，可变的需求。
附图说明
15.图1为本发明的方法的整体流程示意图；
16.图2为云服务器端的工作流程图。
具体实施方式
17.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合具体实施例进行详细描述。
18.本发明中，图像处理方面采用halcon，建站前端采用html、css、javascript，后端采用java，云处理系统。具体功能为：用户将需要处理的大量点焊图片上传该网站，网站会自动处理图片，输出焊点异常图片及异常焊点坐标。所述处理程序结合了高频增强以降低光照影响；通过形态学处理加强图像提取效果；操作上结合网站前后端及halcon的综合运用，简化了图像处理的步骤；云系统处理则大大加快了处理速度；降低了操作门槛；使得对点焊的提取更加方便快捷。本发明的方法在操作时仅需要将图片上传至互联网就可以识别出大量点焊图片中焊点不符合要求的图片及问题焊点的位置。
19.如图1、图2所示，本发明提供的基于halcon的焊接缺陷在线云处理方法，具体包括以下步骤：
20.步骤1图像前端输入
21.对于工业相机拍摄的含有焊点的图片，用户通过网站将其上传，图像通过javascript由前端转至后端的云服务器上开始图像处理。
22.步骤2图像预处理
23.对于工业相机拍摄的含有焊点的图片，首先进行灰度化处理。灰度化为将原本采集到的彩色图片变为黑白的灰度图片，由于在图像处理过程中相对于三通道的彩色图片，处理单通道的灰度图可以减少三分之二的运算量。针对于同种颜色的钢材，处理三通道图像检测精度更高，但对于不同颜色的钢材，反而灰度化后的图像更具有普适性。
24.灰度化计算公式为：gray＝0.299
×
red 0.587
×
green 0.114
×
blue。其中，gray为灰度化后的图像灰度。red，green，blue分别对应红，绿，蓝三种颜色的灰度。
25.高频增强处理。在图像中灰度变化率较大的部分被称为高频部分。光照环境为图像处理的一大难点，由于拍摄环境的影响，经常会出现光照不均匀的情况。光照强度的变化对于图像的灰度有着很大的影响。而从整体上来看相较于图片各部分本身颜色的变化，光照由于变化幅度小，往往是图中的低频部分。高频增强可以通过增强图片上高频的部分，来减少作为低频因素的光照强度的影响。
26.高频增强公式为：res＝round((orig-mean)
×
factor) orig。首先需要设置一个模板，公式意为新的灰度值等于原始灰度值减去模板范围内灰度的平均值后乘对比系数，对结果近似取整(可以有负值)，最后得到的结果再加上原本的灰度值。式中res为计算后得到的灰度值，orig为原始灰度，mean为平均值，factor为对比度增加的度量，由自己设置，此处设置为1即可，模板大小设置为7
×
7。
27.步骤3去背景
28.图片上除元器件以外还存在有一些零碎的外界背景的干扰部分，这些干扰对于图像处理也会存在影响，需将其去除。由于图像背景多为黑色，和元器件部分灰度相差较大，可通过均值滤波将元器件提取出来。在图像上对目标像素给定一个模板(本次处理模板大小设置为50
×
50)，以目标像素为模板中心，再用模板中的全体像素的平均值来代替原来像素值。均值滤波公式为：
29.g(x，y)＝∑f(x，y)
÷m30.g(x，y)为变化后的像素，f(x，y)为模板覆盖到的所有像素，m为模板的总像素数量。
31.经过均值滤波后，元器件部分被模糊地显示出来，而原先零碎的背景干扰部分的灰度级则被大幅降低，通过二值化即可提取出来。与传统的大津算法去背景相比，由于图像背景部分灰度与前景部分相似，直接用大津算法所提取出的部分也将包含背景的零碎部分而无法达到预期效果，该方法效果更好。
32.步骤4图像平滑处理
33.为保证减少噪声的同时使提取效果更准确，需增加焊点区域各像素灰度级的相似度及母材区域各像素灰度级的相似度，因此需进行图像平滑处理。本发明采用的处理方式为均值滤波，掩膜大小设置为5
×
5。
34.步骤5提取焊点位置及半径。
35.通过二值化结合面积及圆度为特征筛选提取出焊点的外圈部分，将此区域填充得到全部焊点。经实验，二值化区间以230为分界点最为有效，面积取280个像素到1700个像素，圆度取0.5到1。画出各焊点部分的外接圆，以其圆心作为焊点的位置，半径作为焊点半径并在图上标注出来。
36.步骤6将得到的特征值与预设值比对。
37.将数据推送到prometheus(监控系统)中，prometheus将获取到的数据同步到一个挂载盘和kafka(分布式发布订阅消息系统)的topic(话题)中，druid(数据库连接池)通过加载数据流拉取kafka的topic中的信息同时对数据进行解析比对，将提取到的与预设参数相差大于10％的特征值所在的图片和无法提取焊点的图片定义为异常图片，对应焊点的坐标定义为异常坐标。
38.步骤7：将后端得到的异常图片名，异常坐标，异常参数以统一的格式处理返回给前端用户。
39.以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。