一种基于智能图形识别的防振锤故障检测方法及系统与流程

1.本发明涉及人工智能领域，具体涉及一种基于智能图形识别的防振锤故障检测方法及系统。


背景技术：

2.为了减少电线因外力而引起震动，在输电线路中会使用防振锤。一般的输电线路处在高空中，档距比较大，当电线受到外力作用时，容易发生振动，电线频繁振动容易引起周期性的弯折发生疲劳，出现输电线路断股、金具磨损和断线现象。防振锤一般安装在悬挂点的两侧，安装防振锤以后，能产生与导线振动相位相反的运动，从而使导线振动减弱或消除。
3.防震锤的各部件材料所用原材料必须是全新的且无不规则或缺陷，当防震锤外观出现缺陷时，会使防震锤内部金属材质与空气中的水和氧气结合发生锈蚀，当防振锤受到锈蚀时，防振锤的固定线夹出现松动，防振锤就会发生粘连、滑移和翻转等故障，出现这种情况防振锤的性能失效。在防震锤生产过程中，往往会伴随着各种缺陷的产生，常见且影响较大的缺陷为划伤和麻坑，此类缺陷会大大影响防震锤的作用与使用寿命，故需对此类产品进行筛选分类。目前对防震锤缺陷检测的方法大多数是通过人工进行检测，这种方法检测效率低且容易出现各种人为因素的相关差错，而采用机器视觉的方法对防震锤进行缺陷检测往往只能针对某一种缺陷进行，无法做到对常见缺陷进行有效的检测与区分。
4.针对上述情况，本发明提出了一种基于智能图形识别的防振锤故障检测方法及系统，通过对产品图像信息进行提取，分割出有效的图像信息，采用图形识别的方法进行缺陷识别，达到对不同类型的缺陷进行有效检测与区分的目的。


技术实现要素：

5.本发明提供一种基于智能图形识别的防振锤故障检测方法及系统，以解决现有的检测效率低的问题。
6.本发明的一种基于智能图形识别的防振锤故障检测方法，采用如下技术方案，包括：
7.获取防震锤表面灰度图像；
8.对防震锤表面灰度图像进行滑窗处理，根据滑窗内每个像素点的灰度值和所有像素点的灰度均值计算该滑窗中心像素点的均匀性，得到防震锤表面灰度图像上每一个像素点的均匀性；
9.根据每个像素点的均匀性，采用区域生长法对像素点进行聚类，得到防震锤表面灰度图像上的多个连通域；
10.利用每一连通域中像素点的灰度值计算该连通域中像素点的重构灰度值，利用每一像素点的重构灰度值对防震锤表面灰度图像进行重构，得到重构灰度图像；
11.采用分水岭算法对重构灰度图像进行分割，分割出轮廓内图像；
12.若轮廓内图像中存在纹理，判断该防震锤存在缺陷；若轮廓内图像中不存在纹理，判断该防震锤为合格产品；
13.根据轮廓内图像中的纹理形状对防震锤的缺陷进行分类。
14.进一步的，所述的一种基于智能图形识别的防振锤故障检测方法，根据每个像素点的均匀性，采用区域生长法对像素点进行聚类，得到防震锤表面灰度图像上的多个连通域的方法为：
15.根据均匀性的大小对像素点进行分组，得到不同组的像素点；
16.选取每组像素点中均匀性最大的像素点作为生长种子点，将其邻域内属于生长种子点同一组的像素点保留，与生长种子点合并为一个区域，将该区域作为新的生长种子点，迭代多次，直至新区域的邻域中不含生长种子点同一组的像素点时停止，得到的新区域为每组像素点的第一个连通域；
17.将每组像素点中第一个连通域像素点以外的像素点中均匀性最大的像素点作为生长种子点，按照获取第一个连通域的方法得到第二个连通域，迭代多次，直至该组中所有的像素点聚类完成，以此得到防震锤表面灰度图像上的多个连通域。
18.进一步的，所述的一种基于智能图形识别的防振锤故障检测方法，根据每个像素点的均匀性，采用区域生长法对像素点进行聚类后，若防震锤表面灰度图像上存在孤立点，则将该孤立点划分至邻近的最大连通域中。
19.进一步的，所述的一种基于智能图形识别的防振锤故障检测方法，像素点的均匀性的表达式为：
[0020][0021]
式中：k表示滑窗像素点的均匀性，即为滑窗中心像素点的均匀性，i表示滑窗中第i个像素点，n表示滑窗边长，xi表示滑窗中第i个像素点的灰度值，表示滑窗中像素点的灰度均值，ω表示超参数。
[0022]
进一步的，所述的一种基于智能图形识别的防振锤故障检测方法，所述滑窗边长为奇数。
[0023]
进一步的，所述的一种基于智能图形识别的防振锤故障检测方法，像素点的重构灰度值的表达式为：
[0024][0025]
式中：x
′
表示连通域中每一个像素点的重构灰度值，xj表示连通域中第j个像素点的灰度值，j表示连通域中第j个像素点，m表示连通域中像素点的个数。
[0026]
进一步的，所述的一种基于智能图形识别的防振锤故障检测方法，根据轮廓内图像中的纹理形状对防震锤的缺陷进行分类的方法为：
[0027]
若轮廓内图像中的纹理呈线状，判断该防震锤的缺陷为划伤；
[0028]
若轮廓内图像中的纹理呈环状，判断该防震锤的缺陷为麻坑。
[0029]
一种基于智能图形识别的防振锤故障检测系统，包括：
[0030]
图像采集单元，获取防震锤表面灰度图像；
[0031]
图像处理单元，对防震锤表面灰度图像进行滑窗处理，根据滑窗内每个像素点的
灰度值和所有像素点的灰度均值计算该滑窗中心像素点的均匀性，得到防震锤表面灰度图像上每一个像素点的均匀性；根据每个像素点的均匀性，采用区域生长法对像素点进行聚类，得到防震锤表面灰度图像上的多个连通域；
[0032]
图像重构单元，利用每一连通域中像素点的灰度值计算该连通域中像素点的重构灰度值，利用每一像素点的重构灰度值对防震锤表面灰度图像进行重构，得到重构灰度图像；
[0033]
图像分割单元，采用分水岭算法对重构灰度图像进行分割，分割出轮廓内图像；
[0034]
图像判断单元，若轮廓内图像中存在纹理，判断该防震锤存在缺陷；若轮廓内图像中不存在纹理，判断该防震锤为合格产品；根据轮廓内图像中的纹理形状对防震锤的缺陷进行分类。
[0035]
本发明的有益效果是：本发明通过区域生长法对像素点进行聚类，确定多个连通域，对每一连通域的像素点灰度值进行重构，获得重构灰度图，接着采用分水岭算法对图像进行分割，识别分割图像上的纹理，判断是否存在缺陷以及缺陷的类型，相对于现有技术，本发明通过对产品图像信息进行提取，分割出有效的图像信息，采用图形识别的方法进行缺陷识别，不仅能够有效检测出缺陷，且检测效率高，同时可以快速有效地对不同类型的缺陷作出区分；相对于现有技术，本发明避免了人工检测的主观性，降低漏检与误检的概率，同时降低了检测成本，节省人力资源。
附图说明
[0036]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1为本发明的一种基于智能图形识别的防振锤故障检测方法的实施例的流程示意图；
[0038]
图2为本发明的一种基于智能图形识别的防振锤故障检测方法的实施例的流程示意图；
[0039]
图3为本发明的一种基于智能图形识别的防振锤故障检测系统的实施例的结构示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
实施例1
[0042]
本发明的一种基于智能图形识别的防振锤故障检测方法的实施例，如图1所示，包括：
[0043]
101、获取防震锤表面灰度图像。
[0044]
102、对防震锤表面灰度图像进行滑窗处理，根据滑窗内每个像素点的灰度值和所有像素点的灰度均值计算该滑窗中心像素点的均匀性，得到防震锤表面灰度图像上每一个像素点的均匀性。
[0045]
利用每个滑窗中像素点的灰度值计算滑窗中像素点的均匀性，将该均匀性的值作为中心像素点的均匀性，通过该方法得到防震锤表面灰度图像上每一个像素点的均匀性。
[0046]
103、根据每个像素点的均匀性，采用区域生长法对像素点进行聚类，得到防震锤表面灰度图像上的多个连通域。
[0047]
区域生长法是根据事先定义的准则将像素或者子区域聚合成更大区域的过程。其基本思想是从一组生长点(即生长种子点)开始(生长点可以是单个像素，也可以是某个小区域)，将与该生长点性质相似的相邻像素或者区域与生长点合并，形成新的生长点，重复此过程直到不能生长为止。生长点和相邻像素或者相邻区域的相似性判断依据可以是灰度值、纹理、颜色等图像信息。所以区域生长法的关键点在于：选择合适的生长点、确定相似性准则即生长准则、确定生长停止条件。
[0048]
104、利用每一连通域中像素点的灰度值计算该连通域中像素点的重构灰度值，利用每一像素点的重构灰度值对防震锤表面灰度图像进行重构，得到重构灰度图像。
[0049]
105、采用分水岭算法对重构灰度图像进行分割，分割出轮廓内图像。
[0050]
106、若轮廓内图像中存在纹理，判断该防震锤存在缺陷；若轮廓内图像中不存在纹理，判断该防震锤为合格产品。
[0051]
107、根据轮廓内图像中的纹理形状对防震锤的缺陷进行分类。
[0052]
本发明通过区域生长法对像素点进行聚类，确定多个连通域，对每一连通域的像素点灰度值进行重构，获得重构灰度图，接着采用分水岭算法对图像进行分割，识别分割图像上的纹理，判断是否存在缺陷以及缺陷的类型，相对于现有技术，本发明通过对产品图像信息进行提取，分割出有效的图像信息，采用图形识别的方法进行缺陷识别，不仅能够有效检测出缺陷，且检测效率高，同时可以快速有效地对不同类型的缺陷作出区分；相对于现有技术，本发明避免了人工检测的主观性，降低漏检与误检的概率，同时降低了检测成本，节省人力资源。
[0053]
实施例2
[0054]
本发明的一种基于智能图形识别的防振锤故障检测方法的实施例，如图2所示，包括：
[0055]
本实施例所针对的情景为：首先架设相机，布置光源，采集防震锤产品表面灰度图像，对获取的防震锤产品表面灰度图像进行处理，获取均匀的目标区域，对目标区域像素点的灰度梯度进行重构，采用分水岭算法对重构图像进行分割，采用图像识别技术对分割结果进行处理，达到对缺陷类型分类的目的。
[0056]
201、获取防震锤表面灰度图像。
[0057]
本实施例需要识别生产过程中防震锤产品故障，要先采集防震锤表面图像。布置相机光源与背景板，相机处于防震锤产品的正上方，俯视采集防震锤产品表面图像，防震锤产品位于白色背景板的上面，其作用是为防止复杂环境对后续图像识别带来干扰，光源采用led白光条形光源，光源位于产品斜上方。为了减少计算量，本实施例首先采用dnn技术来识别图像中的防震锤。
[0058]
该dnn网络的相关内容如下：
[0059]
使用的数据集为本实施例所述采集过程得到的防震锤表面图像数据集，防震锤的样式形态为多种多样的。
[0060]
需要分割的像素共分为两类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素属于背景类的标注为0，属于防震锤的标注为1。
[0061]
网络的任务是分类，所有使用的loss函数为交叉熵损失函数。
[0062]
至此，通过布置相机与光源，采集产品表面图像，对采集到的图像进行处理，去除其他环境干扰，并将获取的图像转化为灰度图像。
[0063]
传统缺陷检测方法通常仅仅只针对某一种缺陷，此类检测方法的泛化能力低，对于防震锤而言，一张高质量的防震锤合格品图像，其图像中防震锤区域像素点的灰度变化均匀，而当出现缺陷时，缺陷破坏了灰度变化的均匀性，故通过提取灰度梯度变化较大的区域，对此纹理轮廓进行分析，即可较为有效的区分多种常见的且对防震锤质量影响较大的缺陷。本实施例采用分水岭分割算法对防震锤灰度图像进行处理，获取图像的纹理轮廓，采用图像识别进行缺陷检测，达到对缺陷区分的目的。但分水岭算法常常会导致过分割问题，使得获取的纹理轮廓杂乱无章，存在很多的伪轮廓，干扰有效信息的提取，故增加语义对现有分水岭算法进行改进，以此达到对目标纹理轮廓精准分割的目的。
[0064]
本实施例要想获取防震锤的故障类型，需要先计算得到均匀的目标区域，对目标区域像素点进行重构，改变原始图像的灰度梯度，再进行分割获取纹理轮廓信息，具体过程为：
[0065]
由于防震锤表面光滑，故各个像素点间的灰度值相近，当防震锤产品表面出现缺陷时，会破坏防震锤表面的光滑性，图像局部存在较大的灰度梯度，在图像分割算法中，分水岭算法具有计算速度快、轮廓线封闭、定位精准等优点，十分符合对产品缺陷的快速检测，但分水岭算法存在过分割问题，目前改进分水岭算法的方法通常为分割前处理与分割后处理，由于防震锤表面纹理单一，很少会对不同分割区域进行合并，故本实施例采用分割前处理。
[0066]
202、对防震锤表面灰度图像进行滑窗处理，根据滑窗内每个像素点的灰度值和所有像素点的灰度均值计算该滑窗中心像素点的均匀性，得到防震锤表面灰度图像上每一个像素点的均匀性。
[0067]
计算像素点的灰度均匀性：对于像素点而言，每一个像素点所在区域窗口均存在一个均匀性，当多个邻近像素点的均匀性相似时，此区域即为均匀区域。故计算图像中所有像素点的均匀性。
[0068]
图像增维，由于滑窗操作会导致图像边缘像素点的均匀性无法计算，可能导致判断偏差，故对原图进行增维操作，方法为：原图大小为m
×
n,滑窗大小为n
×
n,增维后图像大小变为(m n-1)
×
(n n-1),增维元素为原图边缘像素点的灰度值，增维后图像四角像素点的灰度值用原图四角像素点的灰度值填充。
[0069]
以某一像素点为中心像素点建立n
×
n大小的滑窗(所述滑窗边长为奇数)，计算滑窗中像素点的均匀性，将其值赋予中心像素点，即：
[0070]
[0071]
式中：k表示滑窗像素点的均匀性，即为滑窗中心像素点的均匀性，i表示滑窗中第i个像素点，n表示滑窗边长，xi表示滑窗中第i个像素点的灰度值，表示滑窗中像素点的灰度均值，ω表示超参数，经验值取ω＝0.03，tanh起归一化作用。
[0072]
通过上述表达式可以计算出图像增维前的防震锤表面灰度图像上每个像素点的均匀性。
[0073]
203、根据每个像素点的均匀性，采用区域生长法对像素点进行聚类，得到防震锤表面灰度图像上的多个连通域。
[0074]
建立均匀性直方图，对所有像素点进行分组，即每一组中像素点的均匀性相似，若同组中的像素点处于邻接关系，所对应的连通域的均匀性相似，故根据均匀性k进行像素点分组，一共分为10组，每组的均匀性值为[0,0.1),[0.1,0.2)...[0.9,1]。
[0075]
采用基于均匀性的区域生长法对像素点进行聚类，对于每个组中的像素点，选取均匀性k最大的像素点作为生长种子点，若存在多个均匀性最大值，则随机选取其中一个，在选取的像素点的8邻域内进行搜索，邻域内的像素点属于生长种子点同一组的被保留，将被保留的像素点和生长种子点合并为一个区域，此时以此区域为新的生长种子点，再次在选取的区域的邻域内进行搜索，邻域内的像素点属于生长种子点同一组的被保留，更新新的区域，得到新的生长种子点区域，迭代多次，直至此区域的邻域中不含属于生长种子点同一组的像素点时停止。此时获取到第一个连通域，对于剩下的像素点，同理选取剩下的均匀性k最大的像素点作为生长种子点，若存在多个k值最大值，则随机选取其中一个，在选取的像素点的8邻域内进行搜索，邻域内的像素点属于生长种子点同一组的被保留，将其合并为一个区域，此时以此区域为新的生长种子点，再次在选取的区域的邻域内进行搜索，邻域内的像素点属于生长种子点同一组的被保留，更新新的区域，得到新的生长种子点区域，迭代多次，直至此区域的邻域中不含属于生长种子点同一组的像素点时停止。此时获取到第二个连通域，对剩下的像素点重复上述操作，迭代得到多个连通域，直至该组中的所有像素点被聚类完成，此时进行下一组的像素点的聚类，重复上述操作，直至所有像素点聚类完成时停止，此时得到多个连通域。
[0076]
204、根据每个像素点的均匀性，采用区域生长法对像素点进行聚类后，若防震锤表面灰度图像上存在孤立点，则将该孤立点划分至邻近的最大连通域中。
[0077]
若聚类完成后，图像中存在孤立点，则此类像素点多为噪点，故需要对此类像素点进行隶属划分，将孤立点划分至其邻近的最大连通域中，至此完成连通域区域更新。
[0078]
205、利用每一连通域中像素点的灰度值计算该连通域中像素点的重构灰度值，利用每一像素点的重构灰度值对防震锤表面灰度图像进行重构，得到重构灰度图像。
[0079]
对于每一个连通域，其内部像素点的均匀性相似，故此连通域整体是均匀的，即其内部的灰度梯度变化均匀且微小，故对同一连通域中的像素点进行灰度重构，即：
[0080][0081]
式中：x
′
表示连通域中每一个像素点的重构灰度值，xj表示连通域中第j个像素点的灰度值，j表示连通域中第j个像素点，m表示连通域中像素点的个数。
[0082]
通过对连通域中像素点的灰度值进行重构，去除了连通域中像素点灰度梯度的局部极小值点，此时重构后的连通域灰度更平滑，对所有连通域进行上述操作，即得到重构灰
度图像。
[0083]
206、采用分水岭算法对重构灰度图像进行分割，分割出轮廓内图像。
[0084]
采用分水岭算法对重构灰度图像进行分割，得到防震锤分割图像。(传统分水岭算法为现有技术，此处不再赘述)
[0085]
207、若轮廓内图像中存在纹理，判断该防震锤存在缺陷；若轮廓内图像中不存在纹理，判断该防震锤为合格产品。
[0086]
建立分割纹理轮廓模板图像，采用分类器进行图像缺陷分类，首先训练部分图像，在此基础上建立基本分类器，接下来发挥分类器的作用，完成余下图像数据的分类。(分类器可采用支持向量机)
[0087]
若轮廓内图像中存在纹理，判断该防震锤存在缺陷；若轮廓内图像中不存在纹理，判断该防震锤为合格产品。
[0088]
208、根据轮廓内图像中的纹理形状对防震锤的缺陷进行分类。
[0089]
若轮廓内图像中的纹理呈线状，判断该防震锤的缺陷为划伤；
[0090]
若轮廓内图像中的纹理呈环状，判断该防震锤的缺陷为麻坑。
[0091]
本发明通过区域生长法对像素点进行聚类，确定多个连通域，对每一连通域的像素点灰度值进行重构，获得重构灰度图，接着采用分水岭算法对图像进行分割，识别分割图像上的纹理，判断是否存在缺陷以及缺陷的类型，相对于现有技术，本发明通过对产品图像信息进行提取，分割出有效的图像信息，采用图形识别的方法进行缺陷识别，不仅能够有效检测出缺陷，且检测效率高，同时可以快速有效地对不同类型的缺陷作出区分；相对于现有技术，本发明避免了人工检测的主观性，降低漏检与误检的概率，同时降低了检测成本，节省人力资源。
[0092]
实施例3
[0093]
本发明的一种基于智能图形识别的防振锤故障检测系统的实施例，如图3所示，包括：
[0094]
图像采集单元，获取防震锤表面灰度图像；
[0095]
将相机设置在防震锤的正上方，防震锤放在白色背景的上面，采集防震锤的图像，对得到的图像进行分割处理得到不包含背景的防震锤图像，然后通过不包含背景的防震锤图像得到防震锤表面灰度图像。
[0096]
图像处理单元，对防震锤表面灰度图像进行滑窗处理，根据滑窗内每个像素点的灰度值和所有像素点的灰度均值计算该滑窗中心像素点的均匀性，得到防震锤表面灰度图像上每一个像素点的均匀性；根据每个像素点的均匀性，采用区域生长法对像素点进行聚类，得到防震锤表面灰度图像上的多个连通域；
[0097]
在计算得到每一个像素点的均匀性后，根据像素点的均匀性对像素点进行分组，在每组像素点中，基于像素点的均匀性的区域生长法对像素点进行聚类，区域生长法为现有技术，最后得到防震锤表面灰度图像上的所有连通域。
[0098]
图像重构单元，利用每一连通域中像素点的灰度值计算该连通域中像素点的重构灰度值，利用每一像素点的重构灰度值对防震锤表面灰度图像进行重构，得到重构灰度图像；
[0099]
该单元就是将每一个连通域中像素点的灰度均值作为该连通域每个像素点的重
构灰度值，以此可以得到所有连通域中每个像素点的重构灰度值，故可以得到重构灰度图像。
[0100]
图像分割单元，采用分水岭算法对重构灰度图像进行分割，分割出轮廓内图像；
[0101]
图像判断单元，若轮廓内图像中存在纹理，判断该防震锤存在缺陷；若轮廓内图像中不存在纹理，判断该防震锤为合格产品；根据轮廓内图像中的纹理形状对防震锤的缺陷进行分类。
[0102]
本发明通过区域生长法对像素点进行聚类，确定多个连通域，对每一连通域的像素点灰度值进行重构，获得重构灰度图，接着采用分水岭算法对图像进行分割，识别分割图像上的纹理，判断是否存在缺陷以及缺陷的类型，相对于现有技术，本发明通过对产品图像信息进行提取，分割出有效的图像信息，采用图形识别的方法进行缺陷识别，不仅能够有效检测出缺陷，且检测效率高，同时可以快速有效地对不同类型的缺陷作出区分；相对于现有技术，本发明避免了人工检测的主观性，降低漏检与误检的概率，同时降低了检测成本，节省人力资源。
[0103]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。