基于图像处理的三连杆上锁销清洁度检测方法与流程

1.本发明涉及清洁度检测技术领域，具体涉及基于图像处理的三连杆上锁销清洁度检测方法。


背景技术：

2.在对三连杆上锁销组成进行维修检测前，需要先对其进行拆解，然后对拆解后得到的各铸件进行抛丸除锈，以提高对铸件的砂孔、变形等异常的检测能力，从而提高修复质量。除锈后的清洁等级需要满足要求，否则会对铸件的检测结果造成影响。现有的对抛丸除锈后的铸件的清洁度进行检测的方法通常由人工进行，人工检测的方式不仅容易出现由于主观原因导致的判断失误，影响后续砂孔、裂缝的检测；而且人工需要用人眼去观测，速度较慢，因此降低了检测的效率。


技术实现要素：

3.为了解决现有技术对抛丸除锈后的铸件的清洁度的检测效率低的问题，本发明的目的在于提供一种基于图像处理的三连杆上锁销清洁度检测方法，所采用的技术方案具体如下：本发明提供了基于图像处理的三连杆上锁销清洁度检测方法包括以下步骤：获取三连杆上锁销中目标铸件对应的rgb图像；根据所述rgb图像中各像素点对应的h通道值，对所述rgb图像中的颜色进行分类，得到多个颜色类别；对各目标颜色类别进行处理得到各目标颜色类别对应的锈蚀图像，所述目标颜色类别为颜色类别集合中除去占比最大的颜色类别的其它颜色类别；获取各锈蚀图像中各连通域内的各像素点对应的最大色差值，根据各锈蚀图像中各连通域内的各像素点对应的最大色差值，得到各锈蚀图像中各连通域对应的连通域锈蚀程度；根据各锈蚀图像中各连通域对应的连通域锈蚀程度，得到各锈蚀图像对应的锈蚀程度；根据各锈蚀图像对应的锈蚀程度与各锈蚀图像对应的目标颜色类别的方差，得到目标铸件的清洁程度指标。
4.优选的，所述获取各锈蚀图像中各连通域内的各像素点对应的最大色差值，根据各锈蚀图像中各连通域内的各像素点对应的最大色差值，得到各锈图像中的各连通域对应的连通域锈蚀程度，包括：获取各锈蚀图像中各连通域内各像素点8邻域窗口内的最大色差值；获取各锈蚀图像中各连通域内各像素点与所在连通域的边缘之间的最近距离值；根据各锈蚀图像中各连通域中各像素点对应的最大色差值与各像素点对应的最近距离值，得到各锈蚀图像中各连通域对应的连通域锈蚀程度。
5.优选的，所述根据各锈蚀图像中各连通域中各像素点对应的最大色差值与各像素
点对应的最近距离值，得到各锈蚀图像中各连通域对应的连通域锈蚀程度，包括：对于任一锈蚀图像中任一连通域：以该连通域中各像素点为中心，以各像素点对应的最近距离值为半径拟合出对应的圆形；获取各像素点对应的圆形与对应像素点所在的连通域的边缘的交点，记为最近边缘交点；根据各像素点与对应的最近边缘交点，构建出对应的直线，记为最近边缘直线；获取各像素点对应的最近边缘直线与连通域的另一个边缘的交点与对应的最近边缘交点之间的线段长度，记为最近边缘直线长度；根据该连通域中各像素点对应的最大色差值、最近边缘直线长度和最近距离值，得到该连通域对应的连通域锈蚀程度。
6.优选的，连通域锈蚀程度的计算公式为：其中，为第i个锈蚀图像中第j个连通域的连通域锈蚀程度，为第i个锈蚀图像中第j各连通域内第k个像素点的最大色差值，为第i个锈蚀图像中第j个连通域内的第k个像素点对应的最短距离值，为第i个锈蚀图像中第j个连通域内的第k个像素点对应的最近边缘直线长度，j为第j个连通域的像素点的个数。
7.优选的，得到锈蚀图像对应的锈蚀程度,包括：将锈蚀图像中的各连通域作为节点，构建锈蚀图像对应的完全无向图；根据锈蚀图像中的任意连通域对应的连通域锈蚀程度、与其余各连通域的面积差值和与其余各连通域之间距离，得到完全无向图中各边的权值；根据锈蚀图像对应的完全无向图，构建出对应的最小生成树；计算所述最小生成树中各边的权值之和，并对其进行归一化，得到锈蚀图像对应的锈蚀程度。
8.优选的，无向图中边权值的计算公式为：其中，为第i个锈蚀图像中第a个连通域和第b个连通域之间边的权值，为第i个锈蚀图像中第a个连通域和第b个连通域之间的距离值，为第i个锈蚀图像中第a个连通域和第b个连通域之间面积差值，为第i个锈蚀图像中第a个连通域对应的连通域锈蚀程度，为第i个锈蚀图像中第b连通域对应的连通域锈蚀程度，为最大值。
9.优选的，目标铸件的清洁程度指标的计算公式为：
其中， 为目标铸件的清洁程度指标，k为颜色类别的个数，为第k个锈蚀图像对应的锈蚀程度，为第k个颜色类别对应的h通道分量比例，为归一化后的第k个目标颜色类别中不同颜色占比的方差值。
10.优选的，所述根据所述rgb图像中各像素点对应的h通道值，对所述rgb图像中的颜色进行分类，得到多个颜色类别；对各目标颜色类别进行处理得到各目标颜色类别对应的锈蚀图像，包括：将所述rgb图像转换至hsv颜色空间，得到hsv图像；根据利用聚类算法对hsv图像中各像素点的h通道值进行分类，得到hsv图像中的多个颜色类别；对hsv图像中的目标颜色类别进行颜色阈值分割，得到各目标颜色类别对应的颜色分布图像；将各颜色分布图像与所述rgb图像进行点乘操作，得到各颜色分布图像对应的锈蚀图像。
11.本发明具有如下有益效果：本发明对目标铸件对应的rgb图像中各像素点对应的h通道值进行分类，然后对各颜色类别对应锈蚀图像中的各个连通域进行分析，利用锈蚀图像中各连通域内的各像素点对应的最大色差值，得到各锈蚀图像中各连通域对应的连通域锈蚀程度，进而根据各锈蚀图像中各连通域对应的连通域锈蚀程度，得到对应锈蚀图像的锈蚀程度，最后根据各锈蚀图像对应的锈蚀程度与各锈蚀图像对应的颜色类别的方差，得到目标铸件的清洁程度指标。本发明利用利用图像处理的技术，对三连杆上锁销各铸件经过抛丸除锈后的各铸件的清洁程度指标进行计算，以实现对清洁效果的自动化判断，提高了对抛丸除锈后的铸件的清洁程度的检测效率。
附图说明
12.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
13.图1为本发明提供的一种基于图像处理的三连杆上锁销清洁度检测方法的流程图；图2为本发明提供的最近边缘直线示意图。
具体实施方式
14.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功能效果，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理的三连杆上锁销清洁度检测方法进行详细说明如下。
15.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
16.下面结合附图具体的说明本发明所提供的一种基于图像处理的三连杆上锁销清洁度检测方法的具体方案。
17.基于图像处理的三连杆上锁销清洁度检测方法实施例：如图1所示，本实施例的一种基于图像处理的三连杆上锁销清洁度检测方法包括以下步骤：步骤s1，获取三连杆上锁销中目标铸件对应的rgb图像。
18.三连杆上锁销组成包括上锁提、上锁销和上锁销杆，这三个铸件分别通过两个铆钉连接，可在一定范围内互相转动。三连杆上锁销组成在维修检测前，需要先进行拆解，然后对拆解后得到的各铸件进行抛丸除锈，为了对三连杆上锁销组成（简称为三连杆上锁销）中各铸件抛丸除锈后的清洁程度进行分析，本实施例首先对抛丸除锈后的各铸件的图像进行采集，采集到的每张图像中只包括一个铸件，具体为：本实施例首先通过rgb相机来采集三连杆上锁销各铸件的图像，其中图像采集的视角根据实际需要进行设置；由于经过抛丸除锈后的三连杆上锁销组成中各铸件图像会存在很多噪音，因此本实施例采用graphcut图割算法对采集到的图像进行处理，得到仅含有铸件的图像。本实施例接下来以三连杆上锁销中某一铸件对应的rgb图像为例对进行分析，本实施例将待分析的铸件记为目标铸件。
19.步骤s2，根据所述rgb图像中各像素点对应的h通道值，对所述rgb图像中的颜色进行分类，得到多个颜色类别；对各目标颜色类别进行处理得到各目标颜色类别对应的锈蚀图像，所述目标颜色类别为颜色类别集合中除去占比最大的颜色类别的其它颜色类别。
20.目标铸件经过了抛丸除锈后，其上大部分锈迹已经被去除，但是考虑到其上可能仍存在一些没有被清理干净的锈蚀区域，使得采集到的目标铸件对应的rgb图像中会有一些区域存在锈蚀，本实施例通过对目标铸件对应的rgb图像中存在锈蚀的区域进行分析，以得到目标铸件的清洁程度。
21.由于存在锈蚀的颜色与不存在锈蚀的颜色有所差别，因此本实施例通过rgb图像中锈蚀的颜色特征，获取目标铸件对应的rgb图像中仍存在锈蚀的区域图像，具体为：首先将目标铸件对应的rgb图像转至hsv颜色空间，转换后的图像记为hsv图像，然后得到对应的h通道直方图，获取h通道中有值的（即直方图中不为0的颜色分量）颜色分量；本实施例利用dbscan聚类算法对hsv图像中各像素点的h通道值进行分类，即将颜色相近的聚为一类，从而得到多个不同的颜色类别，每个类别都是hsv图像中颜色近似的像素点的集合，由于h通道有颜色渐变性，所以将目标铸件对应的rgb图像中颜色值相似的分为一类。dbscan聚类算法会对聚类结果自动编号，本实施例将所有类别的编号，作为各颜色类别的分类号。
22.本实施例在对目标铸件的清洁程度进行计算时，不对占比最大的颜色类别进行分析，因为获得的目标铸件对应的rgb图像是经过抛丸除锈后的，其大部分的锈蚀已经被去除，因此整体颜色大致一样，所以目标铸件对应的颜色类别中占比最大的颜色类别为目标铸件本身的颜色。本实施例将非占比最大的颜色类别记为目标颜色类别。
23.然后本实施例根据各目标颜色类别的分类号，对hsv图像进行颜色阈值分割，得到各目标颜色类别对应的颜色分布图像，所述颜色分布图像为二值图，其中某一目标颜色类
别对应的颜色分布图中存在多个属于该目标颜色类别的连通域。本实施将各颜色分布图像作为掩膜，将掩膜与目标铸件对应的rgb图像进行点乘操作，得到各颜色分布图对应的锈蚀图像，即各目标颜色类别对应的锈蚀图像，所述锈蚀图像为rgb图像，且存在多个颜色块。
24.本实施例通过matlab中的bwlabel函数，获取各颜色分布图像中的各连通域，由于颜色分布图像与对应的锈蚀图像中各像素点是一一对应的，因此颜色分布图像中各连通域的位置与该颜色分布图对应的锈蚀图像中各颜色块的位置相对应，各颜色分布图像中的连通域也可以说是各锈蚀图像对应的连通域。本实施例在选择连通域时，选择8邻域连通域，具体可根据实际需要进行调整。其中bwlabel函数在获取连通域时，会自动为各连通域创建编号。
25.本实施例中目标铸件对应的rgb图像对应多个目标颜色类别，即目标铸件对应多个目标颜色类别，每个目标颜色类别对应一个颜色分布图像和一个锈蚀图像，并且一个颜色分布图像中有多个连通域，即对应的锈蚀图像对应多个连通域。
26.步骤s3，获取各锈蚀图像中各连通域内的各像素点对应的最大色差值，根据各锈蚀图像中各连通域内的各像素点对应的最大色差值，得到各锈蚀图像中各连通域对应的连通域锈蚀程度。
27.本实施例中锈蚀图像中的各连通域为多个颜色相近的区域，考虑到不同区域的清洁程度不同以及抛丸除锈的效果也不同，会导致在各锈蚀图像中的连通域大小并不一致。如果在抛丸除锈后，仍然存在较大连通域区域，则说明当前铸件的除锈效果并不好，或者在抛丸除锈后，出现很多小的连通域但是分布却比较密集的情况下，也说明当前铸件的除锈效果差，清洁程度不达标。
28.本实施例为了对各锈蚀图像的清洁情况进行分析，首先获取各锈蚀图像对应的各连通域锈蚀情况进行分析；本实施例以任意锈蚀图像中的某一连通域的连通域锈蚀程度的计算为例进行分析，具体为：首先获取连通域内的所有像素点的坐标，以各像素点的坐标为锚点建立8邻域窗口，计算窗口内的最大色差值，即该连通域内对应像素点的最大色差值。本实施例中计算最大色差值的公式为：其中，为第i个锈蚀图像中第j个连通域内第k个像素点8邻域窗口内的最大色差值，为表示第i个锈蚀图像中第j个的连通域内第k个像素点的窗口内其邻域各像素点对应的rgb综合值，为第k个像素点的窗口内邻域像素点rgb综合值最大的值，为第k个像素点的窗口内邻域像素点rgb综合值最小的值。
29.本实施例中的值越大，说明当前抛丸除锈的效果不好，因为如果三连杆上锁销组成铸件的除锈效果较好时，其颜色值应当更加统一。
30.考虑到靠近连通域内部的像素点，往往是锈蚀比较严重的区域，锈蚀越严重说明清洁越不好，因此越靠内的像素点越能代表当前连通域所表示颜色块的清洁程度，即对应像素点的最大色差值权重应当越高。
31.如图2所示，图中的椭圆为锈蚀图像中的某一连通域；本实施例在得到该连通域内
各像素点的最大色差值后，计算了连通域内各像素点与所在连通域的边缘的之间的最近距离值（如图2所示点1到点2的距离）。然后在得到连通域内各像素点对应的最近距离值后，以连通域中第k个像素点为中心（第k个像素点如图2中的点2所示），以该像素点对应的最近距离值为半径利用ransac算法拟合出该像素点对应的一个圆形，得到该圆形与所在连通域的边缘的交点，记为最近边缘交点（如图2中的点1所示），进而得到一条经过第k个像素点和对应的最近边缘交点的直线（如图2中的点1与点4构成的线段所示），将处于连通域内的直线记为最近边缘直线；沿该最近边缘直线可以得到第k个像素点与所在连通域的另外一边边缘的交点（如图2中的点4所示），进而得到两个交点构成的线段的长度，记为最近边缘直线长度（即如图2所示的点1到点4的距离）。
32.本实施根据连通域内各像素点对应的最近边缘直线长度、最近距离值和最大颜色差值，得到该连通域对应的连通域锈蚀程度，具体的计算公式为：其中，为第i个锈蚀图像中第j个连通域的连通域锈蚀程度，为第i个锈蚀图像中第j个连通域内的第k个像素点对应的最近距离值，为第i个锈蚀图像中第j个连通域内的第k个像素点对应的最近边缘直线长度，j为第j个连通域的像素点的个数，对当前第j个连通域所有像素点进行计算，第j个连通域的面积越大，即像素点数量越多，则说明第j个连通域所表示的颜色块清洁度越低。
33.表示第k个像素点对应的最近边缘直线长度的一半，即如图2所示点3到点4的距离，表示第k个像素点与最近边缘直线中心点的距离，其值越大，则说明第k个像素点越接近所在的连通域边缘，即最近距离值越小，所以该像素点对应的的权重越低。本实施例为了防止权重为0，用了exp(-x)实现负相关映射，即越大，则的权重越高。
34.为第i个不同程度锈蚀图像中第j个连通域第k个像素点对应的最大色差值，其值越大，说明该连通域对应的连通域锈蚀程度越低，即该连通域对应的区域的清洁度越好；其值越小，说明该连通域对应的连通域锈蚀程度越高，即该连通域对应的区域的清洁度越差。
35.本实施例根据上述方法获得锈蚀图像中各连通域对应的连通域锈蚀程度。
36.步骤s4，根据各锈蚀图像中各连通域对应的连通域锈蚀程度，得到各锈蚀图像对应的锈蚀程度。
37.本实施例得到锈蚀图像中各连通域对应的连通域锈蚀程度后，以该锈蚀图像中的各个连通域为节点，建立完全无向图，本实施例利用锈蚀图像对应的完全无向图来描述锈蚀图像中不同连通域之间的疏密关系，因为当出现很多小的颜色块分布比较密集的情况下，也说明当前铸件的除锈效果差，局部的清洁程度不达标。
38.本实施例中锈蚀图像对应的完全无向图中两个节点之间的边的权值表示的是将两个对应的连通域看做一个整体时的清洁情况，本实施例根据锈蚀图像对应的完全无向图得到其对应的最小生成树，从而得到该锈蚀图像对应的锈蚀程度，其中计算两个节点之间的边的权值的过程为：本实施例首先通过matlab中的连通域处理函数，得到锈蚀图像中某一连通域与其余各连通域之间的距离值和面积差值；然后根据某一连通域对应的连通域锈蚀程度、与其余各连通域之间的距离和面积差值，计算出某一连通域对应的节点到其他各连通域对应的节点之间的权值，完全无向图中任意边的权值的计算公式为：其中，为第i个锈蚀图像中第a个连通域和第b个连通域之间边的权值，为第i个锈蚀图像中第a个连通域和第b个连通域之间的距离值，为第i个锈蚀图像中第a个连通域和第b个连通域的面积差值，为第i个锈蚀图像中第a个连通域对应的连通域锈蚀程度，为第i个锈蚀图像中第b连通域对应的连通域锈蚀程度，为和两者的最大值。
39.根据上式，若两个连通域之间的距离值越小，则说明两个连通域越密集，清洁程度就越差，则对应的边的权值越大；若两个连通域之间的距离值越大，则说明对应的清洁程度越好，则对应的边的权值越小。若两个连通域的面积差值越大，说明清洁抛丸除锈的清洁效果越差，则两个连通域之间的边的权值也越大；若两个连通域的面积差值越小，说明清洁程度越好，则两个连通域之间的边的权值越小。本实施例中在计算两个连通域之间的边的权值时，选取两个连通域对应的连通域锈蚀程度中最大的一个参与计算，因为连通域锈蚀程度越小，说明该连通域的清洁度越好，所以为了保证检测的质量本实施例选取其中的最大值作为两个连通域之间的连通域锈蚀程度。
40.本实施例根据上述方法得到的锈蚀图像对应完全无向图以及各边对应的权值，构建出对应的最小生成树；然后计算锈蚀图像对应的最小生成树中所有边的权值之和，得到对应锈蚀图像的锈蚀程度，所述锈蚀程度反映的是该锈蚀图像对应的区域的清洁效果，其锈蚀程度越小，则说明对应的清洁效果越好；若锈蚀程度越大，则说明对应的清洁效果越差。因为在计算权值的过程中选取的为连通域锈蚀程度是最大的，所以本实施例选用了完全无向图对应的最小生成树的各边权重之和来反映对应锈蚀图像的锈蚀程度，本实施例中锈蚀图像的锈蚀程度为对应的最小生成树的各边权重之和进行归一化之后的结果。
41.本实施例根据步骤s3和步骤s4得到了某一锈蚀图像的锈蚀程度，由于锈蚀图像与对应的颜色类别是一对一关系，所以也可以记为某一颜色类别的锈蚀程度。本实施例利用相同的方法计算出目标铸件对应的rgb图像对应的所有锈蚀图像的锈蚀程度，从而进一步计算目标铸件的清洁程度指标。
42.步骤s5，根据各锈蚀图像对应的锈蚀程度与各锈蚀图像对应的目标颜色类别的方差，得到目标铸件的清洁程度指标。
43.考虑到由于抛丸除锈后，铸件整体颜色是大致统一的，只有部分锈蚀情况，因此本
实施例不考虑抛丸除锈后，锈蚀颜色比铸件本身的整体颜色占比还多的情况。本实施例通过目标铸件对应的hsv图像的颜色来判断当前的锈蚀程度，即清洁程度；但是由于抛丸除锈后目标铸件对应的hsv图像的整体颜色是大致统一的，因此本实施例选取dbscan聚类后的各颜色类别中占比最大的类别(由h通道直方图可直接求得)，将占比最大的类别排除；本实施例不对占比最大的颜色类别进行分析，因为对于占比最大的颜色类别，其内部主体颜色应当面积越大，色差越小，清洁程度越好；对于各目标颜色类别（即存在锈蚀的颜色类别），其锈蚀程度越低，表示当前颜色类别对应区域的清洁程度越好；因为各目标颜色类别的锈蚀程度值越低，即对应的锈蚀图像对应锈蚀程度值越低，则说明目标颜色类别内对应颜色块（即对应锈蚀图像的连通域）的面积越小，色差越小，且相互之间分布越稀疏。
44.本实施例利用各目标颜色类别的锈蚀程度，来计算得到目标铸件的清洁程度指标。本实施例利用各目标颜色类别的锈蚀程度计算各颜色类别的熵值，进而得到目标铸件的清洁程度指标，因为目标铸件在抛丸除锈后，其表面颜色越统一，则说明抛丸除锈的效果越好。目标铸件的清洁程度指标的计算公式为：其中，为目标铸件的清洁程度指标，k为颜色类别的个数，k-1为目标颜色类别的个数，为第k各锈蚀图像对应的锈蚀程度，即第k各目标颜色类别的锈蚀程度，为第k个颜色类别对应的h通道分量的比例，为归一化后的第k个目标颜色类别中不同颜色占比的方差值，其值越小，说明各颜色类别内颜色值越统一，清洁效果越好，jq的值越小。
45.其中为目标颜色类别之间的信息熵，目标颜色类别的占比越集中，则说明抛丸除锈的清洁程度越好，越分散则说明抛丸除锈的清洁程度越差，因为越分散时说明还存在这不同程度的锈蚀；所以的值越小,说明目标颜色类别越统一，清洁程度越好。
46.其中用于调节不同颜色类别所占的权重，其值越大，说明清洁程度越差，本实施例为了突出存在锈蚀的情况，其对应的颜色类别的权重也相应越大。因此本实施例中若目标铸件的清洁程度指标越小，则清洁效果越好；若目标铸件的清洁程度指标越大，则清洁效果越差。
47.本实施例得到目标铸件的清洁程度指标后，可以通过设定清洁程度阈值jqr，其中jqr为超参数。当jq《jqr时，则认为当前目标铸件的清洁程度达标不需要重新进行抛丸除锈处理；当jq》=jqr时，则认为当前目标铸件的清洁程度不达标，因此需要重新对目标铸件进行抛丸除锈处理。本实施例中清洁程度阈值根据可根据实际需要进行设置。
48.本实施例对目标铸件对应的rgb图像中各像素点对应的h通道值进行分类，然后对各颜色类别对应锈蚀图像中的各个连通域进行分析，利用锈蚀图像中各连通域内的各像素点对应的最大色差值，得到各锈蚀图像中各连通域对应的连通域锈蚀程度，进而根据各锈蚀图像中各连通域对应的连通域锈蚀程度，得到对应锈蚀图像对应的锈蚀程度，最后根据各锈蚀图像对应的锈蚀程度与各锈蚀图像对应的颜色类别的方差，得到目标铸件的清洁程
度指标。本实施例利用利用图像处理的技术，对三连杆上锁销各铸件经过抛丸除锈后的各铸件的清洁程度指标进行计算，以实现对清洁效果的自动化判断，提高了对抛丸除锈后的铸件的清洁程度的检测效率。
49.需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。