一种基于图像处理的金属腐蚀等级评价方法

一种基于图像处理的金属腐蚀等级评价方法
(一)技术领域：
1.本发明涉及一种基于图像处理的金属腐蚀等级评价方法，根据金属腐蚀前后像素点差异化特征，利用卷积神经网络结合滑动窗口法实现腐蚀特征分类及腐蚀区域定位，提出一种颜色聚类结合标准色图谱信息表的方法实现金属腐蚀等级评价。此方法属于金属腐蚀程度评价技术领域。
(二)

背景技术：

2.金属腐蚀会显著降低金属材料的力学性能，破坏金属构件的几何形状，缩短设备使用寿命，甚至造成灾难性事故，所以解决因金属腐蚀造成的经济损失和人员伤害等问题迫在眉睫。在研究金属腐蚀问题的过程中，判断金属的腐蚀程度是不可或缺的工作。研究腐蚀发展程度对预测腐蚀行为、了解腐蚀机理和评价产品的可靠性有重要意义。目前，对金属材料的腐蚀等级一般采取人工结合标准的方式进行评价。但是，这种评价方式检测速度慢，检测人员工作强度大，专业性需求高。特别是在腐蚀发生的早期，人工很难判定腐蚀发生的具体区域，而且腐蚀区域一般形状复杂，面积百分比难以获取。
3.在金属腐蚀的研究过程中，会获取大量的金属外观图像。在金属腐蚀图像中，存在大量与腐蚀相关的信息，如腐蚀坑的分布、形状等。此外，近年来机器视觉技术作为一门新兴技术，伴随着人工智能技术的快速发展而备受关注。计算机视觉可以模拟人眼的视觉功能，并通过算法分析代替人工进行判断，目前已经广泛地应用于各种民用基础设施的检查与检测任务中。这些使得基于图像处理对金属腐蚀进行检测评估成为可能。
4.为此，先用基于滑动窗口法的卷积神经网络对金属外观图像中的腐蚀区域进行定位，然后提出一种基于标准色图谱信息表的腐蚀等级评价方法，实现了对腐蚀特征信息的数字化和定量化。与传统的人工评价方式相比，本发明未受到评价人员经验因素的影响，提高了腐蚀等级评价的准确性和评价速度，同时也降低了检测人员的劳动强度。此外，借助机器视觉高分辨率的特点，也可以对于腐蚀的早期图像进行识别，对腐蚀等级进行精确评价。
(三)

技术实现要素：

5.1、目的：本发明的目的是提供一种基于图像处理的金属腐蚀等级评价方法，该方法根据金属腐蚀前后像素点差异化特征，利用卷积神经网络结合滑动窗口法实现腐蚀特征分类及腐蚀区域定位，结合训练完成的标准色图谱信息表采用聚类算法进行腐蚀等级评价。该方法相较于传统的人工评价方法检测速度快，准确率高且客观性强，有助于在工程实践中短时间内评估金属的腐蚀程度，及时采取必要措施。
6.2、技术方案：本发明是一种基于图像处理的金属腐蚀等级评价方法，它包括以下步骤：
7.步骤一：采用卷积神经网络训练腐蚀分类器
8.为了进行腐蚀区域定位，首先需要采用卷积神经网络训练腐蚀分类器实现腐蚀特征分类。通过训练集和测试集对卷积神经网络的结构参数进行训练，使之可以对输入图片
的腐蚀状况进行区别，为之后的腐蚀区域定位提供基础。
9.步骤二：采用滑动窗口法取样
10.为了对整个的金属外观图像进行腐蚀区域定位，需要采用滑动窗口法进行逐步取样。采用长宽固定的窗口在金属外观图像上从左到右，从上到下进行滑动，每次滑动后对窗口内的图像进行取样，作为腐蚀分类器的输入，进行腐蚀情况的判定。采用滑动窗口法取样可以将金属外观图像分割成小图像，为腐蚀类型判定提供符合要求的输入图片。
11.步骤三：腐蚀区域定位
12.通常情况下，金属材料外表面会出现不均匀的腐蚀情况，为了提取腐蚀区域的特征参数，需要对金属外观图像中的腐蚀区域进行定位，使后续的特征提取范围更有针对性。使用腐蚀分类器对滑动窗口法采样的图片进行腐蚀类别判定，保留腐蚀区域，将未腐蚀区域替换为纯黑的背景，遍历整幅金属外观图像即可完成腐蚀区域定位。
13.步骤四：采用聚类算法进行颜色量化
14.为了区别腐蚀程度不同的腐蚀区域，利用金属材料腐蚀过程中颜色会逐渐变化的规律，采用聚类算法对腐蚀区域内的像素进行颜色量化，将颜色相近的像素点聚集到同一个聚类中心，表征腐蚀程度相近的区域。这样可以将整个腐蚀区域分成腐蚀程度相近的小区域进行腐蚀等级评价，提高评价结果的准确性。
15.步骤五：训练标准色图谱信息表
16.为了衡量不同标准色的腐蚀程度，需要对标准色图谱信息表中标准色和腐蚀程度因子的对应关系进行训练。对于标准色图谱信息表中的腐蚀程度因子随机初始化后，采用前期使用三维形貌仪和x射线能谱分析标定腐蚀等级的图片根据训练公式对腐蚀程度因子进行训练，便可以获得最终的标准色图谱信息表，为后续的腐蚀等级评价提供基础。
17.步骤六：基于颜色和面积的腐蚀等级评价
18.为了提高金属腐蚀等级评价结果的准确性，同时采用腐蚀面积和腐蚀颜色作为腐蚀特征参数，通过聚类算法进行颜色量化以区分腐蚀程度不同的腐蚀区域，通过标准色图谱信息表中的腐蚀程度因子对不同标准色代表的腐蚀程度进行表征，最后综合得到金属的腐蚀等级，相较于传统的仅以腐蚀面积百分比作为评价指标的评价方式更具有客观性。
(四)附图说明
19.图1金属腐蚀等级评价总体流程
20.图2腐蚀分类器训练过程
21.图3数据集原始图像
22.图4分割后图片
23.图5卷积神经网络结构
24.图6训练过程曲线
25.图7滑动窗口法取样
26.图8腐蚀区域定位流程
27.图9部分标准色
28.图10各分量的灰度直方图
(五)具体实施方式
29.下面将结合附图对本发明基于图像处理的金属腐蚀等级评价方法作进一步的详细说明，具体步骤如下：
30.步骤一：采用卷积神经网络训练腐蚀分类器
31.采用卷积神经网络进行腐蚀区域的定位首先要训练腐蚀分类器，即输入图片之后，腐蚀分类器可以判定该图片包括的部分是否发生腐蚀。训练腐蚀分类器的过程如图2所示。将收集到的图片分割成小图片，然后人工分类成腐蚀和未腐蚀的类型，生成训练集和测试集，利用卷积神经网络训练生成腐蚀分类器。
32.本发明基于以往环境试验中的金属腐蚀图像进行数据集的制作，如图3所示为部分未腐蚀和腐蚀的原始图片。然后，将原始图像分割成32
×
32像素的小图片，作为卷积神经网络的输入。如图4所示为部分分割后的32
×
32像素的小图片。经过对所有原始图片的分割，总共获取26228张小图片，然后随机挑选其中的20983张图片作为训练集，其中15083张图片为未腐蚀，5900张图片为腐蚀。其他5245张图片作为测试集，其中3700张图片为未腐蚀，1457张为腐蚀。
33.由于所需的腐蚀分类器为二分类，而且为了减少所需训练图片的数量和加速腐蚀区域定位的速度，本发明采用tensorflow搭建了如图5所示较为简单的卷积神经网络结构。该网络结构共包括五层，其中前两层为卷积层，后三层为全连接层。前两层中，有卷积和池化两个步骤，后三层为全连接层。该结构采用 relu作为激活函数，最终通过softmax函数进行输出，判断所输入的图片是否发生腐蚀。如表1所示为该卷积神经网络每层的详细结构参数。
34.表1卷积神经网络每层的详细结构参数
35.层输入核尺寸核数步长输出变量数卷积层132
×
32
×
35
×5×
36128
×
28
×
6456池化层128
×
28
×
62
×2×
1/214
×
14
×
6/卷积层214
×
14
×
65
×5×
616110
×
10
×
162416池化层210
×
10
×
162
×2×
1/25
×5×
16/全连接层15
×5×
16///12048120全连接层2120///404840全连接层340///282
36.如图6所示为卷积神经网络训练过程中训练集和测试集准确率和损失的折线图。可以看出，本发明选取的卷积神经网络结构取得了很好的图像腐蚀与否判定效果。在经过10次左右的训练之后，可以在测试集上获取接近于100％的准确率和接近于0的损失。
37.步骤二：采用滑动窗口法取样
38.如图7所示为滑动窗口法取样的示意图。取样时采用尺寸为a
×
b的小窗口在原始图像上逐步滑动进行取样。取样窗口初始位置为1，然后窗口以距离c逐步向右滑动到位置2、3，每次滑动之后对取样窗口内的图像进行取样。当窗口滑动到原始图像最右端的位置3时，再以距离d向下滑动到位置4，从左到右再次取样，直至取样窗口在整幅原始图像上完成滑动。
39.步骤三：腐蚀区域定位
40.如图8所示为利用腐蚀分类器和滑动窗口法进行腐蚀区域定位的流程。首先采用8
×
8像素的滑动窗口在金属外观图像上进行取样，然后采用双线性插值将其放大至32
×
32像素的图像。再使用腐蚀分类器对放大后的图像进行腐蚀情况的判定，若发生腐蚀则保留金属外观图像中该小图像对应的区域，否则将对应的区域转化为黑色的背景。滑动窗口将整幅金属外观图像遍历完之后，即可得到腐蚀区域图像。
41.部分金属外观图像腐蚀区域定位前后的效果如表2所示，采用交并比对腐蚀区域定位的准确性进行衡量，可以看出所有图片的交并比均大于0.95，具有良好的腐蚀区域定位效果。
42.表2腐蚀区域定位效果及交并比
[0043][0044][0045]
步骤四：采用聚类算法进行颜色量化
[0046]
以往仅仅依靠腐蚀面积作为特征参数进行腐蚀等级评价的过程中，忽略了腐蚀区
域内各部分腐蚀程度不同的问题。通常情况下，同种金属材料腐蚀程度不同时所表现出的颜色是具有差异的，所以本发明采用颜色作为特征参数对不同的腐蚀程度区域进行表征。采用k-means聚类算法对腐蚀区域内部的像素进行颜色聚类，将颜色相近的像素聚集到一个聚类中心，表征其代表的腐蚀程度相近。
[0047]
步骤五：训练标准色图谱信息表
[0048]
将所有腐蚀区域内的像素聚类后，可以获取数个聚类中心。为了衡量每个聚类中心的腐蚀程度，需要获取标准色图谱信息表。标准色图谱信息表中的部分标准色如图9所示，此外每一个标准色都有一个腐蚀程度因子与之对应。腐蚀程度因子越大，代表该标准色对应的腐蚀程度越大。
[0049]
对标准色图谱信息表进行训练首先要进行标准色的选择，为了选择出具有腐蚀代表性的标准色，本发明采取直方图结合聚类算法的方式进行标准色选取。如图10所示为单张金属腐蚀区域图像各分量的直方图，可以看出各分量的直方图基本符合正态分布，因此采用分位数进行标准色选择。
[0050]
本发明每隔10％进行一次标准色的选取，即选取总数量10％、20％、
…
、90％分位数对应的灰度值作为对应分量的标准色。然后，随机选取20幅腐蚀区域图片，采用直方图分位数法选择标准色。为了获取可以对腐蚀区域进行最准确描述的标准色，采用颜色聚类将这20幅图片的r、g、b分量的分位数灰度值聚成9类，再加上灰度值0和255作为最终的标准色，共113＝1331个，如表3所示。
[0051]
表3最终选择的标准色
[0052][0053]
采用已经标定过腐蚀等级的图片进行标准色图谱信息表中的腐蚀程度因子的训练。具体的训练公式如下：
[0054][0055]
其中：f
x 1
为训练之后的腐蚀程度因子；f
x
为训练之前的腐蚀程度因子；r为学习率，在0～1之间进行取值；g0为图片标定的腐蚀等级；g1为按照目前的腐蚀程度因子进行评价的腐蚀等级；p为图片中腐蚀区域的面积百分比。
[0056]
对于标准色图谱信息表中的腐蚀程度因子随机初始化后，采用前期使用三维形貌仪和x射线能谱分析标定腐蚀等级的图片根据训练公式对腐蚀程度因子进行训练，便可以获得最终的标准色图谱信息表。
[0057]
步骤六：基于颜色和面积的腐蚀等级评价
[0058]
完成腐蚀区域像素的聚类和标准色图谱信息表的训练之后，便可以进行腐蚀等级的评价。首先通过最小欧式距离寻找每个聚类中心对应的标准色，即遍历标准色求取所有标准色与聚类中心的欧式距离，选取最小欧式距离对应的标准色作为聚类中心颜色的替代进行之后的腐蚀等级评价。欧式距离的计算公式如下：
[0059]
[0060]
其中，r1、g1和b1为聚类中心的颜色分量；r2、g2和b2为标准色的颜色分量。
[0061]
然后，根据如下所示的公式进行腐蚀等级结果评价：
[0062][0063]
其中，g为腐蚀等级评价结果；pi为每一个聚类中心像素数量占产品外观图像像素数量的百分比；fi为距聚类中心欧氏距离最近的标准色对应的腐蚀程度因子。
[0064]
本发明选取50幅标定腐蚀等级的图片采用此方法进行腐蚀等级评价，部分图片的腐蚀等级评价结果和代表性评价参数如表4所示。结果显示：其中48张图片的腐蚀等级评价结果与标定等级相同，准确率达到96％。因此，利用图像处理的方式对金属的腐蚀等级进行评价准确率较高，相较于人工评价方式效率高且客观性强。
[0065]
表4腐蚀等级评价结果
[0066][0067]