一种循环再生铝合金模板表面缺陷识别方法与流程

1.本发明涉及铝合金模板技术领域，尤其涉及一种循环再生铝合金模板表面缺陷识别方法。


背景技术：

2.在2010年以前，我国比较常见的建筑模板是木模板、钢模板和塑料模板，我国有70％以上的建筑采用低质木胶合板，每年消耗量约2125万m3，木质模板的使用，使得大量树木砍伐，对生态环境的破坏不言而喻。因为传统模板存在较大的局限性，由此，新型的铝合金模板应运而生。铝合金模板是日本、巴西等国家和中国香港地区近年来不断发展、广泛使用的一种新型模板支撑体系。其环保、自重轻、刚度大、成本低、可重复利用，并能很好地控制混凝土结构面的外观及工程进度。
3.铝合金模板具有多次循环使用的特性，在一个工地使用完之后，还需要对铝合金模板进行循环再生和配模，对铝合金模板进行循环步骤通常包括分类、清灰、清洗、补焊、校正、打磨等步骤。但是现有的清洗之后是通过人工对铝合金模板表面的缺陷识别，发现铝合金模板表面的缺陷问题点，然后再对有缺陷的铝合金模板进行补焊。


技术实现要素：

4.本发明的主要目的在于提出一种循环再生铝合金模板表面缺陷识别方法，旨在实现自动识别铝合金模板表面的缺陷。
5.为实现上述目的，本发明提供一种循环再生铝合金模板表面缺陷识别方法，包括如下步骤：
6.获取图像采集设备从预设拍摄角度拍摄的被检测的铝合金模板的检测图像；
7.将所述检测图像输入预先训练的表面缺陷检测模型，根据所述缺陷检测模型输出的检测结果确定所述铝合金模板上缺陷所在位置；
8.将所识别出的缺陷所在位置输入通过预先训练的缺陷分类模型，确定所识别出的缺陷类别，所述缺陷分类模型是将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络得到的。
9.可选地，所述将se-resnet网络模型中的采样模块进行卷积层调整的方式为将三层采样层之间的残差学习的三层卷积层从第一卷积层分别从核大小为 1x1，输出通道为512，步长为2、第二卷积层分别从核大小为3x3，输出通道为512、第三卷积层分别从核大小为1x1，输出通道为2048，调整为第一卷积层分别从核大小为1x1、第二卷积层分别从核大小为3x3，步长为2、第三卷积层分别从核大小为1x1；将三层采样层之间的残差学习的短路连接从核大小为 1x1，输出通道为2048，步长为2调整为核大小为1x1，步长为2。
10.可选地，在三层采样层之间的残差学习的短路连接卷积之前加上一个平均池化层。
11.可选地，构建se-resnet网络模型的步骤，包括：
12.构造se网络模块，在se网络模块的两个全连接层之间新增relu激活函数层；
13.将所述se网络模块设置到resnet网络模型中，形成所述se-resnet网络模型，其中，所述se网络模块是通过squeeze操作、excitation操作以及reweight 操作完成图像特征重定向的。
14.可选地，所述表面缺陷检测模型是基于融合卷积网络模型构建，并通过所述检测图像和带有缺陷位置标注信息的铝合金模板表面图像的训练集进行训练得到的。
15.可选地，所述将所述检测图像输入预先训练的表面缺陷检测模型，根据所述缺陷检测模型输出的检测结果确定所述铝合金模板上缺陷所在位置的步骤之前，包括：
16.对标准铝合金模板表面图像的缺陷进行标注，得到标注图像；
17.将所述检测图像和所述标注图像的像素进行数据扩增，得到数据扩增检测图像和数据扩增标注图像，其中，数据扩增包括对所述检测图像和所述标注图像进行仿射变换、亮度变换以及模糊变换；
18.将所述数据扩增检测图像和所述数据扩增标注图像输入待训练的所述表面缺陷检测模型进行k层降维和k层升维操作，得到所述数据扩增标注图像中缺陷的区域位置，其中，k为正整数；
19.根据表面缺陷检测模型进行k层降维和k层升维操作，得到训练后的表面缺陷检测模型。
20.可选地，所述对标准铝合金模板表面图像的缺陷进行标注，得到标注图像的步骤，包括：
21.将标准铝合金模板表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1；
22.可选地，所述将所述数据扩增检测图像和所述数据扩增标注图像输入待训练的所述表面缺陷检测模型进行k层降维和k层升维操作的步骤，包括：
23.将所述数据扩增检测图像和所述数据扩增标注图像作为所述表面缺陷检测模型的第一输入图像；
24.对所述第一输入图像进行卷积操作和池化操作，将第m层降维操作后的第一输入图像作为第m 1层降维操作的输入，将第k层降维操作后的第一输入图像作为第一层升维操作的输入；
25.对进行k层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第m层升维操作后的第二输入图像作为第m 1层升维操作的输入，将第n层升维操作的输出与第k-n 1层升维操作的输入进行融合，并将融合结果作为第k-n 1层升维操作的输入，其中，m、n均为正整数，m《k， n《k。
26.通过上述方式，本发明能够实现自动识别铝合金模板表面的缺陷。通过对se-resnet网络模型中的采样模块中卷积层改进，加强了铝合金模板不同缺陷类型之间的关系，从而确保铝合金模板的类型的特征不被忽略。通过将 se-resnet网络模型中的分类模型替换为随机森林网络，实现了特征数据进行回归预测，进而实现了提高确定铝合金模板缺陷类型的精度。通过改进的 se-resnet模型对数据进行特征提取，只保留了其中最主要的特征，大幅减少了计算量，节省了计算时间以及节约了计算资源。
附图说明
27.图1为本发明循环再生铝合金模板表面缺陷识别方法第一实施例的流程示意图；
28.图2为本发明se-resnet网络模型卷积层调整前后的结构示意图的对比；
29.图3为本发明resnet网络模型1*1卷积下采样的示意图；
30.图4为本发明resnet网络模型卷积核大小为3*3、步长设置为2卷积下采样的示意图；
31.图5为本发明resnet网络模型的平均池化层下采样的结构示意图；
32.图6为本发明se-resnet网络模型的结构示意图；
33.图7为本发明缺陷分类模型的结构示意图。
具体实施方式
34.本发明实施例中，该循环再生铝合金模板表面缺陷识别方法应用于表面缺陷识别装置，循环再生铝合金模板表面缺陷识别方法包括：
35.步骤s10，获取图像采集设备从预设拍摄角度拍摄的被检测的铝合金模板的检测图像；
36.在本实施例中，为了实现自动识别铝合金模板表面的缺陷，表面缺陷识别装置获取图像采集设备从预设拍摄角度拍摄的被检测的铝合金模板的检测图像。
37.步骤s20，将检测图像输入预先训练的表面缺陷检测模型，根据缺陷检测模型输出的检测结果确定铝合金模板上缺陷所在位置；
38.在本实施例中，表面缺陷识别装置在得到了检测图像之后，将检测图像输入预先训练的表面缺陷检测模型，根据缺陷检测模型输出的检测结果确定铝合金模板上缺陷所在位置。
39.表面缺陷检测模型是基于融合卷积网络模型构建，并通过检测图像和带有缺陷位置标注信息的铝合金模板表面图像的训练集进行训练得到的。
40.步骤s20将检测图像输入预先训练的表面缺陷检测模型，根据缺陷检测模型输出的检测结果确定铝合金模板上缺陷所在位置的步骤之前，可以包括，训练表面缺陷检测模型。
41.其中，训练表面缺陷检测模型的步骤包括：
42.步骤s41，对标准铝合金模板表面图像的缺陷进行标注，得到标注图像。
43.在本实施例中，在将检测图像输入预先训练的表面缺陷检测模型之前，表面缺陷识别装置对标准铝合金模板表面图像的缺陷进行标注，得到标注图像。
44.步骤s41，对标准铝合金模板表面图像的缺陷进行标注，得到标注图像的步骤，包括：
45.步骤s411，将标准铝合金模板表面图像中缺陷区域的灰度值设定为0，将非缺陷区域的灰度值设定为1。
46.步骤s42，将检测图像和标注图像的像素进行数据扩增，得到数据扩增检测图像和数据扩增标注图像，其中，数据扩增包括对检测图像和标注图像进行仿射变换、亮度变换以及模糊变换；
47.在本实施例中，表面缺陷识别装置在得到了标注图像之后，将检测图像和标注图
像的像素进行数据扩增，得到数据扩增检测图像和数据扩增标注图像，其中，数据扩增包括对检测图像和标注图像进行仿射变换、亮度变换以及模糊变换。
48.步骤s43，将数据扩增检测图像和数据扩增标注图像输入待训练的表面缺陷检测模型进行k层降维和k层升维操作，得到数据扩增标注图像中缺陷的区域位置，其中，k为正整数；
49.在本实施例中，表面缺陷识别装置在得到了数据扩增检测图像和数据扩增标注图像之后，将数据扩增检测图像和数据扩增标注图像输入待训练的表面缺陷检测模型进行k层降维和k层升维操作，得到数据扩增标注图像中缺陷的区域位置，其中，k为正整数。
50.步骤s43，将数据扩增检测图像和数据扩增标注图像输入待训练的表面缺陷检测模型进行k层降维和k层升维操作的步骤，包括：
51.步骤s431，将数据扩增检测图像和数据扩增标注图像作为表面缺陷检测模型的第一输入图像；
52.在本实施例中，表面缺陷识别装置在得到了数据扩增检测图像和数据扩增标注图像之后，将数据扩增检测图像和数据扩增标注图像作为表面缺陷检测模型的第一输入图像。
53.步骤s4321，对第一输入图像进行卷积操作和池化操作，将第m层降维操作后的第一输入图像作为第m 1层降维操作的输入，将第k层降维操作后的第一输入图像作为第一层升维操作的输入；
54.在本实施例中，表面缺陷识别装置在得到了第一输入图像之后，对第一输入图像进行卷积操作和池化操作，将第m层降维操作后的第一输入图像作为第 m 1层降维操作的输入，将第k层降维操作后的第一输入图像作为第一层升维操作的输入。
55.步骤s433，对进行k层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第m层升维操作后的第二输入图像作为第m 1 层升维操作的输入，将第n层升维操作的输出与第k-n 1层升维操作的输入进行融合，并将融合结果作为第k-n 1层升维操作的输入，其中，m、n均为正整数，m《k，n《k。
56.在本实施例中，表面缺陷识别装置在对k层降维操作之后，对进行k层降维操作后的第一输入图像进行卷积操作和反卷积操作，得到第二输入图像，将第m层升维操作后的第二输入图像作为第m 1层升维操作的输入，将第n层升维操作的输出与第k-n 1层升维操作的输入进行融合，并将融合结果作为第 k-n 1层升维操作的输入，其中，m、n均为正整数，m《k，n《k。
57.步骤s44，根据表面缺陷检测模型进行k层降维和k层升维操作，得到训练后的表面缺陷检测模型。
58.步骤s30，将所识别出的缺陷所在位置输入通过预先训练的缺陷分类模型，确定所识别出的缺陷类别，缺陷分类模型是将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络得到的。
59.在本实施例中，表面缺陷识别装置在确定了铝合金模板上缺陷所在位置之后，将所识别出的缺陷所在位置输入通过预先训练的缺陷分类模型，确定所识别出的缺陷类别。
60.具体的，如图2所示为了更多的保存检测图像中缺陷类型的特征，将 se-resnet网络模型中的采样模块进行卷积层调整的方式为将三层采样层之间的残差学习的三层卷积
层从第一卷积层分别从核大小为1x1，输出通道为512，步长为2、第二卷积层分别从核大小为3x3，输出通道为512、第三卷积层分别从核大小为1x1，输出通道为2048，调整为第一卷积层分别从核大小为1x1、第二卷积层分别从核大小为3x3，步长为2、第三卷积层分别从核大小为1x1；将三层采样层之间的残差学习的短路连接从核大小为1x1，输出通道为2048，步长为2调整为核大小为1x1，步长为2。图2的左侧为resnet模型的下采样部分，在patha中，依次通过1*1，3*3，1*1三个卷积。其中第一个1*1卷积核完成通道的收缩，同时设置其步长为2实现下采样过程。然后利用3*3的卷积提取特征，最后再经过一个1*1的卷积扩张特征通道。可以发现，在以上过程中大小1*1、步长为2的卷积核只会保留1/4的信息，可能会遗漏很多与人数相关的重要特征，如图3所示，只有图中绿色的部分会传递到下一层。如图4 左侧的下采样过程放在1*1的卷积层对于缺陷类型确定来说并不合适。因此，本技术把下采样过程推迟到3*3卷积过程中，如图4所示。将3*3卷积的步长设置为2，当步长小于卷积核宽度时，卷积核在遍历输入特征图的时候就能够无遗漏，并且还能有部分重叠。
61.具体的，为了让残差学习的卷积通道(patha)能够正确的与短路通道 (pathb)进行加权，如图5所示，在三层采样层之间的残差学习的短路连接卷积之前加上一个平均池化层。由于图4右侧的模型中patha进行了下采样，为了让pathb能够正确的和patha进行加权，所以pathb也需要进行下采样，原本的pathb模块也是直接在1*1卷积过程中实现的下采样，因此本技术在pathb 的1*1卷积之前加上了一个平均池化层实现下采样。
62.步骤s30构建se-resnet网络模型，可以包括：
63.步骤b1，构造se网络模块，在se网络模块的两个全连接层之间新增relu 激活函数层；
64.在本实施例中，表面缺陷识别装置在得到所识别出的缺陷所在位置和检测图像之后，构造se网络模块，并在se网络模块的两个全连接层之间新增relu 激活函数层。
65.具体的，六层的se-resnet模块的结构依次为：卷积层
→
全局池化层
→
第一个全连接层
→
relu激活函数层
→
第二个全连接层
→
sigmoid层，将sigmoid 层的输出结果与卷积层的输出结果相乘，获得新的特征图，将该特征图与卷积层的输入相连接。relu是一个激活函数，通过relu函数可以增加神经网络各层之间的非线性关系，relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。否则，如果没有激活函数，层与层之间是简单的线性关系，每层都相当于矩阵相乘，计算量过大而且会出现过拟合问题。
66.步骤b2，将se网络模块设置到resnet网络模型中，形成se-resnet网络模型，其中，se网络模块是通过squeeze操作、excitation操作以及reweight 操作完成图像特征重定向的。
67.在本实施例中，表面缺陷识别装置在构造完成se网络模块之后，将se网络模块设置到resnet网络模型中，形成se-resnet网络模型，其中，se网络模块是通过squeeze操作、excitation操作以及reweight操作完成图像特征重定向的。
68.其中，resnet网络模型的每两层之间增加了短路机制，形成残差结构；
69.残差结构为x
l 1
＝x
l
f(x
l
,w
l
)；通过递归，任意深层单元l的通过残差结构可以表示为对于任意深的单元l的特征x
l
可以表达为浅层单元l的特征x
l
加
上一个形如的残差函数，表明了任何单元l和l之间都具有残差特性。同样的，对于任意深的单元l，它的特征即为之前所有残差函数输出的总和再加上x0。
70.对于反向传播，假设损失函数为e，根据返乡传播的立案式法则，可以得到不通过权重层的传递通过权重层的传递不通过权重层的传递保证了信号能够直接传回到任意的浅层x
l
；同时公式也保证了不会出现梯度消失的现象，因为不可能为-1。
71.如图6所示，se-resnet网络模型是基于resnet网络，在其模型汇总加入 se分支，这里我们使用global average pooling作为squeeze操作；紧接着两个 fully connected层组成一个bottleneck结构去建模通道间的相关性，并输出和输入特征同样数目的权重；首先将特征维度降低到输入的1/16，然后经过relu 激活后再通过一个fully connected层升回到原来的维度。在addition前对分支上residual的特征进行了特征重标定。
72.以上就是se-resnet基础模块的设计，将这些基础模块进行堆叠就可以形成se-resnet50模型。模型训练的过程就是学习参数的过程，将大量带标签的数据送入模型，模型可以自己调整所有参数，从而得到缺陷分类模型。
73.如图7所示，通过将se-resnet网络模型中的采样模块进行卷积层调整以及将se-resnet网络模型中的分类模型替换为随机森林网络，可以得到本技术的缺陷分类模型。
74.步骤s30，将所识别出的缺陷所在位置输入通过预先训练的缺陷分类模型，确定所识别出的缺陷类别之前，可以包括：
75.步骤s50，将预设缺陷类型和检测图像输入缺陷分类模型中进行训练，得到的。
76.本发明能够实现自动识别铝合金模板表面的缺陷。通过对se-resnet网络模型中的采样模块中卷积层改进，加强了铝合金模板不同缺陷类型之间的关系，从而确保铝合金模板的类型的特征不被忽略。通过将se-resnet网络模型中的分类模型替换为随机森林网络，实现了特征数据进行回归预测，进而实现了提高确定铝合金模板缺陷类型的精度。通过改进的se-resnet模型对数据进行特征提取，只保留了其中最主要的特征，大幅减少了计算量，节省了计算时间以及节约了计算资源。
77.本发明还提供一种表面缺陷识别装置。
78.本发明表面缺陷识别装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的表面缺陷识别程序，表面缺陷识别程序被处理器执行时实现如上的循环再生铝合金模板表面缺陷识别方法的步骤。
79.其中，在所述处理器上运行的表面缺陷识别程序被执行时所实现的方法可参照本
发明循环再生铝合金模板表面缺陷识别方法各个实施例，此处不再赘述。
80.本发明还提供一种计算机可读存储介质。
81.本发明计算机可读存储介质上存储有表面缺陷识别程序，所述表面缺陷识别程序被处理器执行时实现如上所述的循环再生铝合金模板表面缺陷识别方法的步骤。
82.其中，在所述处理器上运行的表面缺陷识别程序被执行时所实现的方法可参照本发明循环再生铝合金模板表面缺陷识别方法各个实施例，此处不再赘述。
83.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
84.上述本发明实施例序号仅为了描述，不代表实施例的优劣。
85.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘) 中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
86.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。