少样本工业图像缺陷检测模型构建方法、系统及装置

技术特征：
1.一种基于图像分割的少样本工业图像缺陷检测模型构建方法，其特征在于，包括：s1、获取工业图像数据集，将工业图像数据集划分为训练集和测试集；s2、对训练集和测试集进行预处理，增强图像对比度；s3、对预处理后的训练集进行随机竖直翻转和水平翻转，得到训练样本数据；s4、将训练样本数据输入分割网络进行训练，训练完成得到掩膜图，完成检测模型的第一步构建；s5、将掩膜图进行校正得到工业图像缺陷区域，完成检测模型的第二步构建；s6、将所述掩膜图与所述工业图像缺陷区域进行拼接，得到一个双通道的特征图，将所述双通道特征图输入决策网络进行训练，训练完成得到训练集不同缺陷类型工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建；s7、将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果，根据相关评价指标对检测模型进行评价。2.根据权利要求1所述的方法，其特征在于，所述s2具体包括：s21、计算所述训练集和测试集的灰度直方图；s22、对所述灰度直方图做归一化处理；s23、对所述归一化后的直方图计算最小值像素点和最大值像素点；s24、对所述最小值像素点和最大值像素点逐步进行右移和左移，计算直方图两侧的概率密度之和；s25、所述概率密度之和超过给定的阈值后，记录最小像素点索引和最大像素点索引；s26、对训练集和测试集做灰度拉伸，其计算公式为：output＝(input-min_index)*255/(max_index-min_index)其中input为输入的图像，min_index为所述的最小像素点索引，max_index为所述的最大像素点索引，output为输出图像；s27、对所述输出图像进行逐像素遍历，若像素值大于255，则把该点像素值修改为255，若像素值小于0，则把该点像素值修改为0。3.根据权利要求2所述的方法，其特征在于，所述s4具体包括：将训练样本数据输入分割网络进行训练，其中，分割网络通过pytorch深度学习框架搭建，所述分割网络由一组左右对称的编码器、解码器和两个注意力块构成；所述编码器由三层构成，第一层的结构为两组3*3卷积 批归一化 relu激活进行串联构成的卷积块，后两层的结构为两组空洞卷积 批归一化 relu激活进行串联构成的空洞卷积块；编码器的相邻两层中接有一个最大池化下采样层；所述解码器由三层构成，前两层均为两组3*3卷积 批归一化 relu激活进行串联，最后一层为两组3*3卷积 批归一化 sigmoid激活进行串联，相邻解码器中接有一个上采样层；所述注意力块的计算公式为：y(x)＝x*(sigmoid(conv2(relu(conv1(x)))))其中x为编码器第一层或第二层的输出特征图作全局平均池化后的结果，其大小为c*1*1，c为通道数目；conv1表示通过1*1卷积将特征图通道数变为c/r，conv2表示通过1*1卷积将特征图通道数还原为c；relu和sigmoid分别为conv1和conv2操作后的激活函数；训练完成得到掩膜图，完成检测模型的第一步构建。
4.根据权利要求3所述的方法，其特征在于，所述s5具体包括：s51：对掩膜图进行二值化处理；s52：对所述二值化后的掩膜图做膨胀处理；s53：对所述膨胀后的掩膜图计算轮廓，并计算各个轮廓的面积；s54：比较轮廓面积得到面积最大的轮廓，计算面积最大轮廓的最小外接矩形，记录最小外接矩形坐标信息；s55：根据所述矩形坐标信息计算最小外接矩形最长边与最短边的比值，确定缺陷类型，根据缺陷类型在训练集原图上提取缺陷区域。5.根据权利要求4所述的方法，其特征在于，所述s6具体包括：将所述分割网络输出结果与所述缺陷区域进行拼接，得到一个双通道的特征图，使用pytorch深度学习框架搭建决策网络，所述决策网络包括：四组3*3深度可分类卷积、sigmoid激活层和全局平均池化层，每组深度可分离卷积后接有一个最大池化下采样层，根据所述双通道特征图训练决策网络，训练完成得到工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建。6.根据权利要求5所述的方法，其特征在于，所述s7具体包括：s71、将预处理后的测试集输入分割网络得到测试掩膜图；s72、将测试掩膜图进行校正得到测试工业图像缺陷区域；s73、将所述测试掩膜图与所述测试工业图像缺陷区域进行拼接，得到一个测试双通道的特征图，将所述测试双通道特征图输入决策网络得到工业图像的缺陷概率，根据缺陷概率判断测试集工业图像是否缺陷；s74、获取所述决策网络在测试集上正确分类的图像数量与测试集的图像总数量，计算准确率指标；s75、获取所述决策网络在测试集上被正确分类为有缺陷的图像数量与测试集中被分类为缺陷图像的总数量，计算查准率指标；s76、获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量，计算召回率评价指标；s77、获取所述查准率与召回率评价指标，计算检测模型的调和平均评价指标。7.一种基于图像分割的少样本工业图像缺陷检测模型构建系统，其特征在于，包括：划分模块：用于获取工业图像数据集，将工业图像数据集划分为训练集和测试集；预处理模块：用于对训练集和测试集进行预处理，增强图像对比度；训练样本数据模块：用于对预处理后的训练集进行随机竖直翻转和水平翻转，得到训练样本数据；分割网络模块：用于将训练样本数据输入分割网络进行训练，训练完成得到掩膜图，完成检测模型的第一步构建；校正模块：用于将掩膜图进行校正得到工业图像缺陷区域，完成检测模型的第二步构建；决策网络模块：用于将所述掩膜图与所述工业图像缺陷区域进行拼接，得到一个双通道的特征图，将所述双通道特征图输入决策网络进行训练，训练完成得到训练集工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建；
评价模块：用于将预处理后的测试集输入检测模型得到测试集的有无缺陷分类结果，根据相关评价指标对检测模型进行评价。8.根据权利要求7所述的系统，其特征在于，包括：所述预处理模块具体用于：计算所述训练集和测试集的灰度直方图；对所述灰度直方图做归一化处理；对所述归一化后的直方图计算最小值像素点和最大值像素点；对所述最小值像素点和最大值像素点逐步进行右移和左移，计算直方图两侧的概率密度之和；所述概率密度之和超过给定的阈值后，记录最小像素点索引和最大像素点索引；对训练集和测试集做灰度拉伸，其计算公式为：output＝(input-min_index)*255/(max_index-min_index)其中input为输入的图像，min_index为所述的最小像素点索引，max_index为所述的最大像素点索引，output为输出图像；对所述输出图像进行逐像素遍历，若像素值大于255，则把该点像素值修改为255，若像素值小于0，则把该点像素值修改为0；所述分割网络模块具体用于：将训练样本数据输入分割网络进行训练，其中，分割网络通过pytorch深度学习框架搭建，所述分割网络由一组左右对称的编码器、解码器和两个注意力块构成；所述编码器由三层构成，第一层的结构为两组3*3卷积 批归一化 relu激活进行串联构成的卷积块，后两层的结构为两组空洞卷积 批归一化 relu激活进行串联构成的空洞卷积块；编码器的相邻两层中接有一个最大池化下采样层；所述解码器由三层构成，前两层均为两组3*3卷积 批归一化 relu激活进行串联，最后一层为两组3*3卷积 批归一化 sigmoid激活进行串联，相邻解码器中接有一个上采样层；所述注意力块的计算公式为：y(x)＝x*(sigmoid(conv2(relu(conv1(x)))))其中x为编码器第一层或第二层的输出特征图作全局平均池化后的结果，其大小为c*1*1，c为通道数目；conv1表示通过1*1卷积将特征图通道数变为c/r，conv2表示通过1*1卷积将特征图通道数还原为c；relu和sigmoid分别为conv1和conv2操作后的激活函数；训练完成得到掩膜图，完成检测模型的第一步构建；所述校正模块具体用于：对掩膜图进行二值化处理；对所述二值化后的掩膜图做膨胀处理；对所述膨胀后的掩膜图计算轮廓，并计算各个轮廓的面积；比较轮廓面积得到面积最大的轮廓，计算面积最大轮廓的最小外接矩形，记录最小外接矩形坐标信息；根据所述矩形坐标信息计算最小外接矩形最长边与最短边的比值，确定缺陷类型，根据缺陷类型在训练集原图上提取缺陷区域；所述决策网络模块具体用于：将所述分割网络输出结果与所述缺陷区域进行拼接，得到一个双通道的特征图，使用
pytorch深度学习框架搭建决策网络，所述决策网络包括：四组3*3深度可分类卷积、sigmoid激活层和全局平均池化层，每组深度可分离卷积后接有一个最大池化下采样层，根据所述双通道特征图训练决策网络，训练完成得到工业图像的缺陷概率，根据缺陷概率判断训练集工业图像是否缺陷，完成检测模型的第三步构建；所述评价模块具体用于：将预处理后的测试集输入分割网络得到测试掩膜图；将测试掩膜图进行校正得到测试工业图像缺陷区域；将所述测试掩膜图与所述测试工业图像缺陷区域进行拼接，得到一个测试双通道的特征图，将所述测试双通道特征图输入决策网络得到工业图像的缺陷概率，根据缺陷概率判断测试集工业图像是否缺陷；获取所述决策网络在测试集上正确分类的图像数量与测试集的图像总数量，计算准确率指标；获取所述决策网络在测试集上被正确分类为有缺陷的图像数量与测试集中被分类为缺陷的图像总量，计算查准率指标；获取所述决策网络在测试集上正确分类为有缺陷的图像数量与测试集里有缺陷的图像总量，计算召回率评价指标；获取所述决策网络在测试集上的查准与召回率评价指标，计算检测模型的调和平均评价指标。9.一种基于图像分割的少样本工业图像缺陷检测模型构建装置，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于图像分割的少样本工业图像缺陷检测模型构建方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至6中任一项所述的基于图像分割的少样本工业图像缺陷检测模型构建方法的步骤。

技术总结
本发明公开了少样本工业图像缺陷检测模型构建方法、系统及装置，包括：将工业图像数据集划分为训练集和测试集；对训练集和测试集进行预处理，增强图像对比度；对预处理后的训练集进行随机竖直翻转和水平翻转，得到训练样本数据；将训练样本数据输入分割网络进行训练，完成检测模型的第一步构建；将掩膜图进行校正得到工业图像缺陷区域，完成检测模型的第二步构建；将所述掩膜图与所述工业图像缺陷区域进行拼接，得到一个双通道的特征图，将所述双通道特征图输入决策网络进行训练，完成检测模型的第三步构建；根据测试集不同缺陷类型的工业图像的有无缺陷分类结果对检测模型进行评价。本发明可以提高缺陷图像的检测精度和速度，并对构建模型评价。对构建模型评价。对构建模型评价。


技术研发人员：彭凌西 谢翔 彭绍湖 林煜桐 林焕然
受保护的技术使用者：广州大学
技术研发日：2022.04.29
技术公布日：2022/7/22