基于迁移学习的筷子缺陷检测方法及系统与流程

1.本发明涉及图像识别与深度学习技术领域，尤其涉及一种基于迁移学习的筷子缺陷检测方法及系统。


背景技术：

2.在筷子生产领域，筷子的表面缺陷直接影响着其美观、性能等属性，尤其在出口创汇产品中，筷子的表面质量至关重要。传统的筷子缺陷检测一般通过人眼观察判断是否存在缺陷，这种检测方式人工耗时大，且工人疲劳时易出人为检测错误。
3.随着科技的进步，机器检测方法得到了很大的发展，已慢慢取代了人工检测。现有的机器检测技术分为基于模板匹配的缺陷检测方法和基于深度学习的缺陷检测方法。
4.具体的，基于模板匹配的筷子表面缺陷检测方法如图1所示，一般将获取筷子图片进行预处理，然后提取人工定制特征建模，进行模板匹配检测出缺陷。由于筷子表面缺陷具有种类多变、形态各异等特点，这种方法无法检测出匹配模板以外的缺陷，误差较大。目前基于深度学习的筷子表面缺陷检测方法流程如图2所示，能够自动提取抽象特征，学习筷子图像更加抽象的表达，但现有的通常仅能检测出筷子表面是否存在缺陷的二分类问题，且其检测精度与神经网络的层级密切相关，网络层级越深，检测精度越高，训练过程中越难收敛，实时性也会变差。
5.为了解决本领域普遍存在人工特征会无法识别新样本、网络层级深度会影响识别正确率和时延、筷子图像尺度小会影响表面特征提取等问题，作出了本发明。


技术实现要素：

6.本发明目的在于公开一种基于迁移学习的筷子缺陷检测方法及系统，以提高检测结果的可靠性。
7.为达上述目的，本发明公开一种基于迁移学习的筷子缺陷检测方法，包括：
8.采集筷子原始图像；
9.将所述筷子原始图像与背景图像作差后得到的前景图像二值化，滤波后定位并提取出待检测的第一筷子图像；
10.将所述第一筷子图像输入训练好的六分类深度学习网络模型，所述六分类深度学习网络模型的六个分类分别包括：正常、毛刺、斑点、凹孔、嫩白和裂缝；得到所述第一筷子图像在六个分类所对应输出的各个概率值；
11.计算各分类输出概率值之间的方差，判断所述方差是否小于或等于设定的阈值，如果判断结果为否，直接以最高概率值所对应的标签作为最终的分类结果；如果判断结果为是，将所述第一筷子图像做图像超分辨率增强处理后得到第二筷子图像，然后将所述第二筷子图像输入所述六分类深度学习网络模型，以在六个分类中最高概率值所对应的标签作为最终的分类结果；
12.其中，所述六分类深度学习网络模型的获取包括：
13.利用通用数据集对深度学习网络模型进行预训练；
14.针对训练图像构建六分类数据集，再利用构建的六分类数据集对经过预训练的深度学习网络模型再次训练以得到所述六分类深度学习网络模型。
15.优选地，本发明在将所述第一筷子图像做图像超分辨率增强处理后得到第二筷子图像的过程中，基于cnn的超分辨率模型采用随机梯度下降方法进行训练，具体包括：
16.首先用预先设置的缩放因子r对原始图像进行下采样，形成lr图像i
lr
，然后将lr图像裁剪成一组f
sub
×fsub
像素大小的子图像，与lr图像相对应的hr子图像i
hr
是从原始图像中裁剪出来且大小为r2×fsub
×fsub
像素，i
lr
与i
hr
子图像成对构成训练数据；用于图像超分辨率增强处理的超分辨率网络由特征提取、非线性映射和图像重构三部分组成，采用反向传播算法进行训练，训练参数为θ＝{w1,w2,
…
wm,b1,b2,
…bm
}，wm为网络权重，bm为网络偏置，m为网络的层数，损失函数采用mse，损失函数如下：
[0017][0018]
其中，n为样本的个数，表示低分辨率图像通过增强网络后得到的重构图像，表示原高分辨率图像。
[0019]
优选地，本发明背景图像通过时间平均的方法去躁，时间平均的方法为：
[0020][0021][0022]
其中，p
t
为不同时间的背景图像，wi为权重参数，n为背景图片的张数；
[0023]
相对应的，在针对训练图像构建六分类数据集的过程中，通过亮度变换对原始训练图像样本进行变换以扩充样本训练集。
[0024]
为达上述目的，本发明还公开一种基于迁移学习的筷子缺陷检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
[0025]
本发明具有以下有益效果：
[0026]
1、将采集的筷子原始图像与背景图像作差，能实现任意位置的筷子图像的精准采集。
[0027]
2、六分类深度学习网络模型采用迁移学习的方法，先利用通用数据集对深度网络进行预训练，再利用定制的数据集对深度网络进行训练，可以减少定制数据集的样本，加速深度网络的收敛，大大节省数据集制作人工成本；而且比采用人工定制特征对筷子表面缺陷进行检测更加准确，也比单一检测深度网络(即有缺陷和无缺陷)的检测能够更加的准确和可靠。
[0028]
3、基于筷子原始图像及第一筷子图像包含像素较少，不利于筷子表面缺陷的识别。为此，计算6类输出得分的方差，如果方差小于规定的阈值，表示分类出错概率较大。通过进一步对第一筷子图像做超分辨增强得到第二筷子图像后再次送入六分类深度学习网
络模型，提高了筷子表面缺陷识别率，可得到筷子的准确分类。
[0029]
4、通过各分类输出概率值之间的方差与设定阈值之间的比较来筛选需做图像增强的第一筷子图像；相对于对每个第一筷子图像都做图像增强而言，在确保结果可靠的前提下还使得数据处理的计算量得以大幅下降，极大地节约了系统的软硬件资源。
[0030]
下面将参照附图，对本发明作进一步详细的说明。
附图说明
[0031]
构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0032]
图1为现有技术的缺陷检测流程示意图。
[0033]
图2为现有技术的基于深度学习的表面缺陷检测方法流程示意图。
[0034]
图3为本发明实施例的筷子表面缺陷检测方法的流程简图。
[0035]
图4为本发明实施例的筷子图像定位提取流程示意图。
[0036]
图5为本发明实施例的深度学习网络模型训练的流程示意图。
[0037]
图6为本发明实施例的深度学习网络模型结构示意图。未说明
[0038]
图7为本发明实施例的超分辨率网络模型结构示意图。
具体实施方式
[0039]
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0040]
实施例1
[0041]
本发明实施例公开一种基于迁移学习的筷子缺陷检测方法。如图3所示，具体包括以下步骤：
[0042]
步骤s1、采集筷子原始图像。
[0043]
步骤s2、将所述筷子原始图像与背景图像作差后得到的前景图像二值化，滤波后定位并提取出待检测的第一筷子图像。
[0044]
在该步骤中，可选地，第一筷子图像的定位提取如图4所示：通过筷子原始图像与背景图像作差，再对差值图像二值化，经过形态学滤波后得到该第一筷子图像。其中，筷子原始图像为筷子生产流水线上固定摄像头拍摄的筷子影像，背景图像为没有生产筷子时流水线上固定摄像头拍摄的机器影像。
[0045]
优选地，本实施例考虑在生产过程中，所采集图像易受光照环境而变化。其中，导致光照环境变化的主要不可控成份为日光，为此，本实施例背景图像通过时间平均的方法进行去躁，时间平均的方法为：
[0046][0047][0048]
其中，p
t
为不同时间的背景图像，wi为权重参数，n为背景图片的张数。
[0049]
步骤s3、将所述第一筷子图像输入训练好的六分类深度学习网络模型，所述六分类深度学习网络模型的六个分类分别包括：正常、毛刺、斑点、凹孔、嫩白和裂缝；得到所述第一筷子图像在六个分类所对应输出的各个概率值。其中，所谓“嫩白”即指竹子嫩、颜色白；这类筷子由于易断而被归为一类缺陷。
[0050]
在该步骤中，如图5所示，所述六分类深度学习网络模型的获取包括：
[0051]
步骤s31、利用通用数据集对深度学习网络模型进行预训练。可选地，通用数据集一般选用现有的多分类数据集，如minst数据集。通过预训练可得到初始的六分类深度学习网络模型。
[0052]
步骤s32、针对训练图像构建六分类数据集，再利用构建的六分类数据集对经过预训练的深度学习网络模型再次训练以得到精准优化后的六分类深度学习网络模型。其中，与上述时间平均法进行背景图像优化相对应的，该步骤在针对训练图像构建六分类数据集的过程中，通过亮度变换对原始训练图像样本进行变换以扩充样本训练集。
[0053]
其中，在定制多分类筷子样本训练集的过程中，多分类筷子数据集中包括5类有缺陷的筷子训练样本图像，将所述有缺陷的筷子训练样本图像分别为毛刺、斑点、凹孔、嫩白、裂缝5大类，分别进行标注；多分类筷子数据集中也包括多个无缺陷的筷子训练样本图像，单独进行标注。以及还包括：对获取原始训练样本筷子图像进行尺度变换，使其符合端到端深度网络输入接口。
[0054]
在本实施例中，深度学习网络模型采用多分类深度网络，其结构如图6所示。多分类深度网络分为多个卷积层、池化层、全连层和输出层构成。在最后一层卷积层通过形变得到全连层，对全连层进行稀疏链接得到6大类输出，分别为毛刺、斑点、凹孔、嫩白、裂缝和无缺陷。优选地，采用随机梯度下降法对多分类深度网络进行训练。相对应的误差函数采用交叉熵函数，具体为：
[0055][0056]
其中，所述y为真实输出，f(xi；θ)为网络预测输出，n为样本数，θ为深度网络参数。
[0057]
步骤s4、计算各分类输出概率值之间的方差，判断所述方差是否小于或等于设定的阈值，如果判断结果为否，直接以最高概率值所对应的标签作为最终的分类结果；如果判断结果为是，将所述第一筷子图像做图像超分辨率增强处理后得到第二筷子图像，然后将所述第二筷子图像输入所述六分类深度学习网络模型，以在六个分类中最高概率值所对应的标签作为最终的分类结果。
[0058]
在该步骤中，可选的，由于筷子原始影像包含像素较少，不利于筷子表面缺陷的识别，可以通过超分辨率网络增强筷子图像的细节特征。超分辨率网络如图7所示，由特征提取、非线性映射和图像重构三部分组成。特征提取是对已做插值运算的低分辨率图像y做卷积，提取多维特征向量组成特征映射矩阵；非线性映射是通过非线性卷积操作将提取的n1维特征映射为n2维特征；图像重构等同于一个反卷积的过程，对n2维非线性特征做均值滤波，生成一个高分辨图像。具体的，在将所述第一筷子图像做图像超分辨率增强处理后得到第二筷子图像的过程中，基于cnn的超分辨率模型采用随机梯度下降方法进行训练包括：
[0059]
首先用预先设置的缩放因子r对原始图像进行下采样，形成lr图像i
lr
，然后将lr图像裁剪成一组f
sub
×fsub
像素大小的子图像，与lr图像相对应的hr子图像i
hr
是从原始图像中
裁剪出来且大小为r2×fsub
×fsub
像素，i
lr
与i
hr
子图像成对构成训练数据；用于图像超分辨率增强处理的超分辨率网络由特征提取、非线性映射和图像重构三部分组成，采用反向传播算法进行训练，训练参数为θ＝{w1,w2,
…
wm,b1,b2,
…bm
}，wm为网络权重，bm为网络偏置，m为网络的层数，损失函数采用mse，损失函数如下：
[0060][0061]
其中，n为样本的个数，表示低分辨率图像通过增强网络后得到的重构图像，表示原高分辨率图像。
[0062]
在该步骤中，考虑对每个第一筷子图像都做超分辨率增强会增加网络时延。为此采用改进方法，将获取的待检测筷子图像与预先建模得到的背景图像做差，得到真实筷子图像，再进行尺度变换，直接送入线下训练好的6分类深度网络模型，得到筷子6类输出的归一化得分，其计算公式如下：
[0063][0064]
其中x为输入筷子图像，θ为深度网络参数，fi(x；θ)为筷子图像通过6分类深度网络的输出，i＝1
…
6为输出结果的个数，其得分最高的为筷子的真实分类。max(s)为6类输出结果的最大值，归一化操作就是除以6类输出结果的最大值，以避免计算结果过大增加计算量。之后，计算6类输出归一化得分的方差，如果方差小于规定的阈值，表示分类出错概率较大，这时再对真实筷子图像做超分辨增强，再次送入多分类深度网络，得到筷子的准确分类。6类输出归一化得分的方差计算公式如下：
[0065][0066]
其中，s为6类输出的归一化得分，为均值。
[0067]
综上，本实施例方法具有以下有益效果：
[0068]
1、将采集的筷子原始图像与背景图像作差，能实现任意位置的筷子图像的精准采集。
[0069]
2、六分类深度学习网络模型采用迁移学习的方法，先利用通用数据集对深度网络进行预训练，再利用定制的数据集对深度网络进行训练，可以减少定制数据集的样本，加速深度网络的收敛，大大节省数据集制作人工成本；而且比采用人工定制特征对筷子表面缺陷进行检测更加准确，也比单一检测深度网络(即有缺陷和无缺陷)的检测能够更加的准确和可靠。
[0070]
3、基于筷子原始图像及第一筷子图像包含像素较少，不利于筷子表面缺陷的识别。为此，计算6类输出得分的方差，如果方差小于规定的阈值，表示分类出错概率较大。通过进一步对第一筷子图像做超分辨增强得到第二筷子图像后再次送入六分类深度学习网络模型，提高了筷子表面缺陷识别率，可得到筷子的准确分类。
[0071]
4、通过各分类输出概率值之间的方差与设定阈值之间的比较来筛选需做图像增强的第一筷子图像；相对于对每个第一筷子图像都做图像增强而言，在确保结果可靠的前
提下还使得数据处理的计算量得以大幅下降，极大地节约了系统的软硬件资源。
[0072]
实施例2
[0073]
与上述实施例相对应的，本实施例公开一种基于迁移学习的筷子缺陷检测系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法实施例所对应的步骤。
[0074]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。