一种柔印标签的在线缺陷检测方法

技术特征：
1.一种柔印标签的在线缺陷检测方法，其特征在于，包括以下步骤：s1：空间变换网络stn匹配对齐：通过空间变换网络获取样本与柔印模板之间的匹配参数，完成对训练样本以及测试样本的匹配对齐；s2：无监督缺陷检测：构建核心集，并且通过改进的k近邻算法得到测试样品的异常得分；s3：弱监督缺陷检测：使用无监督缺陷检测的图像级分类结果作为标签，通过完成对热图的分割，实现柔印在线检测。2.根据权利要求1所述的柔印标签的在线缺陷检测方法，其特征在于，所述步骤s1中，通过端到端的空间变换网络能快速地实现训练样本、测试样本对模板的匹配对齐，空间变换网络由localisation net，grid generator，sampler三部分组成，在训练过程中，将测试样本向模板进行校正，将损失函数设为l1 loss和ssim loss，在测试过程中，测试样本输入网络后即可实现端到端的校正。3.根据权利要求2所述的柔印标签的在线缺陷检测方法，其特征在于，所述步骤s2中，通过构造核心集的方法来避免直接做差，综合多个无缺陷样本的特征，提高检测鲁棒性，使用空间变换网络匹配校正后的无缺陷样本构成训练集，通过预训练的resnet网络提取训练集特征，然后通过贪婪算法对训练集特征关键点进行筛选，对特征集实现降维；使用faiss构建量化器quantizer计算特征间的欧氏距离即相似度，构建indexivfflat类型的索引，将簇心设为2400，对降维后的特征集进行kmeans聚类，最后将聚类中心加入到索引中并保存索引。4.根据权利要求3所述的柔印标签的在线缺陷检测方法，其特征在于，所述步骤s2中，通过预训练的resnet网络提取测试样本的特征，加载保存好的索引，通过索引搜索最近的簇，然后在簇内应用k近邻算法，寻找到邻近点；通过k近邻算法来衡量异常得分，并将异常分数图resize到输入尺寸大小，从而实现无监督异常检测。5.根据权利要求4所述的柔印标签的在线缺陷检测方法，其特征在于，所述步骤s3中，通过u-net架构提取样本特征，引入压缩和激励网络senet，通道和空间注意力模块抑制复杂背景的干扰，增强有用特征的表示；由于二元交叉熵函数不仅收敛快，而且在整批累积每像素的损失，因此使用二元交叉熵值作为损失函数，损失函数的输入为分类器的输出结果以及无监督缺陷检测的图像级分类结果，以热图像素的平均值和标准差组合构成分割的阈值，完成对热图的分割。6.根据权利要求2所述的柔印标签的在线缺陷检测方法，其特征在于，所述localizion net用于获取位置参数，localizion net通过四个convbnrelu block以及两个conv2d层提取图片特征，获得32*32的特征图u，然后将特征图reshape为1*1024后输入线性层，最后得到1*6的位置参数θ并将其reshape为2*3；grid generator利用θ对特征图u进行相应的空间变换，得到输出特征图将位置参数θ输入grid generator获取特征图u，的映射关系，设u的坐标为设u的坐标为的像素位置为则映射关系为：
也就是说,对于的每一个位置，对其进行空间变换即仿射变换寻找其对应与u的空间位置；经过以上的两步操作后,上每一个像素点都会通过空间变换对应到u的某个像素位置,但是由于feature score对于feature position的偏导数无法计算,因而我们需要构造一种position到score的映射；该映射具有可导的性质,从而满足反向传播的条件。7.根据权利要求6所述的柔印标签的在线缺陷检测方法，其特征在于，空间变换网络使用的损失函数为l1 loss和ssim loss，设输入图像为x,nn为空间变换网络模型匹配，校正后的输出图像为nn(x),y为模板图像，则l1 loss为：其中n为测试样本数，nn(x)为经过空间变换网络模型的样本,结构相似性指数用于度量两幅图像间的结构相似性和被广泛采用的l2 loss不同，ssim和人类的视觉系统hvs类似，对局部结构变化的感知敏感,ssim的公式如下：其中μ
x
,μ
y
分别为图像x和y的均值，和分别为图像x和y的方差，σ
xy
为图像x和y的协方差，c1和c2为常数,因此ssimloss为：ssimloss＝1-ssim(x,y)。8.根据权利要求4所述的柔印标签的在线缺陷检测方法，其特征在于，在经过空间变换网络后，柔印标签与模板图片实现对齐，由于柔印标签的结构复杂，衬底较薄的标签双面印刷时会产生透底现象，透底图案使得标签的图案结构复杂度大大增加，且图案结构粗细不一，因此使用单个模板与测试样本做差的检测方法会导致较高的误检率，所以通过构造核心集的方法来避免直接做差；使用多张经过校正对齐的无缺陷样本构建训练集，使用预先在imagenet上训练的resnet网络提取训练集特征，resnet网络的第一层虽然包含大量的测试样本的纹理特征，但同时也包含了大量的冗余信息，导致后续贪婪算法降采样的效率降低和缺陷检测的检测时间大大增加，因此本发明使用resnet模型最后两层提取的特征作为特征集，再通过贪婪算法对特征集关键点进行筛选，从而达到降维的效果，将核心集降采样率设为0.01，即相对于直接提取的特征集，核心集大小下降为原来的1％；使用faiss构建量化器quantizer计算特征间的欧氏距离即相似度，构建indexivfflat类型的索引，将簇心设为2400，对降维后的特征集进行kmeans聚类，通过查询最近的聚类中心，然后比较聚类中所有向量得到相似的向量，最后将聚类中心加入到索引中并保存索引；在测试阶段，由于需要使用最邻近算法，所以必须确保测试集特征与训练集特征的尺寸相同，因此使用预训练的resnet网络的第二第三层提取的测试样本特征，导入保存好的索引，通过索引搜索最近的簇，然后在簇内应用k近邻算法，根据距离度量，在核心集中找出
与测试样本特征m
test
最近邻的k个点，距离度量公式为其中m表示核心集的特征，d表示两点之间的距离，通过k近邻算法来衡量异常得分；采用re-weighting的计算方法来计算image-level的异常得分，相比于以往的直接取最大值的判断异常方法更加鲁棒：s
*
＝‖m
test,*-m
*
‖2其中m
test,*
，m
*
异常候选，为了得到re-weighting后的异常分数值s，增加了s
*
的权重来解释相邻补丁的行为：如果内存库特征最接近异常候选m
test,*
，m
*
,由于其本身距离相邻样本相对较远，这已经是一种罕见的事件，因此增加异常分数，最后将异常分数图resize到输入尺寸大小，完成异常检测。9.根据权利要求5所述的柔印标签的在线缺陷检测方法，其特征在于，在完成无监督缺陷检测后，能够判断测试样本是否为缺陷样本；由于无监督缺陷检测的分割结果不精准，使用弱监督缺陷检测对测试样本进行分割；以无监督缺陷检测的分类结果作为弱监督检测的标签；弱监督检测阶段主要包括特征提取网络，通道和空间注意力网络，分类器和分割几个部分；为了增强对细微缺陷的检测能力，特征提取网络使用u-net架构提取测试样本的特征；由于柔印标签样本结构比较复杂，所以在u-net架构中添加压缩和激励网络，抑制复杂背景对检测的干扰，增强有用特征的表示；将提取的特征分别通过全局平均池化层、通道和空间注意力模块，然后将得到的特征相乘得到特征图，分别将平均池化和最大池化后的特征向量输入共享全连接层，然后将得到的两个特征向量相加后输入sigmoid激活层，得到特征通道权重空间注意力模块将经过最大池化和平均池化的特征向量堆叠起来，通过卷积将堆叠的特征向量变通道数为1的特征向量，然后经过sigmoid激活层，得到特征空间权重。10.根据权利要求9所述的柔印标签的在线缺陷检测方法，其特征在于，特征图输入全连接层实现分类，因为二元交叉熵函数收敛快，而且在整批累积每像素的损失，所以将二元交叉熵作为损失函数：其中y
i
为无监督缺陷检测生成的标签，p(y
i
)为预测概率；模型生成热图中的较高值对应像素属于概率较高的缺陷，通过设置阈值对热图进行二值化，阈值公式如下：t＝μ
±
c*σ其中t为阈值，μ为热图均值，c为常数，σ为热图标准差，最后分割结果由下式给出：
其中m为热图，为二值图，为对应的像素点。

技术总结
本发明提供一种柔印标签的在线缺陷检测方法，该方法使用STN端到端网络来校正图案，避免了传统的局部匹配时间长的问题，校正后训练样本和测试样本的结构位置都大体上保持一致，所以对于细微缺陷的检测能力也有所提高；由于样本生产过程中的材质厚薄度和受力不一，在经过校正后仍不可避免的有细微差异。同时由于较薄的双面印刷的样品会有透底现象，模板与测试样品的透底图案位置偏差较大，通过做差容易导致误检。所以通过提取多个无缺陷样本的方法建立核心集，对比单一模板的做差方法，大大提高了检测结果的鲁棒性，减少了误检率和透底的影响。响。响。


技术研发人员：蔡念 龙进良 燕舒乐 肖盼 王晗 李琦
受保护的技术使用者：广东工业大学
技术研发日：2022.08.31
技术公布日：2023/1/13