一种联合主动学习和深度学习技术的工业检测方法与流程

1.本发明属于工业缺陷检测领域，涉及计算机视觉技术在工业缺陷检测领域的应用，涉及图像数据标注选择和目标检测模型改进，尤其是一种联合主动学习和深度学习技术的工业检测方法。


背景技术：

2.目前工业自动化缺陷检测产线存在的问题包括两方面：数据问题与模型自身检测性能问题。一方面，数据问题与深度学习技术出现对立现象，具体表现为：监督式的深度学习模型目前仍需要大量的数据样本，而工业自动化流水线的有缺陷数据标注需要专家经验，且标注量大、耗时费力，因此表现出有标注样本获取代价非常昂贵。另一方面，当前工业缺陷检测存在检出性能与节拍的对立，往往性能好的模型二阶段目标检测模型，其推理速度要慢于一阶段的目标检测模型，而一阶段的目标检测模型虽然速度较快，但是其检测精度受限。
3.如yolov5网络中具备的切图模块focus、spp特征金字塔模块、多尺度检测头输出等策略，可以有效地对目标对象高层和底层特征的表达，且网络中多处使用1*1卷积算子因此yolov5网络参数量较少，网络表现较为轻量。尽管yolov5网络结构在目标检测特征提取上表现良好，但由于其受限于卷积层的局部特征影响，难以有效抽取影像中的空间上下文信息，缺乏全局特征表达能力，因此在工业缺陷检测上仍存在部分精度上限。
4.因此目标检测网络在工业视觉检测存在精度和速度难以取舍，深度学习算法在工业缺陷自动检测上落地应用难，工业缺陷数据标注耗时、效率低，数据标注代价昂贵。


技术实现要素：

5.本发明提供一种联合主动学习和深度学习技术的工业检测方法，以至少解决现有技术中工业缺陷数据标注量大、耗时、效率低，目标检测网络在工业视觉检测存在精度和速度难以取舍的问题。
6.本发明提供了一种联合主动学习和深度学习技术的工业检测方法，包括以下步骤：
7.s1，构建主动学习模型，建立无标签数据池、有标签数据集；
8.s2，进行样本选择，选择出无标签数据池中不确定性和多样性较高的样本并标注，完成有标签数据集的重构；
9.s3，搭建yolov5目标检测模型；所述yolov5目标检测模型是在yolov5基础模型的骨干网络中嵌入注意力模块；
10.s4，采用重构的有标签数据集对yolov5目标检测模型进行模型训练，经过在有标签的验证集上做模型评估后满足要求后，停止迭代训练，即获得yolov5网络模型，最终完成模型上线部署。
11.进一步地，所述注意力模块为sa注意力模块，将通道信息分成子模块。
12.更进一步地，所述sa注意力模块通过shuffle unit同时构建空间注意力和通道注意力。
13.更进一步地，所述sa模块放入骨干网络中除第一个残差组件以外的残差组件后面。
14.进一步地，所述样本选择，基于不确定性的启发式采样方法，查询出当前学习模型最难以确定其类别标签的样本。
15.更进一步地，所述主动学习模型采用熵率作为样本信息含量的依据。
16.更进一步地，所述熵率计算公式如下：
[0017][0018]
p(yj|xi)＝1/(1 dxp(t
ij
))
[0019]
其中，p(y_j|x_i)表示任意一个样本x_i属于第j类的后验概率，m为类别数目，t_ij表示神经网络的分类头输出，熵率e越大表示样本的分类模糊度越大，其信息越丰富，对分类模型的性能提升越大。
[0020]
更进一步地，样本选择还基于余弦角距离的样本间相似性度量准则。
[0021]
更进一步地，所述余弦角距离度量公式如下：
[0022][0023]
式中，x＝[x1，x2，......，x
n-1
，xn]，y＝[y1，y2，......，y
n-1
，yn]分别为具有n维特征向量的样本，其两个向量间的余弦夹角值cos《x，y》直接反映两向量间的相似性程度，且cos《x，y》值的大小与相似程度成负相关关系。
[0024]
更进一步地，所述样本选择为等权结合熵值和余弦相似度，按照等权的结果对无标签数据池中所有样本进行从小到大排序，基于排序结果选择前若干个样本进行标注。
[0025]
本发明相对于现有技术，在模型训练过程中采用主动学习技术查询无标注数据集，择优挑选“最有价值”的样本，从而降低人工标注数量和成本；同时基于yolov5模型添加注意力模块，模型改进，提高检测模型的全局上下文语义信息表达能力，有效提升模型的检测性能，实现较低的漏杀和过杀目标。
附图说明
[0026]
图1为本发明流程图；
[0027]
图2为本发明改进的主动学习流程图；
[0028]
图3为本发明中shuffe attention模块示意图；
[0029]
图4为本发明添加sa模块的yolov5网络示意图
具体实施方式
[0030]
为了使本技术领域的人员更好地理解本发明方案，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不
是全部的实施例。
[0031]
本实施例公开的联合主动学习和深度学习技术的工业检测方法，如图1所示，所述方法包括以下步骤：
[0032]
s1，构建主动学习模型，建立无标签数据池、有标签数据集；
[0033]
s2，进行样本选择，选择出无标签数据池中不确定性和多样性较高的样本并标注，完成有标签数据集的重构；
[0034]
s3，搭建yolov5目标检测模型；所述yolov5目标检测模型是在yolov5基础模型的骨干网络中嵌入注意力模块；
[0035]
s4，采用重构的有标签数据集对yolov5目标检测模型进行模型训练，获得yolov5网络模型。
[0036]
具体的，首先数据粗清洗，在大量无标签数据集合中剔除部分无目标区域的废图、切割划分过大的图像、不同色调的图像间彼此迁移增强；通过粗清洗后的数据，人工划分训练集合和验证集合，可选的训练与验证集合占比约为7：3。|
[0037]
本实施例分别从数据标注和模型性能优化两方面出发，在数据标注方面引入主动学习技术，查询策略兼顾样本的不确定性和多样性。优选具有衡量模型性能的强代表性能力，“有价值”的样本，大大降低样本标注数量，降低人工标注成本，迅速提升模型性能。在检测模型优化方面，在yolov5基础模型的骨干网络中嵌入注意力模块,基于改进的yolov5模型可有效兼顾检测精度和检测速度。
[0038]
优选的，所述样本选择，基于不确定性的启发式采样方法，查询出当前学习模型最难以确定其类别标签的样本。
[0039]
其中，所述主动学习模型采用熵率作为样本信息含量的依据。
[0040]
其中，样本选择还基于余弦角距离的样本间相似性度量准则。
[0041]
具体的，主动学习的核心步骤是样本查询函数的设计，本发明提出的主动学习技术是基于不确定性的启发式采样方法，该方法的主要目的是查询出当前学习模型最难以确定其类别标签的样本，这样的样本被认为是最具模糊度以及最具信息量。
[0042]
由于深度神经网络经过了软最大化softmax后验概率输出，因此本发明中的主动学习技术采用熵率作为样本信息含量的依据；尽管不确定采样策略选取的样本信息量大，但因每次挑选的多个样本距离分类面都较近，这些样本之间存在大量的信息冗余，对分类器模型的改善作用有限，同时不必要地增加了人工标注成本。为此，本实施例在度量样本模糊度方法的基础上，进一步改进样本选择策略，提出基于余弦角距离的样本间相似性度量准则。
[0043]
如图2所示，本实施例先通过均值聚类算法对整个训练数据集进行聚类，取每个簇中距离质心最近的样本组成初始训练样本；然后根据目标检测模型度量无标签数据池中的样本信息熵及余弦距离，挖掘各未标记样本的不确定性和多样性中较高的样本，交给人工标注，完成有标签样本集的重构，最后基于此重构后的有标签样本集进行目标检测模型的训练，迭代以上样本查询、样本集合重构和模型训练步骤，直至模型性能达到工业生产线上的稳定生产要求。
[0044]
本实施例中由于采用主动学习，根据既定准则或查询条件，识别模型在迭代训练过程中，从未标注样本集中选择最能提高模型性能的样本，主动反馈交由人工标注，因此迭
代训练获得性能优异的分类或检测模型，可克服现有技术采用的监督式分类或目标检测模型训练样本获取代价昂贵的缺陷。
[0045]
优选的，所述熵率计算公式如下：
[0046][0047]
p(yj|xi)＝1/(1 exp(t
ij
))
[0048]
上式中，p(yj|xi)表示任意一个样本xi属于第j类的后验概率，m为类别数目，t
ij
表示神经网络的分类头输出。熵率e越大表示样本的分类模糊度越大，其信息越丰富，对分类模型的性能提升越大。
[0049]
优选的，所述余弦角距离度量公式如下：
[0050][0051]
式中，分别为具有n维特征向量的样本，其两个向量间的余弦夹角值cos《x，y》可直接反映两向量间的相似性程度，且cos《x，y》值的大小与相似程度成负相关关系。
[0052]
优选的，所述样本选择为等权结合熵值和余弦相似度，按照等权的结果对无标签数据池中所有样本进行从小到大排序，基于排序结果选择前num个样本进行标注。
[0053]
本实施例综合考虑不确定性和多样性的主动学习过程如下：
[0054]
输入：初始有标签训练集l，无标签样本池u，迭代样本数量num，验证集val，模型迭代停止条件c
[0055]
输出：已训练好的目标检测模型m
[0056]
过程如下：
[0057]
重复：
[0058]
s11：利用l训练建立/更新检测模型m；
[0059]
s12：用模型m预测得到u中各样本的后验概率，基于信息熵的启发方法计算出u中各样本的熵值大小e；
[0060]
s13：利用上式中的余弦角距离计算方法，计算出u中各样本间的相似性程度d；
[0061]
s14：等权结合熵值e和余弦相似度d，按照等权的结果对u中所有样本进行从小到大排序；
[0062]
s15：基于s4排序结果选择前num个样本构成集合s，交给领域专家标注获取标签label，连同样本和标签构成数据集合v＝{s,label}；
[0063]
s16：更新训练集l和无标签样本池u：l＝l∪v，u＝u\v；
[0064]
s17：评估val，直到满足设置的迭代停止条件c时则停止，输出最终目标检测模型m。
[0065]
优选的，所述注意力模块为sa注意力模块，将通道信息分成子模块。
[0066]
如图3所示，本实施例提出一种改进的yolov5检测模型，在该网络模型中，引入即插即用的空间注意力机制shuffe attention模块。
[0067]
sa的设计思想结合组卷积、空间注意力机制、通道注意力机制、shufflenetv2。该模块首先将tensor划分为g个组，每个组内部使用sa unit进行处理。sa内部分为空间注意力机制以及通道注意力机制。sa unit通过concate的方式将组内部的信息进行融合。最后使用channel shuffle操作对组进行重排，不同组之间进行信息流通。因此该注意力模块可以有侧重点的关注有用的特征信息，抑制不重要的特征。
[0068]
本实施例中组卷积是为了降低计算量；空间注意力机制使用gn实现；通道注意力机制类似senet；shufflenetv2是使用channel shuffle融合不同组之间的信息。
[0069]
优选的，所述sa注意力模块通过shuffle unit同时构建空间注意力和通道注意力。
[0070]
具体的如图4所示，本实施例将shuffe attention模块嵌入到原始的骨干网络中，将其放在骨干中除第一个残差组件外的其它残差组件后面。主要是考虑到sa模块在通道数较多时其作用更加明显。可选的，本发明将sa模块放入骨干网络中的后三个残差组件，其余yolov5模型部分不做任何改变，在训练时可直接加载预训练的模型参数。
[0071]
本实施例中使用sa模块将通道信息分成子模块。sa模块通过shuffle unit同时构建空间注意力和通道注意力。对于每个注意力子模块，在所有的位置设计了一种注意力机制mask来减小可能的噪声并强调正确的语义特征区域。通过以上方法改进yolov5网络，可以有效提取图像中的目标位置和空间上下文信息，从而明显提升目标的识别能力。在不引入过多参数的情况下，本实施例选取yolov5作为基准模型，并基于该模型添加通道和空间注意力机制，整体网络不仅轻量，而且提升目标检测网络的精度，提升工业缺陷的检出能力和泛化性能。
[0072]
本发明在工业自动化缺陷检测中，从样本选择和特征工程两个角度出发，提出了一种联合主动学习和深度学习技术的检测方法。在样本选择方面，利用主动学习技术在训练模型的过程中择优挑选更具代表性和多样性的样本，有效降低人工标注的高昂时间和经济成本。在特征工程方面，以性能良好的yolov5为基础模型做改进，在骨干网络中嵌入sa注意力模块，在无明显参数量增加的情况下，有效提升了模型的空间上下文表达能力，使得缺陷检出率得到明显提高，误检率明显下降。
[0073]
在一些实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述产品缺陷检测数据处理方法的步骤。
[0074]
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述产品缺陷检测数据处理方法的步骤。
[0075]
应该理解的是，虽然本技术各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0076]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以
通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0077]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解，技术人员阅读本技术说明书后依然可以对本发明的具体实施方式进行修改或者等同替换，但这些修改或变更均未脱离本发明申请待批权利要求保护范围之内。