一种基于正样本诱导的不平衡异常图像检测方法

1.本发明属于图像处理技术领域，更具体地，涉及一种基于正样本诱导的不平衡异常图像检测方法。


背景技术：

2.工业质检是产品出厂或者工件进入下一生产节拍的重要步骤，需要检出不同于正常产品(或者工件)的异常产品，其往往在生产过程中受到表面损伤等缺陷破坏。图像处理技术往往用于工业质检，通过布置的工业相机对待检测件进行图像采集，对采集的图像进行处理、分析，来判别是否为异常件，来辅助人工进行质检从而提高生产效率。
3.实际生产过程中，由于异常工件的发生频率较低，所采集到的异常工件的图像数量远远少于正常工件的图像数量。因此，在实际质检场景中，产生了正负样本不平衡的问题，一般的分类方法或者基于无监督的异常图像检测方法往往难以解决此类问题。同时，由于生产工艺的低可控性和高复杂性，导致产品或者工件异常的问题往往不一，从而导致采集到的异常图像中的异常区域位置多变、尺度不一、形状多样等等，进一步增加了异常图像检测的难度。


技术实现要素：

4.针对现有技术的缺陷和改进需求，本发明提供了一种基于正样本诱导的不平衡异常图像检测方法，旨在解决实际场景中正负样本不平衡的问题。
5.为实现上述目的，第一方面，本发明提供了一种基于正样本诱导的不平衡异常图像检测模型的训练方法，包括：
6.确定训练样本集，所述训练样本集中的样本为已打上标签的训练图像；其中，标签为0表示负样本，标签为1表示正样本；
7.根据所述训练样本集，通过损失函数对初始神经网络进行训练，以获得异常图像检测模型；
8.其中，所述损失函数l
pli
表示为：
[0009][0010]
式中，nb表示一个批次训练样本的总数，xi和yi分别表示该批次训练样本中第i张训练图像及对应的标签，yi为0或1，p0和p1分别表示该批次训练样本中负样本和正样本的频率，f
θ
(xi)[0]和f
θ
(xi)[1]分别表示将第i张训练图像预测为负样本和正样本的分类分数。
[0011]
第二方面，本发明提供了一种基于正样本诱导的不平衡异常图像检测模型的训练方法，包括：
[0012]
确定训练样本集，所述训练样本集中的样本为已打上标签的训练图像；其中，标签为0表示负样本，标签为1表示正样本；
[0013]
根据所述训练样本集，通过损失函数对初始神经网络进行训练，以获得异常图像
检测模型；
[0014]
其中，所述损失函数l
psi
表示为：
[0015]
l
psi
＝l
pli
λ
·
l
pfc
[0016][0017][0018][0019]
式中，l
pli
表示正样本分类分数诱导损失，nb表示一个批次训练样本的总数，xi和yi分别表示该批次训练样本中第i张训练图像及对应的标签，yi为0或1，p0和p1分别表示该批次训练样本中负样本和正样本的频率，f
θ
(xi)[0]和f
θ
(xi)[1]分别表示将第i张训练图像预测为负样本和正样本的分类分数；l
pfc
表示正样本特征对比损失，n
b0
表示该批次训练样本中负样本个数，f
θ
表示神经网络f
θ
所提取的特征；λ表示损失调节权重。
[0020]
第三方面，本发明提供了一种基于正样本诱导的不平衡异常图像检测方法，包括：
[0021]
获取待检测图像；
[0022]
利用如第一方面或第二方面所述的基于正样本诱导的不平衡异常图像检测模型的训练方法训练好的异常图像检测模型预测所述待检测图像的异常分数；
[0023]
将所述异常分数大于分数阈值的待检测图像判别为异常图像。
[0024]
进一步地，将所述训练样本集中的负样本均等划分为k份，得到k个负样本子集，向每一所述负样本子集中添加所述训练样本集中的正样本，形成k个新的训练样本集；
[0025]
根据每一所述新的训练样本集，训练得到对应的异常图像检测模型；
[0026]
根据训练好的k个异常图像检测模型预测所述待检测图像的异常分数。
[0027]
进一步地，将训练好的k个异常图像检测模型预测得到的异常分数的均值作为所述待检测图像的异常分数。
[0028]
第四方面，本发明提供了一种基于正样本诱导的不平衡异常图像检测模型的训练系统，包括：计算机可读存储介质和处理器；
[0029]
所述计算机可读存储介质用于存储可执行指令；
[0030]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第一方面或第二方面所述的方法。
[0031]
第五方面，本发明提供了一种基于正样本诱导的不平衡异常图像检测系统，包括：计算机可读存储介质和处理器；
[0032]
所述计算机可读存储介质用于存储可执行指令；
[0033]
所述处理器用于读取所述计算机可读存储介质中存储的可执行指令，执行如第三方面所述的方法。
[0034]
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0035]
(1)本发明提出的正样本分类分数诱导损失函数，相比于普通的交叉熵损失而言，
通过引入样本标签频率迫使分类器对正样本至少具有的裕度进行检测，因此可以有效缓解不平衡问题；同时，通过引入标签信息利用正样本持续优化神经网络参数。如此，在标签频率和正样本持续鼓励参数优化两方面，对样本的反向传播损失进行约束，调节深度神经网络f
θ
的参数θ进行有效特征表达和扩大分类裕度。
[0036]
(2)本发明在正样本分类分数诱导损失的基础上，考虑到异常区域在图像中位置多变、尺度不一、形状多样等问题，提出正样本特征对比损失，使得在训练过程中，约束正、负样本在特征空间中的距离关系，迫使正样本在特征空间中远离负样本。如此，保证了分类器有效性并同时引导深度神经网络更加关注异常区域本身，进一步提升了不平衡的异常图像检测的有效性。
[0037]
(3)本发明将训练样本集中的负样本均等划分为k份，得到k个负样本子集，再向每一负样本子集中都添加训练样本集中的所有正样本，形成k个新的训练样本集；根据每个新的训练样本集，训练得到对应的异常图像检测模型；最终在推理阶段，融合所有新的训练样本集训练的模型进行检测。通过集成的方式，进一步提升了正样本极少的情况下，异常图像检测的有效性和准确性。
附图说明
[0038]
图1为本发明实施例提供的基于正样本诱导的不平衡异常图像检测模型的训练方法的流程示意图之一；
[0039]
图2为本发明实施例提供的基于正样本诱导的不平衡异常图像检测模型的训练方法的流程示意图之二；
[0040]
图3为本发明实施例提供的印刷电路板缺陷异常的关注图，其中，第一行和第三行分别是印刷电路板缺陷异常图像，黑色框中是异常区域，第二行和第四行分别是模型所关注的异常关注图；
[0041]
图4为本发明实施例提供的眼底病变异常的关注图，其中，第一行和第三行分别是眼底病变异常图像，黑色框中是异常区域，第二行和第四行分别是模型所关注的异常关注图。
具体实施方式
[0042]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0043]
在本发明中，异常样本定义为正样本，正常样本定义为负样本。
[0044]
参阅图1，结合图2，本发明提供了一种基于正样本诱导的不平衡异常图像检测模型的训练方法，包括操作s1和操作s2。
[0045]
操作s1，确定训练样本集，所述训练样本集中的样本为已打上标签的训练图像；其中，标签为0表示负样本，标签为1表示正样本。
[0046]
本实施例中，给定训练的标注图像样本集yi表示图像xi的标签，yi＝0表示负样本(正常样本)，yi＝1表示正样本(异常样本)，其中负样本的频率p0远远大于正样本的频率p1，实际场景中往往p1:p0≤0.5％:1。
[0047]
操作s2，根据所述训练样本集，通过损失函数对初始神经网络进行训练，以获得异常图像检测模型。
[0048]
本实施例中，通过训练样本集来进行深度神经网络模型f
θ
学习，来判别待测试的样本是否为异常。
[0049]
由于训练样本集中的正样本远远少于负样本，通过采取一般的交叉熵损失进行深度神经网络训练的模型往往偏向去负样本进行分类，无法学习有效的样本特征表达和分类器。为解决此问题，本发明提出的一种正样本分类分数诱导损失通过引入样本标签的频率和正样本的持续优化进行优化调节深度神经网络权重，来处理不平衡的异常图像检测问题，其表达如下：
[0050][0051]
式中，nb表示一个批次训练样本的总数，xi和yi分别表示该批次训练样本中第i张训练图像及对应的标签，yi为0或1，p0和p1分别表示该批次训练样本中负样本和正样本的频率，f
θ
(xi)[0]和f
θ
(xi)[1]分别表示将第i张训练图像预测为负样本和正样本的分类分数。
[0052]
从上式可以看出，相比于普通的交叉熵损失log(1 exp(f
θ
(xi)[1-yi]-f
θ
(xi)[yi]))而言，本发明提出的正样本分类分数诱导损失引入了样本标签信息以及样本标签的频率。具体地：
[0053]
1)引入样本标签的频率。在训练过程中，由于p1＜＜p0，因此数值非常大，且又需要在优化过程中尽量使得最小化，那么必须使得正样本的成立，需要迫使分类器对正样本至少具有的裕度进行检测，因此可以有效缓解不平衡问题。
[0054]
2)引入样本标签信息。由于正样本极少，在训练过程中，很容易被神经网络进行良好分类，从而失去对神经网络参数优化的有效性和其特征的判别表达性，对此，引入标签信息利用正样本持续优化神经网络参数，正样本分类分数诱导损失的反向传播公式如下：
[0055][0056][0057]
尽管当少量的正样本被分类器良好分类后，其反向传播梯度依然很大。对于仅引入样本标签的频率的交叉熵损失而言，其梯度反向传播为因此当正样本优化时，同时引入样本标签信息以及样本标签的频率的损失和仅引入样本标签的频率的损失所产生的梯度分别是即使δ0趋近于0，正样本产生的梯度比例高达那么正样本仍然可以引导网络参数进行持续优化。本文提出的一种正样本分类分数诱导损失在标签频率和正样本持续鼓励参数优化两方面，对样本的反向传播损失进行约束，调节深度神经网络f
θ
的参数θ进行有效特征表达和扩大分类裕度。
[0058]
此外，上述正样本分类分数诱导损失可以有效处理正样本极少的不平衡分类问题，但是忽视了异常检测问题，未考虑异常区域在图像中位置多变、尺度不一、形状多样等等问题。通过正样本分类分数诱导损失训练出的模型对异常区域的关注度有待提升，因此本发明通过提出的一种正样本特征对比损失来进一步处理此问题，进一步提升异常样本的特征判别性，引导深度神经网络模型更加关注图像中的异常区域。
[0059]
基于此，本发明还提供了另一种基于正样本诱导的不平衡异常图像检测模型的训练方法，包括：
[0060]
确定训练样本集，所述训练样本集中的样本为已打上标签的训练图像；其中，标签为0表示负样本，标签为1表示正样本；
[0061]
根据所述训练样本集，通过损失函数对初始神经网络进行训练，以获得异常图像检测模型；
[0062]
其中，所述损失函数l
psi
表示为：
[0063]
l
psi
＝l
pli
λ
·
l
pfc
[0064]
[0065][0066][0067]
式中，l
pli
表示正样本分类分数诱导损失，nb表示一个批次训练样本的总数，xi和yi分别表示该批次训练样本中第i张训练图像及对应的标签，yi为0或1，p0和p1分别表示该批次训练样本中负样本和正样本的频率，f
θ
(xi)[0]和f
θ
(xi)[1]分别表示将第i张训练图像预测为负样本和正样本的分类分数；l
pfc
表示正样本特征对比损失，n
b0
表示该批次训练样本中负样本个数，f
θ
表示神经网络f
θ
所提取的特征；λ表示损失调节权重。
[0068]
一种正样本诱导损失通过对分类器和特征在训练阶段进行同时约束，保证了分类器有效性并同时引导深度神经网络模型更加关注异常区域本身，进一步提升了不平衡的异常图像检测的有效性。最终，神经网络模型f
θ
的更新如下：
[0069][0070]
其中，η,t分别表示学习率和更新时刻。
[0071]
在推理阶段，本发明将通过提出的一种正样本诱导损失训练出的深度神经网络模型f
θ
对待测试样本进行异常判别，如下：
[0072][0073]
其中表示待测试样本的异常分数，其大于设定的阈值则判别为异常图像，否则判别为正常图像。同时，本发明利用梯度反传技术cam，来获取深度神经网络模型f
θ
对异常区域的关注图如下：
[0074][0075]
因此，进一步获取的异常区域关注图可以帮助分析模型对异常区域是否进行了关注和特征表达，同时，可以辅助工人进一步分辨是否为异常。如图3和图4所示，展示了印刷电路板缺陷异常检测和眼底病变异常检测的关注图，体现了本文提出方法的有效性。
[0076]
为了进一步提升不平衡的异常图像检测有效性和准确性，本发明提出了将训练样本集中的负样本均等划分为k份到每个子集，但所有的正样本都划分到每个子集，采用所提出的一种正样本诱导损失来对每个子集训练出模型如图2所示。最终在推理阶段，融合所有子集的训练的模型进行检测，如下：
[0077][0078]
此方法通过集成的方式，进一步提升了正样本极少的情况下，异常图像检测的有效性和准确性。
[0079]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。