基于无监督学习的缺陷检测系统及方法与流程

youkachen等提出了一种基于卷积自编码器和重构图像处理的热轧带钢表面缺陷分割方法，利用卷积自编码器(cae)通过重构缺陷图像来提取形状特征(s.youkachen,m. ruchanurucks,t.phatrapomnant,h.kaneko,defect segmentation of hot-rolled steel stripsurface by using convolutionalauto-encoder and conventional image processing,in:2019 10thinternational conference of information and communication technology forembedded systems (ic-ictes),2019)。尽管无监督学习不需要标记样本进行训练，但它容易受到噪声和初始值的影响。
5.由于基于cnn的模型通常需要训练大量的标记图像以得到良好的检测性能，但在大多数工业领域难以提前收集大量的形状、大小和类型多样的缺陷样本，影响了上述方法的检测效果。同时，缺陷纹理和产品表面纹理之间的差异很小，重复结构化纹理表面的缺陷和背景之间的对比度较低，上述方法在此类数据集上的检测性能较差。对于具有重复结构纹理的表面，背景是连续的；然而，缺陷的存在使得这些表面纹理不连续且不一致，如图1 所示。在这种情况下，由于缺陷的不同形状、大小和低对比度，很难对缺陷进行建模，但是对重复的背景纹理建模会更容易。f.timm等提出了使用weibull特征的非参数纹理缺陷检测，首先计算了局部区域图像梯度分布的weibull拟合参数，并通过欧氏距离确定是否存在缺陷(f.timm,e.barth,non-parametric texture defect detection usingweibull features, proceedings of spie-the international society foroptical engineering 7877(2011))。尽管如此，该方法仍只是适用于缺陷区域较大且背景与缺陷的纹理特征差异也很大的检测，而不能应用于多种不同领域的检测，泛化性较低。
6.综上所述，在大多数工业领域，难以收集到大量的标记图像用于基于监督学习的cnn 模型训练；而且，不仅模型训练过程耗时，而且模型计算量极大，使其难以部署在计算资源有限的便携式设备上。此外，现有的显著性图像分析方法缺乏对图像纹理分析，泛化性低。因此，亟待开发一种网络结构简单、计算量小、泛化性高的缺陷检测技术，满足工业领域对产品缺陷的高效、准确检测。


技术实现要素：

7.针对目前基于深度学习的缺陷检测方法存在的泛化性差、效率低、准确度不高等问题，本发明目的旨在提供一种基于无监督学习的缺陷检测系统，利用pca滤波构建简单的无监督学习网络，能够高效地将缺陷从背景区域中区分开来，从而实现对缺陷的有效识别。
8.本发明的发明思路为：在大多数工业领域，产品表面是结构化的、连续的纹理，人眼很难发现对比度低的缺陷。此外，缺陷的形态具有多样性，对于缺乏大量无偏标记样本的缺陷检测任务而言，很难满足监督学习方法的需求。由于正常产品表面是重复的结构化纹理，缺陷具有非结构化和低对比度等特征，因此本发明利用基于pca滤波的方法，使用多层pca滤波卷积提取表面图像纹理的主成分，将缺陷从背景区域中区分开来，并尽可能保留原始图像的丰富特征，通过放大缺陷和正常表面之间的显著特征来检测缺陷。
9.基于上述发明思路，本发明提供的基于无监督学习的缺陷检测系统，其包括：
10.基于pca滤波卷积的特征提取单元，用于对待处理图像的纹理特征进行提取；其包括级联在一起的至少两层pca滤波卷积层和位于最后一层pca滤波卷积层后的自适应特征融合模块；pca滤波卷积层由一个以上的pca滤波器构成，前一层pca滤波卷积层的各pca滤
波器输出分别作为后一层pca滤波卷积层各pca滤波器的输入；自适应特征融合模块用于将最后一层pca滤波卷积层输出的各特征图像进行融合；
11.图像强度分布处理单元，用于获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域；
12.缺陷提取单元，用于通过距离变换获得检测缺陷结果。
13.上述基于pca滤波卷积的特征提取单元，各pca滤波卷积层结构类似，对于任一pca 滤波卷积层，其目的是采用正交变换将一组潜在相关的变量转换为作为主成分的线性不相关变量。设pca滤波卷积层的卷积核大小为k
×
k，假设输入图像o的大小为w
×
h，收集经卷积核大小k
×
k卷积提取输入图像的所有图像块，即p1，p2，p3，...，pi，...∈r
kk
。其中pi表示第 i个图像块。为了减少特征的冗余信息，利用协方差表示两个变量的相关性以此来约束高维数据。确保每个维度的均值和单位方差为零，接着从每个图像块中去除均值以求解协方差矩阵并获得
[0014][0015]
其中，并且是一个去均值后的图像块。是一个大小的新矩阵。假设∑是的协方差矩阵，那么
[0016][0017]
其中，c
ij
表示和的协方差，因此得到了矩阵的主成分分量。
[0018]
假设存在正交矩阵通过正交变换得到进而推断出通过最大化可以求取每个维度的方差之和。因此将问题转为求取：
[0019][0020]
s.t.aa
t
＝in×nꢀꢀ
(4)
[0021]
其中in×n是一个大小为n
×
n的单位矩阵。
[0022]
根据拉格朗日乘子法，可以求解特征向量和特征值，并将特征值按照从大到小顺序排列，取前n个特征值对应的特征向量作为的前n维主特征向量因此pca滤波器可以表达为：
[0023]
[0024]
其中，f
l
表示第l个滤波器，mat
k，k
(v)表示将v∈r
kk
映射至矩阵f∈rk×k，l(
·
)代表的n维主特征向量。至此，自适应pca滤波的卷积核提取完成。利用n个pca滤波器来获取输入图像的特征，得到各滤波器的输出为
[0025]ol
＝o*f
l，
l＝1，2，...
，nꢀꢀ
(6)
[0026]
其中，*表示卷积。
[0027]
本发明中，所述基于pca滤波卷积的特征提取单元包括两层pca滤波卷积层(第一层pca滤波卷积层和第二层pca滤波卷积层)；每层pca卷积层包括2～9个pca滤波器，即n的取值范围为2～9。以n1表示第一层pca滤波卷积层的数量，n2表示第二层pca 滤波卷积层的数量，则第二层pca滤波卷积层共输出n1×
n2张图像，因此，可以提取图像特征并获得显著性特征图。如有必要，可以增加pca滤波卷积层的层数。
[0028]
pca滤波卷积层的每个输出图像分别包含了不同的纹理信息。将最后一层pca滤波卷积层输出的各个图像输入至自适应特征融合模块进行图像融合。由于图像的方差可以反映图像的对比度，因此本发明中，所述自适应特征融合模块充分利用方差作为权重来融合图像。这里，包含了大量主要纹理信息的融合图像被定义为：
[0029][0030]
其中，om表示最后一层pca滤波卷积层的第m张输出图像，wm表示om的方差。可以将图像ω进一步归一化至[0，255]，这样使图像能够消除其他变换函数对图像变换的影响，便于后续的图像处理。将多个有缺陷的图像输入到这个级联的基于pca滤波卷积的特征提取单元网络中进行训练，便可实现对图像纹理信息的有效提取，获得显著性特征，从而用于产品缺陷检测。
[0031]
上述图像强度分布处理单元，通过基于pca滤波卷积的特征提取单元获得显著性特征，然后进一步分析显著性特征的分布特征来获得缺陷。考虑到背景与前景(即缺陷)可能具有大致相同的灰度值，可以简单地通过强度分布区分不同的区域以强调缺陷。具体地说，可以将融合图像ω分成大小为p
×
p的图像块，然后计算每个图像块的平均灰度值，便可得到图像块灰度强度分布图，然后依据灰度强度分布图，将融合图像分为背景区域和缺陷区域。为了对两者进行区分，本发明中设定了灰度阈值(例如以两倍的图像平均灰度值作为灰度阈值)，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置(例如重置为255)作为缺陷区域(即前景)，以突出缺陷区域，这样获得了一个粗略的检测结果。为了准确定位缺陷，还需要后续更多的图像分析和处理。
[0032]
上述缺陷提取单元，首先通过距离变换获得缺陷区域，进一步去除图像中的噪声，保留缺陷。距离变换以距离值作为灰度值，反映了前景像素p(p∈z
→
{1})和背景像素q (q∈z
→
{0})之间的距离关系，将“1”视为前景像素，将“0”视为背景像素。具体来说，灰度值随着距离的增加而变大，因此距离变换可以用来得到与缺陷有很大相似性的区域。因为距离变换是关于二值图像的算法，所以首先将图像进行二值化处理(ω∈z
→
{0，1})，即将图像强度分布处理单元得到的融合图像ω中缺陷区域像素点灰度值置1，背景区域像素点灰度值置0，得到二值化图像z。再通过距离变换得到距离特征图。这里距离变换定义为：
[0033][0034]
其中，(x
p
，y
p
)表示前景像素p在二值化图像中的位置，(xq，yq)表示背景像素q 在二值化图像中的位置。d(d∈z)是个灰度图像，它表示p和q之间的最小距离。最后以距离变换的结果作为阈值参数再次二值化，可以去除距离特征图像中的噪声，只保留缺陷。阈值定义为：
[0035][0036]
其中，θ(x，y)表示检测结果图像中第x行第y列对应位置的灰度值，表示图像 d的最大距离值，α是给定的常系数，d(x，y)表示距离灰度图像d中第x行第y列对应位置的灰度值。至此，可以得到精确的缺陷检测结果。
[0037]
本发明进一步提供了一种基于无监督学习的缺陷检测方法，利用前面给出的缺陷检测系统按照以下步骤进行：
[0038]
s1通过基于pca滤波卷积的特征提取单元对待处理图像的纹理特征进行提取，包括以下分步骤：
[0039]
s11通过级联在一起的至少两层pca滤波卷积层对输入的待处理图像进行卷积处理；前一层pca滤波卷积层的各pca滤波器输出分别作为后一层pca滤波卷积层各pca滤波器的输入；
[0040]
s12通过自适应特征融合模块将最后一层pca滤波卷积层输出的各特征图像进行融合，得到融合图像；
[0041]
s2通过图像强度分布处理单元获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域；
[0042]
s3基于距离变换，通过缺陷提取单元获得检测缺陷结果。
[0043]
上述步骤s3包括以下分步骤：
[0044]
s31将步骤s2划分出缺陷区域和背景区域的融合图像进行二值化处理，得到二值化图像；
[0045]
s32依据二值化图像，通过距离变换得到距离特征图；
[0046]
s33对距离特征图进行阈值二值化处理，获得保留有缺陷的最终检测结果。
[0047]
本发明针对缺陷和产品表面纹理的低对比度而导致的缺陷难以检测的问题，提出了一种简单的无监督学习的缺陷检测系统及方法：首先，使用多层主成分分析(pca)卷积提取表面图像的主成分，由此作为少数类别的缺陷与多数背景区分开来；然后，引入自适应特征融合策略来融合pca特征图并生成缺陷显著性图像；最后，利用强度分布和距离变换进一步提取基于显著图的缺陷。本发明在三个不同的数据集(dagm、kolektorsdd和内部数据集)上进行了评估，实验结果表明本发明提供的无监督学习的缺陷检测系统及方法能够检测各种尺寸和形状的缺陷。此外，与现有的缺陷检测方法相比，本发明在更少的参数量和计算量的条件下检测性能良好，并且不依赖于训练数据。
[0048]
本发明提供的基于无监督学习的缺陷检测系统及方法具有以下有益效果：
[0049]
(1)本发明首先基于pca滤波卷积，将缺陷和背景区分开，再基于自适应特征融合策略生成缺陷显著性图像，然后利用图像强度分布和距离变换从显著性图像中提取出缺陷；由于不需要有监督学习，因此避免了收集标记数据集进行训练，同时还减少了计算量；实验表明，本发明即使在对计算量和数据集要求很小的场景情况下，仍能取得良好的性能。
[0050]
(2)本发明为基于视觉的缺陷检测提供了一种高效且低成本的解决方案。
[0051]
(3)本发明所使用的特征提取单元基于pca滤波卷积原理，通过提取表面图像的重复的结构化纹理的主成分，破坏背景连续性的缺陷将尤其突出，因此利用缺陷与背景之间的差异将二者区分，从而解决缺陷与背景低对比度难以识别的问题。
[0052]
(4)本发明在几个公开的缺陷检测数据集(dagm、kolektorsdd)和内部数据集上均得到验证，证明了本发明对各个工业领域的广泛适用性。
附图说明
[0053]
图1为不同场景下具有重复结构纹理下的低对比度缺陷示意图；其中(a)对应dagm 2007 数据集中模拟布匹纹理结构下的缺陷样本，(b)对应dagm 2007数据集中模拟钢铁表面侵蚀点缺陷样本，(c)对应电子换向器表面裂缝缺陷样本。
[0054]
图2为实施例1基于无监督学习的缺陷检测系统的原理示意图。其中，(a)对应输入的原始图，(b)对应基于pca滤波的卷积过程，(c)对应经特征融合后的显著性图像，(d) 对应根据特征图的灰度强度分布而得到的缺陷区域增强图，(e)对应距离变换后的结果图。
[0055]
图3为基于pca滤波卷积的特征提取单元不同卷积核尺寸下获取的显著性图像；其中(a) 对应原始图像，(b)对应卷积核大小为3
×
3，(c)对应卷积核大小为5
×
5，(d)对应卷积核大小为7
×
7，(e)对应卷积核大小为9
×
9。
[0056]
图4为图像强度分布示意图；其中，(a)对应原始图像，(b)对应经过了pca滤波卷积后的显著性图像，(c)以三维图的方式，形象地展示了缺陷区域和背景区域的强度分布特性。
[0057]
图5为应用本发明提供的基于无监督学习的缺陷检测系统在dagm 2007数据集上不同类型子集上的缺陷检测结果；其中，(a)对应原始图像，(b)对应基于pca滤波卷积的特征提取单元处理得到的显著性图像，(c)对应缺陷提取单元经距离变换后得到的距离特征图， (d)对应距离特征图经进一步阈值二值化处理结果。
[0058]
图6为应用本发明提供的基于无监督学习的缺陷检测系统在kolektorsdd数据集上的缺陷检测结果；其中，(a)为原始图像，(b)为基于pca滤波卷积的特征提取单元处理得到的显著性图像，(c)为缺陷提取单元经距离变换后得到的距离特征图，(d)为距离特征图经进一步阈值二值化处理结果，(e)为标签图像。
[0059]
图7为应用本发明提供的基于无监督学习的缺陷检测系统在gis数据集上的缺陷检测结 果；其中，(a)为原始图像，(b)为基于pca滤波卷积的特征提取单元处理得到的显著性 图像，(c)为缺陷提取单元经距离变换后得到的距离特征图，(d)为距离特征图经进一步 二值化处理结果。
具体实施方式
[0060]
结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述实施
例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明。
[0061]
实施例1
[0062]
本实施例提供的基于无监督学习的缺陷检测系统，如图2所示，其包括基于pca滤波卷积的特征提取单元、图像强度分布处理单元和缺陷提取单元。
[0063]
(一)基于pca滤波卷积的特征提取单元
[0064]
基于pca滤波卷积的特征提取单元，用于对待处理图像的纹理特征进行提取；其包括级联在一起的两层pca滤波卷积层和位于两层pca滤波卷积层后的自适应特征融合模块。两层pca滤波卷积层结构相似，均由2～9个pca滤波器构成。前一层pca滤波卷积层的各pca滤波器输出分别作为后一层pca滤波卷积层各pca滤波器的输入。
[0065]
本实施例中，两层pca滤波卷积层的卷积核大小相同。设pca滤波卷积层的卷积核大小为k
×
k，假设输入图像o的大小为w
×
h，收集经卷积核大小k
×
k卷积提取输入图像的所有图像块，即p1，p2，p3，...，pi，...∈r
kk
。其中pi表示第i个图像块。为了减少特征的冗余信息，利用协方差表示两个变量的相关性以此来约束高维数据。确保每个维度的均值和单位方差为零，接着从每个图像块中去除均值以求解协方差矩阵并获得
[0066][0067]
其中，并且是一个去均值后的图像块，∑pi表示pi图像块中所有像素值之和。是一个大小的新矩阵，其是融合了当前pca 滤波卷积层输入图像去均值后的图像块的新矩阵。假设∑是的协方差矩阵，那么
[0068][0069]
其中，c
ij
表示和的协方差，因此得到了矩阵的主成分分量。
[0070]
假设存在正交矩阵通过正交变换得到进而推断出通过最大化可以求取每个维度的方差之和。因此将问题转为求取：
[0071][0072]
s.t.aa
t
＝in×nꢀꢀ
(4)
[0073]
其中in×n是一个大小为n
×
n的单位矩阵。
[0074]
根据拉格朗日乘子法，可以求解特征向量和特征值，并将特征值按照从大到小顺序排列，取前n个特征值对应的特征向量作为的前n维主特征向量
因此pca滤波器可以表达为：
[0075][0076]
其中，f
l
表示第l个滤波器，mat
k，k
(v)表示将ν∈r
kk
映射至矩阵f∈rk×k，l(
·
)代表的n维主特征向量。至此，自适应pca滤波的卷积核提取完成。利用n个pca滤波器来获取输入图像的特征，得到各滤波器的输出为
[0077]ol
＝o*f
l
，l＝1，2，...，n
ꢀꢀ
(6)
[0078]
其中，*表示卷积。
[0079]
对于第一层pca滤波卷积层，取前n1维主特征向量，因此其pca滤波器数量为n1， pca滤波器可以表达为：
[0080][0081]
第一层pca滤波卷积层各pca滤波器的输出为：
[0082][0083]
对于第二层pca滤波卷积层，取前n2维主特征向量，因此其pca滤波器数量为n2， pca滤波器可以表达为：
[0084][0085]
第二层pca滤波卷积层各pca滤波器的输出为：
[0086][0087]
因此，表示第一层pca滤波卷积层的输出图像，第一层pca滤波卷积层输出n1张图像，并将这n1张图像作为第二层pca滤波卷积层的输入图像；表示第二层pca 滤波卷积层的输出图像，第二层pca滤波卷积层共输出n1×
n2张图像。
[0088]
自适应特征融合模块用于将最后一层pca滤波卷积层输出的各特征图像进行融合。本实施例中，按照以下公式给出的策略对第二层pca滤波卷积层输出的各特征图像进行融合：
[0089][0090]
其中，om表示最后一层pca滤波卷积层的第m张输出图像，wm表示om的方差。然后将融合后的图像ω进一步归一化至[0，255]，这样使图像能够消除其他变换函数对图像变换的影响，便于后续的图像处理。
[0091]
本实施例中，为了能够实现对图像纹理信息的有效提取，需要对基于pca滤波卷积单元进行训练。本实施例采取的训练方法为将若干张样本图片输入到不同卷积核大小和pca 滤波器数量的模型中，对比输出融合图像ω显示效果，以效果最佳的pca滤波卷积模型作为最终pca滤波卷积模型。由于不同的训练样本数量对检测结果的差异不足以影响实验结果。因此，本发明可以用较少的图片进行训练。
[0092]
为了说明pca滤波卷积层不同核尺寸的影响，将图3(a)原始图像输入至不同核尺寸的特征提取单元中(其中第一层和第二层pca滤波卷积层的pca滤波数量均取4，最终输出的融合图像如图3(b)-(e)所示。从图中可以看出，不同图像块大小对纹理提取有一定的影响。
[0093]
(二)图像强度分布处理单元
[0094]
图像强度分布处理单元，用于将融合图像分为背景区域和缺陷区域。
[0095]
本实施例中，先将归一化后的融合图像ω分成大小为3
×
3的图像块，然后计算每个图像块的平均灰度值，并依据图像块灰度强度分布图，通过重置缺陷区域的灰度值以强调缺陷，如图4所示。从图4中可以看出，融合图像的强度三维分布，可以从融合图像中区分出与其他区域明显不同的区域，即缺陷区域。本实施例中，以两倍的图像平均灰度值作为灰度阈值，将融合图像中低于灰度阈值的图像块作为背景区域，并进一步将融合图像中不低于灰度阈值的图像块重置为255，以突出缺陷区域(即前景)。这样获得了一个粗略的检测结果。为了准确定位缺陷，还需要后续更多的图像分析和处理。
[0096]
(三)缺陷提取单元
[0097]
缺陷提取单元，用于通过距离变换获得检测缺陷结果。首先通过距离变换获得缺陷区域，进一步去除图像中的噪声，保留缺陷。距离变换以距离值作为灰度值，反映了前景像素p(p∈z
→
{1})和背景像素q(q∈z
→
{0})之间的距离关系，将“1”视为前景像素，将“0”视为背景像素。
[0098]
具体实现方式中，首先将图像进行二值化处理(ω∈z
→
{0，1})，即将图像强度分布处理单元得到的融合图像ω中缺陷区域像素点灰度值置1，背景区域像素点灰度值置0，得到二值化图像z。再通过距离变换得到距离特征图。这里距离变换定义为：
[0099][0100]
其中，(x
p
，y
p
)表示前景像素p在二值化图像中的位置，(xq，yq)表示背景像素q 在二值化图像中的位置。d(d∈z)是个灰度图像，它表示p和q之间的最小距离。最后以距离变换的结果作为阈值参数再次阈值二值化处理，可以去除距离特征图像中的噪声，只保留缺陷。阈值定义为：
[0101][0102]
其中，θ(x，y)表示检测结果图像中第x行第y列对应位置的灰度值，θ中灰度值为255 的区域即为缺陷区域；表示图像d的最大距离值，α是给定的常系数(本实施例中取0.3)，d(x，y)表示距离灰度图像d中第x行第y列对应位置的灰度值。至此，可以得到精确的缺陷检测结果。
[0103]
应用例
[0104]
为了广泛评估本发明所提供的基于无监督学习的缺陷检测系统即方法的性能，给出了几组对比实验结果。本应用例首先在德国模式识别协会(dagm)提供的名为dagm 2007 的纹理图像数据集上进行评估，并与几种现有的方法进行比较。然后，在称为kolektor表面
缺陷数据集(kolektorsdd)的真实图像数据集上进行评估，并与其他监督学习模型进行对比。最后，在气体绝缘开关设备检测数据集上进行测试，该数据集收集了gis设备中存在的一些常见异常。
[0105]
上述实施例所提供的基于无监督学习的缺陷检测系统可运行于windows系统上，利用 scikit-learn和opencv完成的，编程语言使用的是python。另外，运行电脑可使用inteli7-9700 cpu(3ghz)和16gb显存。
[0106]
为了准确描述本文介绍的方法的性能，本应用例通过以下几个指标与现有的方法进行比较来验证结果。本应用例侧重于由真阳性(tp)、真阴性(tn)、假阳性(fp)和假阴性(fn)组成的混淆矩阵进行评估和分析。此外，还利用了准确率(acc)、精度(pr)、召回率(re)和f1分数(f1)来定量评估上述实施例所提供系统的有效性。这里，这些性能指标分别定义为
[0107][0108][0109][0110][0111]
(一)dagm 2007数据集
[0112]
本应用例所使用的dagm 2007数据集由八个不同类型的子集组成，并且每个子数据集中包含了1000张无缺陷图像样本和150张人造的缺陷图像。这些图像大小均为512
×
512，并且在实验中并没有改变图像大小。本应用例中随机抽取5张缺陷图像样本作为训练用图像。
[0113]
由于卷积核的大小和pca滤波器数量对显著性特征的提取影响较大，因此为了得到最合适的特征提取单元，利用3
×
3、5
×
5、7
×
7和9
×
9等不同尺寸卷积核大小以及2～9不同 pca滤波器数量(即n1、n2分别取2～9)的基于pca滤波卷积的特征提取单元，然后利用 5张缺陷图像样本对构建的特征提取单元进行训练。结果表明，当基于pca滤波卷积的特征提取单元具有3
×
3大小的卷积核，同时pca滤波器数量满足n1＝4、n2＝4时，可以很好地提取图像显著性特征。
[0114]
为了更直观地呈现每一步的图像处理结果，将dagm 2007数据集由八个不同类型子集中的缺陷图像分别输入训练好的基于无监督学习的缺陷检测系统，按照以下步骤执行操作，得到相应的缺陷检测结果：
[0115]
s1通过训练好的基于pca滤波卷积的特征提取单元对待处理图像的纹理特征进行提取，包括以下分步骤：
[0116]
s11通过级联在一起的两层pca滤波卷积层对输入的待处理图像进行卷积处理；前一层pca滤波卷积层的各pca滤波器输出分别作为后一层pca滤波卷积层各pca滤波器的输入。
[0117]
第一层pca滤波卷积层各pca滤波器的输出为：
[0118][0119]
第二层pca滤波卷积层各pca滤波器的输出为：
[0120][0121]
s12通过自适应特征融合模块将最后一层pca滤波卷积层输出的各特征图像进行融合，得到融合图像，本步骤包括以下分步骤：
[0122]
s121通过自适应特征融合模块按照以下公式得到融合图像：
[0123][0124]
其中，om表示最后一层pca滤波卷积层的第m张输出图像，wm表示om的方差。
[0125]
s122将得到的融合图像归一化到[0，255]，得到归一化后的融合图像。
[0126]
s2通过图像强度分布处理单元获取融合后图像的灰度强度分布图，并依据灰度强度分布图，将融合图像中低于灰度阈值的图像块作为背景区域，不低于灰度阈值的图像块的灰度值进行重置作为缺陷区域，将融合图像划分出缺陷区域和背景区域。
[0127]
本步骤的具体操作为：通过图像强度分布处理单元，先将归一化后的融合图像ω分成大小为3
×
3的图像块，然后计算每个图像块的平均灰度值，以整个图像平均灰度值的两倍作为灰度阈值，并将该图像块的平均灰度值与灰度阈值进行比较。若该图像块的平均灰度值不低于灰度阈值，则该区域灰度值重置为255作为缺陷区域，否则该区域作为背景区域，从而将融合图像划分出缺陷区域和背景区域。
[0128]
s3基于距离变换，通过缺陷提取单元获得检测缺陷结果，包括以下分步骤：
[0129]
s31将步骤s2划分出缺陷区域和背景区域的融合图像进行二值化处理，得到二值化图像。
[0130]
具体为：将图像强度分布处理单元得到的融合图像ω中缺陷区域像素点灰度值置1，背景区域像素点灰度值置0，得到二值化图像z。
[0131]
s32按照以下公式对二值化图像进行距离变换得到距离特征图：
[0132][0133]
其中，(x
p
，y
p
)表示前景像素p在二值化图像中的位置，(xq，yq)表示背景像素q 在二值化图像中的位置。d(d∈z)是个灰度图像，它表示p和q之间的最小距离。
[0134]
s33对距离特征图进行阈值二值化处理，获得保留有缺陷的最终检测结果。
[0135]
具体为：对得到的距离特征图，按照以下公式进一步进行阈值二值化处理，去除距离特征图像中的噪声，只保留缺陷：
[0136][0137]
其中，θ(x，y)表示检测结果图像中第x行第y列对应位置的灰度值，θ中灰度值为255 的区域即为缺陷区域；表示图像d的最大距离值，α是给定的常系数(本实施例
中取0.3)，d(x，y)表示距离灰度图像d中第x行第y列对应位置的灰度值。
[0138]
至此，可以得到精确的缺陷检测结果。
[0139]
图5中展示了dagm 2007数据集八个不同类型子集中的样本按照上述步骤s1-s3进行处理得到的实验结果。图5中从左至右依次展示了dagm 2007数据集中8个不同类别的缺陷，可以看出，图5(a)是不同类别缺陷的原始图像，其中缺陷分别用圆圈标记。图5(b) 显示了经基于pca滤波卷积的特征提取单元处理后的显著性图像。很明显，显著性图像中的前景和背景具有不同的灰度值强度分布。此外，该分布特征可用于加强缺陷的权重，然后获得距离特征，例如图5(c)中的样本。在图5(c)中，灰度值用距离值表示，缺陷的灰度值明显高于其他区域的灰度值。最后，图5(d)中的展示了通过阈值过滤掉一些噪声后的缺陷检测结果图。这里没有展示标签图像，因为标签图像并不是像素级别标注，仅标注了粗略地范围，没有可比性。
[0140]
为了验证本发明提供的无监督学习的缺陷检测方法的有效性，进一步将其与pcanet (t.h.chan，k.jia，s.gao，j.lu，z.zeng，y.ma，pcanet：a simpledeep learning baseline forimage classification，ieee transactions onimage processing24(2015)5017-5032)在同样数据集上的测试结果相比，在dagm2007数据集上从准确性、精度、召回率和f1分数等方面比较了这两种方法，为了更直观地评价所提方法的有效性，结果如表1所示。
[0141]
表1 spca-net与pca-net在dagm 2007数据集上测试结果比较
[0142][0143]
注：1、spca-net对应实施例1提供的基于无监督学习的缺陷检测系统；
[0144]
2、pca-net无法对第7、8个子集进行缺陷检测。
[0145]
结果表明本发明所提的无监督学习的缺陷检测系统在准确率、精确度、召回率和f1分数方面远高于pcanet，这说明本发明提供的无监督学习的缺陷检测系统比pcanet表现更好。除此之外，pcanet是一种监督学习方法，它占用大量内存，不利于在计算能力有限的设备上集成。相反，本发明所提出的无监督学习的缺陷检测系统不需要长时间训练，模型文件只有20kb以内。此外，在召回率和准确率方面与其他无监督的最先进方法进行了比较，结果如表2所示。
[0146]
表2不同缺陷检测方法在dagm 2007集上的检测性能对比
[0147][0148]
注：(1)statisticalfeature方法参见x.jiang,p.scott,d.whitehouse,waveletsandtheirapplicationsforsurfacemetrology,cirpannals-manufacturingtechnology57(2008)555
–
558；
[0149]
(2)weibull方法参见f.timm,e.barth,non-parametrictexturedefectdetectionusingweibullfeatures,proceedingsofspie-theinternationalsocietyforopticalengineering7877(2011)；
[0150]
(3)准确率为所有子集的平均值。
[0151]
由此可见，本发明所提供的无监督学习的缺陷检测系统及方法在不同类型的数据集上均表现良好，平均精度高于其他方法。
[0152]
(二)kolektorsdd数据集
[0153]
为了说明本发明所提方法在不同领域的有效性，还在kolektorsdd数据集上评估了所提出的方法，而且与现有的方法进行了比较。kolektorsdd数据集收集了电子换向器的图像图像，包括52张缺陷图像和347张非缺陷图像。本应用例中随机抽取5张缺陷图像样本作为训练用图像。
[0154]
由于卷积核的大小和pca滤波器数量对显著性特征的提取影响较大，因此为了得到最合适的特征提取单元，利用3
×
3、5
×
5、7
×
7和9
×
9等不同尺寸卷积核大小以及2～9不同pca滤波器数量(即n1、n2分别取2～9)的基于pca滤波卷积的特征提取单元，然后利用5张缺陷图像样本对构建的特征提取单元进行训练。结果表明，当基于pca滤波卷积的特征提取单元具有9
×
9大小的卷积核，同时pca滤波器数量满足n1＝2、n2＝2时，最适合形状为细长型类似于裂缝的缺陷。
[0155]
为了更直观地呈现每一步的图像处理结果，将kolektorsdd数据集的图像分别输入训练好的基于无监督学习的缺陷检测系统，按照前面给出的步骤s1-s3执行操作，得到相应的缺陷检测结果。图6给出了部分缺陷图像和无缺陷图像的检测结果。从图中可以看出，本发明提供的基于无监督学习的缺陷检测系统能够精准的提取图像中的缺陷。
[0156]
为了证明本发明方法的性能，还与现有的方法deeplabv3 (chenetal)、cognexvidi(commercialsoftware)、u-net(ronnebergeretal)进行了比较，结果如表3所示。除本发明所提出的方法，其他的方法都是监督学习，实验中分别使用了5、10和20张缺陷训练样本进行训练。从表3中可以看出，本发明所提供的基于无监督学习的缺陷检测方法
在pr上几乎优于其他方法。更值得注意的是，表4显示了本发明提供的基于无监督学习的缺陷检测系统仅使用814个参数就可以实现缺陷检测的结果，而u-net和deeplabv3 分别具有多达31.1mio和41.1mio的参数。此外，本发明所提方法是无监督的，不需要长期的预训练，并且对算力没有限制。
[0157]
表3在kolektorsdd数据集上与现有方法的检测结果对比
[0158][0159]
注：(1)deeplabv3 方法参见d.weimer,b.scholz-reiter,m.shpitalni,designofdeepconvolutionalneuralnetworkarchitecturesforautomatedfeatureextractioninindustrialinspection,cirpannals-manufacturingtechnology65(2016)417
–
420；
[0160]
(2)cognexvidi方法参见d.tabernik,s.ela,j.skvar,d.skoaj,segmentation-baseddeeplearningapproachforsurface-defectdetection,journalofintelligentmanufacturing31(2020)；
[0161]
(3)、u-net方法参见ronnebergero,fischerp,broxt.u-net:convolutionalnetworksforbiomedicalimagesegmentation[j].internationalconferenceonmedicalimagecomputingandcomputer-assistedintervention,2015.。
[0162]
表4不同缺陷检测方法训练参数对比
[0163][0164]
注：(1)mio表示百万；
[0165]
(2)n/a表示没有参数量。
[0166]
(三)气体绝缘开关设备检测数据集(gis数据集)
[0167]
在电力系统中，气体绝缘开关设备(gis)是变电站的关键设备之一，在电力传输过程中必不可少。为了确保本发明提出的基于无监督学习的缺陷检测方法能够有效地应用于电力运输系统gis设备的异常检测，在gis设备中收集了大约267幅缺陷图像和42幅非缺陷图像作为gis数据集。本应用例中随机抽取5张缺陷图像样本作为训练用图像。
[0168]
由于卷积核的大小和pca滤波器数量对显著性特征的提取影响较大，因此为了得到最合适的特征提取单元，利用3
×
3、5
×
5、7
×
7和9
×
9等不同尺寸卷积核大小以及2～9不
同 pca滤波器数量(即n1、n2分别取2～9)的基于pca滤波卷积的特征提取单元，然后利用 5张缺陷图像样本对构建的特征提取单元进行训练。结果表明，当基于pca滤波卷积的特征提取单元具有9
×
9大小的卷积核，同时pca滤波器数量满足n1＝3、n2＝3时，可以最好地提取图像显著性特征。
[0169]
为了更直观地呈现每一步的图像处理结果，将gis设备中收集的缺陷和非缺陷图像输入训练好的基于无监督学习的缺陷检测系统，按照前面给出的步骤s1-s3执行操作，得到相应的缺陷检测结果。
[0170]
图7为不同光强下gis设备中螺丝、绝缘线、螺母等异常检测结果。从图中可以看出，采用本发明提供的基于无监督学习的缺陷检测系统及方法能够实现对下gis设备中异常情况的有效检测。
[0171]
表5给出了本发明提供的基于无监督学习的缺陷检测方法在gis数据集上的缺陷检测结果。从表5可以看出，本发明提供的基于无监督学习的缺陷检测方法在gis数据集上具有较高的精确率、召回率和准确度。
[0172]
表5 gis数据集实验结果
[0173][0174]
(四)三个数据集共同比较
[0175]
通过前面在上述三种不同类型的数据集上对不同的检测方法的实验结果对比，表明本发明所提供的方法在大多数不同的工业领域都具有良好的性能。此外，为了证明该方法不仅适用于各种领域的表面缺陷检测，而且具有计算量小的特点。在三个数据集上，将 faster-rcnn(s.ren,k.he,r.girshick,j.sun,faster r-cnn:towards real-timeobject detectionwith region proposal networks,ieee transactions onpattern analysis&machine intelligence 39 (2017)1137
–
1149)和分割决策网络(d.tabernik,s.ela,j.skvar,d.skoaj,segmentation-baseddeeplearning approach for surface-defect detection,journal of intelligentmanufacturing 31 (2020))方法与本发明所提供的方法在实验结果和参数量等方面进行比较。由于faster-rcnn 对训练样本的数量不敏感，而分割决策网络在训练数据有限的情况下，训练样本数越多测试结果越好；考虑到kolektorsdd数据集缺陷样本数有限，所以每个数据集(对于dagm 2007数据集，这里是指其每个类别)均选择了30张缺陷图像对三种方法进行训练，然后再在相应数据集上进行测试，比较测试结果如表6所示，所使用模型的参数量和计算量见表7 所示。由于3
×
3的卷积核大小在所有数据集上都有一个较好的检测结果，因此表7中本发明所提供的方法选取了3
×
3大小的卷积核，pca滤波器数量满足n1＝4、n2＝4进行实验及结果展示。结果表明，本发明提供的方法的性能几乎优于分割决策网络，除了kolektorsdd 数据集中的缺陷对于背景来说太小使得faster-rcnn无法检测以外，faster-rcnn的性能是最好的。但是，从表7中可以看出每种方法的参数，与faster-rcnn和分割决策网络相比，本发明方法所使用的基于无监督学习的缺陷检测系统的参数量和计算量都非常小。由此可见，本发明方法使用的缺陷检测系统在保持良好检测性能的同时具有极少的参数量。
[0176]
表6不同缺陷检测方法在三个数据集上检测性能比较
[0177][0178]
注：faster-rcnn无法对koletorsdd数据集和dagm 2007数据集中类别7中图像进行缺陷检测；决策分割网络无法对dagm 2007数据集中类别1中图像进行缺陷检测。
[0179]
表7不同缺陷检测方法训练参数和计算量对比
[0180][0181]
注：(1)mio表示百万；
[0182]
(2)bil表示十亿。
[0183]
综上所述，针对以重复的结构化纹理为背景的表面缺陷，本发明提出了一种简单的无监督学习的缺陷检测系统及方法，基于pca滤波卷积，利用pca自适应学习合适的卷积
核将背景区域与缺陷区域分离，然后通过分析显著性图像灰度值分布，利用距离变换，准确地获取缺陷。与现有的方法进行比较和验证后，证明了本发明不仅性能良好，而且结构简单，计算成本小，适用于计算资源有限的移动设备。同时，本发明也证明了该方法适用于多种工业领域，并在各种数据集上具有良好的泛化性。
[0184]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。