一种基于离散-连续特征耦合的图像异常检测方法与流程

brainlesion workshop.springer,cham,2018:161
22.[12]zhou c,paffenroth r c.anomaly detection with robust deep autoencoders[c]//proceedings of the 23rd acm sigkdd international conference on knowledge discovery and data mining.halifax,ns,canada,2017:665
[0023]
[13]akcay s,atapour
‑
abarghouei a,breckon t p.ganomaly:semi
‑
supervised anomaly detection via adversarial training[c]//asian conference on computer vision.springer,cham,2018:622
[0024]
[14]s,atapour
‑
abarghouei a,breckon t p.skip
‑
ganomaly:skip connected and adversarially trained encoder
‑
decoder anomaly detection[c]//2019 international joint conference on neural networks(ijcnn).budapest,hungary,2019:1
[0025]
[15]gong d,liu l,le v,et al.memorizing normality to detect anomaly:memory
‑
augmented deep autoencoder for unsupervised anomaly detection[c]//proceedings of the ieee/cvf international conference on computer vision.seoul,korea,2019:1705
[0026]
[16]park h,noh j,ham b.learning memory
‑
guided normality for anomaly detection[c]//proceedings of the ieee/cvf conference on computer vision and pattern recognition.seattle,wa,usa,2020:14372
[0027]
[17]sabokrou m,pourreza m,fayyaz m,et al.avid:adversarial visual irregularity detection[c]//asian conference on computer vision.springer,cham,2018:488
‑
505.
[0028]
[18]bergmann p,lwe s,fauser m,et al.improving unsupervised defect segmentation by applying structural similarity to autoencoders[c]//14th international conference on computer vision theory and applications,2019:372
‑
380.
[0029]
[19]schlegl t, p,waldstein s m,et al.unsupervised anomaly detection with generative adversarial networks to guide marker discovery[c]//international conference on information processing in medical imaging.springer,cham,2017:146
‑
157.
[0030]
[20]ruff l,vandermeulen r,goernitz n,et al.deep one
‑
class classification[c]//international conference on machine learning.pmlr,2018:4393
‑
4402.
[0031]
[21]dehaene d,frigo o,combrexelle s,et al.iterative energy
‑
based projection on a normal data manifold for anomaly localization[j].2020.
[0032]
[22]golan i,el
‑
yaniv r.deep anomaly detection using geometric transformations[j].in advances in neural information processing systems,2018:9758
–
9769.
[0033]
[23]fei y,huang c,jinkun c,et al.attribute restoration framework for anomaly detection[j].ieee transactions on multimedia,dec.2021.


技术实现要素：

[0034]
本发明提出一种基于离散
‑
连续特征耦合的图像异常检测算法。本发明通过将原始图像进行编码获得隐空间特征，并将该特征变换得到块哈希特征和描述特征，利用哈希特征构建特征间的相似性图，从而生成融合描述特征实现块间重构，进而实现对原始图像的高质量重构。技术方案如下：
[0035]
一种基于离散
‑
连续特征耦合的图像异常检测方法，包括下列步骤：
[0036]
第一步：图像特征提取
[0037]
(1)数据预处理
[0038]
确定需要进行异常检测训练和测试的数据集，并进行数据预处理；
[0039]
(2)编码网络特征提取
[0040]
利用编码网络对数据预处理后的图像样本提取隐空间特征其中w,h,c分别代表隐空间特征的长度、宽度和通道数量，编码网络采用四层卷积层设计。
[0041]
(3)哈希隐空间和描述隐空间特征提取
[0042]
将获得的隐空间特征按空间展开获得块描述特征其中n＝w
×
h表示特征数量，基于该描述特征，通过二值化映射函数，获得与之对应哈希特征b，加入离散统计激活层，使反向逆传播能以分布导数的方式通过离散编码；
[0043]
引入额外的判别器，用以分类所提取到的哈希特征与二项分布向量。
[0044]
第二步：图像特征融合
[0045]
(1)求解相似性矩阵
[0046]
设批次大小为n，则描述特征矩阵表示为z＝[z1；z2；
…
；z
n
]对应哈希特征矩阵为b＝[b1；b2；
…
；b
n
]∈{0,1}
n
×
m
，其中n＝n
×
w
×
h，向量下标代表块索引值；利用哈希特征矩阵b建立基于汉明距离的块相似图矩阵，相似度越大则汉明距离越小，相似度越小则汉明距离越大。
[0047]
(2)构建相似性图
[0048]
采用隐空间相似矩阵的图收缩方法，根据二进制码之间的汉明距离构建训练批内的相似图，仅保留相似度高于阈值α的边，其余边不予保留；以整个训练批为基础构造图，每个数据都是一个顶点，边长为二进制码之间的汉明距离；采用可优化的图矩阵，根据重建质量引导块间相似性的优化，利用相似性矩阵选择部分最相似块，并用对应的描述特征生成融合描述特征。
[0049]
(3)重建原始图像
[0050]
将变换后得到的融合描述特征z'，输入解码器重建整张图像，解码网络采用四层反卷积层设计。
[0051]
第三步：异常检测。
[0052]
进一步地，第一步的步骤(1)中，训练数据集只包含正常样本，测试数据集包含等量的正常和异常样本；对数据集里的图像样本进行预处理：调整图像大小，图像的通道数转换为3通道的彩色图像。
[0053]
第三步具体为：对于每个测试图像，采用像素级均方误差对重建后的测试图像与原始测试图像之间的质量进行度量，得到异常分数，随后根据异常分数的大小判断图像异
常与否。
[0054]
本发明融合了哈希特征和描述特征的优点，利用哈希特征的有限编码特性，避免了隐空间欠采样现象，从而解决一般描述特征的普适性重建问题。此外，本发明利用离散
‑
连续特征的耦合关系，设计图收缩方法来构建哈希特征和描述特征间的关联，对汉明距离相近块的描述特征进行融合以实现块间重构，进而高质量的重构输入图像，从而解决离散特征的低质量干扰问题。本发明对语义异常和缺陷异常均有较好的泛化效果，能够在实际应用中有效地代替人工识别异常缺陷的过程，极大地减少人力物力的损耗。
附图说明
[0055]
附图1异常检测算法的整体框架
[0056]
附图2相似块选择示意图
[0057]
附图3异常样本类的检测结果图
具体实施方式
[0058]
本发明中的异常样本图像主要是来自mvtec数据集。为使本发明的技术方案更加清楚，下面对本发明具体实施方式做进一步地描述。
[0059]
本发明的整体框架如图1所示，主要包括主干网络(编码网络，解码网络)，特征提取模块和描述特征融合模块三个组成部分。
[0060]
(1)图像特征提取
[0061]
mvtec数据集是工业现场真实缺陷样本图像，包含15类情况并具有纹理和外观两类异常。其中，每一类都具有训练集和测试集，训练集全部为该类正常样本图像，测试集中的数据中混合了正常与异常数据且异常数据具有多种类型。设x
t
∈x
train
为训练图像，为了保证模型的普适性，本发明在进行模型训练前，将所有的图像数据的像素大小调整为128
×
128，图像的通道数转换为3通道的彩色图像。
[0062]
(2)编码网络特征提取
[0063]
给定正常样本训练集x，编码网络的作用是提取隐空间特征，将图像x
i
∈x输入编码网络获得隐空间特征其中w,h,c分别代表隐空间特征的长度、宽度和通道数量，其公式表示为：
[0064]
z＝f
e
(x；θ
e
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0065]
式(1)表示隐空间特征提取过程，其中θ
e
代表编码网络f
e
(
·
)的网络参数，网络采用四层卷积层设计。
[0066]
(3)哈希隐空间和描述隐空间特征提取
[0067]
将获得的隐空间特征按空间展开获得块描述特征其中n＝w
×
h表示特征数量。基于该描述特征，通过二值化映射函数，可以获得与之对应哈希特征b，其公式化表示如公式(2)所示：
[0068]
b
i
＝α(f
h
(z
i
；θ
h
),ε)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0069]
式中b
i
∈{0,1}
m
表示对应的m维的哈希特征，f
h
(
·
；θ
h
)表示特征变化网络，采用sigmoid激活函数层，可以将描述特征映射至0,1二值空间从而生成对应的哈希特征。由于
二值化的约束，无法直接使用反向逆传播方法对哈希特征进行优化，本发明加入离散统计激活层α(
·
,ε)，该层采用一组随机变量ε～μ(0,1)
m
，其公式化定义如公式(3)所示：
[0070][0071]
式中j代表的第j位哈希码。加入该激活层后，反向逆传播能以分布导数的方式通过离散编码，进而可以优化哈希特征。
[0072]
同时，为了保证哈希码的信息量最大化，需要保证哈希特征在统计上具有相等数量的0和1，因此哈希特征应服从二项分布。对此本发明中引入了额外的判别器用以分类所提取到的哈希特征与二项分布向量，如公式(4)所示：
[0073][0074]
式中，是符合二项分布的随机向量，其优化的目标是希望哈希特征与二项分布向量概率同分布，其损失函数设计如公式(5)所示：
[0075][0076]
式中,b∈h其中h代表哈希特征空间。
[0077]
第二步：图像特征融合
[0078]
图像特征融合是利用哈希特征和描述特征间的耦合关系来建立特征间的关联。方法如下：
[0079]
(1)求解相似性矩阵
[0080]
设批次大小为n，则描述特征矩阵可以表示为z＝[z1；z2；
…
；z
n
]对应哈希特征的矩阵为b＝[b1；b2；
…
；b
n
]∈{0,1}
n
×
m
，其中n＝n
×
w
×
h，向量下标代表块索引值。利用哈希特征矩阵b构建块相似矩阵，其中每一个顶点代表一个块，定点间连接线代表块与块的相似度，相似度越大则汉明距离越小，相似度越小则汉明距离越大。因此，归一化的相似度矩阵可以由公式(6)计算得到：
[0081][0082]
式中代表全1矩阵，s是相似度矩阵，其中每一个元素s
i,j
表示块i与块j的相似度，可以表示为s
i,j
＝1
‑
hamming(b
i
,b
j
)/m。
[0083]
(2)构建相似性图
[0084]
在构建相似图的过程中，本发明提出一种隐空间相似矩阵的图收缩方法，即仅保留相似度高于阈值α的边，其余边不予保留，如公式(7)所示：
[0085][0086]
网络训练的目标是块间重构，即汉明距离近的块对应得到的描述特征可以互相融合转换。为实现这一目标，本发明在实现过程中采用图卷积层方式。如公式(8)：
[0087]
[0088]
本发明采用可优化的图矩阵，根据重建质量引导块间相似性的优化，利用相似性矩阵选择部分最相似块，并用对应的描述特征生成融合描述特征，将融合描述特征输入解码器用以重构原始图像。过程如图2所示：
[0089]
(3)重建原始图像
[0090]
将变换后得到的融合描述特征z'，输入解码器f
d
(
·
)重建整张图像，其公式表示为：
[0091][0092]
式(9)表示解码重构过程，对应的θ
d
代表编码网络f
d
(
·
)的网络参数，网络采用四层反卷积层设计，x代表解码网络输出的重构图像。
[0093]
第三步：异常检测
[0094]
本发明采用的是生成对抗训练模式，近年来该模式在异常检测任务上具有良好表现。因此，本发明利用上述的f
e
(
·
)和f
d
(
·
)组成生成器g(
·
)，并额外引入判别器d(
·
)，共同构成生成对抗网络。生成器是以最真实化的重构输入样本x
i
为目标，判别器是以准确判别输入图像为原始图像还是重构图像为学习目标。两者相互促进构成了对抗机制，随着迭代次数的增加，生成器可以生成更加逼真的重构图像，从而使判别器无法感知出重构图像与原始图像的差别，判别器则以越来越灵敏的判别为优化方向。
[0095]
异常检测模块主要用于测试阶段。在测试过程中，通过计算原始图像和重构图像的重构损失来获得初始异常分数，其公式如下：
[0096][0097]
式中，||
·
||2表示图像级的欧式距离。随后本发明采用公式(11)进行全局归一化并生成最后的异常分数：
[0098][0099]
式中，s
i
'表示第i张图像对应的异常分数，s表示每张测试图像对应的最大重构误差形成的集合，s
i
表示第i张图像对应的最大重构误差，min(s)和max(s)分别代表集合中的最小值和最大值。
[0100]
实验分析
[0101]
本发明实验环境为采用cpu为intel e
‑
2124主频3.3ghz和单块nvidia2080ti显卡的图形工作站，操作系统为ubuntu16.04，采用pytorch1.4的深度学习框架。在训练过程中，采用step学习策略，初始学习率设定为5
×
10
‑4，批量大小(batchsize)设置为24，训练周期设置为200epoch。
[0102]
为了验证本发明有效性和先进性，本发明对比了近年来异常检测领域的多种优秀方法，分别是：avid
[20]
，ae
‑
l2
[21]
，anogan
[22]
，dsvdd
[23]
，vae
‑
grad
[24]
，gt
[25]
，ganomlay
[13]
和arnet
[26]
。其中，ae
‑
l2是利用自编码网络并以像素级二范数进行优化的方法，是目前异常检测领域的性能基准；anogan和ganomlay采用生成对抗方式，利用不同隐空间特征搜索方式进行异常检测；avid和dsvdd强化了判别器对于异常检测的作用；arnet是最近提出的一项自监督异常检测工作，它以图像属性修复作为自监督任务，以恢复后的图像质量作为判
别正常与异常的指标，并取得了很好的效果。
[0103]
表1展示了本发明与对比算法在mvtec ad数据集上的评估结果，表中数值为前文中提到的auro显示代表效果优于其它算法。通过对比，可以发现本发明平均auc值较其它优秀c指标，加粗的异常检测算法有一定提高，表明本发明在mvtec ad数据集中实现了较好检测效果，能够有效判断出多种物体的异常情况。
[0104]
表1在mvtec ad数据集上，与某些最新算法在所有类别上的auc值(％)比较结果
[0105][0106]
具体而言，本发明高于基准算法ae
‑
l2方法16个百分点，高于最近提出的arnet方法3个百分点，并且对于纹理类异常和结构类异常均有较好的检测效果，并在bottle、hazelut等多个子数据集上取得了最佳的实验效果，证明了本发明的有效性和先进性。图3展示了本发明在mvtec ad数据集中部分样本的异常检测效果图，从重构误差图中可以看到异常缺陷会被准确定位。