基于全局上下文嵌入生成对抗网络的图像异常检测方法

技术特征：
1.一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：步骤1：构建基于全局上下文嵌入生成对抗的异常检测网络；所述的异常检测网络包括生成网络、判别网络、重构损失函数和隐式损失函数；输入图像tx先经过生成网络获得生成图像fx，然后将输入图像tx和生成图像fx再共同输入到判别网络获得输入图像tx和生成图像fx各自对应的隐式特征ht和hf；再结合生成图像fx与输入图像tx通过重构损失函数处理获得异常检测网络的重构损失l
rec
，根据生成图像fx与输入图像tx各自的隐式特征通过隐式损失函数处理获得异常检测网络的隐式损失l
lat
，利用重构损失l
rec
和隐式损失l
lat
判断输入图像tx中是否存在异常；步骤2：将不存在异常的历史图像作为图像样本输入异常检测网络后进行训练；步骤3：采集待测场景下的实时图像，输入到训练后的异常检测网络中检测出是否为异常图像。2.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：所述的判别网络以输入图像tx和由生成网络生成的生成图像fx为输入，两幅图像均分别依次经三个卷积模块和一个卷积操作的处理获得各自的隐式特征，其中每个卷积模块均由一个卷积操作和一个激活函数依次连接构成。3.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：所述的生成网络包括主要由编码网络和解码网络依次连接构成，输入图像tx输入到编码网络获得编码特征z，编码特征z再输入到解码网络处理获得生成图像fx；所述的编码网络主要由第一卷积模块、第一卷积操作、全局上下文模块、第一激活函数、第二卷积模块、第二卷积操作依次连接构成；所述的解码网络主要由第一转置卷积模块、第一转置卷积操作、全局上下文模块、第二激活函数、第二转置卷积模块、第二转置卷积操作和第三激活函数依次连接构成；其中每个卷积模块均由一个卷积操作和一个激活函数依次连接构成，每个转置卷积模块均由一个转置卷积操作和一个激活函数依次连接构成。4.根据权利要求3所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：所述的全局上下文模块包括多个卷积操作、多个特征形状变换操作reshape、softmax操作和sigmoid操作，输入到全局上下文模块的图像特征x经过卷积操作获得第一特征f1，同时输入到全局上下文模块的图像经过特征形状变换操作reshape获得第四特征f4，第一特征f1经过特征形状变换操作reshape获得第二特征f2，第二特征f2经过softmax操作并改变形状后获得第三特征f3，再将第三特征f3与第四特征f4按矩阵相乘后获得第五特征f5，第五特征f5经过特征形状变换操作reshape后获得第六特征f6，第六特征f6依次经过卷积操作和sigmoid操作后获得第七特征f7，第七特征f7与输入到全局上下文模块的图像特征x按元素相乘获得输出特征y。5.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：所述步骤2中，在训练过程中，还利用输入图像tx和生成图像fx各自的隐式特征ht和hf，将隐式特征ht和hf均依次经过卷积操作和sigmoid激活函数后获得图像样本是真实图像的概率预测值p，进而根据概率预测值p构建异常检测网络的对抗损失l
adv
，然后进行以下处理：s1、初始化判别网络的参数；
s2、固定判别网络参数，将重构损失l
rec
和隐式损失l
lat
求和后获得异常检测网络的总损失l，以总损失l最小为目标对生成网络进行训练；s3、固定s2训练后的生成网络的参数，以对抗损失l
adv
最小为目标对判别网络进行训练；s4、不断重复上述s2~s3更新优化整个异常检测网络的参数，直到达到预设的最大迭代epoch次数停止更新优化。6.根据权利要求1所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：所述利用重构损失l
rec
和隐式损失l
lat
判断输入图像tx中是否存在异常，具体为：利用重构损失l
rec
和隐式损失l
lat
按照以下公式计算输入图像tx的异常分数：s=λl
rec
(1-λ) l
lat
其中，λ表示预设的权值参数；当异常分数大于预设的异常阈值时，则认为输入图像tx为异常图像；否则不为异常图像。7.根据权利要求1、5、6中任一所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：所述的重构损失l
rec
计算如下：l
rec = 1/(hw)*∑
hi =1
∑
wj =1
(‖tx
ij
ꢀ‑ꢀ
fx
ij
‖
l1
)其中，h、w分别表示图像的高和宽，i=1...h，j=1...w，l1表示1范数；tx
ij
和fx
ij
分别表示输入图像tx和生成图像fx在第i行、第j列位置处的像素值；所述的隐式损失l
lat
计算公式如下：l
lat = 1/(hw)*∑
hi =1
∑
wj =1
(‖ht
ij ‑ꢀ
hf
ij
‖
l2
)2其中，h、w分别表示隐式特征的高和宽，i=1...h，j=1...w，l2表示2范数，ht
ij
和hf
ij
分别表示输入图像tx的隐式特征和生成图像fx的隐式特征在第i行、第j列位置处的特征值。8.根据权利要求5所述的一种基于全局上下文嵌入生成对抗网络的图像异常检测方法，其特征在于：所述的对抗损失l
adv
计算如下：l
adv =-(1/n)*∑
ni=1
[y
i
log(p
i
) (1-y
i
)log(1-p
i
)]其中，i=1...n，n表示输入到异常检测网络的图像样本个数，y
i
表示第i个图像样本的所属类别，p
i
为第i个图像样本的预测值。

技术总结
本发明公开了一种基于全局上下文嵌入生成对抗网络的图像异常检测方法。先构造一个包含生成网络和判别网络的生成对抗网络，生成网络由编码网络和解码网络构成，感知全局上下文信息的全局上下文模块嵌入到编码网络和解码网络中，训练时将生成网络生成的假图像以及输入的真图像输入到判别网络进行训练；测试时根据生成图像与真实图像之间的差异以及相对应的隐式特征差异计算图像的异常分数，根据异常分数判断是否异常。本发明能够充分捕获图像特征的长范围依赖关系，有效提取全局上下文特征，有利于生成网络对异常特征的生成能力，提升异常检测任务的精度。升异常检测任务的精度。升异常检测任务的精度。


技术研发人员：宋亚楠 刘贤斐 沈卫明 鲁鹏 蒋唐辉
受保护的技术使用者：浙江大学计算机创新技术研究院
技术研发日：2022.11.29
技术公布日：2022/12/30