一种基于张量分解网络的高光谱异常检测方法与流程

1.本发明属于高光谱影像处理技术领域，涉及一种基于张量分解网络的高光谱异常检测方法。


背景技术：

2.高光谱异常目标检测作为高光谱影像处理的一个重要子方向，在过去的数十年里，有大量算法被提出。rx(reed
‑
xiao li detection,rx)算法作为高光谱异常目标检测的一个基准算法，它假设背景服从多元正态分布，通过计算待检测像素与背景之间的马氏距离来确定每一个像素的异常程度，然而由于实际场景复杂，难以满足此假设，所以rx算法检测精度有限。为了避免对背景分布的假设，李伟和杜倩提出了基于协同表达思想的crd(collaborative representation
‑
based detector,crd)算法，此算法通过滑动双窗口构造局部字典，并通过此字典来逐个表示原始输入高光谱影像，最后表示误差作为每一个像素的异常程度。然而由于缺少先验信息，针对不同的数据集crd算法没有一个有效的规则来制定双窗口尺寸。得益于低秩稀疏矩阵分解(low
‑
rank and sparse matrix decomposition,lrasm)技术的发展，大量的基于lrasm的异常检测算法被相继提出。lrasr算法通过k
‑
means聚类算法构造背景字典，然后通过低秩矩阵分解来进行异常检测。除此之外，张兴等提出了基于tucker分解的异常检测算法，此方法很好地保留了原始影像的空谱信息，然后由于高光谱影像自身的高维性以及噪声多等特点，导致基于矩阵分解和张量分解的异常检测算法不够稳定。
3.近年来，深度学习技术为图像处理、计算机视觉等领域带来了极大的便利，基于此，为了克服上述方法的不足，亟需研制一种基于张量分解网络的高光谱异常目标检测方法，以客服了噪声和维度对异常检测算法的影响。


技术实现要素：

4.本发明的目的是提供一种基于张量分解网络的高光谱异常检测方法，解决现有基于传统张量分解模型过程复杂、易受噪声和数据维度干扰的问题。
5.本发明采用的技术方案是，一种基于张量分解网络的高光谱异常检测方法，按照以下步骤具体实施：
6.步骤1、选取背景样本数据集，
7.输入的原始高光谱影像记为上角标w、h和d分别表示原始高光谱影像的宽、高和波段数；
8.步骤2、通过自编码器和张量分解网络来恢复背景数据信息，
9.先将训练集送入编码器中进行编码，通过三层编码网络逐步将输入数据降维：d
→
128
→
64
→
24，得到潜在特征
10.通过张量分解网络从潜在特征中分解出背景的低秩张量
张量分解网络包括rtgb模块和ltgb模块，rtgb模块根据输入生成对应的秩为一的张量，而ltgb模块采用残差结构和rtgb模块生成r个秩为一的张量，然后将r个秩为一的张量进行通道拼接，再使用1
×
1卷积降维得到背景低秩张量具体过程是：
11.对于输入的潜在特征先分别从通道方向、宽度方向以及高度方向取全局平均池化，并将得到的三个方向向量先经过1
×
1卷积，再进行sigmoid激活，接着通过克罗内克积生成秩为一的张量，具体表达式如下：
[0012][0013]
其中，o
i
表示第i个秩为一的张量，分别表示通道、宽度以及高度方向的平均池化向量，表示克罗内克积，
[0014]
将上一个rtgb模块的输入与输出的差作为下一个rtgb模块的输入，生成下一个秩为一的张量，重复此操作，直到生成r个秩为一的张量，再将r个秩为一的张量进行通道拼接，经过卷积后得到背景低秩张量表达式如下：
[0015]
l
rank
＝conv(tf.concat(o1,o2,...,o
r
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0016]
其中，tf.concat(
·
)表示通道拼接操作，在得到低秩张量后，通过解码器的解码操作，逐层恢复出背景数据
[0017]
步骤3、通过重构误差进行异常检测，得到最终的检测结果图。
[0018]
本发明的有益效果是：1)通过深度网络来模拟传统张量分解(cp分解)的过程，从而克服了传统张量分解模型复杂、难以找到最优解这一缺陷。2)在原有均方误差的基础上引入了结构相似性损失，克服了图像重建过程中的模糊问题，从而有效的提高了网络的重建精度，进一步提高异常检测性能。
附图说明
[0019]
图1是本发明方法采用的算法流程简图；
[0020]
图2是本发明方法采用的背景样本选取模块简图；
[0021]
图3是本发明方法采用的张量生成网络简图；
[0022]
图4a是texas coast数据集的伪彩色图，图4b是texas coast数据集标签，图4c是rx方法的处理结果图，图4d是lrx方法的处理结果图，图4e是crd方法的处理结果图，图4f是lrasr方法的处理结果图，图4g是daead方法的处理结果图，图4h是本发明方法的处理结果图；
[0023]
图5是采用现有异常检测算法rx、lrx、crd、lrasr、daead以及本发明方法对高光谱异常目标进行检测的roc曲线对比图；
[0024]
图6是采用现有异常检测算法rx、lrx、crd、lrasr、daead以及本发明方法对高光谱异常目标进行检测的auc值对比图。
具体实施方式
[0025]
下面结合附图和具体实施方式对本发明进行详细说明。
[0026]
本发明方法的整体思路是：首先，使用马氏距离来计算输入高光谱图像上每一个像素点的异常响应值，根据预先设置的背景样本选取比率来剔除响应值最大的可疑异常像素；然后，将选取的背景样本训练集输入到编码器编码，将编码特征送入到张量分解网络得到低秩张量，再通过解码器解码得到恢复的背景数据；最后在残差图像上使用均方误差进行异常检测。
[0027]
本发明的方法，按照以下步骤具体实施：
[0028]
步骤1、选取背景样本数据集，
[0029]
输入的原始高光谱影像记为上角标w、h和d分别表示原始高光谱影像的宽、高和波段数，
[0030]
参照图2，首先通过马氏距离来计算原始高光谱影像x上每一个像素点的异常响应值，它的大小为假设预先设置的背景样本的选取比率为将异常响应值最小的个像素置为1，其余像素标记为0，其中wh表示总像素数目，从而得到一个权值矩阵其中，1表示要选取的背景样本，0表示剔除掉的潜在异常像素，背景样本训练集的表达式如下：
[0031]
x
train
＝x
⊙
w
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0032]
其中，
⊙
表示像素点乘，表示得到的背景样本的训练集。
[0033]
步骤2、通过自编码器和张量分解网络来恢复背景数据信息，
[0034]
参照图1，首先将训练集送入编码器中进行编码，编码器网络结构如表1所示，一共有三层，每一层包括1
×
1卷积和lrelu激活函数，通过三层编码网络逐步将输入数据降维：d
→
128
→
64
→
24，最终得到潜在特征
[0035]
表1，编码器网络结构图
[0036][0037]
参照图3，本步骤通过张量分解网络从潜在特征中分解出背景的低秩张量张量分解网络包括rtgb模块和ltgb模块，rtgb模块根据输入生成对应的秩为一的张量，而ltgb模块采用残差结构和rtgb模块生成r个秩为一的张量，然后将r个秩为一的张量进行通道拼接，再使用1
×
1卷积降维得到背景低秩张量具体过程是：
[0038]
对于输入的潜在特征首先分别从通道方向、宽度方向以及高度方向取全局平均池化，并将得到的三个方向向量先经过1
×
1卷积，然后进行sigmoid激活，最后通过克罗内克积(kroneckor product)生成秩为一的张量，具体表达式如下：
[0039][0040]
其中，o
i
表示第i个秩为一的张量，分别表示通道、宽度以及高度方向的平均池化向量，表示克罗内克积，
[0041]
参照图3中的ltgb模块，将上一个rtgb模块的输入与输出的差作为下一个rtgb模块的输入，生成下一个秩为一的张量，重复此操作，直到生成r个秩为一的张量，再将r个秩为一的张量进行通道拼接，经过卷积后得到背景低秩张量表达式如下：
[0042]
l
rank
＝conv(tf.concat(o1,o2,...,o
r
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0043]
其中，tf.concat(
·
)表示通道拼接操作，
[0044]
在得到低秩张量后，本步骤通过解码器的解码操作，逐层恢复出背景数据解码器网络结构如表2所示，一共有三层，每层包括一个1
×
1卷积和lrelu激活函数。
[0045]
表2，解码器网络结构
[0046][0047]
步骤3、通过重构误差进行异常检测，
[0048]
传统自编码器通常使用均方误差作为损失函数，然而均方误差容易导致重构图像模糊，不利于异常检测，基于此，本步骤在原有均方误差的基础上添加了结构相似性损失来缓解图像模糊问题，表达式如下：
[0049][0050]
其中，μ
x
、表示输入图像和重建图像的均值，δ
x
、表示输入图像和重建图像的方差，c1＝0.01、c2＝0.03，λ＝0.5表示权值参数，用来控制结构相似性损失对总损失的影响；当网络收敛后，通过重构的背景数据和输入数据得到重构误差进行异常检测，表达式如下：
[0051][0052]
其中，||
·
||2表示l2范数，表示最终的检测结果图。
[0053]
仿真实验
[0054]
1)仿真条件
[0055]
本发明方法的仿真条件基于intel(r)xeon(r)cpu、geforce rtx 2080ti gpu内存大小为256g的硬件环境，采用tensorflow深度学习框架、python 3.6.9和matlab2018b软件环境。
[0056]
2)仿真内容与结果分析
[0057]
仿真1，
[0058]
采用现有经典的异常检测算法(例如rx、lrx、crd、lrasr、daead)与本发明方法对高光谱异常目标的检测结果进行对比，其中，图4a为texas coast数据集的伪彩色图，此数据集的大小为100
×
100
×
207；图4b为图4a所示数据集对应的标签信息，主要由一些建筑物组成，图4b图像大小为100
×
100，图4b中的黑色表示背景信息，白色表示异常目标；图4c表示rx算法对数据集图4a的检测结果；图4d表示lrx算法在对数据集图4a的检测结果；图4e表示crd算法在对数据集图4a的检测结果；图4f表示lrasr算法在对数据集图4a的检测结果；图4h表示daead算法在对数据集图4a的检测结果；图4g表示本发明方法在对数据集图4a的检测结果。
[0059]
由以上检测结果明显看出，相比于本发明方法，现有的异常检测算法存在漏检以及误检情况，或者不能很好地检测出异常目标，而本发明方法在抑制背景的同时能够较好的检测出异常目标，检测结果图也是最接近标签图像。
[0060]
仿真2，
[0061]
图5是异常检测算法rx、lrx、crd、lrasr、daead以及本发明方法检测结果的roc曲线图，曲线越靠近左上角，表明检测率越高，并且虚警率较低。由上述的roc曲线可以看出，相比于其它对比算法，本发明方法的roc曲线包围了其它算法的曲线，这表明本发明方法在检测出目标的同时能够很好地抑制背景，进一步说明了本发明方法的有效性。
[0062]
仿真3，
[0063]
图6是异常检测算法rx、lrx、crd、lrasr、daead以及本发明方法对高光谱异常目标的检测结果的auc值。auc值越大表明算法性能越优，本发明方法的auc值为0.9992，远远高于其它对比算法的auc值，再次说明本发明方法的优越性。
[0064]
综上所述，本发明方法通过深度神经网络来对高光谱图像进行张量分解并进行异常目标检测，克服了传统张量分解模型过程复杂、分解结果不稳定等缺陷；同时为了缓解重建过程中图像模糊问题，本发明在原有均方误差的基础上引入了结构相似性损失，从而进一步提高异常检测精度，最后通过实验定性和定量分析，证明了本发明方法的优越性。