一种基于混合光谱注意力U型神经网络的显著性目标检测方法与流程

本发明涉及高光谱显著性目标检测领域，具体涉及一种基于混合光谱注意力u型神经网络的显著性目标检测方法。

背景技术：

1、显著性目标检测旨在自动识别场景中最关键的前景目标，作为计算机视觉研究中的基础预处理环节具有重要意义。高光谱显著性目标检测立足于相比传统rgb图像蕴含更多光谱信息的高光谱图像，以实现在前背景相似、高动态范围、复杂背景等挑战性场景下的高精度检测。高光谱图像能够通过光谱曲线更准确地表征物体，但现有高光谱显著性目标检测方法在处理光谱冗余、有效利用光谱特征和准确区分目标轮廓方面存在问题。

2、传统方法往往难以有效利用光谱信息，在去除光谱冗余时容易损失有效信息，且对目标轮廓的区分能力不足。基于深度学习的方法虽然取得了显著进展，但现有网络在处理高光谱图像时，通常将各波段视为独立的通道，忽略了光谱维度上的内在关联性，导致光谱特征利用率低。此外，简单的下采样操作会造成空间信息损失，进一步影响检测精度。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于混合光谱注意力u型神经网络的显著性目标检测方法，以解决现有技术中光谱冗余导致有效信息损失、光谱特征利用率低以及难以准确区分目标轮廓的问题。

2、为实现上述目的，本发明所采用的技术方案如下：

3、一种基于混合光谱注意力u型神经网络的显著性目标检测方法，包括以下步骤：

4、s1：获取高光谱图像并进行预处理，得到降维光谱图像、光谱显著性图像和rgb光谱映射图像；其中，所述降维光谱图像作为主模态输入，由光谱显著性图像和rgb光谱映射图像经拼接后作为补充模态输入；

5、s2：构建混合光谱注意力u型深度神经网络，所述网络包括双流编码器、单流解码器、瓶颈层和跳跃连接；所述双流编码器用于分别提取主模态和补充模态的深层特征；所述瓶颈层位于双流编码器与单流解码器之间，用于整合两模态特征；所述单流解码器用于逐层恢复特征空间分辨率并生成显著性预测图；所述跳跃连接用于连接双流编码器与单流解码器中对应层级的特征；

6、s3：将所述降维光谱图像和补充模态输入图像输入至所述混合光谱注意力u型深度神经网络中进行训练，利用光谱显著性混合损失函数对网络进行密集监督，优化网络参数，直至网络收敛；

7、s4：将待检测高光谱图像经所述步骤s1的预处理后输入训练好的神经网络，得到显著性预测图。

8、在一个可能的实施例中，在所述步骤s1中，具体包括如下过程：

9、将原始高光谱经过图像校正、图像配准、图像增强、图像缩放等图像预处理，随后将预处理得到的图像通过通道维度均匀抽样后得到50通道降维图像，计算高光谱图像的中心-周边光谱对比度得到凸显目标判别性的3通道光谱显著性，通过矩阵将图像的rgb空间维度转换到cie xyz空间维度的坐标得到凸显空间结构细节的3通道rgb光谱映射。以降维光谱图像作为方法的主模态输入，以经过特征拼接的光谱显著性和rgb光谱映射作为方法否补充模态输入。

10、在一个可能的实施例中，所述双流编码器包括结构相同的第一分支和第二分支，每个分支均分为三个阶段，每个阶段包含两个级联的双层路由块和一个由3×3卷积构成的图像块合并层(patch merging)，此外，第一阶段中还额外包含一个由两个3×3卷积层组成的图像块嵌入层(patch embedding)用于将输入特征图分割为分割为重叠的图像块，并嵌入到通道维度为64的特征投影，便于后续的注意力计算；双流编码器两个分支：主模态分支编码降维光谱图像，得到完整光谱深层特征，补充模态分支编码光谱显著性和rgb光谱映射s,m∈rh×w×3，得到高低频光谱分量深层特征，其过程可公式化表达如下：

11、

12、

13、式中，表示参数为φ的编码器，表示参数为θ的编码器，表示特征拼接；两分支完成编码的特征汇聚在编码器末端，经多模态光谱混合频率注意力机制整合，得到实现光谱高低频分量补足的光谱编码特征，最终输入瓶颈层。

14、在一个可能的实施例中，单流解码器分三个阶段独立运行，其结构与解码器对应相似，每个阶段由3×3卷积层构成的图像块拓展层(patch expanding)以及两个级联的双层路由块组成，图像块拓展层的作用在于将输入特征图的分辨率提高2倍并将特征维度缩小一半，最后一个图像块拓展层则实现4倍上采样将解码特征恢复到初始的空间分辨率，并通过线性投影生成最终的像素级显著性预测；此外，解码器每一阶段都生成显著性预测并进行密集监督，同时将生成的显著性预测与解码特征一同输入跳跃连接逐层向上进行优化。

15、在一个可能的实施例中，所述双层路由块由3×3深度卷积、两个归一化层、一个双层路由自注意力层、三个残差连接和一个双层多层感知机组成；其工作原理可公式化描述为：

16、

17、

18、

19、式中，，，，和分别代表深度卷积、层归一化层、双层路由自注意力和多层感知机，，和则分别对应第1个双层路由块中深度卷积、双层路由自注意力和多层感知机的输出特征。

20、所述双层路由自注意力层基于动态稀疏的双层路由自注意力机制实现，该机制依次包括区域划分与输入投影(region partition and input projection)，区域到区域路由(region-to-region routing)，令牌到令牌注意力(token-to-token attention)。

21、区域划分与输入投影，通过将二维输入特征划分为s× s 个不重叠的区域，可以获得每个区域的特征维度为。所得到的特征通过线性投影可以求得查询张量，关键张量和数值张量：

22、q=xrwq,k=xrwk,v=xrwv

23、式中，分别是查询张量，关键张量和数值张量的权重投影；

24、区域到区域路由，首先通过分别计算每个区域的q和k的平均值得到区域级查询张量和关键张量，接着通过应用qr和kr求得区域到区域的邻接矩阵ar，邻接矩阵的作用在于查询两个区域之间语义的相关程度，最后通过使用逐行topk运算符仅保留每个查询区域的前k个最相关区域，推导出路由索引矩阵，索引矩阵包含各区域中代表最相关区域的k个索引，整体过程可以被公式化表示为：

25、

26、

27、式中，代表的转置矩阵，表示逐行topk运算符；

28、令牌到令牌注意力，由于路由区域可能分散在整个特征图上，因此需要收集路由区域的关键张量和数值张量，然后利用索引矩阵将细粒度的令牌到令牌注意力应用于聚集后的键-值张量上，整体过程可表述如下：

29、

30、

31、式中，表示聚集操作，表示softmax函数，是聚集后的键-值张量，表示局部上下文增强函数由卷积核为5的深度卷积实现。

32、在一个可能的实施例中，所述多模态光谱混合频率注意力机制旨在促进主模态特征和补充模态特征的全面交互融合，以得到高低频分量完整丰富的光谱编码特征，该机制由高频注意力头和低频注意力头两个核心部分组成：高频头通过交叉注意力交互，促进主模态特征和补充模态中高频边缘特征的相互作用，从而实现高频边缘分量的补足；低频头则应用自注意力交互于补充模态特征，提取显著性特征以强化特征内部的光谱显著低频分量；最终高频头与低频头的输出特征整合，实现主模态编码特征在增强显著性信息约束下的低频显著分量修正补足；该机制的具体原理如下：

33、主模态编码特征fhsi直接输入高频头，补充模态编码特征fsm在通道维度cs上均匀分割为两部分后分别输入高频头和低频头，分割后的两组特征为；该机制使用邻域注意力机制实现注意力交互，该机制的原理可公式化为：

34、

35、式中，代表(i,j) 位置的像素邻域，是相对位置偏置。是sigmoid激活函数；该机制的高频注意力头得到输出特征、低频注意力头得到输出特征以及频率融合后最终得到输出混合频率解码特征的过程如下：

36、

37、

38、

39、式中，为relu 激活函数，代表1× 1 卷积。

40、其中，空间-光谱驱动的特征融合跳跃连接旨在通过空间-光谱注意力组合，将输入的两模态编码特征、解码特征以及下层显著性预测进行整合，既有效补偿编码器下采样造成的空间信息损失，又显著增强网络的光谱特征利用率；该跳跃连接的核心在于空间注意力和光谱注意力子模块两部分：

41、空间注意力子模块首先捕捉输入特征的空间细节，生成空间注意力权重，在与输入特征f1相乘后得到输出特征f2如下：

42、

43、

44、式中，为逐元素相乘，是sigmoid 激活函数，代表softmax函数,空间查询张量和空间关键张量通过f1 处理求得：

45、

46、

47、式中，是全局平均池化(global average pooling)，为relu 激活函数，表示1×1 卷积，代表多层感知机。

48、光谱注意力子模块随后提取输入特征的光谱信息，生成空光谱注意力权重，在与自身相乘后得到最终输出的上层解码特征如下：

49、

50、

51、式中，代表7×7卷积；光谱查询张量和光谱关键张量通过处理求得：

52、

53、

54、式中，和由7× 7卷积、批归一化层和relu激活函数组成。

55、其中，采用光谱显著性混合损失函数，通过计算显著性预测图y与对应真值图像t之间的偏差，对模型的训练过程进行密集监督，该损失函数由三部分针对性分量损失函数组成：二进制交叉熵损失(bce)、结构相似性指数(ssim)和交并比(iou)，其具体定义如下：

56、

57、式中，，和分别表示二进制交叉熵损失、结构相似性指数和交并比三种损失函数；模型的整体损失可以被表示为：

58、

59、式中，是各层级的中间显著性预测图，为最终显著性预测，代表对应的真值图像，表示归一化权重。

60、本发明与现有技术相比，具有以下有益效果：

61、1、本发明采用基于深度学习的网络架构，结合卷积神经网络和自注意力机制，实现了智能、高效、准确的显著性目标检测。

62、2、本发明引入光谱高低频分量特征，使用多模态信息融合技术，设计光谱维注意力机制，实现了冗余消除、信息完整、利用率高的有效高光谱图像处理和使用。

63、3、本发明所提出的方法具有较强的鲁棒性，适用于前背景相似、高动态范围、复杂背景、小目标等挑战性场景，同时该方法生成的显著性预测图定位准确、目标完整、轮廓清晰、可视化效果好。