基于RGB-T多源图像数据的显著性目标检测方法

技术特征：
1.一种基于rgb-t多源图像数据的显著性目标检测方法，其特征在于，包括：步骤1：在传统的双通道vgg-16网络架构的基础上，采用可变形卷积替换vgg-16中部分卷积层，并去掉最后的全连接层，构成基于可变形卷积的vgg-dcnet网络，将可见光图像和热红外图像作为vgg-dcnet网络双通道的输入，利用vgg-dcnet网络提取可见光图像和热红外图像的初级特征；步骤2：将提取的可见光图像和热红外图像的初级特征输入注意力特征融合模块，经过标准化注意力机制后分别得到可见光图像和热红外图像对应的注意力特征图，再将可见光图像和红外图像每层的注意力特征图进行两两融合，得到融合后的注意力特征图；步骤3：将最深层注意力特征经过多层金字塔池化操作后获取的全局语义信息融入到可见光图像和红外图像局部特征提取的过程中，从而在融合全局-局部特征模块中将可见光图像和红外图像的全局多尺度的特征和局部多层次的特征进行融合，并输出最终的显著性预测图。2.根据权利要求1所述的基于rgb-t多源图像数据的显著性目标检测方法，其特征在于，所述步骤1包括：采用可变形卷积替换vgg-16中最后一个阶段的三层卷积。3.根据权利要求1所述的基于rgb-t多源图像数据的显著性目标检测方法，其特征在于，所述注意力特征融合模块用于在标准化注意力机制nam的作用下，得到经过加强的有益特征而抑制无关特征，获取注意力特征图，并将网络中间级获取的包含注意力信息的特征图进行特征级融合。4.根据权利要求1所述的基于rgb-t多源图像数据的显著性目标检测方法，其特征在于，所述注意力特征融合模块中，按照如下方式进行可见光图像和红外图像每层的注意力特征图的融合：其中n
ri
表示第i阶段可见光图像的注意力特征，n
ti
表示第i阶段红外图像的注意力特征，a
i
表示第i阶段融合后的注意力特征。5.根据权利要求1所述的基于rgb-t多源图像数据的显著性目标检测方法，其特征在于，按照如下方式获取全局语义信息：利用金字塔池化的方法，采用四个子分支的池化操作得到不同尺度的特征图，包括：1)将输入特征图在四个尺度下进行池化，得到四个尺度的输出p
i
，i＝1,2,3,4，其中第一层为全局平均池化，其他三层均为平均池化操作，每个输出的尺寸不同，但通道维度相同；2)对池化后的特征进行通道维度的缩减，利用1*1的卷积操作，将通道数减少为原始特征的1/n，其中n为池化操作的层数；3)应用双线性插值的方法进行上采样，使四层特征的大小变换为与原始特征图大小一致，最后将四层特征图在通道维度进行拼接。6.根据权利要求1所述的基于rgb-t多源图像数据的显著性目标检测方法，其特征在
于，按照如下方式提取可见光图像和红外图像局部特征：vgg-dcnet网络自顶向下每个阶段融合后的注意力特征先以不同的下采样率进行平均池化得到不同尺度空间的特征，经卷积操作后再上采样恢复至原来的尺度并进行融合，最后经过一个3*3的卷积得到包含不同尺度信息的局部特征图。

技术总结
本发明公开一种基于RGB-T多源图像数据的显著性目标检测方法，采取基于注意力信息的特征融合，将VGG-DCNet提取到的初级特征用注意力机制进行重要特征的加权，得到可见光图像和红外图像的注意力特征图，进而将各阶段的多层特征进行结合，并向后传递，采用多尺度池化的方法获取全局先验信息，并用于上采样过程，前向传递过程中，为了提取局部特征，将各阶段不同尺度空间的信息进行不同采样率的池化操作，得到丰富的局部信息，在全局先验信息的指导下，向前传递，得到最终的显著性预测图。本发明具有良好的显著性目标检测能力，特别是在光照不足、交叉图像边界、中心偏移等复杂场景下检测效果优势明显。测效果优势明显。测效果优势明显。


技术研发人员：吴慧欣 安丽鑫 姜维 王喆 陈继坤 刘孟轩 李琳 张慢丽 李文静
受保护的技术使用者：华北水利水电大学
技术研发日：2022.05.26
技术公布日：2022/8/12