基于局部和全局上下文融合的显著性目标检测方法及系统

技术特征：
1.一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，包括以下步骤：获取待显著性目标检测的rgb图片并输入预训练好的显著性目标检测模型，获得显著性目标检测结果；其中，所述显著性目标检测模型包括：特征提取网络，用于获取输入的rgb图片的多尺度特征；拼接融合网络，用于将所述多尺度特征中的预设前几层特征融合，获得低层细节特征；用于将所述多尺度特征中的预设后几层特征融合，获得高层语义特征；局部上下文提取网络，用于输入所述低层细节特征，输出细腻的局部上下文特征；全局上下文提取网络，用于输入所述高层语义特征，输出细腻的全局上下文特征；融合输出网络，用于输入细腻的局部上下文特征和细腻的全局上下文特征并融合，获得上下文融合特征；基于所述上下文融合特征，输出显著性目标检测结果。2.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，所述局部上下文提取网络包括：低层特征融合网络，用于输入所述低层细节特征，进行通道数统一处理，输出融合后的低层细节特征；局部特征细化网络，用于输入所述融合后的低层细节特征，进行细化处理，输出细腻的局部上下文特征；其中，所述局部特征细化网络为自编码器。3.根据权利要求2所述的一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，所述局部特征细化网络为u型自编码器；所述u型自编码器中，对每一层上采样解码增加短连接操作，将下采样编码的特征与上采样解码的特征相结合，用于弥补对特征进行下采样操作造成的有限上下文聚合。4.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，所述全局上下文提取网络具体包括：高层特征融合网络，用于输入所述高层语义特征，进行通道数统一处理，输出融合后的高层语义特征；全局特征细化网络，用于输入所述融合后的高层语义特征，进行细化处理，输出细腻的全局上下文特征；其中，所述局部特征细化网络为基于transformer的自编码器。5.根据权利要求4所述的一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，所述全局特征细化网络包括：连续卷积操作和池化操作，用于输入所述融合后的高层语义特征，进行连续下采样编码得到卷积神经网络编码后的语义特征；transformer编码器，用于对卷积神经网络编码后的语义特征再编码，输出transformer编码后的特征；基于卷积神经网络的解码器，用于输入所述transformer编码后的特征，采用短连接的上采样方式得到全局上下文特征；其中，所述transformer编码器的每层编码块均由layer norm、multi-head attention、dropout和多层感知机组成。6.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法，其
特征在于，所述预训练好的显著性目标检测模型的获取步骤包括：获取训练样本集；其中，所述训练样本集中的每个样本均包括rgb样本图片和对应的真实显著性图像；基于所述训练样本集对所述显著性目标检测模型进行训练，损失函数值达到预设收敛条件后，获得所述预训练好的显著性目标检测模型；其中，所述损失函数值为每个样本的rgb样本图片的预测显著性图像与所述rgb样本图片对应的真实显著性图像之间的损失函数值；损失函数值采用三种不同的损失函数求和获得，三种损失函数依次为bce损失、ssim损失和iou损失。7.根据权利要求6所述的一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，所述基于所述训练样本集对所述显著性目标检测模型进行训练时，采用随机梯度下降算法进行模型参数优化。8.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，所述融合输出网络中，输入细腻的局部上下文特征和细腻的全局上下文特征并融合，获得上下文融合特征；基于所述上下文融合特征，输出显著性目标检测结果的步骤具体包括：将细腻的局部上下文特征和细腻的全局上下文特征输入到一个卷积核为1的卷积层中，将通道数变换到与融合后的高层语义特征一致；在通道维度拼接后，输入到一个relu层中，获得加强的局部和全局上下文特征；将加强的局部和全局上下文特征在通道维度拼接后输入到一个relu层中得到上下文融合特征；将上下文融合特征输入到一个卷积核为1的卷积层中并对其进行softmax操作，得到通道数为1的显著性图。9.根据权利要求1所述的一种基于局部和全局上下文融合的显著性目标检测方法，其特征在于，所述拼接融合网络中，将所述多尺度特征中的预设前几层特征融合，获得低层细节特征；将所述多尺度特征中的预设后几层特征融合，获得高层语义特征的步骤具体包括：将所述多尺度特征中的预设前几层特征在通道维度上进行拼接实现融合，获得低层细节特征；将所述多尺度特征中的预设后几层特征在通道维度上进行拼接实现融合，获得高层语义特征。10.一种基于局部和全局上下文融合的显著性目标检测系统，其特征在于，包括：检测模块，用于获取待显著性目标检测的rgb图片并输入预训练好的显著性目标检测模型，获得显著性目标检测结果；其中，所述显著性目标检测模型包括：特征提取网络，用于获取输入的rgb图片的多尺度特征；拼接融合网络，用于将所述多尺度特征中的预设前几层特征融合，获得低层细节特征；用于将所述多尺度特征中的预设后几层特征融合，获得高层语义特征；局部上下文提取网络，用于输入所述低层细节特征，输出细腻的局部上下文特征；全局上下文提取网络，用于输入所述高层语义特征，输出细腻的全局上下文特征；融合输出网络，用于输入细腻的局部上下文特征和细腻的全局上下文特征并融合，获
得上下文融合特征；基于所述上下文融合特征，输出显著性目标检测结果。

技术总结
本发明公开了一种基于局部和全局上下文融合的显著性目标检测方法及系统，所述方法包括以下步骤：获取待显著性目标检测的RGB图片并输入预训练好的显著性目标检测模型，获得显著性目标检测结果；其中，所述显著性目标检测模型包括：特征提取网络，用于获取多尺度特征；拼接融合网络，用于获得低层细节特征和高层语义特征；局部上下文提取网络，用于输出细腻的局部上下文特征；全局上下文提取网络，用于输出细腻的全局上下文特征；融合输出网络，用于输出显著性目标检测结果。本发明能够有效地提取局部和全局上下文信息，能够提高复杂场景中显著性检测的高效性和准确性。显著性检测的高效性和准确性。显著性检测的高效性和准确性。


技术研发人员：王乐 冯雪璐 周三平 陈仕韬 李建星 刘成菊
受保护的技术使用者：同济大学
技术研发日：2022.03.04
技术公布日：2022/6/4