一种基于交互式引导注意力和梯形金字塔融合的RGB-D显著性目标检测方法与流程

技术特征：
1.一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法，其特征在于，该方法包括一下步骤：1)获取训练和测试该任务的rgb-d数据集，并定义本发明的算法目标，并确定用于训练和测试算法的训练集和测试集；2)构建用于提取rgb图像特征rgb编码器和深度(depth)图像特征depth编码器；3)建立跨模态特点融合网络，通过交互式引导的注意力机制指导rgb图像特征和depth图像特征进行交叉融合；4)基于上述的跨模态特征融合成的多模态特征，构建超大规模的感受野融合机制，以增强多模态特征的感受野信息和高级语义信息；5)建立以梯形金字塔特征融合网络为基础的解码器，并通过激活函数得到最终的预测到的显著图；6)预测出来的显著图p
est
与人工标注的显著目标分割图p
gt
进行损失函数的计算，并通过sgd和反向传播算法逐步更新本发明提出的模型的参数权重，最终确定rgb-d显著性检测算法的结构和参数权重。7)在步骤6确定模型的结构和参数权重的基础上，对测试集上的rgb-d图像对进行测试，生成显著图p
test
，并使用评价指标进行性能评估。2.根据权利要求1所述的一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法，其特征在于：所述步骤2)具体方法是：2.1)将njud数据集、nlpr数据集和dut-rgbd数据集作为训练集，将剩余部分的nlpr数据集、剩余的dut-rgbd数据集、sip数据集、stere数据集和ssd数据集作为测试集。2.2)rgb-d图像数据集包括单幅rgb图像p
rgb
、对应的depth图像p
depth
和对应的人工标注的显著目标分割图像p
gt
。3.根据权利要求1所述的一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法，其特征在于：所述步骤3)具体方法是：3.1)利用vgg16作为本发明的模型的主干网络，用于提取rgb图像特征和因对的depth图像特征，分别为和和3.2)采用在imagenet数据集上预训练好的vgg16参数权重初始化本发明的用于构建主干网络的vgg16权重。4.根据权利要求1所述的一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法，其特征在于：所述步骤4)具体方法是：4.1)跨模态特征融合网络由5个层次的cmaf模块构成，并生成5个层次的多模态特征和4.2)第i层次的cmaf模块的输入数据为和构成，并通过交互式引导的注意力机制输出第i层次的多模态特征其中i∈{1，2，3，4，5}。5.根据权利要求1所述的基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法，其特征在于：所述步骤5)具体方法是：5.1)分别将多尺度的多模态特征通过空洞卷积操作提取超大规模的感受野信息，并设
置不同空洞率的空洞卷积：其中，i∈{1，2，3，4，5}表示多模态特征所在的层次，dla
i
()代表空洞率为i的空洞卷积操作，并dla2()、dla4()和dla8()分别代表空洞率为1、2、4和8的空洞卷积操作，和分别代表由第i层次的多模态特征所生成的空洞率为i的特征。5.2)将上述步骤所生成的多层级感受野的多模态特征输入梯形金字塔特征融合网络，融合不同感受野的多模态特征：其中，tpnet()表示梯形金字塔特征融合网络。6)将步骤5所获取到的5个层次的超大规模感受野的多模态特征输入到由梯形金字塔特征融合网络构成的解码器中，得到最终的融合特征，在经过sigmoid函数激活，得到预测的显著图p
est
：p
est
＝sigmoid(tpnet(f1，f2，f3，f4，f5))
ꢀꢀꢀꢀ
公式(3)7)通过本发明预测出来的显著图p
est
与人工标注的显著目标分割图p
gt
进行损失函数的计算，并通过sgd和反向传播算法逐步更新本发明提出的模型的参数权重，最终确定rgb-d显著性检测算法的结构和参数权重。

技术总结
本发明属于计算机视觉领域，提供了一种基于交互式引导注意力和梯形金字塔融合的RGB-D显著性目标检测方法，包括以下步骤：1)获取训练和测试该任务的RGB-D数据集，并定义本发明的算法目标；2)构建用于提取RGB图像特征RGB编码器和深度(Depth)图像特征Depth编码器；3)建立跨模态特点融合网络，通过交互式引导的注意力机制指导RGB图像特征和Depth图像特征进行交叉融合；4)构建超大规模的感受野融合机制，以增强多模态特征的高级语义信息；5)建立梯形金字塔特征融合网络为基础的解码器以生成显著图P


技术研发人员：段松松 夏晨星 黄荣梅 孙延光
受保护的技术使用者：安徽理工大学
技术研发日：2021.12.17
技术公布日：2022/4/5