一种基于交互式引导注意力和梯形金字塔融合的RGB-D显著性目标检测方法与流程

一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法
技术领域：
1.本发明涉及计算机视觉和图像处理领域，特别地涉及一种基于交互式 引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法。


背景技术：

2.显著性目标检测旨在通过模拟人类视觉注意机制从给定的数据(如rgb图片、rgb-d图片、视频等)中，定位出最引人注目的目标或者区域。而最近几年，显著性目标检测由于其广泛的应用得到了快速发展，在许多计算机视觉领域得到显著应用，比如图像检索，视频分割，语义分割，视频跟踪，人物重建，缩略图创建和质量评估等等。
3.由于单一的模态的rgb显著性目标检测算法在面对一些具有挑战性的场景(例如，复杂背景、显著目标与背景高度相似、低对比度场景等等)下，难以准确和完整地从背景中定位出显著目标。因此，为了解决这个问题，将深度(depth)图像引入到显著性目标检测，通过联合rgb图像和depth图像相结合构成了rgb-d进行显著性目标检测。
4.由于depth map能够提供许多有用的信息，诸如比如空间结构， 3d分布，目标边缘等信息。将depth图引入到sod任务中，能够帮助sod模型处理诸如复杂背景、低对比度、显著目标与背景外形相似等具有挑战性的场景。因此，如何利用depth map辅助 rgb-d显著性目标检测模型精确定位显著目标至关重要。此前的 rgb-d显著性目标检测方法大多将depth map作为独立于rgb图像的数据流，单独提取特征，或者将depth图像作为rgb图像的第四个通道输入进rgb-d显著性检测模型，该类方法无差别地对待rgb图像和depth图像，忽略了一个事实：rgb图像和depth图像中，不同区域所携带的显著信息是有着巨大的差异，并且rgb 图像和depth图像对显著目标的信息的表示方面也存在着差异。
5.考虑到rgb图像数据和depth图像数据之间存在跨模态数据的二义性问题，本发明尝试探索一种发高效的跨模态特征融合方法，并利用跨模态融合方法有效消除跨模态数据之间的二义性问题。此外，为了进一步探索多尺度特征之间的联系和协作机制，利用多尺度的特征信息有效的提升模型检测的性能，并且可以兼顾高级语义信息和低级的细节信息，从到可以达到感知显著性目标的边缘细节和整体完整性。本发明通过进一步挖掘特征金字塔在多尺度特征融合方面的作用，帮助显著性检测模型更加准确地预测出显著目标。


技术实现要素：
:
6.针对以上提出的问题，本发明提供一种基于交互式引导注意力和梯形金字塔融合的rgb-d显著性目标检测方法，具体采用的技术方案如下：
7.1.获取训练和测试该任务的rgb-d数据集。
8.1.1)将njud数据集、nlpr数据集和dut-rgbd数据集作为训练集，将剩余部分的nlpr数据集、剩余的dut-rgbd数据集、 sip数据集、stere数据集和ssd数据集作为测试集。
9.1.2)rgb-d图像数据集，包括单幅rgb图像p
rgb
、对应的depth 图像p
depth
和对应的人
工标注的显著目标分割图像p
gt
。
10.2.利用卷积神经网络构建用于提取rgb图像特征和depth图像特征的显著性目标检测模型网络；
11.2.1)利用vgg16作为本发明的模型的主干网络，用于提取rgb 图像特征和因对的depth图像特征，分别为和和
12.2.2)本发明采用imagenet数据集预训练的vgg16参数权重初始化本发明的用于构建主干网络的vgg16权重。
13.3.基于步骤2所提取到的多尺度rgb图像特征3.基于步骤2所提取到的多尺度rgb图像特征和对应的depth图像特征进行多尺度的跨模态特征交互式融合，并利用该交互融合构建一个跨模态特征融合网络用于生成多模态特征。
14.3.1)跨模态特征融合网络由5个层次的cmaf模块已经5个层次的rgb图像特征和对应的depth图像特征和对应的depth图像特征构成，并生成5个层次的多模态特征征和
15.3.2)第i层次的cmaf模块的输入数据为和构成，并通过交互式引导的注意力机制生成第i层次的多模态特征其中i∈{1，2，3，4，5}。
16.3.3)cmaf模块通过交互式引导的注意力机制生成多模态特征具体过程如下：
17.3.3.1)首先本发明构建一个残差卷积模块用于增加特征的感受野和语义信息，增强特征的显著性的表达能力，通过该残差卷积模块，可以进一步增强rgb图像特征和对应的depth图像特征。
18.3.3.2)进一步利用元素感知的矩阵相乘操作和元素感知的矩阵相加操作融合rgb图像特征和对应的depth图像特征，然后利用 softmax激活函数将融合后的特征转化为全局上下文感知的注意力权重ws和通道感知注意力权重wc：
[0019][0020][0021]
其中，resconv表示残差卷积模块，multi表示元素感知的矩阵乘操作，add表示元素感知的矩阵加操作，gap表示全局平均池化， softmax表示softmax激活函数。
[0022]
3.3.3)在获得全局上下文感知的注意力权重ws和通道感知注意力权重wc之后，我们将ws和wc分别与增强之后的rgb图像特征和对应的depth图像特征相结合，利用注意力机制生成的权重矩阵引导特征聚焦特征中的显著性区域，得到过滤之后的多模态特征：
[0023][0024]
[0025]
其中，α∈{r，d}，通过上述操作可以获得经过过滤之后的rgb图像特征和对应的depth图像特征
[0026]
3.3.4)通过交叉交互式融合方法，融合跨模态特征，rgb图像特征和对应的depth图像特征得到融合特征得到融合特征
[0027]
其中，i∈{1，2，3，4，5}表示特征所在模型的层次，conv3表示卷积核大小为3
×
3的卷积操作，cat表示特征连接操作。
[0028]
4)通过上述操作，提取到5个层次的多模态特征4)通过上述操作，提取到5个层次的多模态特征和并将这5个层次输入到密度空洞卷积模块，通过多层级的空洞卷积操作增强多模态特征的感受野信息和高级语义信息。
[0029]
4.1)分别将多尺度的多模态特征通过空洞卷积操作提取超大规模的感受野信息，并设置不同空洞率的空洞卷积：
[0030][0031]
其中，i∈{1，2，3，4，5}表示多模态特征所在的层次，dlai()代表空洞率为i的空洞卷积操作，并dla2()、dla4()和dla8()分别代表空洞率为1、2、4和8的空洞卷积操作，和分别代表由第i层次的多模态特征所生成的空洞率为i的特征。
[0032]
4.2)将上述步骤所生成的多层级感受野的多模态特征输入梯形金字塔特征融合网络，融合不同感受野的多模态特征：
[0033][0034]
其中，tpnet表示梯形金字塔特征融合网络。
[0035]
5)将步骤4所获取到的5个层次的超大规模感受野的多模态特征输入到由梯形金字塔特征融合网络构成的解码器中，得到最终的融合特征，在经过sigmoid函数激活，得到预测的显著图p
est
：
[0036]
p
est
＝sigmoid(tpnet(f1，f2，f3，f4，f5))
ꢀꢀꢀ
公式(7)
[0037]
6)通过本发明预测出来的显著图p
est
与人工标注的显著目标分割图p
gt
进行损失函数的计算，并通过sgd和反向传播算法逐步更新本发明提出的模型的参数权重，最终确定rgb-d显著性目标检测算法的结构和参数权重。
[0038]
7)在步骤6确定模型的结构和参数权重的基础上，对测试集上的rgb-d图像对进行测试，生成显著图p
test
，并使用mae、s-measure、 f-measure、e-measure评价指标进行评估。
[0039]
本发明基于深度卷积神经网络实现的多模态显著性目标检测，利用depth图像中的丰富的空间结构信息，并与rgb图像提取的depth 特征进行交互引导注意力方式的跨模态特征融合，能够适应不同场景下的显著目标检测的要求，特别在一些具有挑战性场景下(复杂背景、低对比度、透明物体等)，本发明能够具有一定的鲁棒性。相比较之前的rgb-d显著性目标检测方法，本发明具有以下收益：
[0040]
首先，利用深度学习技术，通过编码器和解码器结构构建rgb-d 图像对和图像显著目标之间的关系，并通过跨模态特征的提取和融合，得到显著性预测。
[0041]
其次，通过一种交互式融合的方式，有效调制depth图像特征对于rgb图像特征的补充信息，并利用其本身具备的深度分布信息指导跨模态的特征融合，排除rgb图像中的背景信息的干扰，为下一阶段的显著目标的预测打好基础。
[0042]
最后，通过构建的梯形金字塔特征融合网络进行多尺度的多模态特征融合，预测最终的显著图。
附图说明
[0043]
图1为本发明的模型结构示意图
[0044]
图2为跨模态特征融合模块示意图
[0045]
图3为超大规模感受野融合模块示意图
[0046]
图4为梯形金字塔特征融合网络(tpnet)示意图
[0047]
图5为模型训练和测试示意图图6为本发明与其他rgb-d显著性目标检测方法的结果对比图
具体实施方式
[0048]
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，此外，所叙述的实例仅仅是本发明一部分实例，而不是所有的实例。基于本发明中的实例，本研究方向普通技术人员在没有付出创造性劳动前提下所获得的所有其他实例，都属于本发明保护范围。
[0049]
参考附图1，一种基于交互式引导注意力和梯形金字塔融合的 rgb-d显著性目标检测方法主要包含以下步骤：
[0050]
1.获取训练和测试该任务的rgb-d数据集，并定义本发明的算法目标，并确定用于训练和测试算法的训练集和测试集。将njud 数据集、nlpr数据集和dut-rgbd数据集作为训练集，余下数据集作为测试集，包括sip数据集、剩余部分的nlpr数据集、剩余的dut-rgbd数据集、stere数据集和ssd数据集。
[0051]
2.利用卷积神经网络构建用于提取rgb图像特征和depth图像特征的显著性目标检测模型网络，包括用于提取rgb图像特征的 rgb编码器和用于提取depth图像特征的depth编码器：
[0052]
2.1.将带有三通道的rgb图像输入到rgb编码器，生成5个层次的rgb图像特征，分
别是和
[0053]
2.2.将三通道的depth图像输入到depth编码器中，生成5个层次的depth图像特征，分别是和
[0054]
3.参考附图2所示，通过跨模态融合模块将步骤2所生成的5 个层次的rgb图像特征和depth图像特征和depth图像特征进行交互式融合，得到5个层次的多模态特征个层次的多模态特征和主要步骤如下所示：
[0055]
3.1.跨模态特征融合网络由5个层次的cmaf模块构成，已经 5个层次的rgb图像特征和对应的depth图像特征构成，并生成5个层次的多模态特征层次的多模态特征和
[0056]
3.2.第i层次的cmaf模块的输入数据为和构成，并通过交互式引导的注意力机制输出第i层次的多模态特征其中 i∈{1，2，3，4，5}。
[0057]
3.3.cmaf模块通过交互式引导的注意力机制生成多模态特征具体过程如下：
[0058]
3.3.1.首先本发明构建一个残差卷积模块用于增加特征的感受野和语义信息，增强特征的显著性的表达能力，通过该残差卷积模块，可以进一步增强rgb图像特征和对应的depth图像特征。
[0059]
3.3.2.进一步利用元素感知的矩阵乘操作和元素感知的矩阵加操作融合rgb图像特征和对应的depth图像特征，然后利用softmax 激活函数将融合后的特征转化为全局上下文感知的注意力权重ws和通道感知注意力权重wc：
[0060][0061][0062]
其中，resconv表示残差卷积模块，multi表示元素感知的矩阵乘操作，add表示元素感知的矩阵加操作，gap表示全局平均池化， softmax表示softmax激活函数。
[0063]
3.3.3.在获得全局上下文感知的注意力权重ws和通道感知注意力权重wc之后，我们将ws和wc分别与增强之后的rgb图像特征和对应的depth图像特征相结合，利用注意力机制生成的权重矩阵引导特征聚焦特征中的显著性区域，得到过滤之后的多模态特征：
[0064][0065][0066]
其中，α∈{r，d}，通过上述操作可以获得经过过滤之后的rgb图像特征和对应的
depth图像特征
[0067]
3.3.4.通过交叉交互式融合方法，融合跨模态特征，rgb图像特征和对应的depth图像特征得到融合特征
[0068][0069]
其中，i∈{1，2，3，4，5}表示特征所在模型的层次，conv3表示卷积核大小为3
×
3的卷积操作，cat表示特征连接操作。
[0070]
4.参考附图3，利用超大规模的感受野融合模块增强多模态特征的感受野信息和高级语义信息：
[0071]
4.1)分别将多尺度的多模态特征通过空洞卷积操作提取超大规模的感受野信息，并设置不同空洞率的空洞卷积：
[0072][0073]
其中，i∈{1，2，3，4，5}表示多模态特征所在的层次，dlai()代表空洞率为i的空洞卷积操作，并dla2()、dla4()和dla8()分别代表空洞率为1、2、4和8的空洞卷积操作，和分别代表由第i层次的多模态特征所生成的空洞率为i的特征。
[0074]
4.2)将上述步骤所生成的多层级感受野的多模态特征输入梯形金字塔特征融合网络，融合不同感受野的多模态特征：
[0075][0076]
其中，tpnet()表示梯形金字塔特征融合网络。
[0077]
5.参考附图4，将梯形金字塔本发明提出的算法的解码器，将5 个层次的多模态增强特征f1、f2、f3、f4和f5输入到解码器中，再经过sigmoid函数激活，得到预测的显著图p
est
：
[0078]
p
est
＝sigmoid(tpnet(f1，f2，f3，f4，f5))
ꢀꢀꢀ
公式(7)
[0079]
6)通过本发明预测出来的显著图p
est
与人工标注的显著目标分割图p
gt
进行损失函数的计算，并通过sgd和反向传播算法逐步更新本发明提出的模型的参数权重，最终确定rgb-d显著性检测算法的结构和参数权重。
[0080]
7)在步骤6确定模型的结构和参数权重的基础上，对测试集上的rgb-d图像对进行测试，生成显著图p
test
，并使用mae、s-measure、 f-measure、e-measure评价指标进行评估。
[0081]
以上所述为本技术优选实施而以，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本技术的保护范围内。