一种RGB-D图像显著性目标检测方法与流程

技术特征：
1.一种rgb
‑
d图像显著性目标检测方法，其特征在于，所述rgb
‑
d图像显著性目标检测方法基于跨模态差异交互网络；所述跨模态差异交互网络遵循编码器
‑
解码器架构，实现跨模态信息的差异交互和引导；所述跨模态差异交互网络包括：rgb图像编码器、深度模态编码器、rgb诱导细节增强模块、深度诱导语义增强模块和密集解码重建结构；所述rgb图像编码器和深度模态编码器均采用vgg主干网络；所述vgg主干网络的前两层为：低层级特征编码阶段；所述vgg主干网络的后三层为：高层级特征编码阶段；所述rgb
‑
d图像显著性目标检测方法包括以下步骤：s1、将深度图输入深度模态编码器，将rgb图像输入rgb图像编码器；s2、所述深度模态编码器提供深度模态，所述rgb图像编码器提供rgb模态；s3、在低层级特征编码阶段，所述rgb诱导细节增强模块通过将rgb模态的细节补充信息从rgb模态传输到深度模态，以增强和补充深度模态，实现深度特征增强；s4、在高层级特征编码阶段，所述深度诱导语义增强模块采用注意力级别和特征级别两种交互模式全面进行跨模态特征融合，实现rgb特征增强；s5、在解码阶段，密集解码重建结构通过结合多层级的编码特征构造语义块，以更新特征解码中的跳连接信息，进行密集解码，进而生成预测的显著性图像。2.如权利要求1所述的rgb
‑
d图像显著性目标检测方法，其特征在于：所述vgg主干网络为卷积神经网络vgg16。3.如权利要求2所述的rgb
‑
d图像显著性目标检测方法，其特征在于：步骤s3的具体步骤如下：s3.1、采用两个级联卷积层融合rgb模态和深度模态的低层级编码特征，生成融合特征池f
pool
，如式(1)所示，其中，i为：低层级编码特征的层级，且i∈{1，2}；表示：深度模态的低层级编码特征，表示：rgb模态的低层级rgb特征；表示：对和进行通道连接操作；表示：采用卷积核为1
×
1的卷积层，对进行卷积操作；表示：采用卷积核为3
×
3的卷积层，对进行卷积操作；深度图经过卷积神经网络vgg16的第一层操作得到rgb图像通过卷积神经网络vgg16的第一层操作得到s3.2、由获得特征如式(2)所示，
其中，表示：对沿通道维度进行最大池化操作，表示：采用卷积核为7
×
7的卷积层，对进行卷积操作；表示：采用卷积核为7
×
7的卷积层，对进行卷积操作；表示：对进行sigmoid函数操作；表示：将和进行逐元素相乘；经过卷积神经网络vgg16的第二层操作得到同时，通过卷积神经网络vgg16的第二层操作得到进而利用公式(1)和(2)得到特征4.如权利要求3所述的rgb
‑
d图像显著性目标检测方法，其特征在于：步骤s4的具体步骤如下：s4.1、由获得空间注意力增强的rgb编码特征如式(3)和式(4)所示，如式(3)和式(4)所示，其中，j为：高层级编码特征的层级，且j∈{3，4，5}；表示：深度模态的高层级编码特征；表示：rgb模态的高层级rgb特征；表示：对沿通道维度进行最大池化操作；表示：采用卷积核为3
×
3的卷积层，对进行卷积操作；表示：对进行sigmoid函数操作；表示：将s
weight
和进行逐元素相乘；经过卷积神经网络vgg16的第三层操作得到经过卷积神经网络vgg16的第三层操作得到通过卷积神经网络vgg16的第三层操作得到s4.2、由获得注意力级的rgb增强特征如式(5)和式(6)所示，如式(5)和式(6)所示，
其中，表示：通过全局平均池化层对进行操作；表示：通过两个全连接层对进行操作；表示：对进行sigmoid函数操作；c
weight
为：权重向量；表示：将c
weight
和进行逐元素相乘；s4.3、使用级联的通道注意力和空间注意力机制来增强深度特征，并产生特征级的rgb增强特征具体由公式(7)得到，其中，ca为通道注意力，sa为空间注意力；所述通道注意力用于：学习每个特征通道的重要性；所述空间注意力用于：突出显示特征图中的重要位置；s4.4、利用公式(8)计算特征征其中，经过卷积神经网络vgg16的第四层操作得到同时，通过卷积神经网络vgg16的第四层操作得到进而利用公式(3)
‑
(8)得到特征(8)得到特征经过卷积神经网络vgg16的第五层操作得到络vgg16的第五层操作得到通过卷积神经网络vgg16的第五层操作得到进而利用公式(3)
‑
(8)得到特征5.如权利要求4所述的rgb
‑
d图像显著性目标检测方法，其特征在于：步骤s5的具体步骤如下：s5.1、将和构成跳连接特征列表；并引入初始跳跃连接特征其中k∈{1，2，3，4，5}；且s5.2、由生成语义块b
m
，如式(9)所示，其中，m∈{1，2，3，4}；表示：通过双线性插值对进行上采样操作；表示：采用卷积核为1
×
1的卷积层，对进行卷积操作；表示：采用卷积核为3
×
3的卷积层，对进行卷积操作；
s5.3、由b
m
生成最终的跳连接特征如式(10)所示，其中，表示：将b
m
和进行逐元素相乘；s5.4、得到的结合解码特征，通过上采样和连续卷积操作逐步恢复图像细节，最后一层的解码特征通过sigmoid函数激活，生成预测的显著性图像。6.如权利要求5所述的rgb
‑
d图像显著性目标检测方法，其特征在于：步骤s5.4的具体步骤如下：s5.4.1、按照式(11)和式(12)计算解码特征，1)和式(12)计算解码特征，其中，t∈{2，3，4，5}，和均为解码特征，表示：通过双线性插值对进行上采样操作；表示：采用卷积核为3
×
3的卷积层，对进行反卷积操作；表示：采用卷积核为1
×
1的卷积层，对进行卷积操作；表示：通过双线性插值对进行上采样操作；表示：采用卷积核为3
×
3的卷积层，对进行卷积操作；s5.4.2、由式(11)和式(12)获得解码特征将解码特征通过sigmoid函数激活，生成预测的显著性图像。7.如权利要求6所述的rgb
‑
d图像显著性目标检测方法，其特征在于：式(9)的具体表示形式如式(13)所示，8.如权利要求7所述的rgb
‑
d图像显著性目标检测方法，其特征在于：所述rgb
‑
d图像显著性目标检测方法的图像处理速度达到42fps。

技术总结
本发明属于图像目标检测技术领域，涉及一种RGB


技术研发人员：丛润民 杨宁 张晨 张禹墨 赵耀
受保护的技术使用者：北京交通大学
技术研发日：2021.07.30
技术公布日：2021/12/6