一种RGB-D图像显著目标检测方法与流程

技术特征：
1.一种rgb
‑
d图像显著目标检测方法，其特征在于，该方法包括以下步骤：s1、提取rgb图像特征，同时提取depth图像特征，并将depth图像特征与rgb图像特征进行融合，形成rgbd融合特征，进一步将其分为高层rgbd融合特征和低层rgbd融合特征；s2、利用三个transformer增强所述高层rgbd融合特征，形成高层rgbd增强特征；s3、三流解码所述高层rgbd增强特征，通过与低层rgbd融合特征的结合，加强显著物体边缘细节信息，形成体现全局和局部特性的rgbd细化特征；s4、融合所述rgbd细化特征形成显著图。2.根据权利要求1所述的一种rgb
‑
d图像显著目标检测方法，其特征在于，在所述步骤s1中，提取rgb图像特征的方法是使用在imagenet上预训练的resnet50网络提取图像颜色特征，形成类似地，提取depth图像特征的方法是使用在imagenet上预训练的resnet50网络提取图像深度特征，形成其中i对应于resnet50的层数，i取值为1至5的自然数；所述深度过滤残差模块，首先将depth图像与rgb图像进行级联，再经过通道注意力层，形成通道注意力掩码，通过与depth图像特征逐元素相乘，得到通道过滤后的depth特征；接着通道过滤后的depth特征，经过空间注意力层，形成空间注意力掩码，通过与depth图像特征逐元素相乘，得到空间过滤后的depth特征；将所述空间过滤后的depth特征以残差形式附加到rgb图像特征上，形成rgbd融合特征所述方法描述为：所述cat(
·
)表示级联和卷积操作，ca(
·
)操作是指论文《cbam：convolutional block attention module》中所提出的通道注意力模块，sa(
·
)操作是指论文《cbam：convolutional blockattention module》中所提出的空间注意力模块，
“×”
是指逐元素相乘操作，“ ”是指逐元素相加操作；根据i的不同，将记为低层rgbd融合特征，将记为高层rgbd融合特征。3.根据权利要求1所述的一种rgb
‑
d图像显著目标检测方法，其特征在于，在步骤s2中，利用三个transformer增强所述高层rgbd融合特征，形成高层rgbd增强特征；具体分为三个子步骤：尺度调整、三个transformer嵌入、特征级联；s2.1：尺度调整具体分为两个阶段，第一阶段调整通道数，第二阶段调整分辨率，最终形成通道数和分辨率都相同的高层rgbd同尺度特征s2.2：三个transformer嵌入所述高层rgbd同尺度特征经过三个transformer层，产生高层rgbd优化特征征其中transformer(v)操作表示《attention is all you need》中提出的transformer；s2.3：特征级联
所述高层rgbd融合特征与高层rgbd优化特征进行级联并卷积，产生高层rgbd增强特征所述高层rgbd融合特征与高层rgbd优化特征进行级联并卷积，产生高层rgbd增强特征4.根据权利要求3所述的一种rgb
‑
d图像显著目标检测方法，其特征在于，在步骤s2.1：尺度调整中，具体步骤如下：s2.1.1：调整通道数对于所述s1步骤得到的高层rgbd融合特征实施一个t(
·
)操作，得到同通道数的高层rgbd多尺度特征具体描述为：其中t(
·
)操作是指对特征x进行卷积核为3
×
3的卷积操作，并实施relu激活函数：t(x)＝relu(conv(x))其中conv(
·
)表示卷积操作，relu(
·
)表示relu激活函数；s2.1.2：调整分辨率对于所述s2.1.1步骤得到的同通道数的高层rgbd多尺度特征经过一个逐层上采样操作pufm(
·
)，得到同通道数同分辨率的高层rgbd同尺度特征具体描述为：所述pufm(
·
)操作根据i的不同有所区别，具体定义如下：)操作根据i的不同有所区别，具体定义如下：)操作根据i的不同有所区别，具体定义如下：5.根据权利要求1所述的一种rgb
‑
d图像显著目标检测方法，其特征在于，在步骤s3中，三流解码所述高层rgbd增强特征，通过与低层rgbd融合特征的结合，加强显著物体边缘细节信息，形成体现全局和局部特性的rgbd细化特征具体方法如下：6.根据权利要求1所述的一种rgb
‑
d图像显著目标检测方法，其特征在于，在步骤s4中，融合所述rgbd细化特征形成显著图：

技术总结
本发明公开了一种RGB


技术研发人员：刘政怡 汪远 张志立 檀亚诚 姚晟
受保护的技术使用者：安徽大学
技术研发日：2021.07.06
技术公布日：2021/10/23