一种基于卷积神经网络的360度图像显著目标检测方法

技术特征：
1.一种基于卷积神经网络的360度图像显著目标检测方法，其特征在于，包括如下步骤：s1、图像转换s1-1、创建等距形360度图像的数据集；s1-2、建立图像转换模块；s1-3、读取数据集中的等距形360度图像后，利用图像转换模块生成对应的立方体投影图像；s2、搭建特征金字塔网络，对等距形360度图像以及转化后得到的立方体投影图像进行特征提取，得到等距形360度图像特征和立方体投影特征；s3、采用四个完全相同的特征聚合模块，每个特征聚合模块由一个特征转换子模块完成立方体投影特征向等距形特征转换，并与等距形360度图像特征进行组合，然后使用一个空洞卷积池化金字塔子模块实现组合特征的优化，从而得到多层次的聚合特征；s4、将多层次的聚合特征连接并馈送到注意力集成模块，通过推断空间和通道注意机制自适应地选择可靠空间和通道信息与原特征融合得到最终特征并完成显著目标检测。2.根据权利要求1所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述步骤s1-2中，利用等距形投影与立方体投影的映射关系将等距形360度图像生成对应的立方体投影图像。3.根据权利要求2所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述等距形投影与立方体投影的映射关系的表达式如下：q
i
＝r
fi
·
p
ii
其中，θ
fi
、φ
fi
代表等距形投影下的经纬度，是q坐标的x,y,z分量，r
fi
表示旋转矩阵，f
i
为已知某个成像平面，p
i
为已知成像平面f
i
上的一点，x,y,z表示p
i
的三维坐标，4.根据权利要求1所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述特征金字塔网络输入的图像数据包括等距形360度图像和立方体投影图像，所述等距形360度图像和与其对应的立方体投影图像形成一个图像样本。5.根据权利要求4所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述特征金字塔网络搭建的方法为：采用fpn作为主干网络，其中自下而上通路是基于resnet-50搭建。6.根据权利要求5所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述步骤s2中，特征提取方法为：对每个图像样本的七张输入图像，即等距形投影图像和立方体投影图像的上、下、左、右、前、后六个面图像，均采用特征金字塔网络进行特征提取，得到等距形图像特征和立方
体投影特征，在特征金字塔网络中每个独立的fpn特征提取模块的上层resnet作为前馈backbone的一部分，每一级往上用步长step＝2进行降采样，用输出的2至5级特征参与预测，conv2～5的输出层，最后一个残差block层，作为fpn的特征，分别对应于输入图片的下采样倍数为4，8，16，32，下层自顶向下的过程通过上采样的方式将最右侧的小特征图放大到与其左侧特征图一样的大小，最终和上层特征融合后逐层输出得到各层特征结果f1～4。7.根据权利要求1所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述步骤s3中，通过四个完全相同的特征聚合模块输出四组特征的集合。8.根据权利要求6所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述特征转换子模块的转换方法为：利用立方体投影特征和等距形图像特征之间的映射关系，将6个立方体投影特征转换为等距形投影特征。9.根据权利要求8所述的基于卷积神经网络的360度图像显著目标检测方法，其特征在于，所述空洞卷积池化金字塔子模块的优化方法为：对于给定的输入以不同采样率的空洞卷积并行采样，将得到的结果拼接到一起，扩大通道数，然后再通过1*1的卷积将通道数降低到预期的数值，相当于以多个比例捕捉图像的上下文，其核心在于使用多个不同尺寸滑动窗口池对上层的卷积层获得的特征图进行采样，将分别得到的结果进行合并就会得到固定长度的输出，从而输出多层次的聚合特征。

技术总结
本发明公开了一种基于卷积神经网络的360度图像显著目标检测方法，包括如下步骤：S1、图像转换；S2、搭建特征金字塔网络；S3、采用四个特征聚合模块，每个模块由一个特征转换子模块完成立方体投影特征向等距形特征转换并与原等距形图像特征组合后，使用一个空洞卷积池化金字塔子模块实现特征的优化，从而得到多层次的聚合特征；S4、将多层次的聚合特征连接并馈送到注意力集成模块，通过推断空间和通道注意机制自适应地选择可靠空间和通道信息与原特征融合得到最终特征并完成显著目标检测。该方法使用图像映射关系基于等距形360度图像构建对应的立方体投影图像，使用双种类图像作为输入解决了单一等矩形图像输入造成的球面到平面投影的不良失真问题。面投影的不良失真问题。面投影的不良失真问题。


技术研发人员：周晓飞 罗晨浩 张继勇 李世锋 周振 何帆
受保护的技术使用者：杭州电子科技大学
技术研发日：2022.05.27
技术公布日：2022/8/12