特征融合的点云显著性目标检测方法、装置、设备与介质

1.本发明涉及计算机视觉技术领域，尤其涉及一种特征融合的点云显著性目标检测方法、装置、设备与介质。


背景技术：

2.视觉显著性是指人类在观察某一区域时视野中存在能够引起人类视觉关注的局部区域，该局部区域被称为显著区域。显著性检测主要用于凸显图像或者视频中的显著区域。总体来说，显著性检测广泛运用于图像分割、目标检测与识别、图像检索和图像压缩等领域，开展相关研究工作具有十分重要的实际意义。
3.目前在点云的显著性检测的工作还存在一定的空白，与传统的显著性目标检测相比，点云场景下存在“显著性冲突”，即在遮挡等因素的影响下，由于观察视点的变化引起的同一物体是否属于显著性发生变化。
4.由于观察视点的变化引起的同一物体是否属于显著性发生变化，从而导致无法确定点云场景的显著性目标、以及无法制作点云显著性目标数据集等问题。


技术实现要素：

5.本发明的主要目的在于提出一种特征融合的点云显著性目标检测方法、装置、设备与介质，旨在实现准确确定点云的显著性目标。
6.为实现上述目的，本发明提供一种特征融合的点云显著性目标检测方法，所述特征融合的点云显著性目标检测方法运用于目标检测模型，所述目标检测模型包括特征融合模块、点云感知模块和显著性感知模块，所述特征融合的点云显著性目标检测方法包括如下步骤：
7.获取点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征；
8.基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征；
9.基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征；
10.基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征；
11.基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果。
12.优选地，所述获取点云图，并通过预设骨干网络模型对所述点云图进行特征提取，得到所述点云图对应的多层特征的步骤之前，所述特征融合的点云显著性目标检测方法还包括：
13.获取多个不同场景的样本点云图，并将所述样本点云图构建用于训练初始模型的
训练集；
14.获取各个样本点云图对应的标注显著对象的显著性点云图；
15.将所述训练集中的所述样本点云图作为所述初始模型的输入，将所述显著性点云图作为所述初始模型的输出，并对所述初始化模型进行迭代训练，获得所述目标检测模型。
16.优选地，所述获取点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征的步骤包括：
17.获取点云图，并将所述点云图输入到预设骨干网络模型；
18.通过所述预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的第一层特征、第二层特征、第三层特征和第四层特征。
19.优选地，所述多层特征包括第一层特征、第二层特征、第三层特征和第四层特征，所述第四层特征为所述多层特征的最顶层特征，所述基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征的步骤包括：
20.将所述第四层特征输入到所述点云感知模块，并对所述第四层特征进行分支，得到分支后的第四层特征；
21.根据预设近邻算法寻找分支后的第四层特征的各点的第一最近邻点；
22.获取每个第四层特征的各点和各个第一最近邻点的第一坐标信息，并通过所述第一坐标信息计算所述第四层特征的各点与所述第一最近邻点的第一相对位置；
23.根据预设拼接公式，将所述第一最近邻点与所述第一相对位置进行融合拼接，得到所述第四层特征对应的第一局部区域；
24.根据预设融合公式，将所述第四层特征与所述第一局部区域进行初步融合，得到所述第四层特征对应的语义特征。
25.优选地，所述多层特征包括第一层特征、第二层特征、第三层特征和第四层特征，所述基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征的步骤包括：
26.将所述第一层特征、所述第二层特征、所述第三层特征和所述第四层特征输入到所述特征融合模块；
27.对所述第四层特征进行上采样，并通过预设多层感知机将上采样后第四层特征与所述第三层特征进行拼接聚合，得到第三层拼接结果；
28.对所述第三层拼接结果进行上采样，并通过预设多层感知机将上采样后的第三层拼接结果与所述第二层特征进行拼接聚合，得到第二层拼接结果；
29.对所述第二层拼接结果进行上采样，并通过预设多层感知机将上采样后的第二层拼接结果与所述第一层特征进行拼接聚合，得到所述第一层特征、所述第二层特征、所述第三层特征和所述第四层特征对应的紧凑特征。
30.优选地，所述基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征的步骤包括：
31.将所述紧凑特征输入到所述点云感知模块，并对所述紧凑特征进行分支，得到分支后的紧凑特征；
32.根据预设近邻算法寻找分支后的紧凑特征的各点的第二最近邻点；
33.获取每个紧凑特征的各点和各个第二最近邻点的第二坐标信息，并通过所述第二坐标信息计算所述紧凑特征的各点与所述第二最近邻点的第二相对位置；
34.根据预设拼接公式，将所述第二最近邻点与所述第二相对位置进行融合拼接，得到所述紧凑特征对应的第二局部区域；
35.根据预设融合公式，将所述紧凑特征与所述第二局部区域进行初步融合，得到所述紧凑特征对应的多尺度特征。
36.优选地，所述基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果的步骤包括：
37.将所述语义特征和所述多尺度特征输入到所述显著性感知模块；
38.对所述语义特征进行上采样，并通过预设多层感知机对上采样后的语义特征进行处理，得到处理后的语义特征；
39.根据预设拼接算法，将所述处理后的语义特征与所述多尺度特征进行融合拼接，得到所述处理后的语义特征与所述多尺度特征对应的拼接结果；
40.通过预设多层感知机对所述拼接结果进行预测，得到所述拼接结果对应的预测结果。
41.此外，为实现上述目的，本发明还提供一种特征融合的点云显著性目标检测装置，所述特征融合的点云显著性目标检测装置包括：
42.获取模块，用于获取点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征；
43.融合模块，用于基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征；
44.聚合模块，用于基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征；
45.分级模块，用于基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征；
46.预测模块，用于基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果。
47.此外，为实现上述目的，本发明还提供一种设备，所述设备为特征融合的点云显著性目标检测设备，所述特征融合的点云显著性目标检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的特征融合的点云显著性目标检测程序，所述特征融合的点云显著性目标检测程序被所述处理器执行时实现如上所述的特征融合的点云显著性目标检测方法的步骤。
48.此外，为实现上述目的，本发明还提供一种介质，所述介质为计算机可读存储介质，所述计算机可读存储介质上存储有特征融合的点云显著性目标检测程序，所述特征融合的点云显著性目标检测程序被处理器执行时实现如上所述的特征融合的点云显著性目标检测方法的步骤。
49.本发明提出的特征融合的点云显著性目标检测方法、装置、设备和介质；所述特征融合的点云显著性目标检测方法运用于目标检测模型，所述目标检测模型包括特征融合模块、点云感知模块和显著性感知模块；所述特征融合的点云显著性目标检测方法包括：获取
点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征；基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征；基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征；基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征；基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果。本发明通过获取点云图，并通过预设骨干网络对点云图进行多层次的特征提取，得到对应的不同采样尺度的多层特征；将多层特征中的最顶层特征输入到点云感知模块进行初步融合，得到对应的语义特征；将多层特征输入到特征融合模块中进行特征聚合，得到对应的紧凑特征；将紧凑特征输入到点云感知模块进行分级融合，得到对应的多尺度特征；将语义特征和多尺度特征输入到显著性感知模块进行预测，得到点云图的预测结果；从而准确确定点云图的显著性目标。
附图说明
50.图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
51.图2为本发明特征融合的点云显著性目标检测方法第一实施例的流程示意图；
52.图3为本发明特征融合的点云显著性目标检测方法第一实施例的整体模型的结构示意图；
53.图4为本发明特征融合的点云显著性目标检测方法第一实施例的子流程示意图；
54.图5为本发明特征融合的点云显著性目标检测方法第一实施例的目标检测模型的结构示意图；
55.图6为本发明特征融合的点云显著性目标检测方法第二实施例的流程示意图；
56.图7为本发明特征融合的点云显著性目标检测方法第三实施例的流程示意图；
57.图8为本发明特征融合的点云显著性目标检测方法第四实施例的流程示意图；
58.图9为本发明特征融合的点云显著性目标检测方法第五实施例的流程示意图；
59.图10为本发明特征融合的点云显著性目标检测方法第六实施例的流程示意图；
60.图11为本发明特征融合的点云显著性目标检测方法第一实施例的功能模块示意图。
61.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
62.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
63.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
64.本发明实施例设备可以是移动终端或服务器设备。
65.如图1所示，该设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器
(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
66.本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
67.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及特征融合的点云显著性目标检测程序。
68.其中，操作系统是管理和控制特征融合的点云显著性目标检测设备与软件资源的程序，支持网络通信模块、用户接口模块、特征融合的点云显著性目标检测程序以及其他程序或软件的运行；网络通信模块用于管理和控制网络接口1002；用户接口模块用于管理和控制用户接口1003。
69.在图1所示的特征融合的点云显著性目标检测设备中，所述特征融合的点云显著性目标检测设备通过处理器1001调用存储器1005中存储的特征融合的点云显著性目标检测程序，并执行下述特征融合的点云显著性目标检测方法各个实施例中的操作。
70.基于上述硬件结构，提出本发明特征融合的点云显著性目标检测方法实施例。
71.参照图2，图2为本发明特征融合的点云显著性目标检测方法第一实施例的流程示意图，所述特征融合的点云显著性目标检测方法包括：
72.步骤s10，获取点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征；
73.步骤s20，基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征；
74.步骤s30，基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征；
75.步骤s40，基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征；
76.步骤s50，基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果。
77.在本实施例中，获取点云图，并通过预设骨干网络对点云图进行多层次的特征提取，得到对应的不同采样尺度的多层特征；将多层特征中的最顶层特征输入到点云感知模块进行初步融合，得到对应的语义特征；将多层特征输入到特征融合模块中进行特征聚合，得到对应的紧凑特征；将紧凑特征输入到点云感知模块进行分级融合，得到对应的多尺度特征；将语义特征和多尺度特征输入到显著性感知模块进行预测，得到点云图的预测结果；从而准确确定点云图的显著性目标。
78.以下将对各个步骤进行详细说明：
79.步骤s10，获取点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征。
80.在本实施例中，特征融合的点云显著性目标检测方法可以应用于目标检测模型中，所述目标检测模型包括特征融合模块fab、点云感知模块ppb和显著性感知模块spb。通过从不同的渠道获取点云图，其中，点云图可以是任意场景的点云图，可以是包含人物的点云图，也可以是不包含人物的点云图，如植物的点云图，动物的点云图等。本实施例对获取
点云图的渠道不作限定。
81.其中，预设骨干网络模型包括但不限于poi ntnet网络模型、poi ntnet 网络模型等。在本实施例中优选poi ntnet 网络模型为预设骨干网络模型，参照图3，图3为点云显著性目标检测方法的整体模型的结构示意图。
82.poi ntnet 网络模型会输出4个不同层次的特征，也即第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4。随着层次的逐渐升高，每一层保留的点的个数均是前一层的1/4，特征的维度增大一倍。如，第二层特征f2中的点的个数是第一层特征f1的1/4，第二层特征f2的维度是第一层特征f1的2倍。
83.将获取到的点云图输入到pointnet 网络模型中，通过pointnet 网络模型对点云图进行多层次的特征提取，得到点云图对应的不同采样尺度的多层特征。
84.进一步地，在一实施例中，参照图4，步骤s10包括：
85.步骤s11，获取点云图，并将所述点云图输入到预设骨干网络模型。
86.在本实施例中，通过从不同的渠道获取点云图，将获取到的点云图输入到pointnet 网络模型中，通过pointnet 网络模型对点云图进行多层次的特征提取。
87.步骤s12，通过所述预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的第一层特征、第二层特征、第三层特征和第四层特征。
88.在本实施例中，通过pointnet 网络模型对点云图进行多层次的特征提取，也即分别实现了4、16、64、128倍的下采样，得到点云图对应的不同采样尺度的多层特征；其中，多层特征包括第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4，第四层特征f4又称为多层特征的最顶层特征；其中，对于采样尺度数量和具体采样尺度数值的设置，可以根据需要进行选择，本实施例中对此不做具体限定。
89.步骤s20，基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征。
90.在本实施例中，其中，多层特征包括第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4，第四层特征f4又称为多层特征的最顶层特征。也即将第四层特征f4输入到目标检测模型中的点云感知模块ppb，通过点云感知模块ppb对第四层特征f4进行初步融合特征，得到第四层特征f4对应的语义特征fs。其中，语义特征fs包含了丰富的语义信息，对准确定位点云图的显著性目标非常有益。
91.步骤s30，基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征。
92.在一实施例中，参照图5，将第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4输入到目标检测模型中的特征融合模块fab中，通过特征融合模块fab对第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4进行特征聚合；然后在利用预设多层感知机对聚合后的结果fc进行拼接，得到第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4对应的紧凑特征fa。
93.其中，特征融合模块fab采用常见的三线性插值作为上采样操作，而聚合操作可以是加法、乘法或连接，然后再通过预设多层感知机对聚合后的结果进行拼接。
94.其中，优选mlp(multilayer perceptron)为预设多层感知机。mlp也叫人工神经网络(ann，artificial neural network)，除了输入输出层，它中间可以有多个隐层，最简单
的mlp只含一个隐层，即三层的结构。mlp层与层之间是全连接的(全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接)。mlp最底层是输入层，中间是隐藏层，最后是输出层。
95.步骤s40，基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征。
96.在本实施例中，参照图5，将紧凑特征fa输入到目标检测模型中的点云感知模块ppb中，通过点云感知模块ppb对紧凑特征fa进行分级融合，得到紧凑特征fa对应的多尺度特征fm。在本实施例中的点云感知模块ppb的配置和在步骤s20中使用的点云感知模块ppb的配置不同。
97.步骤s50，基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果。
98.在一实施例中，参照图5，将语义特征fs和多尺度特征fm输入到目标检测模型中的显著性感知模块spb中，通过显著性感知模块spb对语义特征fs和多尺度特征fm进行预测，得到点云图对应的预测结果p。
99.本实施例中，获取点云图，并通过预设骨干网络对点云图进行多层次的特征提取，得到对应的不同采样尺度的多层特征；将多层特征中的最顶层特征输入到点云感知模块进行初步融合，得到对应的语义特征；将多层特征输入到特征融合模块中进行特征聚合，得到对应的紧凑特征；将紧凑特征输入到点云感知模块进行分级融合，得到对应的多尺度特征；将语义特征和多尺度特征输入到显著性感知模块进行预测，得到点云图的预测结果；从而准确确定点云图的显著性目标。
100.进一步地，基于本发明特征融合的点云显著性目标检测方法第一实施例，提出本发明特征融合的点云显著性目标检测方法第二实施例。
101.特征融合的点云显著性目标检测方法的第二实施例与特征融合的点云显著性目标检测方法的第一实施例的区别在于本实施例是对步骤s10，获取点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征的步骤之前，参照图6，特征融合的点云显著性目标检测方法还包括：
102.步骤a10，获取多个不同场景的样本点云图，并将所述样本点云图构建用于训练初始模型的训练集；
103.步骤a20，获取各个样本点云图对应的标注显著对象的显著性点云图；
104.步骤a30，将所述训练集中的所述样本点云图作为所述初始模型的输入，将所述显著性点云图作为所述初始模型的输出，并对所述初始化模型进行迭代训练，获得所述点云显著性目标检测模型。
105.本实施例通过获取多个不同场景中大量的样本点云图，并将这些样本点云图构建用于训练初始模型的训练集；获取各个样本点云图对应的标注显著对象的显著性点云图；将训练集中的各个样本点云图作为初始模型的输入，将对应标注显著性对象的显著性点云图作为初始模型的输出，并对初始模型进行迭代训练，训练得到目标检测模型；从而提高训练后的目标检测模型的预测的准确度。
106.以下将对各个步骤进行详细说明：
107.步骤a10，获取多个不同场景的样本点云图，并将所述样本点云图构建用于训练初
始模型的训练集。
108.在本实施例中，获取多个不同场景的样本点云图，以这些样本点云图为基础，构建初始模型的训练集。在构建训练集的过程中，需要对这些样本点云图进行事先处理，使得每一个样本点云图的大小和格式统一，这是为了便于批量处理。
109.需要说明的时，为确保目标检测模型的准确性，训练集中的样本点云图要足够多，本实施例不限定训练集中样本点云图的数量，一般采用样本点云图作为一个训练集，在实际应用中，训练集中的样本点云图越多，目标检测模型输出的显著性目标预测结果就越准确。
110.步骤a20，获取各个样本点云图对应的标注显著对象的显著性点云图。
111.在本实施例中，获取用户对各个样本点云图标注显著性对象的显著性点云图，显著性点云图是用户事先在样本点云图上进行标注的结果。其中，显著性点云图的也需要进行事先处理，使得每一个显著性点云图的大小和和格式统一，这是为了便于批量处理。
112.步骤a30，将所述训练集中的所述样本点云图作为所述初始模型的输入，将所述显著性点云图作为所述初始模型的输出，并对所述初始化模型进行迭代训练，获得所述目标检测模型。
113.在一实施例中，将训练集中的各个样本点云图作为初始模型的输入，将对应标注显著性对象的显著性点云图作为初始模型的输出，并对初始模型进行迭代训练，训练得到目标检测模型；从而提高训练后的目标检测模型的预测的准确度。
114.在一实施例中，通过获取多个不同场景中大量的样本点云图，并将这些样本点云图构建用于训练初始模型的训练集；获取各个样本点云图对应的标注显著对象的显著性点云图；将训练集中的各个样本点云图作为初始模型的输入，将对应标注显著性对象的显著性点云图作为初始模型的输出，并对初始模型进行迭代训练，训练得到目标检测模型；从而提高训练后的目标检测模型的预测的准确度。
115.进一步地，基于本发明特征融合的点云显著性目标检测方法第一、二实施例，提出本发明特征融合的点云显著性目标检测方法第三实施例。
116.特征融合的点云显著性目标检测方法的第三实施例与特征融合的点云显著性目标检测方法的第一、二实施例的区别在于本实施例是对步骤s20，所述基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征的细化，参照图7，该步骤具体包括：
117.步骤s21，将所述第四层特征输入到所述点云感知模块，并对所述第四层特征进行分支，得到分支后的第四层特征；
118.步骤s22，根据预设近邻算法寻找分支后的第四层特征的各点的第一最近邻点；
119.步骤s23，获取每个第四层特征的各点和各个第一最近邻点的第一坐标信息，并通过所述第一坐标信息计算所述第四层特征的各点与所述第一最近邻点的第一相对位置；
120.步骤s24，根据预设拼接公式，将所述第一最近邻点与所述第一相对位置进行融合拼接，得到所述第四层特征对应的第一局部区域；
121.步骤s25，根据预设融合公式，将所述第四层特征与所述第一局部区域进行初步融合，得到所述第四层特征对应的语义特征。
122.在本实施例中，将第四层特征f4输入到目标检测模型中的点云感知模块ppb，通过
点云感知模块ppb对第四层特征f4进行初步融合特征，得到第四层特征f4对应的语义特征fs；从而可以通过高层的语义特征fs准确确定位点云图中显著性目标。
123.以下将对各个步骤进行详细说明：
124.步骤s21，将所述第四层特征输入到所述点云感知模块，并对所述第四层特征进行分支，得到分支后的第四层特征。
125.在本实施例中，多层特征包括第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4，第四层特征f4又称为多层特征的最顶层特征。将第四层特征f4输入到点云感知模块ppb，并通过点云感知模块ppb对第四层特征f4进行分支，得到4个不同分支的第四层特征f4。
126.步骤s22，根据预设近邻算法寻找分支后的第四层特征的各点的第一最近邻点。
127.在本实施例中，优选k-最近邻算法为预设近邻算法，通过k-最近邻算法寻找4个不同分支的第四层特征f4的各点的周围的k个最近邻点(又称为第一近邻点)；其中，4个不同分支的第一最近邻点的个数k分别为1(第一分支)，4(第二分支)，9(第三分支)，16(第四分支)。在本实施例中的点云感知模块ppb的配置和在步骤s40中使用的点云感知模块ppb的配置不同。具体表现为k-最近邻算法中k的取值不同，在本实施例中四个分支选取的周围点的个数k的取值为{1，4，9，25}。
128.步骤s23，获取每个第四层特征的各点和各个第一最近邻点的第一坐标信息，并通过所述第一坐标信息计算所述第四层特征的各点与所述第一最近邻点的第一相对位置。
129.在本实施例中，获取4个不同分支的第四层特征f4的各点和第一近邻点的坐标信息(又称为第一坐标信息)，通过第一坐标信息，计算4个不同分支的第四层特征f4的各点和第一近邻点的相对位置(又称为第一相对位置)。计算公式如下：
[0130][0131]
其中，以点表示第四层特征f4的中心点；p表示的空间位置坐标；表示中心点的第j个最近邻点；表示中心点与最近邻点的空间位置坐标差；表示中心点与最近邻点之间的欧氏距离；mlp表示利用多层感知机对第四层特征f4的中心点和最近邻点进行拼接操作；表示算4个不同分支的第四层特征f4的各点和第一近邻点的第一相对位置。
[0132]
步骤s24，根据预设拼接公式，将所述第一最近邻点与所述第一相对位置进行融合拼接，得到所述第四层特征对应的第一局部区域。
[0133]
在本实施例中，将第一最近邻点与第一相对位置通过预设拼接公式进行融合拼接，得到4个不同分支的第四层特征f4对应的局部区域(又称为第一局部区域)；预设拼接公式如下：
[0134][0135]
其中，li表示第一相对位置与相应的特征拼接的结果；表示第四层特征f4的中心点的特征；表示中心点的局部区域；通过使用最大池化和平局池化获得局部区域的关键特征和全局特征；mlp表示利用多层感知机对最大池化和平局池化的结果进行
拼接操作。
[0136]
步骤s25，根据预设融合公式，将所述第四层特征与所述第一局部区域进行初步融合，得到所述第四层特征对应的语义特征。
[0137]
在本实施例中，将4个不同分支的第四层特征f4和第一局部区域通过预设融合公式进行初步融合；预设融合公式如下：
[0138][0139]
其中，表示第四层特征中第一分支的特征；表示第四层特征f4中第二分支的特征；表示第四层特征f4中第三分支的特征；表示第四层特征f4中第四分支的特征；f
p
表示4个不同分支的第四层特征f4；表示初步融合后的语义特征fs。
[0140]
在本实施例中，将第四层特征f4输入到目标检测模型中的点云感知模块ppb，通过点云感知模块ppb对第四层特征f4进行初步融合特征，得到第四层特征f4对应的语义特征fs；从而可以通过高层的语义特征fs准确确定位点云图中显著性目标。
[0141]
进一步地，基于本发明特征融合的点云显著性目标检测方法第一、二、三实施例，提出本发明特征融合的点云显著性目标检测方法第四实施例。
[0142]
特征融合的点云显著性目标检测方法的第四实施例与特征融合的点云显著性目标检测方法的第一、二、三实施例的区别在于本实施例是对步骤s30，所述多层特征包括第一层特征、第二层特征、第三层特征和第四层特征，所述基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征的细化，参照图8，该步骤具体包括：
[0143]
步骤s31，将所述第一层特征、所述第二层特征、所述第三层特征和所述第四层特征输入到所述特征融合模块；
[0144]
步骤s32，对所述第四层特征进行上采样，并通过预设多层感知机将上采样后第四层特征与所述第三层特征进行拼接聚合，得到第三层拼接结果；
[0145]
步骤s33，对所述第三层拼接结果进行上采样，并通过预设多层感知机将上采样后的第三层拼接结果与所述第二层特征进行拼接聚合，得到第二层拼接结果；
[0146]
步骤s34，对所述第二层拼接结果进行上采样，并通过预设多层感知机将上采样后的第二层拼接结果与所述第一层特征进行拼接聚合，得到所述第一层特征、所述第二层特征、所述第三层特征和所述第四层特征对应的紧凑特征。
[0147]
本实施例通过将第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4输入到特征融合模块fab，并通过特征融合模块fab对第四层特征进行上采样，并通过mlp对上采样后第四层特征f4与第三层特征f3拼接聚合，得到第三层拼接结果；对第三层拼接结果进行上采样，并通过mlp对上采样后第三层拼接结果与第二层特征f2拼接聚合，得到第二层拼接结果；对第二层拼接结果进行上采样，并通过mlp对上采样后第二层拼接结果与第一层特征f1拼接聚合，得到对应的紧凑特征fa；可以通过紧凑特征fa准确确定位点云图中显著性目标。
[0148]
以下将对各个步骤进行详细说明：
[0149]
步骤s31，将所述第一层特征、所述第二层特征、所述第三层特征和所述第四层特征输入到所述特征融合模块。
[0150]
在本实施例中，将第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4输入到特征融合模块fab，以通过特征融合模块fab对第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4进行拼接聚合，得到对应的紧凑特征fa。由于第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4的采样尺度不同(又称为维度不同)，需要将这些特征进行上采样处理，才能进行拼接融合。
[0151]
步骤s32，对所述第四层特征进行上采样，并通过mlp将上采样后第四层特征与所述第三层特征进行拼接聚合，得到第三层拼接结果。
[0152]
在本实施例中，通过对第四层特征f4进行上采样，得到上采样后的第四层特征f4；再利用mlp将上采样后第四层特征f4与第三层特征f3进行拼接聚合，得到第三层拼接结果。
[0153]
步骤s33，对所述第三层拼接结果进行上采样，并通过预设多层感知机将上采样后的第三层拼接结果与所述第二层特征进行拼接聚合，得到第二层拼接结果。
[0154]
在本实施例中，通过对第三层拼接结果进行上采样，得到上采样后的第三层拼接结果；再利用mlp将上采样后第三层拼接结果与第二层特征f2进行拼接聚合，得到第二层拼接结果。
[0155]
步骤s34，对所述第二层拼接结果进行上采样，并通过预设多层感知机将上采样后的第二层拼接结果与所述第一层特征进行拼接聚合，得到所述第一层特征、所述第二层特征、所述第三层特征和所述第四层特征对应的紧凑特征。
[0156]
在本实施例中，通过对第二层拼接结果进行上采样，得到上采样后的第二层拼接结果；再利用mlp将上采样后第二层拼接结果与第一层特征f1进行拼接聚合，得到紧凑特征fa。
[0157]
在本实施例中，将第一层特征f1、第二层特征f2、第三层特征f3和第四层特征f4输入到特征融合模块fab，并通过特征融合模块fab对第四层特征进行上采样，并通过mlp对上采样后第四层特征f4与第三层特征f3拼接聚合，得到第三层拼接结果；对第三层拼接结果进行上采样，并通过mlp对上采样后第三层拼接结果与第二层特征f2拼接聚合，得到第二层拼接结果；对第二层拼接结果进行上采样，并通过mlp对上采样后第二层拼接结果与第一层特征f1拼接聚合，得到对应的紧凑特征fa；可以通过紧凑特征fa准确确定位点云图中显著性目标。
[0158]
进一步地，基于本发明特征融合的点云显著性目标检测方法第一、二、三、四实施例，提出本发明特征融合的点云显著性目标检测方法第五实施例。
[0159]
特征融合的点云显著性目标检测方法的第五实施例与特征融合的点云显著性目标检测方法的第一、二、三、四实施例的区别在于本实施例是对步骤s40，所述基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征的细化，参照图9，该步骤具体包括：
[0160]
步骤s41，将所述紧凑特征输入到所述点云感知模块，并对所述紧凑特征进行分支，得到分支后的紧凑特征；
[0161]
步骤s42，根据预设近邻算法寻找分支后的紧凑特征的各点的第二最近邻点；
[0162]
步骤s43，获取每个紧凑特征的各点和各个第二最近邻点的第二坐标信息，并通过所述第二坐标信息计算所述紧凑特征的各点与所述第二最近邻点的第二相对位置；
[0163]
步骤s44，根据预设拼接公式，将所述第二最近邻点与所述第二相对位置进行融合
拼接，得到所述紧凑特征对应的第二局部区域；
[0164]
步骤s45，根据预设融合公式，将所述紧凑特征与所述第二局部区域进行初步融合，得到所述紧凑特征对应的多尺度特征。
[0165]
在本实施例中，将紧凑特征fa输入到目标检测模型中的点云感知模块ppb，通过点云感知模块ppb对紧凑特征fa进行融合拼接，得到紧凑特征fa对应的多尺度特征fm；从而可以通过多尺度特征fm准确确定位点云图中显著性目标。
[0166]
以下将对各个步骤进行详细说明：
[0167]
步骤s41，将所述紧凑特征输入到所述点云感知模块，并对所述紧凑特征进行分支，得到分支后的紧凑特征。
[0168]
在本实施例中，将紧凑特征fa输入到目标检测模型中的点云感知模块ppb，并通过点云感知模块ppb对紧凑特征fa，得到4个不同分支的紧凑特征fa。
[0169]
步骤s42，根据预设近邻算法寻找分支后的紧凑特征的各点的第二最近邻点。
[0170]
在本实施例中，优选k-最近邻算法为预设近邻算法，通过k-最近邻算法寻找4个不同分支的紧凑特征fa的各点的周围的k个最近邻点(又称为第二近邻点)；其中，4个不同分支的第二最近邻点的个数k分别为1(第一分支)，9(第二分支)，25(第三分支)，49(第四分支)。在本实施例中的点云感知模块ppb的配置和在步骤s20中使用的点云感知模块ppb的配置不同。具体表现为k-最近邻算法中k的取值不同，在本实施例中四个分支选取的周围点的个数k的取值为{1，9，25，49}。
[0171]
步骤s43，获取每个紧凑特征的各点和各个第二最近邻点的第二坐标信息，并通过所述第二坐标信息计算所述紧凑特征的各点与所述第二最近邻点的第二相对位置。
[0172]
在本实施例中，获取4个不同分支的紧凑特征fa的各点和第二近邻点的坐标信息(又称为第二坐标信息)，通过第二坐标信息，计算4个不同分支的紧凑特征fa的各点和第二近邻点的相对位置(又称为第二相对位置)。计算公式如下：
[0173][0174]
其中，以点表示紧凑特征fa的中心点；p表示的空间位置坐标；表示中心点的第j个最近邻点；表示中心点与最近邻点的空间位置坐标差；表示中心点与最近邻点之间的欧氏距离；mlp表示利用多层感知机对紧凑特征fa的中心点和第二最近邻点进行拼接操作；表示算4个不同分支的紧凑特征fa的各点和第二近邻点的第二相对位置。
[0175]
步骤s44，根据预设拼接公式，将所述第二最近邻点与所述第二相对位置进行融合拼接，得到所述紧凑特征对应的第二局部区域。
[0176]
在本实施例中，将第二最近邻点与第二相对位置通过预设拼接公式进行融合拼接，得到4个不同分支的紧凑特征fa对应的局部区域(又称为第二局部区域)；预设拼接公式如下：
[0177][0178]
其中，li表示第二相对位置与相应的特征拼接的结果；表示紧凑特征fa的
中心点的特征；表示中心点的局部区域；通过使用最大池化和平局池化获得局部区域的关键特征和全局特征；mlp表示利用多层感知机对最大池化和平局池化的结果进行拼接操作。
[0179]
步骤s45，根据预设融合公式，将所述紧凑特征与所述第二局部区域进行初步融合，得到所述紧凑特征对应的多尺度特征。
[0180]
在本实施例中，将4个不同分支的紧凑特征fa和第二局部区域通过预设融合公式进行初步融合；预设融合公式如下：
[0181][0182]
其中，表示紧凑特征fa中第一分支的特征；表示紧凑特征fa中第二分支的特征；表示紧凑特征fa中第三分支的特征；表示紧凑特征fa中第四分支的特征；f
p
表示4个不同分支的紧凑特征fa；表示初步融合后的多尺度特征fm。
[0183]
在本实施例中，将紧凑特征fa输入到目标检测模型中的点云感知模块ppb，通过点云感知模块ppb对紧凑特征fa进行融合拼接，得到紧凑特征fa对应的多尺度特征fm；从而可以通过多尺度特征fm准确确定位点云图中显著性目标。
[0184]
进一步地，基于本发明特征融合的点云显著性目标检测方法第一、二、三、四、五实施例，提出本发明特征融合的点云显著性目标检测方法第六实施例。
[0185]
特征融合的点云显著性目标检测方法的第六实施例与特征融合的点云显著性目标检测方法的第一、二、三、四、五实施例的区别在于本实施例是对步骤s50，所述基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果的细化，参照图10，该步骤具体包括：
[0186]
步骤s51，将所述语义特征和所述多尺度特征输入到所述显著性感知模块；
[0187]
步骤s52，对所述语义特征进行上采样，并通过预设多层感知机对上采样后的语义特征进行处理，得到处理后的语义特征；
[0188]
步骤s53，根据预设拼接算法，将所述处理后的语义特征与所述多尺度特征进行融合拼接，得到所述处理后的语义特征与所述多尺度特征对应的拼接结果；
[0189]
步骤s54，通过预设多层感知机对所述拼接结果进行预测，得到所述拼接结果对应的预测结果。
[0190]
本实施例通过将语义特征fs和多尺度特征fm输入到目标检测模型中的显著性感知模块spb，通过显著性感知模块spb对语义特征fs和多尺度特征fm进行拼接融合，并对拼接融合后的结果进行预测，得到点云图对应的预测结果；从而实现了准确确定点云图的显著性目标。
[0191]
以下将对各个步骤进行详细说明：
[0192]
步骤s51，将所述语义特征和所述多尺度特征输入到所述显著性感知模块。
[0193]
本实施例通过，将语义特征fs和多尺度特征fm输入到目标检测模型中的显著性感知模块spb，以通过显著性感知模块spb对语义特征fs和多尺度特征fm进行拼接融合，并对拼接融合后的结果进行预测。
[0194]
步骤s52，对所述语义特征进行上采样，并通过预设多层感知机对上采样后的语义特征进行处理，得到处理后的语义特征。
[0195]
本实施例通过，通过显著性感知模块spb对语义特征fs进行上采样处理，得到上采样后的语义特征fs；并通过mlp对上采样后的语义特征fs进行拼接处理，得到处理后的语义特征fs。
[0196]
步骤s53，根据预设拼接算法，将所述处理后的语义特征与所述多尺度特征进行融合拼接，得到所述处理后的语义特征与所述多尺度特征对应的拼接结果。
[0197]
本实施例通过，将处理后的语义特征fs和多尺度特征fm通过预设拼接算法进行融合拼接，并通过mlp对融合拼接后的语义特征fs和多尺度特征fm进行拼接处理，得到对应的拼接结果p'。预设拼接公式如下：
[0198]
p'＝[mlp(∪(fs)),fm]
[0199]
其中，mlp表示预设多层感知机；∪表示上采样操作；p'表示拼接结果。
[0200]
步骤s54，通过预设多层感知机对所述拼接结果进行预测，得到所述拼接结果对应的预测结果。
[0201]
在本实施例中，通过mlp对拼接结果p'进行预测，得到拼接结果对应的预测结果p，其中，p＝mlp([mlp(∪(fs)),fm])；并利用四个比较常用的指标{平均绝对误差(mae)、f-度量(f-measure)、e-度量(e-measure)、交并比(lou)}来评价最终的预测结果；其中，mae表示每个点的概率值与它的预测值的求绝对差后的平均值，mae值越小越好；f-measure表示精确率和召回率的调和平均值，f-measure值越大越好；e-measure表示评价每个点的匹配程度和整体平均值的匹配程度，e-measure值越大越好；lou表示预测结果的交集除以并集，lou值越大越好。
[0202]
本实施例通过，将语义特征fs和多尺度特征fm输入到目标检测模型中的显著性感知模块spb，通过显著性感知模块spb对语义特征fs和多尺度特征fm进行拼接融合，并对拼接融合后的结果进行预测，得到点云图对应的预测结果；从而实现了准确确定点云图的显著性目标。
[0203]
本发明还提供一种特征融合的点云显著性目标检测装置。参照图11，本发明特征融合的点云显著性目标检测装置包括：
[0204]
获取模块10，用于获取点云图，并通过预设骨干网络模型对所述点云图进行多层次的特征提取，得到所述点云图对应的不同采样尺度的多层特征；
[0205]
融合模块20，用于基于所述多层特征的最顶层特征，通过所述点云感知模块进行初步融合特征，得到所述最顶层特征对应的语义特征；
[0206]
聚合模块30，用于基于所述多层特征，通过所述特征融合模块进行特征聚合，得到所述多层特征对应的紧凑特征；
[0207]
分级模块40，用于基于所述紧凑特征，通过所述点云感知模块进行分级融合，得到所述紧凑特征对应的多尺度特征；
[0208]
预测模块50，用于基于所述语义特征和所述多尺度特征，通过所述显著性感知模块进行预测，生成所述点云图对应的预测结果。
[0209]
此外，本发明还提供一种介质，所述介质为计算机可读存储介质，其上存储有特征融合的点云显著性目标检测程序，特征融合的点云显著性目标检测程序被处理器执行时实现如上所述的特征融合的点云显著性目标检测方法的步骤。
[0210]
其中，在所述处理器上运行的特征融合的点云显著性目标检测程序被执行时所实
现的方法可参照本发明特征融合的点云显著性目标检测方法各个实施例，此处不再赘述。
[0211]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0212]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0213]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0214]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书与附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。