基于多对象引导与深度次序约束的点云补全方法及装置

本发明涉及点云处理，尤其涉及基于多对象引导与深度次序约束的点云补全方法及装置。

背景技术：

1、点云是由三维空间中的离散点构成的集合，用于表征物体的几何形状。作为激光雷达等传感设备的原始输出，点云结构简洁、计算高效，构成了三维视觉领域科学研究的关键数据基础，被广泛应用于自动驾驶、具身智能机器人等领域。然而，激光雷达等传感设备通常受到观测视角限制、物体遮挡、传感器分辨率不足等因素影响，导致获取的点云出现局部缺失、稀疏、断裂甚至大面积不可见区域。这种形状的不完整性导致系统只能感知到局部几何信息，影响其对三维目标整体结构的准确理解，对下游应用构成了根本性挑战。

2、三维点云补全正是为了解决这一问题而提出的研究方向。三维点云补全的核心目标是基于物体的残缺点云，通过学习物体的结构规律，推断并生成缺失的几何结构，从而恢复出准确、合理的完整形状。

3、在真实世界中，物体的几何结构易受场景中的语义关联与空间约束的影响。例如，一个物体若位于桌面上方，则其底部通常为平面；若其与多个椅状结构相邻，则自身为桌子结构的概率较大；而在街道场景中，行人点云旁出现的残缺形状极有可能仍属于行人。这类场景物体间的共生关系、相对布局、物理约束等上下文信息，为物体缺失结构的推断提供了重要先验。

4、然而，现有三维点云补全方法多聚焦于单个物体的几何特征提取，通常仅依据单一残缺点云推断完整结构，对物体与场景以及多个物体之间的语义联系和空间约束利用不足，容易使补全结果在语义类别、相对布局或物理位置方面与实际场景不一致。已有少数利用对象间信息的方法通常以成对对象为处理单元，并依照预定对象次序逐一补全，难以同时适应同一场景中数量可变且排列无序的多个对象，也未充分融合点云与同视角图像所提供的互补信息；此外，这类方法通常缺少由真实观测几何直接构成的约束，因而难以及时抑制生成点位于实际可见遮挡表面之前等不符合观测深度次序的结果。因此，如何在不依赖固定对象数量和输入顺序的情况下，联合利用同帧多对象的跨模态场景上下文，并以真实观测深度约束缺失结构的生成，是三维点云补全中有待解决的问题。

技术实现思路

1、针对以上问题，本发明提出了基于多对象引导与深度次序约束的点云补全方法及装置，通过跨模态对象表征模块提取目标对象的几何特征、语义特征、空间特征和纹理特征并融合成对象特征，对象间上下文特征构建模块获取不同目标对象的对象间上下文特征，通过场景上下文感知交互模块融合对象特征得到上下文条件向量，使得三维点云补全网络不再只看单个残缺点云，而是获得同帧其他物体的语义关联、空间布局和物理关系先验，使补全结果在语义类别、相对布局和物理位置上与实际场景一致；将多个目标对象作为无序多对象集合整体输入，不预设对象数量和输入顺序，同时使用点云和图像的跨模态信息，避免了对对象顺序的依赖，充分利用点云与rgb图像的互补信息，提高特征表达丰富度；在总损失函数中加入观测深度次序损失，从真实观测几何直接获得深度次序的硬性约束，及时抑制补全点穿透前方可见遮挡物体的现象，使补全结果符合空间物理规律与语义合理性。

2、一方面，基于多对象引导与深度次序约束的点云补全方法，具体步骤如下：

3、s1，使用三维传感器获取场景点云，使用图像传感器获取场景rgb，并获取三维传感器和图像传感器的标定参数；

4、s2，将场景点云输入经训练的点云分割模型，得到各目标对象的物体残缺点云；将场景rgb图像输入经训练的图像分割模型，得到各目标对象的二维实例掩膜和物体rgb图像；

5、s3，构建三维点云补全网络并训练，得到训练好的三维点云补全网络；所述三维点云补全网络，包括跨模态对象表征模块、对象间上下文特征构建模块、场景上下文感知交互模块、条件映射网络和形状补全网络；所述跨模态对象表征模块，提取物体残缺点云的几何特征、语义特征和空间特征，提取物体rgb图像的纹理特征，并将几何特征、语义特征、空间特征和纹理特征融合成对象特征；所述对象间上下文特征构建模块，获取不同目标对象的对象间上下文特征；所述场景上下文感知交互模块，基于对象间上下文特征对对象特征进行融合，得到上下文条件向量；所述条件映射网络，将上下文条件向量映射成调制参数；所述形状补全网络，基于调制参数对物体残缺点云进行补全，得到初始完整点云；将初始完整点云与物体残缺点云合并成最终完整点云；

6、所述三维点云补全网络的总损失函数包括约束前后遮挡关系的观测深度次序损失，所述测深度次序损失基于标定参数和二维实例掩膜构建；

7、s4，使用训练好的三维点云补全网络进行三维点云补全。

8、优选的，所述形状补全网络，包括编码器和解码器；所述编码器包括依次连接的第一集合抽象层、第一点transformer层、第二集合抽象层、第二点transformer层和第三集合抽象层；所述解码器包括第一转置卷积、第一多层感知机、第二多层感知机、第二转置卷积、第三多层感知机和第四多层感知机；

9、输入编码器的物体残缺点云经过编码器逐层提取特征，得到全局形状特征；将全局形状特征进行条件仿射调制，得到第一调制特征；第一调制特征依次经第一转置卷积和第一多层感知机解码得到粗点云；将粗点云与全局形状特征进行特征拼接得到第一拼接特征，第一拼接特征经第二多层感知机获得第一粗点云特征；第一粗点云特征依次经第二转置卷积和第三多层感知机处理，输出上采样特征，再与全局形状特征进行特征拼接后得到第二拼接特征，对第二拼接特征进行条件仿射调制后再经第四多层感知机解码得到初始完整点云。

10、优选的，所述条件仿射调制，表示为：

11、；

12、其中，表示调制后的几何特征，表示第个物体，表示第层；表示调制前的几何特征；表示缩放参数；表示逐元素相乘；表示偏置参数。

13、优选的，所述对象间上下文特征，包括两个对象的残缺点云的中心位置、中心距离、相对方位、对数尺度比例、遮挡顺序、接触关系、支撑关系以及视觉表征相似度中的一种或多种。

14、优选的，所述跨模态对象表征模块，具体为：

15、使用经训练点云编码器处理物体残缺点云，提取出全局几何特征向量作为几何特征；将物体残缺点云利用标定参数投影到同一采集视角的rgb图像特征平面，通过双线性插值取得对应位置的视觉特征并进行池化，得到语义特征；将物体残缺点云的3d轴向包围盒参数作为空间特征；使用经训练视觉编码器处理物体rgb图像，提取全局纹理特征向量作为纹理特征。

16、优选的，所述基于对象间上下文特征对对象特征进行融合，得到上下文条件向量；具体为：

17、基于对象特征计算交互门控系数，表示为：

18、；

19、其中，表示交互门控系数；表示对象对目标对象的上下文贡献权重；表示交互门控系数编码器；表示目标对象的对象特征；表示对象的对象特征；表示对象间上下文特征；表示特征拼接操作；

20、利用交互门控系数对其他对象表征进行聚合，得到上下文聚合特征；表示为：

21、；

22、其中，表示目标对象的上下文聚合表征；表示对象特征映射函数；表示防止分母为零的极小正数；

23、将上下文聚合特征与对象特征进行残差连接，得到上下文条件向量，表示为：

24、；

25、其中，表示上下文条件向量；表示层归一化；表示上下文感知集合交互编码器。

26、优选的，所述三维点云补全网络的总损失函数包括轮廓一致性损失、可见结构一致性损失和观测深度次序损失；所述总损失函数表示为：

27、；

28、；

29、其中，表示总损失函数；表示形状补全网络的基础补全损失；表示观测深度次序损失的权重；表示观测深度次序损失；表示轮廓一致性损失的权重；表示轮廓一致性损失；表示可见结构一致性损失的权重；表示可见结构一致性损失。

30、优选的，所述观测深度次序损失，具体实现为：

31、利用场景坐标系到相机坐标系的外参和相机内参，将候选补全点投影到同一采集视角的图像平面，并取得相机深度：

32、；

33、；

34、其中，表示投影像素；表示透视投影；表示相机内参；表示场景坐标系到相机坐标系的外参；表示候选补全点的齐次坐标；表示候选补全点到相机的前向深度；表示取轴分量；

35、将其他对象的真实激光雷达观测点投影到图像平面；当候选补全点的投影像素位于对象的二维实例掩膜内，且其邻域内存在对象的真实观测点时，取邻域内最靠近相机的观测点前向深度作为该像素可见表面的深度；满足这些条件的候选点构成有效候选补全点集合；构建深度次序违反量，表示为：

36、；

37、其中，表示深度次序违反量；表示可见表面的深度；表示深度间隔误差；表示当括号内的值大于零时，取值为该值本身，当括号内的值小于或等于零时，取值为零；

38、构建观测深度次序损失，表示为：

39、；

40、其中，表示观测深度次序损失；表示有效候选补全点集合的集合基数。

41、优选的，所述可见结构一致性损失，表示为：

42、；

43、其中，表示物体残缺点云中的点；表示预测完整点云中的点；表示物体残缺点云的点数；表示取最小值；表示距离。

44、另一方面，基于多对象引导与深度次序约束的点云补全装置，包括如下：

45、数据获取模块，用于使用三维传感器获取场景点云，使用图像传感器获取场景rgb，并获取三维传感器和图像传感器的标定参数；

46、数据处理模块，用于将场景点云输入经训练的点云分割模型，得到各目标对象的物体残缺点云；将场景rgb图像输入经训练的图像分割模型，得到各目标对象的二维实例掩膜和物体rgb图像；

47、网络构建与训练模块，用于构建三维点云补全网络并训练，得到训练好的三维点云补全网络；所述三维点云补全网络，包括跨模态对象表征模块、对象间上下文特征构建模块、场景上下文感知交互模块、条件映射网络和形状补全网络；所述跨模态对象表征模块，提取物体残缺点云的几何特征、语义特征和空间特征，提取物体rgb图像的纹理特征，并将几何特征、语义特征、空间特征和纹理特征融合成对象特征；所述对象间上下文特征构建模块，获取不同目标对象的对象间上下文特征；所述场景上下文感知交互模块，基于对象间上下文特征对对象特征进行融合，得到上下文条件向量；所述条件映射网络，将上下文条件向量映射成调制参数；所述形状补全网络，基于调制参数对物体残缺点云进行补全，得到初始完整点云；将初始完整点云与物体残缺点云合并成最终完整点云；

48、所述三维点云补全网络的总损失函数包括约束前后遮挡关系的观测深度次序损失，所述测深度次序损失基于标定参数和二维实例掩膜构建；三维点云补全模块，用于使用训练好的三维点云补全网络进行三维点云补全。

49、与现有技术相比，本发明具有如下有益效果：

50、（1）本发明利用多个物体提供的相对位置、视觉相似度等多维度场景上下文特征，为目标物体缺失结构推断提供附加信息，引导模型生成更加符合空间物理规律与语义合理性的物体完整形状；

51、（2）本发明采用场景上下文感知交互编码器处理数量可变的无序对象集合，根据目标对象、其他对象及其上下文特征自适应生成交互门控，在保持对象排列置换等变性的同时抑制无关对象干扰；

52、（3）本发明以其他对象的真实三维传感器观测深度作为依据，直接形成有效候选补全点的深度下界，使候选补全点与场景中真实可见表面的前后次序相协调，同时减少补全结果中的噪声点；

53、（4）本发明的训练过程无需完整点云监督，缓解了三维完整形状数据不足的问题，摆脱了对真实完整点云的依赖，降低了数据采集的难度。