一种基于区域证据门控的多模态点云补全方法及系统

摘要: 本发明涉及点云处理领域,具体涉及一种基于区域证据门控的多模态点云补全方法及系统。背景技术:1、通过深度相机、激光扫描仪等设备获得的物体点云,容易受到遮挡、视角范...
一种基于区域证据门控的多模态点云补全方法及系统

本发明涉及点云处理领域,具体涉及一种基于区域证据门控的多模态点云补全方法及系统。

背景技术:

1、通过深度相机、激光扫描仪等设备获得的物体点云,容易受到遮挡、视角范围、反射特性和采样密度的影响,导致物体表面存在不同程度的缺失。点云补全的任务是依据残缺点云中已经观测到的几何信息及训练数据中学习到的形状规律,预测物体完整表面的三维点集。该技术可用于物体数字化建模、机器人抓取、自动检测和三维场景理解。

2、仅以残缺点云作为输入时,严重遮挡区域缺少直接几何观测,可能对应多种合理形状。与残缺点云同步获取的rgb图像通常包含轮廓、边缘、颜色分布和部件外观等信息,能够为缺失表面提供补充线索。现有多模态点云补全方法通常分别提取点云特征和图像特征,再通过拼接、注意力或条件解码方式生成点云。

3、然而,图像信息并非在所有区域都可靠。图像中的背景纹理可能与物体局部外观相似,遮挡物可能覆盖待补全部位,高光和阴影也可能造成错误的外观特征。交叉注意力能够从多个图像位置中选择与某个点云区域相对匹配的特征,但注意力权重表示候选图像位置之间的相对分配关系。即使所有图像位置均不能为当前区域提供有效几何线索,归一化后的注意力权重仍然会形成总和为1的分配结果。因此,注意力匹配程度不能直接等同于图像特征对三维重建的实际帮助。

4、普通门控网络可以输出0至1之间的系数,但单一系数通常只表达使用强度,难以同时区分已经取得较充分的有益依据和仅因缺少相反依据而给出较高系数这两种情况。证据学习可以分别表达支持有益判断和支持无益判断的信息,并利用证据总量反映判断依据是否充分。然而,如果正、负证据只根据人工设定的图像质量标签进行训练,所得判断未必与最终点云的几何误差一致;如果仅比较粗点云误差,又无法反映图像特征在后续点扩展中的传播结果。

5、基于以上分析,如何抑制无效图像信息对点云生成的干扰,以提高点云补全的准确性和稳定性是一个亟需解决的问题。

技术实现思路

1、针对现有技术的不足,本发明提供了一种基于区域证据门控的多模态点云补全方法及系统,根据图像信息对不同区域几何重建的实际作用,自适应调节图像特征的使用强度,以此抑制无效图像信息对点云生成的干扰,从而提高点云补全的准确性和稳定性。

2、为实现以上目的,本发明通过以下技术方案予以实现:

3、第一方面,本发明提供了一种基于区域证据门控的多模态点云补全方法,方法包括:

4、构建并训练三维点云补全模型,三维点云补全模型包括点云生成网络和图像证据预测网络,点云生成网络包括点云编码器、图像编码器、交叉注意力模块、参考中心生成器、粗点解码器、粗点特征生成网络和分级点扩展解码器;三维点云补全模型的训练过程依次包括点云生成网络预训练、图像有益程度监督值生成和图像证据预测网络训练;

5、获取物体的残缺点云和对应rgb图像;

6、提取点云特征和图像特征,包括点云区域特征、点云整体形状特征和图像位置特征;

7、通过交叉注意力机制获取区域图像特征;

8、通过图像证据预测网络输出正、负证据,根据正、负证据计算各生成区域的图像门控系数,根据图像门控系数融合区域图像特征与点云区域特征形成融合区域特征;

9、根据点云区域特征和点云整体形状特征生成区域参考中心,并结合融合区域特征生成粗点,通过粗点特征生成网络生成粗点特征,将粗点作为第一级点扩展的父点,将粗点特征作为相应的父点特征;

10、利用父点特征、融合区域特征和点云整体形状特征逐级扩展子点,并在完成预设级数的点扩展后输出补全点云。

11、第二方面,本发明提供了一种基于区域证据门控的多模态点云补全系统,包括处理器、存储器、数据输入接口和数据输出接口,存储器、数据输入接口和数据输出接口均与处理器通信连接;所述存储器内保存有三维点云补全模型和计算机程序,数据输入接口用于输入物体的残缺点云和对应rgb图像,数据输出接口用于输出补全点云;通过处理器执行计算机程序实现第一方面所述的方法。

12、本发明实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:

13、1、通过图像证据预测网络分别预测支持使用图像信息和支持抑制图像信息的证据,并结合证据方向与证据充分程度确定各生成区域的图像使用强度,能够解决图像遮挡、背景干扰或外观歧义被无差别引入点云生成过程的问题,从而提高了多模态点云补全模型对图像质量变化的适应性。

14、2、通过固定目标区域和生成点区域编号继承机制,在训练时保持图像特征保留与移除两种状态下评价对象一致,使图像证据监督能够反映区域图像信息对最终点云重建的实际作用,减少了目标分区变化和生成点归属变化对监督结果的干扰。

15、3、通过参考中心生成器、粗点解码器、粗点特征生成网络和分级点扩展解码器形成由整体形状到稠密表面的连续生成路径,将门控后的多模态区域特征传递至最终点云,能够在保持网络结构清晰和推理过程单次前向执行的同时,提高点云补全的准确性和稳定性。

1.一种基于区域证据门控的多模态点云补全方法,其特征在于,方法包括:

2.根据权利要求1所述的一种基于区域证据门控的多模态点云补全方法,其特征在于,所述提取点云特征和图像特征具体为:

3.根据权利要求1所述的一种基于区域证据门控的多模态点云补全方法,其特征在于,所述通过交叉注意力机制获取区域图像特征具体为:

4.根据权利要求1所述的一种基于区域证据门控的多模态点云补全方法,其特征在于,所述根据正、负证据计算各生成区域的图像门控系数具体为:

5.根据权利要求1所述的一种基于区域证据门控的多模态点云补全方法,其特征在于,所述根据点云区域特征和点云整体形状特征生成区域参考中心,并结合融合区域特征生成粗点,通过粗点特征生成网络生成粗点特征具体为:

6.根据权利要求1所述的一种基于区域证据门控的多模态点云补全方法,其特征在于,所述利用父点特征、融合区域特征和点云整体形状特征逐级扩展子点具体为:

7.根据权利要求1所述的一种基于区域证据门控的多模态点云补全方法,其特征在于,所述三维点云补全模型的训练过程具体为:

8.根据权利要求7所述的一种基于区域证据门控的多模态点云补全方法,其特征在于,所述通过图像特征保留与移除的对照补全生成图像有益程度监督值具体为:

9.一种基于区域证据门控的多模态点云补全系统,其特征在于,包括处理器、存储器、数据输入接口和数据输出接口,存储器、数据输入接口和数据输出接口均与处理器通信连接;所述存储器内保存有三维点云补全模型和计算机程序,数据输入接口用于输入物体的残缺点云和对应rgb图像,数据输出接口用于输出补全点云;通过处理器执行计算机程序实现如权利要求1-8任意一项所述的方法。