基于可微分投影的高精度多视角点云重建方法及装置

技术特征：
1.一种基于可微分投影的高精度多视角点云重建方法，其特征在于，包括如下步骤：获取多张rgb图像；根据所述多张rgb图像中每张rgb图像的纹理信息和/或结构信息提取所述每张rgb图像的图像特征；基于所述每张rgb图像的图像特征生成同一物体的统一特征表达，并恢复对应物体原有的三维结构，得到粗点云的重建点云；对于所述重建点云和真实点云，使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投影，以对输入的至少一张rgb图像恢复满足预设条件的高精度多视角重建点云。2.根据权利要求1所述的方法，其特征在于，所述基于所述每张rgb图像的图像特征生成同一物体的统一特征表达，包括：利用预设池化算法对基于所述每张rgb图像的图像特征得到的多视图特征进行池化处理，得到所述统一特征表达。3.根据权利要求1所述的方法，其特征在于，所述使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投影，以对输入的至少一张视图恢复满足预设条件的高精度多视角重建点云，包括：基于所述重建点云投影与所述真实点云投影，使用均方误差作为损失函数计算在不同视角下的误差，并对算法进行整体训练，得到收敛后的算法；利用所述收敛后的算法恢复所述至少一张视图的高精度多视角重建点云。4.根据权利要求3所述的方法，其特征在于，所述误差的计算公式为：其中，表示视角i下重建点云投影坐标(x1,y1)的值，表示视角i下真实点云投影坐标(x1，y1)的值，n表示共计算n个视角，x
w
y
h
表示投影图像的宽度与长度。5.根据权利要求1-4任一项所述的方法，其特征在于，所述使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投，包括：将不具有空间体积的点云膨胀为具有空间体积的体素；将所述体素投影至对应的空间表面。6.一种基于可微分投影的高精度多视角点云重建装置，其特征在于，包括：图像获取模块，用于获取多张rgb图像；特征提取模块，用于根据所述多张rgb图像中每张rgb图像的纹理信息和/或结构信息提取所述每张rgb图像的图像特征；重建模块，用于基于所述每张rgb图像的图像特征生成同一物体的统一特征表达，并恢复对应物体原有的三维结构，得到粗点云的重建点云；恢复模块，用于对于所述重建点云和真实点云，使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投影，以对输入的至少一张rgb图像恢复满足预设条件的高精度多视角重建点云。7.根据权利要求6所述的装置，其特征在于，所述恢复模块，包括：计算单元，用于基于所述重建点云投影与所述真实点云投影，使用均方误差作为损失
函数计算在不同视角下的误差，并对算法进行整体训练，得到收敛后的算法；恢复单元，用于利用所述收敛后的算法恢复所述至少一张视图的高精度多视角重建点云。8.根据权利要求7所述的装置，其特征在于，所述误差的计算公式为：其中，表示视角i下重建点云投影坐标(x1,y1)的值，表示视角i下真实点云投影坐标(x1,y1)的值，n表示共计算n个视角，x
w
y
h
表示投影图像的宽度与长度。9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于可微分投影的高精度多视角点云重建方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于可微分投影的高精度多视角点云重建方法。

技术总结
本申请公开了一种基于可微分投影的高精度多视角点云重建方法及装置，其中，方法包括：获取多张RGB图像；根据多张RGB图像中每张RGB图像的纹理信息和/或结构信息提取每张RGB图像的图像特征；基于每张RGB图像的图像特征生成同一物体的统一特征表达，并恢复对应物体原有的三维结构，得到粗点云的重建点云；对于重建点云和真实点云，使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投影，以对输入的至少一张视图恢复满足预设条件的高精度多视角重建点云。由此，解决了相关技术中基于倒角距离的度量方式无法精确度量重建点云与真实点云之间的误差，导致无法满足高精度多视角的三维点云重建需求的问题。度多视角的三维点云重建需求的问题。度多视角的三维点云重建需求的问题。


技术研发人员：赵曦滨 张轩诚 高跃
受保护的技术使用者：清华大学
技术研发日：2022.03.23
技术公布日：2022/7/29