一种基于先验约束的单帧视图三维模型点云重建方法和存储设备与流程

技术特征：
1.一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，包括步骤：建立3d椭球体；建立基于图的全卷积网络；输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3d椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型；通过所述图的全卷积网络的上采样层对所述优化后的三维网格模型进行再次优化；将所述图像特征及再次优化后的三维网格模型进行连接；通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型；对所述新的三维网格模型进行转化得点云模型。2.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“输入图片至图像特征网络获取图像特征，根据所述图像特征和所述3d椭球体进行形变后投影的图像特征之间的损失计算梯度，得优化后的三维网格模型”，具体还包括步骤：对待重建机柜模型的形状进行先验损失的计算。3.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“建立基于图的全卷积网络”，具体还包括步骤：建立一个基于图的全卷积网络，所述图的全卷积网络中的网格中的顶点和边直接表示为图中的节点和连接；三维图形的网络特征编码信息保存在每个顶点上；通过前向传播，卷积层对相邻节点间的特征进行交换，回归出每个顶点的三维位置；所述位置的信息由倒角损失来约束，倒角距离测量每个点到另一组的距离：通过下式定义表面法线上的损失来描述高阶性质:其中q为p在计算倒角损失时所找到的最近顶点，k为p的邻近像素，<p
‑
k,n
q
>为两个向量的内积，n
q
为真值中观测曲面的法向。4.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“输入图片至图像特征网络获取图像特征”，具体还包括步骤：给定顶点的三维坐标，通过摄像机内置函数计算其在输入图像平面上的二维投影，使用双线性插值将附近四个像素的特征集合到一起；使用损失函数l
′
scale
来约束投影的物体边长比例：其中x1，y1，z1分别为投影物体的长宽高，x2，y2，z2分别为真实场景中的长宽高。5.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“将所述图像特征及再次优化后的三维网格模型进行连接”，具体还包括步骤：
将所述图像特征连接起来，最终得到的总维度为1280；将总维度为1280的感知特征与优化后的三维网格模型的128维3d特征连接起来，得到的总维数为1408；其最后的三维网格模型损失约束为：其中，l
′
scale
为2d投影与真值的损失，l
c
为倒角损失，后半部分为抑制网格变形量的边长正则化损失。6.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“通过所述图的全卷积网络对连接后的图像特征及再次优化后的三维网格模型进行优化得新的三维网格模型”，具体还包括步骤：通过所述图的全卷积神经网络来预测每个顶点新的位置和三维形状特征；在最后一层特征上输出顶点的三维坐标，得到新的三维网格模型。7.根据权利要求1所述的一种基于先验约束的单帧视图三维模型点云重建方法，其特征在于，所述“对所述新的三维网格模型进行转化得点云模型”，具体还包括步骤：通过转换软件将所述新的三维网格模型进行转化得点云模型。8.一种存储设备，其中存储有指令集，其特征在于，所述指令集用于执行：权利要求1至7任意一权利要求的步骤。

技术总结
本发明涉及三维视觉技术领域，特别涉及一种基于先验约束的单帧视图三维模型点云重建方法和存储设备。所述一种基于先验约束的单帧视图三维模型点云重建方法，包括步骤：建立3D椭球体；建立基于图的全卷积网络；获取图像特征，对所述3D椭球体进行形变，得优化后的三维网格模型；对所述优化后的三维网格模型进行再次优化；将所述图像特征及再次优化后的三维网格模型进行连接；得新的三维网格模型；对所述新的三维网格模型进行转化得点云模型。通过以上方法，能够通过单帧的RGB图片获取三维模型的表面信息，在加入形状比例先验约束后，能够更好生成接近原始机柜模型比例的新的三维模型，最后根据新的三维模型生成点云模型。最后根据新的三维模型生成点云模型。最后根据新的三维模型生成点云模型。


技术研发人员：张江龙 粟仁杰 庄莉 李霆 陈严纾 蔡宇翔 王栋 吴茜 叶庚 潘丹 肖琦敏 梁懿 于元隆 蒋伟杰 徐杰 潘进土 黄道
受保护的技术使用者：国网福建省电力有限公司 福建亿榕信息技术有限公司 国家电网有限公司 福州大学 国网信息通信产业集团有限公司 国网信通亿力科技有限责任公司
技术研发日：2021.06.30
技术公布日：2021/11/2