基于二维图像的网格模型重建方法、系统、装置及介质与流程

技术特征：
1.基于二维图像的网格模型重建方法，其特征在于，包括以下步骤：获取待重建目标物表面的二维图像；通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；所述深度箱子用于表征深度值区间；根据所述线性组合描述所述二维图像中像素的深度值，构建得到深度图，并根据所述深度图构建目标物的模型点云；通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场；根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型。2.根据权利要求1所述的基于二维图像的网格模型重建方法，其特征在于，所述自注意力模型的训练过程，包括：通过第一训练数据训练得到所述自注意力模型中的编码器；根据特征上采样模块构建得到所述自注意力模型中的解码器；根据所述编码器、所述解码器以及自注意力模块构建得到所述自注意力模型。3.根据权利要求2所述的基于二维图像的网格模型重建方法，其特征在于，通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合，包括：将所述二维图像输入至所述编码器进行编码，将编码结果输入至所述解码器进行解码得到所述二维图像的图像特征；根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量；将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合。4.根据权利要求3所述的基于二维图像的网格模型重建方法，其特征在于，所述根据所述图像特征进行全局注意力计算确定所述二维图像对应的深度箱子的宽度向量，包括：将所述图像特征输入至编码卷积模块，根据所述码卷积模块的内核大小、步长以及输出通道数输出得到所述图像特征的第一张量；根据所述自注意力模块的有效序列长度将所述第一张量进行展平得到第二张量；根据所述第二张量通过多层感知机中的激活函数进行激活运算输出得到第一向量，将所述第一向量进行归一化处理得到所述深度箱子的宽度向量。5.根据权利要求3所述的基于二维图像的网格模型重建方法，其特征在于，所述将所述宽度向量与所述图像特征进行卷积运算得到范围注意力特征图，根据所述范围注意力特征图确定所述深度箱子的线性组合，包括：将所述范围注意力特征图输入至卷积核中进行卷积运算，将卷积运算的结果进行分类预测，得到分类预测的分数值；根据所述深度箱子的宽度向量计算深度箱子中心位置的第一概率，根据所述第一概率以及所述分数值确定所述深度箱子的线性组合；所述线性组合用于描述像素的深度值。6.根据权利要求1所述的基于二维图像的网格模型重建方法，其特征在于，所述通过截
断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场，包括：确定所述空间体素在世界坐标系中的第一位置点，根据所述深度图中深度数据对应的相机位姿矩阵确定所述第一位置点在相机坐标系下的第一映射点；根据所述相机坐标系相机内参矩阵，对所述第一映射点既定反投影得到所述深度图中的第二位置点；确定所述第一映射点与所述相机坐标系的原点之间的第二距离，根据所述第二距离以及第二位置点的深度值计算得到有向距离场，根据所述有向距离场确定所述第一距离；根据所述第一位置点的投影光线、表面法向量的夹角以及所述第二距离即使算得到所述第一权重；根据所述空间体素在当前帧中的所述第一距离以及所述第一权重确定所述空间体素的有符号的距离场。7.根据权利要求1所述的基于二维图像的网格模型重建方法，其特征在于，所述根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型，包括：通过所述三维网格模型中第三位置点的所述距离场对应的浮点张量；将所述浮点张量输入至训练完成后的三维卷积网络，通过所述三维卷积网络中的激活函数进行运算输出得到所述三维网格模型；所述三维卷积网络的训练过程包括：根据历史数据中物体表面周围窄带的图像数据构建得到第二训练数据；将所述第二训练数据输入至所述三维卷积网络输出得到预测结果，并通过预测结果的二进制掩码构建损失函数，根据所述损失函数对所述三维卷积网络的参数进行调整。8.基于二维图像的网格模型重建系统，其特征在于，包括：第一单元，用于获取待重建目标物表面的二维图像；第二单元，用于通过训练后的自注意力模型对所述二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；所述深度箱子用于表征深度值区间；第三单元，用于根据所述线性组合描述所述二维图像中像素的深度值，构建得到深度图，并根据所述深度图构建目标物的模型点云；第四单元，用于通过截断的带符号距离函数根据所述模型点云构建空间体素，根据所述空间体素与最近的目标物表面的第一距离以及所述空间体素更新的第一权重，对所述二维图像进行帧融合得到有符号的距离场；第五单元，用于根据所述有符号的距离场通过等值面提取模型表面，根据所述模型表面还原得到所述目标物的三维网格模型。9.基于二维图像的网格模型重建装置，其特征在于，所述装置包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器运行如权利要求1-7任一项所述的基于二维图像的网格模型重建方法。
10.一种存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序在由处理器执行时用于运行如权利要求1-7中任一项所述的基于二维图像的网格模型重建方法。

技术总结
本发明提供的基于二维图像的网格模型重建方法、系统、装置及介质，方法包括以下步骤：获取待重建目标物表面的二维图像；通过自注意力模型对二维图像的图像深度区间进行分箱深度预测，得到深度箱子的线性组合；深度箱子用于表征深度值区间；根据线性组合描述二维图像中像素的深度值，构建得到深度图，并构建目标物的模型点云；通过截断的带符号距离函数根据模型点云构建空间体素，并对二维图像进行帧融合得到有符号的距离场；根据有符号的距离场通过等值面提取模型表面，根据模型表面还原得到目标物的三维网格模型，方法能够达到更加准确、可靠的三维重建效果，方法重建耗时更短，能够快速且高质量完成三维重建，可广泛应用于计算机视觉技术领域。算机视觉技术领域。算机视觉技术领域。


技术研发人员：柯建生 王兵 戴振军 陈学斌
受保护的技术使用者：广州极点三维信息科技有限公司
技术研发日：2022.11.22
技术公布日：2023/3/3