基于感知一致损失的多视图立体匹配重建方法及系统

技术特征：
1.基于感知一致损失的多视图立体匹配重建方法，其特征是，该方法包括如下步骤：步骤1，构建网络模型：整个网络包括特征提取模块，金字塔体积正则化模块和双校正层模块，且每个模块均由卷积层、正则化和激活函数组成；特征提取模块对输入的源图像和参考图像进行特征提取，金字塔体积正则化模块，对提取到的特征进行下采样提取以及上采样整合正则化来构建3d成本体积，得到稠密的深度图；最后，双校正层模块对得到的深度图进行简单的滤波去除冗余信息，优化深度图组合并保留有用信息；步骤2，准备数据集：将源图像和参考图像作为数据的输入，从参考的视图中使用原始3d点来估计三维结构的稠密深度图d；步骤3，训练网络模型：将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练；步骤4，设计损失函数并回归：通过将数据增强一致损失得到的深度信息与深度感知损失得到的深度信息进行视差比较，得到有效的地表深度值作为监督传到深度回归损失中，直到训练次数达到设定阈值或损失函数的值到达设定范围内，即可认为模型参数已训练完成，保存模型参数；步骤5，保存模型并测试：将最终确定的模型参数进行固化，在需要进行点云融合并重建操作时，直接将图像输入到网络中即可得到最终的三维点云；步骤6，点云融合并重建：将步骤5得到的三维点云进行融合，然后运用meshlab软件来查看融合后的匹配重建效果；同时为进一步验证模型的好坏，选择最优评估指标来衡量算法的精度和系统的性能。2.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法，其特征在于，所述步骤1中特征提取模块包含八个卷积层，卷积层一、卷积层二、卷积层三进行下采样操作，将特征图大小缩减一半、卷积层四、卷积层五、卷积层六对上述特征图进行下采样操作，将特征图大小再缩减一半，最后由卷积层七和卷积层八输出；特征提取模块的每个卷积层的输出均经过正则化操作；金字塔体积正则化模块包含十个卷积层，三维卷积层一和三维卷积层二对提取到的特征进行第一次下采样，三维卷积层三和三维卷积层四对提取到的特征进行第二次下采样，三维卷积层五、三维卷积层六和三维卷积层七来输出卷积后的特征信息；三维反卷积层一对输入进行上采样，经过激活函数输出反卷积后的特征信息，三维反卷积层二对三维卷积层二的输出进行上采样，经过激活函数输出反卷积后的特征信息，三维反卷积层三对三维卷积层四的输出进行上采样，经过激活函数输出反卷积后的特征信息，最后将上述特征信息整合来构建3d成本体积，得到稠密的深度图；金字塔体积正则化模块的每个卷积层的输出均进行正则化操作；双校正层模块包含四个卷积层，卷积层一、卷积层二、卷积层三对得到的深度图进行简单的滤波去除冗余信息，卷积层四对输入进行上采样和通道转换来优化深度图组合并保留有用信息；双校正层模块中每个卷积层的输出均进行正则化操作；所有卷积层中二维卷积核的大小统一为n
×
n；三维卷积核的大小统一为n
×
n
×
n。3.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法，其特征在于，所述步骤3中在训练过程中数据集使用dtu；通过对数据集中相机内外参数的计算，从多帧图像中估计重建物体的位姿来进行半监督的训练；将多帧图片、标定好的相机参数以及深度信息作为整个网络的输入，将损失计算匹配的地表信息作为标签，解决在三维重建领域
大部分只能进行有监督训练的问题。4.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法，其特征在于，所述步骤4中在训练过程中损失函数选择使用数据增强一致损失和深度感知损失的组合；得到的深度图像不但能保证其平滑性且稠密度相当，而且还需要突出物体表面真实性的细节部分，提升融合点云的匹配重建效果。5.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法，其特征在于，所述步骤5中在保存模型后，可利用eth3d数据集以及tank&temples数据集进行测试，评估其泛化能力。6.根据权利要求1所述的基于感知一致损失的多视图立体匹配重建方法，其特征在于，所述步骤6中评估指标选择准确度和完整度，能够有效评估算法的效率，衡量匹配网络的作用。7.一种基于感知一致损失的多视图立体匹配重建系统，其特征是，该系统包括：图像获取单元，其用于获取源图像及多个视角的参考图像，其中参考图像可经过处理将部分地表信息去掉，来进行半监督的训练；图像训练单元，其用于将源图像和参考图像输入网络中进行训练，通过对数据集中相机内外参数的计算，从多帧图像中估计重建物体的位姿来进行半监督的训练；并且将初始计算的深度图输入到方法中设计的校正层，来过滤掉冗余的深度信息，得到更加平滑的深度图；深度图优化单元，其用于将训练输出的深度图，通过方法中设计的损失函数，来计算匹配的地表信息作为标签参与训练，进而得到稠密的深度图；点云融合并重建单元，其用于将稠密的深度图，融合成三维点云，并根据融合的点云进行三维建模，以得到立体视觉图。

技术总结
基于感知一致损失的多视图立体匹配重建方法及系统，属于三维重建领域，为解决现有技术存在内存占用严重且完整度较低的问题，该方法步骤1，构建网络模型：整个网络包括特征提取模块，金字塔体积正则化模块和双校正层模块；步骤2，准备数据集：将源图像和参考图像作为数据的输入，从参考的视图中使用原始3D点来估计三维结构的稠密深度图D；步骤3，训练网络模型：将步骤2中准备好的数据集输入到步骤1中构建好的网络模型中进行训练；步骤4，设计损失函数并回归；步骤5，保存模型并测试；步骤6，点云融合并重建：将步骤5得到的三维点云进行融合，然后运用MeshLab软件来查看融合后的匹配重建效果，选择最优评估指标来衡量算法的精度和系统的性能。的性能。的性能。


技术研发人员：詹伟达 曹可亮 郝子强 蒋一纯 郭金鑫
受保护的技术使用者：长春理工大学
技术研发日：2022.11.08
技术公布日：2022/12/30