一种面向室内鱼眼图像的场景结构深度估计方法

技术特征：
1.一种面向室内鱼眼图像的场景结构深度估计方法，其特征在于，包括以下内容：(1)构建基于编码-解码策略的场景结构深度估计网络模型，设置所述网络模型的训练参数；在编码器中采用鱼眼畸变卷积模块,利用可变形卷积学习鱼眼图像中的几何畸变信息，对鱼眼图像进行局部几何特征卷积操作，提高鱼眼图像中特征信息的提取准确率；在解码器中采用向上映射层模块加深所述网络结构深度；同时在编码器解码器之间添加跳跃连接，提高所述网络模型的场景结构深度估计准确度；并在所述网络模型训练过程中采用基于图像特征的目标损失函数；(2)通过鱼眼图像深度的训练数据集对场景结构深度估计网络模型进行训练优化；(3)将鱼眼图像深度的测试数据集输入到训练场景结构深度估计网络模型中，预测出输入鱼眼图像的场景结构深度。2.根据权利要求1所述的一种面向室内鱼眼图像的场景结构深度估计方法，其特征在于：所述步骤(1)中，基于图像特征的目标损失函数l如下：l＝ω1l
depth
ω2l
grad
ω3l
normal
l
depth
为深度损失项，计算公式如下：其中，n为样本数，d
i
表示预测的结构深度值，g
i
为真实的结构深度值，α为可调节参数，i表示像素个数；l
grad
为梯度损失项，计算公式为：其中，和为向量表示的边缘梯度大小，分别表示深度误差在x,y方向的偏导；x为水平梯度，y为垂直深度；l
normal
为法向量损失项l
normal
，计算公式为：其中，分别表示在预测的结构深度图和真实的结构深度图中计算得到的法向量，表示预测法向量和真实法向量的内积操作；ω1、ω2和ω3分别为三个损失项对应的权重系数。3.根据权利要求1所述的一种面向室内鱼眼图像的场景结构深度估计方法，其特征在于：所述步骤(1)中，构建基于编码-解码策略的场景结构深度估计网络模型中，编码器以resnet-50作为主干网络提取输入鱼眼图像的语义特征，学习图像像素点之间的依赖关系，输出包含低维语义信息和高维语义信息的特征图；所述resnet-50中第三个至第五个瓶颈块采用鱼眼畸变卷积模块，增强场景结构深度估计模型对鱼眼图像畸变的学习能力；所述鱼眼畸变卷积模块采用鱼眼图像投影模型设计。
4.根据权利要求1所述的一种面向室内鱼眼图像的场景结构深度估计方法，其特征在于：所述步骤(1)中，构建基于编码-解码策略的场景结构深度估计网络模型中，解码器的实现为：以编码器得到的特征图为输入，基于向上映射层模块构建对特征解码；解码器中包含四个向上映射层模块，负责增大特征图的分辨率并实现对语义特征的解码，通过有监督的端到端的学习方式，将学习到的分布式特征表示映射到样本标记空间，输出预测的结构深度图；所述每个向上映射层模块采用残差结构设计。

技术总结
本发明一种面向室内鱼眼图像的场景结构深度估计方法，步骤为：(1)设计基于特征的目标损失函数；(2)设计基于鱼眼投影的畸变感知模块；(3)构建基于编码-解码策略的场景结构深度估计网络模型，设置相应的模型训练参数；(4)通过鱼眼图像深度的训练数据集对模型进行训练优化；(5)将鱼眼图像深度的测试数据集输入到训练模型中，预测出对应的场景结构深度图。输入给定的RGB鱼眼图像与对应的掩码图像，本发明首次实现了从单幅鱼眼图像中端到端地估计出场景结构深度，广泛应用于虚拟/增强现实、机器人室内导航，提升三维重建和三维场景理解的速度和精度。速度和精度。速度和精度。


技术研发人员：孟明 肖立凯 周忠
受保护的技术使用者：中国传媒大学
技术研发日：2022.11.09
技术公布日：2022/12/30