一种基于连续视频流的室外场景深度补全方法

技术特征：
1.一种基于连续视频流的室外场景深度补全方法，其特征在于，包括以下步骤：步骤1、对传感器输入的数据进行预处理：先根据外参矩阵将点云数据投影至图像上，生成稀疏深度图d，再通过帧同步将稀疏深度图d与rgb摄像头采集的图像数据rgb一起形成rgb-d数据；步骤2、深度补全模块处理步骤：完成训练的深度补全模块的图像分支接收rgb-d数据中的图像数据rgb，通过图像分支的编解码器提取图像特征，图像分支解码器的输出与深度分支的相同尺寸的编码器的输入对应级联；深度补全模块的深度分支接收rgb-d数据中的稀疏深度图d以及数据流中前一帧的导向图，通过深度分支的编解码器输出初始补全深度图、当前帧的导向图以及亲和度矩阵；步骤3、深度图优化模块处理步骤：完成训练的深度图优化模块接收深度分支的编解码器输出的初始补全深度图以及亲和度矩阵，基于亲和度矩阵对初始补全深度图进行迭代优化，输出优化后的补全深度图用于室外场景深度补全。2.如权利要求1所述方法，其特征在于，在对深度补全模块和深度图优化模块进行训练时，预处理过程中，在形成rgb-d数据之后，还需要进行以下处理：对rgb-d数据进行划分，划分出固定长度的一段连续帧为一组；对每一组的数据进行数据增强处理；数据增强处理方式包括随机的旋转、水平翻转、缩放、明暗度调整。3.如权利要求1所述方法，其特征在于，深度补全模块进行训练时的损失函数采用了预测深度与真实标签中有效的深度的绝对误差进行计算；深度图优化模块进行训练时的损失函数采用了在采用了预测深度与真实标签中有效的深度的绝对误差的基础上引入了平滑损失。

技术总结
本发明提供一种基于连续视频流的室外场景深度补全方法，包括：对传感器输入的数据进行预处理形成RGB-D数据；深度补全模块的图像分支接收RGB数据，通过图像分支的编解码器提取图像特征，图像分支解码器的输出与深度分支的相同尺寸的编码器的输入对应级联；深度补全模块的深度分支接收D数据以及数据流中前一帧的导向图，通过深度分支的编解码器输出初始补全深度图、当前帧的导向图以及亲和度矩阵；深度图优化模块接收深度分支的编解码器输出的初始补全深度图以及亲和度矩阵，输出优化后的补全深度图用于室外场景深度补全。本发明有效利用连续视频流中的上下文信息，提升了深度补全预测的准确性。全预测的准确性。全预测的准确性。


技术研发人员：卢国明 罗光春 秦科 段贵多 刘德映 李冠举
受保护的技术使用者：电子科技大学
技术研发日：2022.08.31
技术公布日：2022/12/16