基于可变形卷积的深度图补全方法与流程

技术特征：
1.一种基于可变形卷积的深度补全方法，包括下列步骤：步骤一、数据准备；获取kitti开源数据集，该数据集提供了rgb图像数据、相对应的稀疏深度数据以及真实深度标签；所述rgb图像数据的分辨率1241
×
376，稀疏深度数据中大约有5％的的像素数据是有效的，其深度值>0，而真实深度标签中有16％的像素数据是有效的；所获取的kitti开源数据集包含86000例训练样本，且每例样本对应1份rgb图像数据，1份稀疏深度数据与1份真实深度标签；对所获取的kitti开源数据集的rgb图像数据和稀疏深度数据进行归一化操作，使rgb图像数据各像素值和稀疏深度数据的各像素的深度值的取值范围限定在[0,1]内；对每例样本中的三种数据进行同样大小的随机裁剪操作，使每例样本中的三种数据的尺寸统一为1216
×
352；步骤二、对深度补全模型进行训练；将步骤一获得的训练样本的裁剪后的rgb图像数据和稀疏深度数据作为深度补全模型的输入，其中步骤一获得的的深度标签用于计算损失；所述深度补全模型包括：rgb图像数据特征提取模块、稀疏深度数据特征提取模块、rgb图像特征反卷积模块、深度增强模块以及融合模块；rgb图像特征提取模块包括依次串联的1个常规卷积层和10个残差卷积模块；稀疏深度数据特征提取模块包括依次串联的1个常规卷积层和10个残差卷积模块；rgb图像特征反卷积模块包括依次串联的5个反卷积模块和1个常规卷积层；深度增强模块包括依次串联的1个常规卷积层、10个残差卷积模块、5个反卷积模块和1个常规卷积层；其中rgb图像特征提取模块的残差卷积模块内包括的卷积层是可变形卷积，稀疏深度数据特征提取模块的残差卷积模块内包括的卷积层是常规卷积；rgb图像特征反卷积模块的常规卷积层输出的深度补全中间结果与训练样本的稀疏深度数据按通道进行拼接，得到的联合数据再被送入的深度增强模块；步骤一获得的训练样本裁剪后的rgb图像数据依次经过rgb图像特征提取模块的第1个常规卷积层、第2个残差卷积模块、第4个残差卷积模块、第6个残差卷积模块、第8个残差卷积模块和第10个残差卷积模块后分别得到大小为1216
×
352
×
32的第一特征图、608
×
176
×
64的第二特征图、304
×
88
×
128的第三特征图、152
×
44
×
256的第四特征图、76
×
22
×
512的第五特征图、38
×
11
×
1024的第六特征图；步骤一获得的训练样本的裁剪后的稀疏深度数据依次经过稀疏深度数据特征提取模块的第1个常规卷积层、第2个残差卷积模块、第4个残差卷积模块、第6个残差卷积模块、第8个残差卷积模块和第10个残差卷积模块后分别得到大小为1216
×
352
×
32的特征图a、608
×
176
×
64的特征图b、304
×
88
×
128特征图c、152
×
44
×
256的特征图d、76
×
22
×
512的特征图e、38
×
11
×
1024的特征图f；rgb图像特征提取模块处理输入的rgb图像数据得到的特征图与稀疏深度数据特征提取模块处理输入的稀疏深度数据产生的特征图对应按元素相加，其中rgb图像数据特征提取模块产生的第一特征图、第二特征图、第三特征图、第四特征图、第五特征图分别与稀疏深度数据特征提取模块产生的特征图a、特征图b、特征图c、特征图d、特征图e依次对应相加，产生大小不变的第一新特征图、第二新特征图、第三新特征图、第四新特征图、第五新特征图，这些新特征图分别作为稀疏深度数据特征提取模块的第1个残差卷积模块、第3个残
差卷积模块、第5个残差卷积模块、第7个残差卷积模块和第9个残差卷积模块的输入继续参与向前传播；rgb图像特征反卷积模块，用于对rgb图像数据特征提取模块与稀疏深度数据特征提取模块处理后的rgb图像数据特征和稀疏深度数据特征进行升维，生成待增强的深度补全中间结果；rgb图像特征反卷积模块的输入是rgb图像数据特征提取模块产生的第六特征图和稀疏深度数据特征提取模块产生的特征图f按元素相加的产生的第六新特征图，其大小为38
×
11
×
1024，该第六新特征图依次经过rgb图像特征反卷积模块的5个反卷积模块分别得到大小为76
×
22
×
512、152
×
44
×
256、304
×
88
×
128、608
×
176
×
64、1216
×
352
×
32的第七特征图、第八特征图、第九特征图、第十特征图和第十一特征图，其中反卷积模块包含反卷积层、归一化层和激活层；此过程中得到的第七特征图、第八特征图、第九特征图、第十特征图和第十一特征图依次与稀疏深度数据特征提取模块输出的特征图e、特征图d、特征图c、特征图b及特征图a按元素相加，得到的第十一特征图经过rgb图像特征反卷积模块的常规卷积层得到大小为1216
×
352
×
2的输出，输出的深度补全中间结果包含大小为1216
×
352
×
1的深度补全中间结果和对应的大小为1216
×
352
×
1的置信权重；深度增强模块用于增强rgb图像反卷积模块得到深度补全中间结果，深度增强模块的输入是深度补全中间结果和训练样本的稀疏深度数据按通道方向拼接得到的所述联合数据，所述联合数据大小为1216
×
352
×
2，所述联合数据依次经过深度增强模块的1个常规卷积层与10个残差卷积模块得到大小为38
×
11
×
1024的特征图f，特征图f与rgb图像数据特征提取模块产生的第六特征图和稀疏深度数据特征提取模块产生的特征图f的相加结果再次相加，得到的结果作为深度增强模块的第一反卷积模块的输入；深度增强模块的第5至第1个反卷积模块产生的特征图分别与深度增强模块的第1个常规卷积层及第2、4、6、8个残差卷积模块产生的特征图a、特征图b、特征图c、特征图d、特征图e按通道方向做拼接，使特征层次更加丰富；深度增强模块得到大小为1216
×
352
×
2的输出，输出包含大小为1216
×
352
×
1的深度补全增强结果和对应的大小为1216
×
352
×
1的置信权重。融合模块将深度补全中间结果和深度补全增强结果分别与各自的置信权重相加并对两个相加的结果再求和，得到深度补全模型输出的最终的深度预测结果；深度补全模型的训练中，损失由三部分组成，分别为最终的深度预测结果与步骤一获得的训练样本的真实深度标签的均方误差、深度补全中间结果与训练样本的真实深度标签的均方误差的0.2倍以及深度补全增强结果与训练样本的真实深度标签的均方误差的0.2倍，三部分相加作为最终的损失。步骤三、对自编码模型进行训练；自编码模型的结构与所述深度补全模型的结构相同，自编码模型的输入为步骤一获得的训练样本的rgb图像数据和真实深度标签，以分别替代作为所述深度补全模型的输入的rgb图像数据和稀疏深度数据；自编码模型输出为自编码结果，并与步骤一获得的训练样本的真实深度标签计算损失；自编码模型的训练参数设定及训练过程与深度补全模型也相同；步骤四、对判别器模型进行训练；
判别器模型的主体架构为vgg
‑
16，输入为步骤二深度补全模型中深度增强模块的第五反卷积模块输出的特征图和步骤三中自编码模型的深度增强模块的第五反卷积模块输出的特征图，输入的大小为b
×
1216
×
352
×
32，输出大小为b
×
1，其中b为一次训练输入批量训练样本的大小；判别器模型输出的相应得分作为额外监督信息；判别器模型的损失函数包括两部分：深度补全网络中深度增强模块的第五反卷积模块输出的特征图经过判别器输出的得分，以及自编码模型的深度增强模块的第五反卷积模块输出的特征图经过判别器输出得分的负值；步骤五、加入额外监督信息联合进行训练；在最终的训练阶段，损失函数的构成有两个部分，包括步骤二中最终的深度预测结果的损失以及步骤四中由判别器产生的额外监督信息；其中最终的深度预测结果的损失为即步骤一中的训练样本的rgb图像数据和稀疏深度数据输入到步骤二中深度补全网络后得到的最终的深度预测结果，与步骤一中获得的对应训练样本的真实深度标签的均方差损失；步骤六、用训练好的深度补全模型补全稀疏深度图像；将要补全深度信息的rgb图像数据和稀疏深度数据输入到步骤二所训练好的深度补全模型，深度补全模型的融合模块输出最终的深度预测结果。2.根据权利要求1所述的方法，其中在rgb图像数据特征提取模块中，第1个常规卷积层卷积核尺寸为5
×5×
3，第1至10个残差卷积模块各包括2个可变形卷积，稀疏深度特征提取模块的每个模块内卷积核大小相同分别为3
×3×
32，3
×3×
64，3
×3×
64，3
×3×
128，3
×3×
128，3
×3×
256，3
×3×
256，3
×3×
512，3
×3×
512，3
×3×
1024；可变形卷积根据当前需要识别的特征图内容动态调整对特征图的采样位置的偏置；可变形卷积包含第一卷积层与第二卷积层，偏置是通过第一卷积层获得，第一卷积层的卷积核与普通卷积核一样，输出的偏置尺寸和输入的特征图尺寸一致，通道的维度是2n，其中n为输入的特征图的通道维度，对应着偏置方向的两个分量；第二卷积层用于学习输入的特征图进行偏置后的结果；在稀疏深度特征提取模块中，第1个常规卷积层卷积核尺寸为5
×5×
1，第1至10个残差卷积模块的卷积层是常规卷积层，稀疏深度特征提取模块的每个残差卷积模块内卷积核大小相同分别为3
×3×
32，3
×3×
64，3
×3×
64，3
×3×
128，3
×3×
128，3
×3×
256，3
×3×
256，3
×3×
512，3
×3×
512，3
×3×
1024；在深度增强模块中，第1个常规卷积层卷积核尺寸为5
×5×
2，其余的残差卷积模块的卷积核尺寸与与稀疏深度特征提取模块的各残差卷积模块的卷积核尺寸对应相同；rgb图像反卷积模块包含5个反卷积模块，其卷积核大小分别为5
×5×
1024、5
×5×
512、5
×5×
256、5
×5×
128、5
×5×
64、5
×5×
32；判别器模型依次包括2个常规卷积模块、最大池化层、2个常规卷积模块、最大池化层、3个常规卷积模块、最大池化层、三个常规卷积模块、最大池化层、三个常规卷积模块、最大池化层、3个全连接层。3.根据权利要求2所述的方法，其中深度补全模模型的训练中，损失由三部分组成，
将最终的深度预测结果与步骤一获得的训练样本的真实深度标签的均方误差称为联合损失；将深度补全中间结果与训练样本的真实深度标签的均方误差称为深度补全中间结果损失；将深度补全增强结果与训练样本的真实深度标签的均方误差称为深度补全增强结果损失；深度补全模型的损失函数由深度补全中间结果损失、深度补全增强结果损失、联合损失3部分构成，分别设置初始权重为1、0.2、0.2；深度补全模型的各损失函数均是预测深度与实际深度标签的均方根误差损失，表示预测深度与实际深度标签中有效深度值的差距，可表示为:其中p
v
表示在训练样本的真实深度标签中具有有效深度值的像素，表示训练样本的真实深度标签，d
p
表示深度补全模型的预测结果；在深度补全模型训练过程中，实际使用的损失为：l＝l(d) λ1l(d
c
) λ2l(d
r
)其中l(d)表示联合损失，l(d
c
)表示深度补全中间结果损失，l(d
r
)表示深度补全增强结果损失；λ1和λ2均为超参数，在训练的初始阶段设置λ1＝λ2＝0.2，在训练三个轮次之后设置λ1＝λ2＝0；判别器模型中采用wasserstein distance评估数据分布之间的差异，判别器损失定义如下：其中，x
g
和x
r
分别为深度补全网络中深度增强模块的第五反卷积模块输出的特征图的像素值与自编码模型的深度增强模块的第五反卷积模块输出的特征图的像素值，n为一个批次输入数据的数量，其中n＝b，f代表判别器模型；判别器训练完成后，将判别器的输出作为额外监督损失，额外监督损失定义如下：在引入额外监督信息后，补全模型的完整损失函数表示为：l＝l(d) λ1l(d
c
) λ2l(d
r
) ηl
ex
其中η为额外监督信息的超参数，初始为η＝0.5，在在训练三个轮次之后η＝0.1。4.根据权利要求3所述的方法，其中所述步骤二还包括，使用adam优化算法进行梯度更新，学习率0.001情况下训练10轮，之后更改学习率为0.0005训练5轮，更改学习率为0.0001训练10轮，最后更改学习率为0.00001训练5轮。5.根据权利要求4所述的方法，其中所述步骤四还包括，使用adam优化算法进行梯度更新，学习率设置为0.0001训练20次。
6.根据权利要求5所述的方法，其中所述步骤5，还包括使用adam优化算法在学习率为0.000001的情况下训练40次。

技术总结
提供了基于可变形卷积的深度图补全方法。本发明设计的基于可变形卷积的RGB图像数据引导的深度补全模型，该模型基于ENet的基本结构，从改进模型结构、增加可变形卷积、添加额外的监督信息三个方面提出了一种改进的深度补全模型，实验表明，这种改进的深度补全网络模型具有比ENet更高的补全精度以及相同的速度。型具有比ENet更高的补全精度以及相同的速度。型具有比ENet更高的补全精度以及相同的速度。


技术研发人员：童超 杨冠群
受保护的技术使用者：北京航空航天大学
技术研发日：2021.07.16
技术公布日：2021/10/23