一种基于图像和点云融合网络的道路区域图像识别方法与流程

1.本发明属于计算机视觉的领域的一种道路图像识别方法，涉及一种基于图像和点云融合网络的道路区域图像识别方法。


背景技术：

2.无人驾驶车辆需要对交通环境中的道路区域进行识别，从而进一步规划自身行驶轨迹。在多样的复杂交通环境中，由于交通场景的多样性、交通参与者的多样性、光照条件的多样性等因素使得准确地识别道路区域非常困难的。
3.随着深度卷积神经网络技术的发展，该技术被成功的应用在各种任务中，也包括道路区域识别任务。该类方法(典型代表：g.l.oliveira,w.burgard and t.brox,"efficient deep models for monocular road segmentation,"2016ieee/rsj international conference on intelligent robots and systems(iros),daejeon,korea(south),2016,pp.4885
‑
4891)一般使用单目相机拍摄的rgb图像作为输入，使用深度卷积神经网络作为特征提取器和分类器，对图像中的每个像素都分类为“道路”或者“非道路”两个类别。通过将分类为“道路”类别的像素连接起来，形成一个连通的区域，得到最终在图像中所识别的道路区域。但此类方法面临着仅依赖rgb图像难以应对室外光照条件多变的挑战，例如在白天晴天条件下训练的神经网络往往在雨天或者夜间就很难起到效果。
4.为了解决这一问题，另一类方法采取同时利用单目相机拍摄的rgb图像和激光雷达扫描的点云的两种信息作为输入，通过设计融合图像和点云信息的神经网络来提升对道路区域识别的准确性。该类方法(典型代表：z.chen,j.zhang and d.tao,"progressive lidar adaptation for road detection,"in ieee/caa journal of automatica sinica,vol.6,no.3,pp.693
‑
702,may 2019)对点云信息先投影到2d平面，然后进行栅格化，通过对每个栅格构造人工特征，将点云信息表示成伪图像的形式。然后使用2d卷积操作提取特征点云并与从rgb图像中提取的特征进行融合。但此类方法均需要将点云转为伪图像的形式，在这个转换中丢失点云的原有结构，而且增加了操作，对道路识别的算法的精度和效率都有影响。


技术实现要素：

5.为了突破以往图像和点云融合技术需要将点云转为伪图像的限制，针对复杂的室外场景，本发明提出了一种基于图像和点云融合网络的道路区域图像识别方法。
6.如图1所示，本发明采用的技术方案是：
7.1)构建融合主干网络，提取原始图像和原始点云中的特征，并对这两种特征进行融合，获得融合后特征图；
8.2)然后使用upsampling、2d卷积层和relu激活函数层构建解码层，并以此构建密集连接的解码网络，解码网络用于恢复特征的分辨率，将融合后特征图输入到解码网络处理获得解码特征结果；
9.本发明利用解码网络提升图像信息分辨率对道路区域进行识别。具体是对图像特征进行解码，恢复特征尺寸至输入图像大小。
10.3)最后针对解码特征结果使用逐点卷积运算，得到原始图像中每个像素为“道路”或者“非道路”的分类类别。使用逐点卷积和特征检测图像中属于道路的像素。
11.所述步骤1)具体为：
12.融合主干网络使用resnet
‑
101的图像处理分支和pointnet 的点云处理分支分别从原始图像和原始点云中提取图像外观特征和和几何特征点云，对图像外观特征和和几何特征点云使用融合模块进行融合获得融合后特征图。
13.对图像外观特征和和几何特征点云的融合，具体是将从几何特征点云融合到相对应的图像外观特征上。
14.对图像外观特征和和几何特征点云进行融合，具体是分为图像和点云的对齐步骤和特征点云融合到图像步骤的两个步骤：
15.所述的图像和点云对齐步骤，通过预先标定激光雷达和相机的外参矩阵以及相机的内参矩阵，首先计算点云投影到图像坐标系中的坐标；
16.特征点云融合到图像步骤，利用点云投影到图像坐标系的坐标，对图像特征中每个像素选取点云中对应的，并对所有对应点的特征求平均，得到该像素从点云中获取的特征作为最终的融合后特征图。
17.本发明的原始点云和原始图像从安装车辆前部的摄像头和激光雷达探测获得。原始点云是和原始图像同时同步获得的前方道路数据。
18.所述的图像外观特征是指使用resnet网络作为特征提取网络，以rgb图像作为输入处理输出获得的图像特征。
19.所述的几何特征点云，使用pointnet 网络作为特征提取网络，以包含每个点的三维坐标信息和反射前途信息的点云作为输入处理输出获得的特征点云。
20.如图2所示，所述的融合主干网络包括图像处理分支、点云处理分支和融合模块，
21.所述的图像处理分支包括了五个依次级联连接的特征提取块，原始图像输入到第一个特征提取块，经五个特征提取块依次处理后输出各自的图像特征；特征提取块为resnet
‑
101网络中的结构，
22.所述的点云处理分支包括了四个依次连接的sa层，原始点云输入到第一个sa层，经五个特征提取块依次处理后输出各自的特征点云；sa层为pointnet 网络中的结构，
23.将各个特征提取块输出的结果以及各个sa层输出的结果和原始点云通过多个融合模块进行融合传递处理并反馈到特征提取块中，具体是将当前特征提取块输出的结果和对应的sa层输出的特征点云/原始点云通过融合模块进行融合传递处理并反馈到下一个特征提取块中；即第一个特征提取块块输出的图像特征和原始点云通过融合模块进行融合传递处理并反馈到第二个特征提取块中，第二个特征提取块块输出的结果和第一个sa层输出的特征点云通过融合模块进行融合传递处理并反馈到第三个特征提取块中，第三个特征提取块块输出的结果和第二个sa层输出的特征点云通过融合模块进行融合传递处理并反馈到第四个特征提取块中，第四个特征提取块块输出的结果和第三个sa层输出的特征点云通过融合模块进行融合传递处理并反馈到第五个特征提取块中，第吴个特征提取块块输出的结果和第四个sa层输出的特征点云通过融合模块进行融合传递处理并直接输出。
24.给定一张原始图像i0和原始点云p0，表示为以下操作：
[0025][0026]
f
i
＝i
i
fusion(p
j
，i
i
)，j＝i
‑
1，i∈{1，2，3，4，5}，j∈{0，1，2，3，4}
[0027][0028][0029]
其中，为第1个特征提取块的操作，i
i
表示第i个特征提取块输出的图像特征，i0表示原始图像，i1表示第1个特征提取块输出的图像特征，f
i
表示第i个融合模块输出的融合后特征图，fusion(
·
)为融合模块的操作，p
j
表示第j个sa层输出的特征点云，p0为原始点云，为第j 1个sa层的操作；
[0030]
通过循环上述操作得到各个融合模块的输出结果，组成融合后特征图集合{f1，f2，f3，f4，f5}。
[0031]
所述融合模块的具体操作步骤如下：
[0032]
s1、使用预先标定的激光雷达和相机的外参矩阵(该矩阵为4x4的方阵)和相机的内参矩阵k，求出第j个sa层输出的特征点云p
j
中的每个点在第i个特征提取块输出的图像特征i
i
的图像坐标系下的像素位置：
[0033][0034]
c
i
＝2
i
[0035]
其中，p
′
j
为p
j
的齐次坐标，q
ij
为特征点云p
j
在图像特征图i
i
的图像坐标系下的齐次坐标，c
i
为图像特征图i
i
所对应的缩放尺度常量，表示向下取整操作；
[0036]
s2、这样会出现特征点云p
j
中的多个点投影到图像特征i
i
中的同一像素位置，因此对于图像特征i
i
的每个像素，选取齐次坐标为该像素位置的特征点云p
j
中的点组成集合，对该集合中的所有点的特征值取平均值，得到图像特征i
i
的该像素从特征点云p
j
中获取的特征；
[0037]
s3、对图像特征i
i
中的每个像素均进行上述操作，组成完整图像作为融合后特征图f
i
。
[0038]
如图3所示，所述的解码网络包括五个解码层，分别记作每个解码层均由上采样upsampling 2d卷积 bn relu 2d卷积 bn relu依次级联连接构建而成，其中上采样upsampling为使用双线性插值实现，2d卷积使用卷积核尺寸为3x3、padding尺寸为1的卷积操作，bn为批标准化层，relu为激活函数；
[0039]
五个解码层分别和融合后特征图集合{f1，f2，f3，f4，f5}中的五个融合后特征图一一对应处理，将融合后特征图集合{f1，f2，f3，f4，f5}中的每个当前融合后特征图均输入到各自对应的一个解码层中处理获得当前解码特征，并将当前解码特征和当前融合后特征图一起反馈到下一个解码层中处理，具体表示为：
[0040]
[0041]
其中，为第i 1个解码层的调用操作，u
i
表示第i个解码特征；
[0042]
第i 1个解码层具体步骤为，对第i 1个解码特征u
i 1
进行上采样upsampling操作，然后将上采样upsampling操作得到的结果与第i 1个融合后特征图f5‑
i
相加，然后对相加结果依次进行2d卷积 bn relu 2d卷积 bn relu的操作；
[0043]
第5个融合后特征图f5作为初始的解码特征u0；对于第5个解码层输入只有第4个解码特征u4，直接对第4个解码特征u4依次进行2d卷积 bn relu 2d卷积 bn relu的操作得到输出第5个解码特征u5。
[0044]
所述的逐点卷积具体是将解码网络输出的解码特征结果依次经卷积操作和sigmoid操作后通过阈值判断进行分类处理。
[0045]
本发明的有益效果是：
[0046]
1)解决了图像和点云直接融合的难题，可以将原始点云直接输入到道路区域网络中，不需要对点云做任何前处理操作，使得整个方法的运算量较低；
[0047]
2)通过融合图像和点云的信息，可以对高精度地检测复杂环境中的道路区域，例如图4所示，在多种环境中，本方法都能稳定精确地检测道路区域。
附图说明
[0048]
图1是本发明的网络流程图。
[0049]
图2是本发明的融合主干网络图。
[0050]
图3是本发明中密集连接的解码网路。
[0051]
图4是本发明的实施例中针对典型场景的实验结果图，图中每一行代表一个示例场景，每行左图代表示意场景，其中检测结果用偏浅色区域表示。为了清晰表示检测结果，可见每行右图，其中白色部分表示检测到的道路区域。
具体实施方式
[0052]
下面结合附图和具体实施对本发明作进一步说明。
[0053]
本发明的具体实施例过程如下：
[0054]
1、构建融合主干网络，提取图像和点云中的特征，并对这两种特征进行融合，具体步骤如下：
[0055]
1.1、使用resnet
‑
101构建图像处理分支，其中包含五个特征提取块，记作每特征提取块的操作记作如下：
[0056][0057]
其中，为第i个特征提取块的操作，i
in
是输入一张图像特征或者原始图像，i
out
表示经过特征提取块的操作输出的一张图像特征，其长宽尺寸减少为i
in
的长宽尺寸的1/2。
[0058]
1.2、使用pointnet 构建点云处理分支，其中包含四个sa层，分别记作各个sa层构建所需要的参数如下表给出：
[0059][0060]
每个sa层的操作记作如下：
[0061][0062]
其中，为第i个sa层的操作，p
in
是输入点云，p
out
是输出点云。
[0063]
将输入的原始点云p0和四个sa层分别得到的四个特征点云，构成的集合{p1，p2，p3，p4，p5}称为特征点云集，其中每一个元素称为特征点云。
[0064]
1.3、给定一张原始图像i0和原始点云p0，根据每个当前特征提取块输出的结果和对应的sa层输出的特征点云/原始点云通过当前的融合模块进行融合传递处理并反馈到下一个特征提取块中，这样的进行反馈传递表示为以下操作：
[0065][0066]
f
i
＝i
i
fusion(p
j
，i
i
)，j＝i
‑
1，i∈{1，2，3，4，5}，j∈{0，1，2，3，4}
[0067][0068][0069]
其中，为第1个特征提取块的操作，i
i
表示第i个特征提取块输出的特征点云，i0表示原始图像，i1表示第1个特征提取块输出的图像特征，f
i
表示第i个融合模块输出的融合后特征图，fusion(
·
)为融合模块的操作，p
j
表示第j个sa层输出的特征点云，p0为原始点云，为第j 1个sa层的操作；
[0070]
通过循环上述操作得到各个融合模块的输出结果，组成融合后特征图集合{f1，f2，f3，f4，f5}。
[0071]
具体实施中的融合模块的具体操作步骤如下：
[0072]
s1、使用预先标定的激光雷达和相机的外参矩阵(该矩阵为4x4的方阵)和相机的内参矩阵k，求出第j个sa层输出的特征点云p
j
中的每个点在第i个特征提取块输出的图像特征i
i
的图像坐标系下的像素位置：
[0073][0074]
c
i
＝2
i
[0075]
其中，p
′
j
为p
j
的齐次坐标，q
ij
为特征点云p
j
在图像特征图i
i
的图像坐标系下的齐次坐标，c
i
为图像特征图i
i
所对应的缩放尺度常量，表示对运算结果的向下取整操作；
[0076]
s2、这样会出现特征点云p
j
中的多个点投影到图像特征i
i
中的同一像素位置，因此对于图像特征i
i
的每个像素，选取齐次坐标为该像素位置的特征点云p
j
中的点组成集合，对该集合中的所有点的特征值取平均值，得到图像特征i
i
的该像素从特征点云p
j
中获取的特
征；
[0077]
s3、对图像特征i
i
中的每个像素均进行上述操作，组成完整图像作为融合后特征图f
i
。
[0078]
2、使用解码网络和逐点卷积，恢复特征尺寸至输入图像大小，并将输入图片中的像素分类为“道路”和“非道路”。
[0079]
2.1、构建密集连接的解码网络
[0080]
2.1.1、使用upsampling 2d卷积 bn relu 2d卷积 bn relu构建解码层。
[0081]
其中upsampling为使用双线性插值实现；
[0082]
2d卷积使用卷积核尺寸为3x3，padding尺寸为1的卷积操作；bn为批标准化层，relu为激活函数。通过以上方式构建解码层。
[0083]
2.1.2、通过构建5个解码层，分别记作构建解码网络。
[0084]
解码网络的输入是融合后特征图集合{f1，f2，f3，f4，f5}，解码网络的具体表示为：
[0085][0086]
其中，为第i 1个解码层的调用操作，u
i
表示第i个解码特征；
[0087]
第i 1个解码层具体步骤为，对第i 1个解码特征u
i 1
进行上采样upsampling操作，然后将上采样upsampling操作得到的结果与第i 1个融合后特征图f5‑
i
相加，然后对相加结果依次进行2d卷积 bn relu 2d卷积 bn relu的操作；
[0088]
第5个融合后特征图f5作为初始的解码特征u0；对于第5个解码层输入只有第4个解码特征u4，直接对第4个解码特征u4依次进行2d卷积 bn relu 2d卷积 bn relu的操作得到输出第5个解码特征u5。
[0089]
2.2、逐点卷积
[0090]
对于解码网络输出的第5个解码特征u5，使用卷积核尺寸为1x1、通道数为1的卷积操作作为逐点卷积操作，得到结果记为s，s具有和输入图像尺寸大小相同的性质。
[0091]
对s做sigmoid操作，将s中每个像素的值归一化至(0,1)内，然后进行判断：当s中的某个像素的值大于等于0.5，将该像素分到“道路”类别，当s中的某个像素的值小于0.5，将该像素分到“非道路”类别。
[0092]
3、神经网络的训练过程，由前面描述可知，方法使用的整个道路区域检测网络分类为融合主干网络、解码网络和逐点卷积三部分构成，而融合主干网络中又分为图像处理分支和点云处理分支。
[0093]
3.1、由步骤1.2可知，点云处理分支是由pointnet 网络构建，在semantic
‑
kitti数据集上训练。仅对融合主干网络的点云处理分支进行预训练，得到其网络参数权重。
[0094]
3.2、加融合主干网络的点云处理分支的预训练网络参数，并将其冻结。然后对整个网络，包括融合主干网络、解码网络和逐点卷积三部分在kitti数据集的road任务进行训练，使用负对数似然损失，用sgd优化器，学习率设置为0.001进行mini
‑
batch训练，mini
‑
batch设置为4。通过迭代训练1000次，保存训练过程中损失最小的网络参数权重。
[0095]
3.3、将一张图片和相对应的点云作为输入，送入已经训练好的网络，可以得到对图片中每个像素的标签，标签只可能是“道路”和“非道路”两种。所有属于“道路”的像素所
构成的区域就是最终识别的道路区域。
[0096]
按照本发明实施例对一系列典型道路场景进行了实验验证。结果如图4所示。在kitti数据集的道路检测任务中，选取其中的训练集作为训练数据，根据上述发明说明书中所述构建网络和训练方式，进行训练，保存损失最小的权重参数。使用kitti数据集的道路检测任务中的测试集做验证，可以得到图4所示的结果。从结果中可以看出，识别出的道路区域在原始图像中具有较高的精度。