低线束激光雷达与相机融合方法、存储介质及装置与流程

1.本发明属于自动驾驶环境感知技术领域，涉及一种低线束激光雷达与相机融合方法


背景技术：

2.传统的感知技术通常使用单一传感器提供环境信息，比如纯激光雷达障碍物识别、纯视觉摄像头识别。单一传感器的识别局限性较大，容易造成误识别或漏识别，识别效果较差，如果需要精度高则需要更换高线束的激光雷达，但是高线束雷达价格昂贵，寿命短，并且高线束雷达输出的点云信息非常大，对于处理器的运算能力要求高。因此一般的处理器难以带动高线束的激光雷达。因此对于成本价低，适合一般处理器的低线束雷达。传统单一传感器的处理效果较差，如今多传感器融合感知成为发展主流，目前的传感器融合主要利用激光雷达提供位姿信息，相机提供目标类型。但是由于激光雷达点云稀疏，难以聚类。


技术实现要素：

3.本发明是为了解决现有的低线束稀疏点云聚类因效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。
4.低线束激光雷达与相机融合方法，包括以下步骤：
5.s1、对激光雷达的每一帧点云进行地面分隔；
6.s2、利用深度学习框架pointpillar对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离；
7.s3、采用机器视觉领域的yolov3算法对相机图像2d图像进行目标检测，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型；
8.s4、根据激光雷达与相机的标定过程确定相机内参以及激光雷达坐标系与相机坐标系的外参；
9.s5、基于改进的自动驾驶框架autoware中的ranger fusion的后融合方式进行点云与图像融合，包括以下步骤：
10.首先根据s4的标定结果获取相机内参以及激光雷达坐标系与相机坐标系的外参，基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框投影在图像平面上；
11.然后将投影的激光点云所在平面转化为图像格式，并与相机图像进行融合：设激光雷达检测框的中心为l，相机中心检测框中心为c，两个中心之间的距离为d，对于每个激光雷达检测框的l，找到离l点最近的c，将c点对应的相机检测框与l点对应的激光雷达检测框匹配为一组，如果d》两个检测框的最大边长，则该l点所在激光雷达检测框无法进行融合；搜索每一个激光雷达检测框，直到搜索完毕，如果存在单个l点或c点无法匹配则不进行下一步融合；将匹配为一组的将激光雷达点云检测框与相机检测框的范围进行比对，如果
重合面积大于等于重合率阈值，则认定两检测框内的点云以及图像为同一障碍物，则融合成功；如果重合度小于重合率阈值或两个检测框之间的中心距离大于对应检测框的最大边长，则说明两个框选的物体为两个不同物体，则不能进行融合。
12.优选地，s5中当两个框选的物体为两个不同物体，不能进行融合时，判别检测框内的物体均为障碍物，并输出s2和s3中各自传感器的检测结果。
13.优选地，融合成功，则在图像中显示两个检测框的检测结果，即障碍物距离以及类型。
14.优选地，s5所述的重合率阈值为70％。
15.优选地，s1所述对激光雷达的每一帧点云进行地面分隔是基于ransac实现的。
16.优选地，s2所述利用深度学习框架pointpillar对三维点云中的障碍物进行检查识别的过程包括以下步骤：
17.载入深度学习框架pointpillar，订阅分割后节点，载入预测模型pfe.onnx以及rpn.onnx，并设定参数阈值score threshold设定为0.5，设定pillar feature net输出通道数16；最后运行ssd检测网络，对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离。
18.优选地，s3所述机器视觉领域的yolov3算法对相机图像2d图像进行目标检测的过程包括以下步骤：
19.导入weight文件文件，将score threshold设定为0.5，nms threshold设定为0.45；然后运行yolov3，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型。
20.优选地，s4所述的根据激光雷达与相机的标定过程包括以下步骤：
21.雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光雷达坐标系的相对位姿，设车体坐标系为世界坐标系，用x y z表示；将激光雷达坐标系设为世界坐标系，那么空间中的相机坐标系xcyczc到激光雷达坐标系x y z可通过旋转矩阵r和平移向量t来表示；两坐标系之间的相对关系为
[0022][0023]
用uov来表示像素坐标系，xo
′
y表示图像坐标系，其中o
′
的坐标在像素坐标系中表示为(u0，v0)，有：
[0024][0025]
其中，d
x
和dy表示为每一个像素对应的长度，设oc为相机中心，zc为相机的中心轴，zc与图像平面为垂直关系，f设为相机的焦距；
[0026]
图像坐标系与相机坐标系的相对关系为
[0027][0028]
通过外参计算以及相机内参计算，得到激光雷达坐标系与像素坐标系之间的位置关系
[0029][0030]
由上式得到激光点云与相机图像之间的投影关系，其中fu和fv为相机的横向焦距以及纵向焦距，cu和cv为相机的光学中心，这四个参数为相机的内参；包含r和t的组合为外参矩阵。
[0031]
一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
[0032]
一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
[0033]
有益效果：
[0034]
针对低线束的激光雷达对障碍物识别能力较低的问题，本发明采用神经网络模型进行检测并与相机检测结果进行融合，增加障碍物识别效果，可以有效的解决现有的低线束稀疏点云聚类因效果差、点云信息少而存在的难以有效提供准确的障碍物信息的问题。本发明可以将漏检率降低为4.22％，将误检率控制在2.1％。
附图说明
[0035]
图1为低线束激光雷达与相机融合流程示意图；
[0036]
图2为融合效果图。
具体实施方式
[0037]
具体实施方式一：
[0038]
本实施方式为低线束激光雷达与相机融合方法，主要基于神经网络的传感器融合方法是将三维的稀疏点云进行网络化分割，转化成2d密度较高的鸟瞰平面，随后利用backbone进行网络特征学习。训练特定场景下的神经网络模型，有效利用每一部分稀疏点云。最后导入ssd检测网络进行检测。输出障碍物信息。为了同时提供准确的障碍物类别信息，同时对图像信息进行检测，同样使用神经网络模型模型进行训练检测，输出物体的类型。最后将激光雷达检测信息与相机检测信息进行融合。输出物体的坐标、距离以及类型。
[0039]
本发明的关键点为对于低线束的激光雷达如何有效处理稀疏点云，以及如何进行传感器融合。
[0040]
具体如图1所示，本实施方式所述的低线束激光雷达与相机融合方法，包括以下步骤：
[0041]
s1、激光点云分割：
[0042]
对激光雷达的每一帧点云进行地面分隔，本实施方式运行地面分割节点ransac进行地面分割，设定的具体参数如表1所示。激光点云分割时直接订阅原始激光雷达点云，并去除对于融合有干扰的地面点云，减少算法运行时间。输出障碍物点云。
[0043]
clipping_height1.2min_point_distance0radial_divider_angle0.1concentric_divider_distance0local_max_slope18general_max_slope0.2min_height_threshold0.2reclass_distance_threshold0.2
[0044]
s2、载入深度学习框架pointpillar，订阅分割后节点，载入预测模型pfe.onnx以及rpn.onnx，并设定参数阈值score threshold设定为0.5，设定pillar feature net输出通道数16。最后运行ssd检测网络，对三维点云中的障碍物进行检查识别，对检测后的障碍物进行三维目标框选，最终输出激光雷达检测框以及框选的障碍物的距离。
[0045]
s3、相机图像目标检测：
[0046]
yolov3算法是一种直接预测目标对象的边界框的方法，本发明采用机器视觉领域的yolov3算法对相机图像(2d图像)进行目标检测。
[0047]
在采用yolov3算法之前，需要先进行神经网络训练，训练导出weight文件，然后导入该文件，将score threshold设定为0.5，nms threshold设定为0.45，订阅相机话题，运行yolov3，对图像中的障碍物进行目标框选，最终输出相机检测框以及框选的障碍物类型。
[0048]
s4、激光雷达与相机的标定：
[0049]
雷达和相机的标定需要计算激光雷达与相机的相对位姿计算相机坐标系到激光雷达坐标系的相对位姿，设车体坐标系为世界坐标系，用x y z表示，为了方便计算，将激光雷达坐标系设为世界坐标系，那么空间中的相机坐标系x
c yczc到激光雷达坐标系x y z可通过旋转矩阵r和平移向量t来表示。两坐标系之间的相对关系为
[0050][0051]
本发明用uov来表示像素坐标系，xo
′
y表示图像坐标系，其中o
′
的坐标在像素坐标系中表示为(u0，v0)，则可得出相关关系为：
[0052][0053]
其中，d
x
和dy表示为每一个像素对应的长度，设oc为相机中心，zc为相机的中心轴，zc与图像平面为垂直关系，f设为相机的焦距；
[0054]
通过几何关系可知图像坐标系与相机坐标系的相对关系为
[0055][0056]
通过外参计算以及相机内参计算，可得激光雷达坐标系与像素坐标系之间的位置关系
[0057][0058]
由上式可得激光点云与相机图像之间的投影关系，其中fu和fv为相机的横向焦距以及纵向焦距，cu和cv为相机的光学中心，这四个参数为相机的内参；包含r和t的组合为外参矩阵，表示点在坐标系之间的坐标转换，一旦激光雷达坐标系中的点被转换到相机坐标系中，后续需要将其映射到相机图像平面中。
[0059]
s5、点云与图像融合：
[0060]
本发明通过对自动驾驶框架autoware中的ranger fusion的后融合方式进行改进，现有的自动驾驶框架autoware中的ranger fusion的后融合方式是基于每个感知模块的结果进行融合，而本发明主要依赖于s2以及s3中对障碍物检测的检测框的重合度，并对检测结果进行融合显示。下面只对改进部分进行重点说明，其他过程与现有的自动驾驶框架autoware中的ranger fusion的后融合方式相同。
[0061]
首先根据s4的标定结果获取相机内参以及激光雷达坐标系与相机坐标系的外参，基于相机内参以及激光雷达坐标系与相机坐标系的外参将激光雷达点云以及相应的检测框投影在图像平面上，然后将投影后的激光点云所在平面转化为图像格式，并与相机图像进行融合；
[0062]
设激光雷达检测框的中心为l，相机中心检测框中心为c，两个中心之间的距离为d，对于每个激光雷达检测框的点l，通过kd-tree近邻搜索算法找到离l点最近的点c(即d最小)，将c点对应的相机检测框与l点对应的激光雷达检测框匹配为一组，如果d》两个检测框的最大边长，则表示两个检测框的距离较大，则该l点所在激光雷达检测框无法进行融合，搜索每一个激光雷达检测框，直到搜索完毕，如果存在单个l点或c点无法匹配则不进行下一步融合。将匹配的激光雷达点云检测框与相机检测框的重合范围进行比对，如果重合面积大于等于70％，则认定两检测框内的点云以及图像为同一障碍物，则融合成功，如融合成功，则在图像中显示两个检测框的检测结果，即障碍物距离以及类型，最终效果如效果图2所示。该方式有利于避免标定带来的部分误差，避免漏检，通过真实障碍物检测比对，漏检率与误检率对比如表1所示，漏检率大大降低，误检率略微提升，误检率对总体影响不大。
[0063]
如果重合度《70％或两个检测框之间的中心距离大于检测框的最大边长，则说明两个框选的物体并非同一物体，为两个不同物体，则不能进行融合，为了保证检测的全面性以及安全性，同样判别检测框内的物体为障碍物，并输出s2和s3中各自传感器的检测结果。
[0064]
表1漏检率对比表
[0065] 漏检率误检率
传统融合13.12％1.3％本发明4.22％2.1％
[0066]
具体实施方式二：
[0067]
本实施方式为一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
[0068]
具体实施方式三：
[0069]
本实施方式为一种设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的低线束激光雷达与相机融合方法。
[0070]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。