基于多模态数据融合的路面湿滑区域检测及预警方法与流程

1.本发明涉及无人驾驶技术领域，特别涉及一种基于多模态数据融合的路面湿滑区域检测及预警方法。


背景技术：

2.由恶劣天气所造成的路面湿滑状态会使车辆与道路的胎路附着系数降低，进而增加车辆控制难度，增大行车风险。检测路面湿滑状态，并在车辆驶入湿滑区域前为驾驶员提供预警可以减少交通事故，对提升行车安全性有重要意义。
3.针对路面湿滑区域检测问题，目前国内外很多机构都已开展了相关研究。almazan e j等(2016)提出了一种基于车载相机的路面湿滑状态检测算法，该算法通过几何学方法估计道路灭点及空间水平线，然后通过道路形态先验知识分割道路，最后使用贝叶斯分类器对道路干湿状态分类。asuzu p等(2018)提出了一种基于车载毫米波雷达的路面湿滑状态检测算法，该方法研究0至1米内毫米波信号回波强度，并通过回波强度的分布直方图均值完成路面湿滑状态分类。shin j等(2019)提出了一种基于激光雷达的路面湿滑状态检测算法，该方法采集路面激光点云数据，并将三维空间中的点云投影到二维平面，通过对比分析点云的反射强度值完成对路面湿滑区域的检测。
4.已有算法大多基于单一传感器检测路面湿滑状态，无法具体检测出路面湿滑的区域，且单一传感器易受光照等条件的影响使检测结果缺乏鲁棒性。已有方法在检测出路面湿滑状态后也没有针对性地设计为驾驶员提供预警的机制。因此研究并设计基于多传感器数据融合的路面湿滑区域检测方法并设计为驾驶员提供预警的机制具有重要的理论及实际意义。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本发明的一个目的在于提出一种基于多模态数据融合的路面湿滑区域检测及预警方法，该方法可以检测路面湿滑区域并在车辆涉险前提供预警。
7.本发明的另一个目的在于提出一种基于多模态数据融合的路面湿滑区域检测及预警装置。
8.为达到上述目的，本发明一方面实施例提出了一种基于多模态数据融合的路面湿滑区域检测及预警方法，包括以下步骤：
9.通过标定好的车载相机和激光雷达采集路面图像以及激光点云；
10.基于图像分割算法对所述路面图像进行检测，得到图像特征图与图像路面检测结果；
11.基于点云分割算法对所述激光点云进行筛选得到点云路面检测结果；
12.将所述点云路面检测结果与所述图像路面检测结果融合，得到融合后的路面检测区域；
13.将路面检测区域激光点云反射强度信息与所述图像特征融合，使用像素点双向匹配方法增大同类像素点特征的关联程度，并使用路面干湿状态分割网络得到路面干湿状态检测结果；
14.采集车辆运动状态信息，构建车辆运动方程并基于粒子滤波算法预测车辆运动轨迹与速度；
15.根据所述路面干湿状态检测结果和所述车辆运动轨迹与速度，对车辆进行预警。
16.为达到上述目的，本发明另一方面实施例提出了一种基于多模态数据融合的路面湿滑区域检测及预警装置，包括：
17.采集模块，用于通过标定好的车载相机和激光雷达采集路面图像以及激光点云；
18.第一检测模块，用于基于图像分割算法对所述路面图像进行检测，得到图像特征图与图像路面检测结果；
19.第二检测模块，用于基于点云分割算法对所述激光点云进行筛选得到点云路面检测结果；
20.融合模块，用于将所述点云路面检测结果与所述图像路面检测结果融合，得到融合后的路面检测区域；
21.第三检测模块，用于将路面检测区域激光点云反射强度信息与所述图像特征融合，使用像素点双向匹配方法增大同类像素点特征的关联程度，并使用路面干湿状态分割网络得到路面干湿状态检测结果；
22.预测模块，用于采集车辆运动状态信息，构建车辆运动方程并基于粒子滤波算法预测车辆运动轨迹与速度；
23.预警模块，用于根据所述路面干湿状态检测结果和所述车辆运动轨迹与速度，对车辆进行预警。
24.本发明实施例的基于多模态数据融合的路面湿滑区域检测及预警方法、装置，具有以下有益效果：
25.1)在像素坐标系中对激光点云进行增强，使路面区域激光点云密度与图像像素密度一致，辅助后续激光点云与图像的目标级融合。
26.2)在路面检测阶段和路面湿滑区域检测阶段分别使用了数据融合方法，提高了路面检测和路面湿滑区域检测精度。
27.3)对数据融合后的特征图进行像素点特征双向匹配，增加同类特征的关联度，扩大不同类特征的区分度，使路面湿滑区域检测结果更具鲁棒性。
28.4)基于路面湿滑区域检测结果和车辆轨迹预测结果，评估车辆陷入失稳状态的风险，并能够在车辆涉险前为驾驶员提供预警。
29.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
30.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
31.图1为根据本发明一个实施例的基于多模态数据融合的路面湿滑区域检测及预警
方法流程图；
32.图2为根据本发明一个实施例的基于多模态数据融合的路面湿滑区域检测及预警方法流程框图；
33.图3为根据本发明一个实施例的基于深度神经网络的路面分割算法encoder结构图；
34.图4为根据本发明一个实施例的基于深度神经网络的路面分割算法decoder结构图；
35.图5为根据本发明一个实施例的基于深度神经网络的路面分割算法prediction head结构图；
36.图6为根据本发明一个实施例的点云双向匹配示意图；
37.图7为根据本发明一个实施例的路面干湿状态分割网络结构图；
38.图8为根据本发明一个实施例的车辆轨迹预测示意图；
39.图9为根据本发明一个实施例的基于多模态数据融合的路面湿滑区域检测及预警装置结构示意图。
具体实施方式
40.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
41.下面参照附图描述根据本发明实施例提出的基于多模态数据融合的路面湿滑区域检测及预警方法及装置。
42.首先将参照附图描述根据本发明实施例提出的基于多模态数据融合的路面湿滑区域检测及预警方法。
43.如图1和图2所示，该基于多模态数据融合的路面湿滑区域检测及预警方法包括以下步骤：
44.在步骤s1中，通过标定好的车载相机和激光雷达采集路面图像以及激光点云。
45.在采集路面图像和激光点云之前，首先对车载相机和激光雷达进行联合标定，获取车载相机的内参矩阵和外参矩阵。
46.具体地，标定步骤为：
47.在车内的软件环境中，配置基于autoware的标定工具箱。在标定工具箱启动后，标定人员将棋盘格标定板放置于车前，距离车辆远、中、近三个位置处；
48.使用标定工具箱，采集视野中包含标定板的图像与激光点云数据；
49.使用标定工具箱内置的棋盘格标定法获得相机内参矩阵p；通过关联标定板在图像和激光点云中的位置获得外参矩阵t
r
。
50.在步骤s2中，基于图像分割算法对路面图像进行检测，得到图像特征图与图像路面检测结果。
51.可选地，在本发明的一个实施例中，基于图像分割算法对路面图像进行检测，得到图像特征与图像路面检测结果，包括：构建图像分割算法模型；通过训练集进行数据增强并训练图像分割算法模型；通过训练后的图像分割算法模型得到路面图像的图像特征图与图
像路面检测结果。
52.在本发明的一个实施例中，图像分割算法模型包括特征提取单元、融合单元以及预测单元；特征提取单元包括多个串联的卷积层、池化层和激活函数，用于计算路面图像的特征并对图像下采样，输出不同尺度的图像特征图；融合单元包括多个串联的卷积层、池化层和激活函数，用于融合特征提取单元输出的不同尺度的图像特征图并恢复特征图的分辨率；预测单元用于根据融合单元输出的图像特征图，预测路面图像中的路面区域得到图像路面检测结果。
53.具体地，设计基于深度神经网络的图像分割算法模型，模型包括encoder(如图3所示)、decoder(如图4所示)和prediction head(如图5所示)三部分。encoder包括多个串联的卷积层、池化层和激活函数，计算输入图像的特征并对图像下采样，输出不同尺度的图像特征图；decoder也包括多个串联的卷积层、池化层和激活函数，融合encoder输出的不同尺度的特征图并逐渐恢复特征图的分辨率；prediction head以decoder输出的特征图为输入，预测图像中的路面区域。
54.对训练集进行数据增强并训练步骤构建的模型。数据增强的方式包括：图像的随机放缩、图像的随机翻转、图像的随机裁剪、图像亮度的随机调整、图像对比度的随机调整、图像饱和度的随机调整。
55.在检测过程中，针对每一张输入图像，算法同时输出decoder计算得到的图像特征图和prediction head得到的路面预测结果。
56.在步骤s3中，基于点云分割算法对激光点云进行筛选得到点云路面检测结果。
57.使用基于ransac的点云分割算法，筛选步骤s1所捕获激光点云中属于路面的点。
58.可选地，在本发明的一个实施例中，基于点云分割算法对激光点云进行筛选得到点云路面检测结果，包括：针对每一帧激光点云，通过多个激光点确定平面模型；根据激光点与平面模型的距离确定平面模型内激光点的数量；根据激光点数量确定最优模型，利用最优模型确定点云路面检测结果。
59.具体地，作为一种具体的实施方式，针对每一帧激光点云，随机选取多个激光点，如3个激光点，计算由这3个点确定的平面模型。
60.根据设定的阈值计算其他激光点是否满足该平面模型，如果满足则记为该模型的内点，记录该模型内点的总数量，如计算其他激光点到该平面模型的距离，如果距离小于0.2则将其记为该模型的内点，记录该模型内点的总数量。
61.重复迭代n次，如100次，每次产生的模型若内点总数量高于已有模型，则将其记录为最优模型，记录最优模型的内点，其内点即为检测出的路面。
62.在步骤s4中，将点云路面检测结果与图像路面检测结果融合，得到融合后的路面检测区域。
63.可选地，在本发明的一个实施例中，将点云路面检测结果与图像路面检测结果融合，得到融合后的路面检测区域，包括：通过车载相机的内参矩阵和外参矩阵，将点云路面检测结果映射到图像，并在像素坐标系中使用点云增强方法得到稠密点云；将稠密点云与图像路面检测结果进行融合，得到数据融合后的路面检测区域。
64.具体地，将步骤s3得到的路面激光点云映射到图像像素坐标系中，映射公式为：
65.y＝pt
r
x
66.其中，x为激光点云在世界坐标系中的坐标，p为相机内参矩阵，t
r
为外参矩阵，y为点云在图像中的像素坐标。
67.在像素坐标系中对激光点云除高度外的信息(世界坐标系中的x坐标、世界坐标系中的y坐标、反射强度)进行点云增强，使其成为稠密点云，点云增强的公式为：
[0068][0069][0070]
其中x0，x1为x轴方向上相邻两个点的横坐标，x0＜x1，x∈(x0,x1)；y0，y1为y轴方向上相邻两个点的纵坐标，y0＜y1，y∈(y0,y1)。
[0071]
增强后的点云是稠密的路面检测结果，将其与步骤2得到的路面检测结果融合，取检测结果的并集，得到数据融合后的路面检测结果。根据融合后的路面检测结果，输出对应位置点云的反射强度信息。
[0072]
在步骤s5中，将路面检测区域激光点云反射强度信息与图像特征融合，使用像素点双向匹配方法增大同类像素点特征的关联程度，并使用路面干湿状态分割网络得到路面干湿状态检测结果。
[0073]
可以理解的是，根据步骤s4得到的路面检测结果，获取路面区域激光点云的反射强度信息并与步骤s2得到的图像特征进行特征融合，针对融合后得到的特征图使用像素点双向匹配方法增大同类像素点特征的关联程度，然后使用路面干湿状态分割网络得到路面干湿状态检测结果。
[0074]
具体地，将步骤s2中decoder得到的图像特征图与步骤s4输出的点云反射强度信息进行特征拼接，得到的即为特征融合后的特征图。
[0075]
将融合后特征图的每个像素点进行双向匹配，增大同类像素点特征的关联程度，具体过程如下：
[0076]
(1)设特征图共有n个像素点：{a1,
…
,a
n
}，每个像素点处的特征向量为：{b1,
…
,b
n
}。通过特征向量点乘的方式计算每个像素点与其他所有像素点间的相似度。
[0077]
(2)针对每个像素点a
k
,k∈[1,n]，取与其相似度最高的n个点，记作：其中，n为特征图像素点总数的二分之一。
[0078]
(3)对所有像素点i∈[1,n]，若与其相似度最高的n个点包含像素点a
k
，则a
k
与匹配，图6以示意图的形式展示了当特征图共有4个像素时，像素点a1的匹配关系。
[0079]
(4)取所有与a
k
匹配的像素点，将相似度归一化后作为权重对特征向量进行加权求和，得到的新特征向量用于更新像素点a
k
的特征值。
[0080]
将像素点双向匹配后得到的特征图输入给路面干湿状态分割网络，得到路面干湿状态检测结果。如图7所示，路面干湿状态分割网络由若干卷积层、池化层和激活函数组成。
[0081]
在步骤s6中，采集车辆运动状态信息，构建车辆运动方程并基于粒子滤波算法预测车辆运动轨迹与速度。
[0082]
通过汽车总线采集车辆速度、方向盘转角等运动状态信息，构建车辆运动方程并基于粒子滤波算法预测车辆运动轨迹与速度。
[0083]
具体为，设置地面二维平面为全局坐标系，以当前自车位置为原点，x，y轴方向与车辆坐标系相同。
[0084]
采集车辆运动状态信息：{d
x
,d
y
,v,θ}，其中d
x
,d
y
为自车在全局坐标系中的横坐标与纵坐标，v为自车速度值，θ为自车朝向。
[0085]
建立车辆运动方程：
[0086][0087]6k 1
＝θ
k
δ
θ
[0088]
v
k 1
＝v
k
δ
v
[0089]
为车辆位置变化方程，其中v
k
为时刻k车辆速度的绝对值，θ
k
为时刻k车辆的朝向角。θ
k 1
为车辆朝向角变化方程，并叠加噪声δ
θ
。v为车辆速度变化方程，并叠加噪声δ
v
。
[0090]
根据车辆运动方程和粒子滤波算法预测3
‑
4秒内车辆的位置与速度并输出其概率分布，如图8所示。
[0091]
在步骤s7中，根据路面干湿状态检测结果和车辆运动轨迹与速度，对车辆进行预警。
[0092]
可选地，在本发明的一个实施例中，根据路面干湿状态检测结果和车辆运动轨迹与速度，对车辆进行预警，包括：计算车辆经过路面湿滑区域的概率以及车辆经过湿滑区域时速度大于阈值速度的概率，根据概率与概率阈值对车辆进行预警。
[0093]
具体地，利用点云的3d坐标，将步骤s5得到的路面干湿状态检测结果映射到全局坐标系。根据湿滑区域的湿滑状态设置阈值速度v。路面湿滑程度越大，阈值速度越小。
[0094]
根据步骤s6得到的车辆轨迹预测结果，估计车辆经过湿滑区域的概率p1和经过湿滑区域时车速大于阈值速度的概率p2，如果p1p2≥50％，则为驾驶员提供预警。
[0095]
根据本发明实施例提出的基于多模态数据融合的路面湿滑区域检测及预警方法，通过标定好的车载相机和激光雷达采集路面图像以及激光点云；基于图像分割算法对路面图像进行检测，得到图像特征图与图像路面检测结果；基于点云分割算法对激光点云进行筛选得到点云路面检测结果；将点云路面检测结果与图像路面检测结果融合，得到融合后的路面检测区域；将路面检测区域激光点云反射强度信息与图像特征融合，使用像素点双向匹配方法增大同类像素点特征的关联程度，并使用路面干湿状态分割网络得到路面干湿状态检测结果；采集车辆运动状态信息，构建车辆运动方程并基于粒子滤波算法预测车辆运动轨迹与速度；根据路面干湿状态检测结果和车辆运动轨迹与速度，对车辆进行预警。可实时检测车辆前方的路面状态，评估车辆失稳风险，并在车辆存在失稳风险时对驾驶员提供预警，对提高行车安全性，减少交通事故有重要意义。
[0096]
其次参照附图描述根据本发明实施例提出的基于多模态数据融合的路面湿滑区域检测及预警装置。
[0097]
图9为根据本发明一个实施例的基于多模态数据融合的路面湿滑区域检测及预警装置结构示意图。
[0098]
如图9所示，该基于多模态数据融合的路面湿滑区域检测及预警装置包括：采集模
块100、第一检测模块200、第二检测模块300、融合模块400、第三检测模块500、预测模块600和预警模块700。
[0099]
其中，采集模块100，用于通过标定好的车载相机和激光雷达采集路面图像以及激光点云。第一检测模块200，用于基于图像分割算法对路面图像进行检测，得到图像特征图与图像路面检测结果。第二检测模块300，用于基于点云分割算法对激光点云进行筛选得到点云路面检测结果。融合模块400，用于将点云路面检测结果与图像路面检测结果融合，得到融合后的路面检测区域。第三检测模块500，用于将路面检测区域激光点云反射强度信息与图像特征融合，使用像素点双向匹配方法增大同类像素点特征的关联程度，并使用路面干湿状态分割网络得到路面干湿状态检测结果。预测模块600，用于采集车辆运动状态信息，构建车辆运动方程并基于粒子滤波算法预测车辆运动轨迹与速度。预警模块700，用于根据路面干湿状态检测结果和车辆运动轨迹与速度，对车辆进行预警。
[0100]
可选地，在本发明的一个实施例中，还包括：标定模块，用于对车载相机和激光雷达进行联合标定，获取车载相机的内参矩阵和外参矩阵。
[0101]
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
[0102]
根据本发明实施例提出的基于多模态数据融合的路面湿滑区域检测及预警装置，通过标定好的车载相机和激光雷达采集路面图像以及激光点云；基于图像分割算法对路面图像进行检测，得到图像特征图与图像路面检测结果；基于点云分割算法对激光点云进行筛选得到点云路面检测结果；将点云路面检测结果与图像路面检测结果融合，得到融合后的路面检测区域；将路面检测区域激光点云反射强度信息与图像特征融合，使用像素点双向匹配方法增大同类像素点特征的关联程度，并使用路面干湿状态分割网络得到路面干湿状态检测结果；采集车辆运动状态信息，构建车辆运动方程并基于粒子滤波算法预测车辆运动轨迹与速度；根据路面干湿状态检测结果和车辆运动轨迹与速度，对车辆进行预警。可实时检测车辆前方的路面状态，评估车辆失稳风险，并在车辆存在失稳风险时对驾驶员提供预警，对提高行车安全性，减少交通事故有重要意义。
[0103]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0104]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0105]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。