一种抗阴影干扰的路面状态在线检测方法与流程

1.本发明涉及智能车辆安全控制技术领域，尤其是涉及一种抗阴影干扰的路面状态在线检测方法。


背景技术：

2.道路检测是智能车辆环境感知的重要内容，也是实现自动驾驶的基础，无论是在结构化还是在非结构化的道路上，道路上环境都是复杂多变的，这也使得车辆对路面状态的检测面临严峻考验。
3.路面状态的变化不仅会直接影响智能车辆运动控制系统的性能，还会影响决策与规划系统，因此，路面状态类型的准确辨识对车辆主动安全系统在雨雪等恶劣天气的性能表现至关重要。现有的路面状态检测方法主要包括基于车辆动力学响应的方法以及基于机器视觉的方法，其中，基于车辆动力学响应的方法具有成本低廉、鲁棒性强、不易受其他环境因素干扰的优点，但是此类方法获得准确辨识结果的前提是需要足够的激励条件，这容易使车辆失稳；而基于机器视觉的方法不依赖于车辆动力学模型，辨识快速，无需满足一定的激励条件，且辨识结果具有预测性，然而大多数该类方法仅考虑理想环境条件下的辨识，极大地限制了在真实驾驶场景中的应用，此外，阴影是路面图像的常见干扰因素之一，路面阴影会改变路面图像特征，这容易导致基于机器视觉的方法辨识错误。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种抗阴影干扰的路面状态在线检测方法，以实现一种不依赖车辆激励状态、同时不受路面阴影干扰的检测方法，从而保证路面状态检测结果的准确性。
5.本发明的目的可以通过以下技术方案来实现：一种抗阴影干扰的路面状态在线检测方法，包括以下步骤：
6.s1、收集不同场景工况下的路面图像及路面阴影图像历史数据，通过离线训练，分别得到路面区域分割模型、路面阴影检测模型和路面状态分类模型；
7.s2、获取实际路面图像，基于路面区域分割模型、路面阴影检测模型和路面状态分类模型，得到该实际路面图像对应的路面状态检测结果。
8.进一步地，所述步骤s1具体包括以下步骤：
9.s11、收集不同场景工况下的路面图像，并在各路面图像上对应标注路面区域和非路面区域，以建立路面区域分割训练数据集，利用路面区域分割训练数据集对第一神经网络进行端到端的训练，得到训练完成的路面区域分割模型；
10.s12、收集不同场景工况下的路面阴影图像，并在各阴影图像上标注阴影区域和非阴影区域，以建立阴影检测训练数据集，利用阴影检测训练数据集对第二神经网络进行端到端的训练，得到训练完成的路面阴影检测模型；
11.s13、对收集的路面图像标注真实路面类型，将已标注路面类型的路面图像依次输
入训练完成的路面区域分割模型与路面阴影检测模型，得到无阴影覆盖的路面区域图像；
12.从无阴影覆盖的路面区域图像中提取出路面区域，以建立路面状态分类训练数据集，利用路面状态分类训练数据集对第三神经网络进行端到端的训练，得到训练完成的路面状态分类模型。
13.进一步地，所述步骤s11在各路面图像上对应标注路面区域和非路面区域的具体过程为：将路面图像中非路面区域像素点的值设置为0、路面区域像素点的值设置为255，并对非路面区域和路面区域进行图像二值化处理，以区分标注。
14.进一步地，所述步骤s12在各阴影图像上标注阴影区域和非阴影区域的具体过程为：将非阴影区域像素点的值设置为0、阴影区域像素点的值设置为255。
15.进一步地，所述步骤s2具体包括以下步骤：
16.s21、获取车辆行驶过程中前方的实际路面图像；
17.s22、将获取的实际路面图像输入路面区域分割模型与路面阴影检测模型，并融合输出结果，将该实际路面图像分割为无阴影覆盖的候选路面区域和非候选路面区域；
18.s23、提取分割完成路面图像中的候选路面区域网格，得到路面分类数据集，将路面分类数据集输入路面状态分类模型，得到每个网格的路面状态类型置信度；
19.s24、将每个网格的路面状态类型置信度进行融合，得到不同路面状态类型融合后的置信度，选取数值最大的融合置信度对应的路面状态类型，并根据延迟时间进行时空同步处理，以得到当前车辆即将历经的路面状态类型。
20.进一步地，所述步骤s23中提取分割完成路面图像中候选路面区域网格的具体过程为：
21.s231：利用网格对分割完成的路面图像进行划分，其中，网格的初始尺寸为m1，a<m1<b，a和b均小于路面图像的最小尺寸；
22.s232：若每个网格四个角点处的像素值均为255，则判断该网格为候选路面区域，否则判断该网格为非候选路面区域；
23.s233：统计被判定为路面区域的网格个数，若统计的网格个数大于设定阈值个数，则结束当前提取路面区域网格的处理过程，否则按照预设的步长减小网格尺寸，返回执行步骤s231，直至网格尺寸被调整为a。
24.进一步地，所述路面状态类型包括干燥路面、湿滑路面和冰雪路面。
25.进一步地，所述步骤s24中将每个网格的路面状态类型执行度进行融合的具体过程为：
26.s241、将当前干燥路面、湿滑路面和冰雪路面各路面状态类型的证据权重分别设置为w
dry
、w
wet
、w
snow
，其中，w
dry
、w
wet
、w
snow
的取值范围均为0～1，并根据权重更新策略进行更新；
27.s242、基于更新后的各路面状态类型权重，构造每个候选区域网格的路面状态类型基本概率分配函数；
28.s243、融合每个候选区域网格的路面状态类型基本概率分配函数，分别得到干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型的融合置信度。
29.进一步地，所述权重更新策略具体为：
30.α＝k
·
n
[0031][0032][0033][0034][0035]
其中，α为权重更新因子，k为权重更新速率常数，n为分割出的候选路面区域总网格数，n
r
为分类所得最大置信度为第r种路面类型的网格数，为当前帧第r种路面状态类型的第一中间变量，为上一帧第r种路面状态类型的第一中间变量，为当前帧第r种路面状态类型的第二中间变量，为上一帧的第r种路面状态类型权重，e为自然常数，为更新后的第r种状态类型权重；
[0036]
所述基本概率分配函数具体为：
[0037][0038][0039]
其中，w
dry
、w
wet
、w
snow
分别为干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型权重，为分类所得最大置信度为干燥沥青路面的网格中第r种路面状态类型对应的置信度，为分类所得最大置信度为湿滑沥青路面的网格中第r种路面状态类型对应的置信度，为步骤分类所得最大置信度为冰雪沥青路面的网格中第r种路面状态类型对应的置信度，n
dry
、n
wet
、n
snow
分类所得最大置信度为干燥沥青路面、湿滑沥青路面、冰雪沥青路面对应的网格数，为第r种路面状态类型的基本分配函数临时中间变量，为构造的第r种路面状态类型的基本概率分配函数；
[0040]
所述融合策略具体为：
[0041][0042][0043]
其中，m
n
(r
n
)为第n个网格中第r种路面状态类型的基本概率分配函数，m(r)为融合后的第r种路面状态类型的基本概率分配函数。
[0044]
进一步地，所述步骤s24中延迟时间具体为：
[0045][0046][0047]
其中，l0为车辆轴距，l1和l2为预瞄距离，其分别表示车载摄像头拍摄中心点到前车轮连线的距离和到后车轮连线的距离，车速v
x
在估计过程中随距离变化，δt1、δt2为图像处理时间，t1为前车轮获得路面状态检测结果的延迟时间，t2为后车轮获得路面状态检测结果的延迟时间。
[0048]
与现有技术相比，本发明具有以下优点：
[0049]
一、本发明基于不同场景工况下的历史路面图像以及路面阴影图像，通过神经网络训练，以得到路面区域分割模型、路面阴影检测模型和路面状态分类模型，利用这三个训练得到的神经网络模型，即可实现对当前采集路面图像的路面状态分类检测，不再依赖于车辆动力学模型，同时充分考虑了路面阴影的干扰影响，实现了抗阴影干扰的路面状态检测过程，从而保证了对真实驾驶场景下路面状态检测的准确性。
[0050]
二、本发明利用路面区域分割模型和路面阴影检测模型对当前采集路面图像进行处理后，采用网格划分的方式提取出候选路面区域、再利用路面状态分类模型输出得到每个网格的路面状态类型置信度、之后将每个网格的路面状态类型置信度进行融合、最后根据延迟时间进行时空同步处理，由此进一步实现路面状态类型的实时在线可靠检测，即使在路面状态发生突变的路段，也能灵敏地提前检测出路面状态。
附图说明
[0051]
图1为本发明的方法流程示意图；
[0052]
图2为实施例的应用过程示意图；
[0053]
图3为实施例在线检测流程示意图；
[0054]
图4为预瞄距离l1和l2的示意图；
[0055]
图5为实施例的路面状态在线检测系统结构示意图。
具体实施方式
[0056]
下面结合附图和具体实施例对本发明进行详细说明。
[0057]
实施例
[0058]
如图1所示，一种抗阴影干扰的路面状态在线检测方法，包括以下步骤：
[0059]
s1、收集不同场景工况下的路面图像及路面阴影图像历史数据，通过离线训练，分别得到路面区域分割模型、路面阴影检测模型和路面状态分类模型，具体的：
[0060]
s11、收集不同场景工况下的路面图像，并在各路面图像上对应标注路面区域和非路面区域(将路面图像中非路面区域像素点的值设置为0、路面区域像素点的值设置为255，并对非路面区域和路面区域进行图像二值化处理，以区分标注)，以建立路面区域分割训练数据集，利用路面区域分割训练数据集对第一神经网络进行端到端的训练，得到训练完成
的路面区域分割模型；
[0061]
s12、收集不同场景工况下的路面阴影图像，并在各阴影图像上标注阴影区域和非阴影区域(将非阴影区域像素点的值设置为0、阴影区域像素点的值设置为255)，以建立阴影检测训练数据集，利用阴影检测训练数据集对第二神经网络进行端到端的训练，得到训练完成的路面阴影检测模型；
[0062]
s13、对收集的路面图像标注真实路面类型，将已标注路面类型的路面图像依次输入训练完成的路面区域分割模型与路面阴影检测模型，得到无阴影覆盖的路面区域图像；
[0063]
从无阴影覆盖的路面区域图像中提取出路面区域，以建立路面状态分类训练数据集，利用路面状态分类训练数据集对第三神经网络进行端到端的训练，得到训练完成的路面状态分类模型；
[0064]
s2、获取实际路面图像，基于路面区域分割模型、路面阴影检测模型和路面状态分类模型，得到该实际路面图像对应的路面状态检测结果，具体的：
[0065]
s21、获取车辆行驶过程中前方的实际路面图像；
[0066]
s22、将获取的实际路面图像输入路面区域分割模型与路面阴影检测模型，并融合输出结果，将该实际路面图像分割为无阴影覆盖的候选路面区域和非候选路面区域；
[0067]
s23、提取分割完成路面图像中的候选路面区域网格，得到路面分类数据集，将路面分类数据集输入路面状态分类模型，得到每个网格的路面状态类型置信度，其中，提取分割完成路面图像中候选路面区域网格的过程包括：
[0068]
首先利用网格对分割完成的路面图像进行划分，设定网格的初始尺寸为m1，a<m1<b，a和b均小于路面图像的最小尺寸；
[0069]
若每个网格四个角点处的像素值均为255，则判断该网格为候选路面区域，否则判断该网格为非候选路面区域；
[0070]
之后统计被判定为路面区域的网格个数，若统计的网格个数大于设定阈值个数，则结束当前提取路面区域网格的处理过程，否则按照预设的步长减小网格尺寸，返回执行步骤s231，直至网格尺寸被调整为a；
[0071]
s24、将每个网格的路面状态类型置信度进行融合，得到不同路面状态类型融合后的置信度，选取数值最大的融合置信度对应的路面状态类型，并根据延迟时间进行时空同步处理，以得到当前车辆即将历经的路面状态类型，其中，路面状态类型包括干燥路面、湿滑路面和冰雪路面，本技术方案考虑这三种常见的结构化道路路面状态类型，以满足绝大多数行驶工况需求；
[0072]
在将每个网格的路面状态类型执行度进行融合时，首先将当前干燥路面、湿滑路面和冰雪路面各路面状态类型的证据权重分别设置为w
dry
、w
wet
、w
snow
，其中，w
dry
、w
wet
、w
snow
的取值范围均为0～1，并根据以下的权重更新策略进行更新：
[0073]
α＝k
·
n
[0074][0075]
[0076][0077][0078]
其中，α为权重更新因子，k为权重更新速率常数，n为分割出的候选路面区域总网格数，n
r
为分类所得最大置信度为第r种路面类型的网格数，为当前帧第r种路面状态类型的第一中间变量，为上一帧第r种路面状态类型的第一中间变量，为当前帧第r种路面状态类型的第二中间变量，为上一帧的第r种路面状态类型权重，e为自然常数，为更新后的第r种状态类型权重；
[0079]
之后基于更新后的各路面状态类型权重，构造每个候选区域网格的路面状态类型基本概率分配函数：
[0080][0081][0082]
其中，w
dry
、w
wet
、w
snow
分别为干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型权重，为分类所得最大置信度为干燥沥青路面的网格中第r种路面状态类型对应的置信度，为分类所得最大置信度为湿滑沥青路面的网格中第r种路面状态类型对应的置信度，为步骤分类所得最大置信度为冰雪沥青路面的网格中第r种路面状态类型对应的置信度，n
dry
、n
wet
、n
snow
分类所得最大置信度为干燥沥青路面、湿滑沥青路面、冰雪沥青路面对应的网格数，为第r种路面状态类型的基本分配函数临时中间变量，为构造的第r种路面状态类型的基本概率分配函数；
[0083]
最后融合每个候选区域网格的路面状态类型基本概率分配函数，分别得到干燥沥青路面、湿滑沥青路面和冰雪沥青路面等路面状态类型的融合置信度，融合策略具体为：
[0084][0085][0086]
其中，m
n
(r
n
)为第n个网格中第r种路面状态类型的基本概率分配函数，m(r)为融合后的第r种路面状态类型的基本概率分配函数；
[0087]
在基于延迟时间进行时空同步处理时，延迟时间具体为：
[0088][0089][0090]
其中，l0为车辆轴距，l1和l2为预瞄距离，其分别表示车载摄像头拍摄中心点到前车轮连线的距离和到后车轮连线的距离，车速v
x
在估计过程中随距离变化，δt1、δt2为图像处理时间，t1为前车轮获得路面状态检测结果的延迟时间，t2为后车轮获得路面状态检测结果的延迟时间。
[0091]
本实施例应用上述技术方案，其具体过程如图2所示：
[0092]
a1：离线训练，具体包括：
[0093]
a11：收集不同场景工况下的路面图像，在图像上标注路面区域和非路面区域，建立路面区域分割训练数据集，利用路面区域分割训练数据集对第一神经网络进行端到端的训练，得到训练完成的路面区域分割模型；
[0094]
a12：收集不同场景工况下的路面阴影图像，标注阴影区域和非阴影区域，建立阴影检测训练数据集，利用阴影检测训练数据集对第二神经网络进行端到端的训练，得到训练完成的路面阴影检测模型；
[0095]
a13：对获取的路面图像标注真实路面类型，将已标注路面类型的路面图像输入训练完成的路面区域分割模型与路面阴影检测模型，得到无阴影覆盖的路面区域图像，提取分割完成的路面图像中的路面区域，建立路面状态分类训练数据集，利用路面状态分类训练数据集对第三神经网络进行端到端的训练，得到训练完成的路面状态分类模型；
[0096]
a2：在线辨识，具体包括：
[0097]
a21：利用安装于车辆中央后视镜处的摄像头获取车辆行驶过程中前方的路面图像；
[0098]
a22：将路面图像输入训练完成的路面区域分割模型与训练完成的路面阴影检测模型，并融合输出结果，将路面图像分割为无阴影覆盖的候选路面区域和非候选路面区域；
[0099]
a23：提取分割完成路面图像中的候选路面区域，得到路面分类数据集，将路面分类数据集输入训练完成的路面状态分类模型，得到每个网格的路面状态类型置信度；
[0100]
a24：将每个网格的路面状态类型置信度进行融合，根据延迟时间进行时空同步处理，得到融合后的最大置信度对应的路面状态类型即为当前车辆即将历经的路面状态类型。
[0101]
本实施例中，步骤a11中采集的路面图像包括大于等于2000张干燥路面图像、大于等于2000张湿滑路面图像和大于等于2000张冰雪路面图像，步骤a12中采集的路面阴影图像包括大于等于2000张带有路面阴影的干燥路面图像和大于等于2000张带有路面阴影的冰雪路面图像。
[0102]
本实施例中，第一神经网络为深度卷积神经网络，所基于的深度学习框架包括但不限于pytorch、tensorflow或caffe；第二神经网络为深度卷积神经网络，所基于的深度学习框架包括但不限于pytorch、tensorflow或caffe；第三神经网络为深度卷积神经网络，所基于的深度学习框架包括但不限于pytorch、tensorflow或caffe。
[0103]
如图3所示，在实际进行离线训练时，首先通过车载摄像头分别采集干燥、阴雨和冰雪天气下车辆前方道路的路面图像，分别对应干燥沥青路面图像、湿滑沥青路面图像和冰雪沥青路面图像，将采集的路面图像标注为路面区域和非路面区域，生成路面区域分割训练数据集，利用路面区域分割数据集对网络a(即第一神经网络)进行端到端的训练，得到路面区域分割模型，其中，车载摄像头可安装在车辆中央后视镜处，其技术参数要求为：分辨率不低于640
×
480像素，帧率不低于30fps。采集的光线环境包括但不限于早晨、正午、黄昏等；采集的样本图片数量要求为：干燥路面图像数量不少于2000张，湿滑路面图像数量不少于2000张，冰雪路面图像数量不少于2000张，带有路面阴影的干燥路面图像不少于2000张，带有路面阴影的冰雪路面图像不少于2000张；路面区域和非路面区域的标注方法具体包括：将非路面区域像素点的值设置为0，将路面区域像素点的值设置为255；
[0104]
之后将采集的带有路面阴影的路面图像标注为阴影区域和非阴影区域，生成路面阴影训练数据集，利用路面阴影数据集对网络b(即第二神经网络)进行端到端的训练，得到路面阴影检测模型，其中，阴影区域和非阴影区域的标注方法具体包括：将非阴影区域像素点的值设置为0，将阴影区域像素点的值设置为255；
[0105]
再将采集的路面图像分别标注为干燥沥青路面、湿滑沥青路面或冰雪沥青路面，并基于路面区域分割模型生成路面状态分类训练数据集，利用路面状态分类训练数据集对网络c(即第三神经网络)进行端到端的训练，得到路面状态分类模型，其中，路面状态分类数据集的生成过程具体包括：首先将路面图像按照路面的真实状态划分为干燥沥青、湿滑沥青和冰雪沥青等路面状态类型；然后利用路面区域分割模型输出的路面区域分割图像，在此基础上对输出的分割图像以c
×
c的固定网格尺寸进行划分；最后判断每个网格四个角点处的像素值，当四个像素值均为255时，判断此网格为候选路面区域，将其路面类型标签标注为原始路面状态类型标签，放入路面状态分类训练数据集；第三神经网络为深度卷积神经网络，所基于的深度学习框架包括但不限于pytorch或tensorflow或caffe；
[0106]
在实际进行在线辨识检测时，在车辆行驶过程中，根据车载摄像头传输的路面图像，利用训练完成的路面区域分割模型、路面阴影检测模型与路面状态分类模型，按照步骤a21
‑
步骤a24的流程，输出当前车辆历经的路面状态类型，其中，考虑到车载摄像头当前所拍摄得到的路面是车辆未来将要历经的路面，因此需要对辨识结果进行时空同步处理，延迟时间为：
[0107][0108][0109]
其中，l0为车辆轴距，l1和l2为预瞄距离，其分别表示车载摄像头拍摄中心点到前车轮连线的距离和到后车轮连线的距离(如图4所示)，车速v
x
在估计过程中随距离变化，δt1、δt2为图像处理时间，通过实时计算得知，t1为前轮获得辨识结果的延迟时间，t2为后轮获得辨识结果的延迟时间。
[0110]
如图5所示，本实施例还提供一种基于路面状态类型在线检测方法的主动安全控制系统，包括车载摄像头、工控机和整车控制器，车载摄像头安装于车辆中央后视镜处，用于采集车辆行驶过程中的前方路面图像，并通过usb数据线与工控机连接，进行路面图像数
据的传输，工控机用于执行路面状态类型在线辨识方法，得到路面状态类型预测值，并通过can协议将路面状态类型预测值传输至整车控制器，车载摄像头的分辨率大于等于640
×
480像素，帧率大于等于30fps。
[0111]
本实施例中，系统的硬件设置包括车载摄像头、工控机和量产的电动汽车整车控制器。摄像头通过usb数据线与工控机实现图像数据的传输，工控机用于进行处理图像数据，并以can协议传输路面状态类型预测值至整车控制器。通过车载摄像头拍摄车辆行驶过程中前方的路面图像，利用工控机对路面图像进行处理，无需满足激励条件，不依赖车辆动力学与轮胎模型，能实现在常规行驶工况下的辨识；
[0112]
本发明的路面状态类型检测方法不论是在较多路面阴影的复杂行驶场景中，还是在常规行驶场景中，都能得到精准、稳定的辨识结果，鲁棒性强，抗干扰性好，有利于车辆主动安全控制系统稳定执行器控制功率，延长执行器使用寿命；
[0113]
本发明的路面状态类型检测算法基于延迟时间，能实现路面状态类型的实时在线可靠辨识，对于路面状态类型突变的路段也具有较好的灵敏性，有利于车辆主动安全系统及时调整控制参数。