一种道路区域识别方法、自动驾驶控制方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及一种道路区域识别方法、自动驾驶控制方法及装置。


背景技术：

2.道路区域识别也即为识别路面上为道路的区域范围，在如无人车自动驾驶等场合中，需要实时识别出道路区域以提供给车辆进行路径规划，道路区域识别的精度将直接影响到路径规划的有效性。
3.针对于道路区域的识别，现有技术中通常是采用以下方式：
4.1、基于激光点云的识别方式
5.该类方式是通过激光雷达采集道路环境的激光点云，利用三维信息进行道路识别，如通过计算出一块高度变化不大且高度在一定地面高度的一块区域即作为道路区域。但是该类方法仅适用于道路与周围环境差异较大的场景，当道路区域附近存在较平的草地或者泥地时就无法准确识别出道路区域，适用场景局限性较大、识别准确性不高。
6.2、基于图像处理的识别方式
7.该类方式是通过采集道路环境的图像，基于图像纹理和颜色特征进行道路区域的解析。但是该类方法对环境的适应较差且受光照的影响极大，光照变化对图像的纹理和颜色均有较大影响，光照强时路面的颜色会发生偏离，且光照强时路面会产生阴影和形成亮度不均的路面，因而实际识别准确率和鲁棒性均较差。
8.有从业者提出基于深度学习方法来实现道路区域识别，如基于深度卷积网络对道路区域图像训练道路区域识别网络模型，将实时采集到的图像输入至训练的网络模型中即可实现道路区域的识别。但是由于车辆在行驶过程中道路区域是由远及近的靠近车辆，在车载摄像头所拍摄的图像上，道路区域中同一位置的道路区域在外观上会存在变化，比如同一位置的道路区域在远处时在图像上较小，当随着车辆的行驶至近处时在图像上会较大，同一位置的道路区域在不同的远近位置其图像的其他特性亦会有差异，比如道路区域的阴影与非阴影区在远处时的对比度要小于在近处时，因而深度卷积网络对图像中的差异因素会产生不同的响应，即同一位置的道路区域在深度卷积网络中会得到不同的识别结果，不仅对环境的适应较差、易受光照的影响，且还会导致对如道路区域阴影部分的漏识别。
9.综上，现有技术中基于激光点云的识别方式，适用于道路与周围环境差异较大的场景，适用场景局限性较大、识别准确性不高，基于图像处理的识别方式对环境的适应较差且受光照的影响极大，且易于导致漏识别，因此，亟需提供一种道路区域识别方法，以使得能够兼顾识别的效率、精度以及环境适应性、鲁棒性。


技术实现要素：

10.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一
种实现方法简单、检测效率以及精度高且鲁棒性强的道路区域识别方法及装置，以及路径规划精准、合理的自动驾驶控制方法。
11.为解决上述技术问题，本发明提出的技术方案为：
12.一种道路区域识别方法，步骤包括：
13.s1.实时获取车载摄像头采集的道路环境图像进行图像分割，分割出道路区域；
14.s2.从分割出的所述道路区域中，获取当前帧道路区域数据以及指定数量的历史帧道路区域数据；
15.s3.将所述历史帧道路区域数据转换至当前帧道路区域数据的坐标空间中，得到转换后历史帧道路数据；
16.s4.将所述转换后历史帧道路数据、当前帧道路区域数据进行融合，得到最终的道路区域识别结果。
17.进一步的，所述步骤s3中，根据历史帧道路区域数据相对于当前帧道路区域数据的位移、角度偏转，将所述历史帧道路区域数据转换至当前帧道路区域数据的坐标空间中。
18.进一步的，按照下式将述历史帧道路区域数据转换至当前帧道路区域数据的坐标空间中：
[0019][0020][0021]
其中，xb,yb分别为历史帧道路区域数据在车体坐标系下相对于当前帧道路区域数据的横向和纵向位移，θ为历史帧道路区域数据在车体坐标系下相对于当前帧道路区域数据的角度变化量，x
ih
,y
ih
分别为历史帧道路区域数据中一数据点的横、纵坐标，x
ic
,y
ic
分别为将历史帧道路区域数据的坐标转换到当前帧道路区域数据坐标空间的横、纵坐标值。
[0022]
进一步的，所述步骤s4的步骤包括：
[0023]
s401.将所述转换后历史帧道路数据进行错位平移，得到平移后历史帧道路数据，所述错位平移为将各帧数据交错的向道路前、后方向平移；
[0024]
s402.将所述转换后历史帧道路数据、所述平移后历史帧道路数据进行初次融合，初次融合得到的结果与当前帧道路区域数据进行二次融合，得到最终的道路区域识别结果。
[0025]
进一步的，所述步骤s402包括：
[0026]
s421.查找出平移后历史帧道路区域数据与所述转换历史帧道路区域数据的不同区域，将所述平移后历史帧道路区域数据与查找出的不同区域进行合并，得到初次融合结果；
[0027]
s422.将所述初次融合结果与当前帧道路区域数据进行合并以实现二次融合，得到最终的道路区域识别结果。
[0028]
进一步的，所述步骤s1中通过布置在车辆上的车载摄像头实时采集所述包含道路区域的待处理图像，所述步骤s2后、步骤s3前还包括将分割出的道路区域投影到车体坐标系的步骤，包括：通过以布置在车辆上的雷达作为参考坐标系，对车身和雷达以及雷达和车载摄像头分别进行联合标定，根据联合标定参数完成车载摄像头坐标系到雷达坐标系的转换，然后将雷达坐标系转换到车体坐标系，以实现所述道路区域投影到车体坐标系。
[0029]
进一步的，所述步骤s01中采用预先构建的深度学习模型进行图像分割。
[0030]
一种自动驾驶车辆控制方法，步骤包括：
[0031]
在车辆行驶过程中，由车载摄像头采集车辆前方的道路环境图像；
[0032]
采用如上述的道路区域识别方法识别出道路区域；
[0033]
按照识别出的道路区域控制进行车辆的路径规划。
[0034]
进一步的，所述按照识别出的道路区域控制进行车辆的路径规划包括：优先按照所述当前帧道路区域数据所对应的道路区域识别结果规划行驶路径，当判断到规划的行驶路径存在障碍物时，则按照由所述转换后的历史帧道路区域数据、所述转换后的历史帧道路区域数据得到的历史帧识别结果规划行驶路径。
[0035]
一种道路区域识别装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，所述处理器用于执行所述计算机程序以执行如上述方法.
[0036]
与现有技术相比，本发明的优点在于：
[0037]
1、本发明通过从道路环境图像中分割出道路区域，获取当前帧道路区域数据的同时，获取部分的历史帧道路区域数据，将历史帧道路区域数据进行坐标转换后，再与当前帧道路区域数据进行融合，得到最终的道路区域识别结果，能够结合历史帧道路区域数据有效避免由于道路区域阴影等导致的漏识别，提高道路区域识别的精度，同时还可以提升对场景变化和光照变化的鲁棒性，可以适用于道路旁为草地或者泥地等的场景中，避免由于场景多变和光照变化产生强阴影和颜色偏离部分路段而导致的漏识别。
[0038]
2、本发明进一步通过将历史帧道路数据沿着道路前后方向进行错位平移，使得历史帧道路数据沿道路方向错位分布，在当前帧数据、历史帧数据的基础上融合该错位分布数据，可以有效填补道路区域中的空洞区域，提高道路区域识别的完整性，进一步提高道路区域识别的精度，同时提升对场景变化和光照变化的鲁棒性。
[0039]
3、本发明进一步通过实时识别车辆行驶过程中所处的道路环境，如果识别到当前处于满足预设条件的复杂道路环境时，优先使用当前帧道路区域数据进行路径规划，仅在当前帧道路区域数据存在障碍物无法通行时，再使用历史帧道路区域数据，可以结合道路环境特性确保不同道路环境下路径规划的稳定可靠性。
附图说明
[0040]
图1是本实施例道路区域识别方法的实现流程示意图。
[0041]
图2是本发明具体应用实施例中道路区域分割的结果示意图。
[0042]
图3是本实施例中实现图像坐标系到车体坐标系转换的流程示意图。
[0043]
图4是本发明具体应用实施例中投影到车体坐标系下的道路区域效果示意图。
[0044]
图5是本实施例中实现数据融合的步骤流程示意图。
[0045]
图6是本发明具体应用实施例中得到的道路区域识别结果示意图。
具体实施方式
[0046]
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
[0047]
如图1所示，本实施例道路区域识别方法的步骤包括：
[0048]
s1.实时获取包含道路区域的待处理图像进行图像分割，分割出道路区域；
[0049]
s2.从分割出的道路区域中，获取当前帧道路区域数据以及指定数量的历史帧道路区域数据；
[0050]
s3.将历史帧道路区域数据转换至当前帧道路区域数据的坐标空间中，得到转换后的历史帧道路区域数据；
[0051]
s4.将转换后历史帧道路数据、当前帧道路区域数据进行融合，得到最终的道路区域识别结果。
[0052]
考虑到由车载摄像头连续拍摄的图像中道路区域是连续变化的，同一个区域在靠近道路消失点时候的特征(即距离远的特征)和在车前的特征(即距离近的特征)差异明显，同一位置的道路区域在远处时在图像上较小，当随着车辆行驶至近处时在图像上会变大，而同一位置的道路区域在不同的远近位置图像的阴影也会不同，道路区域的阴影与非阴影区在远处时的对比度要小于在近处时，道路区域的阴影易于漏识别而造成空洞。本实施例考虑上述问题，通过从图像中分割出道路区域后，获取当前帧道路区域数据的同时，获取部分的历史帧道路区域数据，将历史帧道路区域数据进行坐标转换后，再与当前帧道路区域数据进行融合，得到最终的道路区域识别结果，能够结合历史帧道路区域数据有效避免由于道路区域阴影等导致的漏识别，提高道路区域识别的精度，同时还可以提升对场景变化和光照变化的鲁棒性，可以适用于道路旁为草地或者泥地等的场景中，避免由于场景多变和光照变化产生强阴影和颜色偏离部分路段而导致的漏识别。
[0053]
本实施例步骤s1中具体采用采用预先构建的深度学习模型进行图像分割。首先预先采集包含道路区域的图像并标注，构成道路区域图像数据集，使用道路区域图像数据集训练深度网络模型；步骤s1中实时获取到摄像头采集的包含道路信息的视频时，采用深度学习模型enet在图像坐标系分割出道路区域。本实施例充分利用深度学习网络模型的优势，通过对具体场景的道路区域图片进行采集并标注，使深度网络模型“学习”道路区域的特征，在实时获取到道路环境图像后即可快速的分割出其中的道路区域。
[0054]
在具体应用实施例中，采集的道路区域原始图像以及使用深度学习模型分割后的道路区域如图2所示，其中图2中(a)对应为采集的道路区域原始图像，图2中(b)对应为在图像坐标系下分割出的道路区域。
[0055]
可以理解的是，上述道路区域的图像分割也可以根据实际需求采用其他的模型或者分割方法实现。
[0056]
本实施例步骤s1中通过布置在车辆上的车载摄像头实时采集包含道路区域的待处理图像，进一步需要将车载摄像头采集到的图像所在的图像坐标系转换至车体坐标系，步骤s2后、步骤s3前还包括将分割出的道路区域投影到车体坐标系的步骤，包括：通过以布置在车辆上的雷达作为参考坐标系，对车身和雷达以及雷达和车载摄像头分别进行联合标定，根据联合标定参数完成车载摄像头坐标系到雷达坐标系的转换，然后将雷达坐标系转换到车体坐标系，以实现道路区域投影到车体坐标系。
[0057]
如图3所示，本实施例将分割出的道路区域投影到车体坐标系时，首先通过标定相机的内参，以及标定车辆前雷达(布置在车辆前端的雷达)到车体坐标系转换矩阵参数，然后通过联合标定工具进行相机和雷达的联合标定，标定出相机和前雷达的联合标定转换矩阵参数，通过标定得到的图像与车体坐标系之间变换关系，将道路区域从图像坐标系投影
到车体坐标系下。
[0058]
在具体应用实施例中，车载激光雷达作为参照坐标系，分别进行车体和激光雷达、激光雷达和车载摄像头两次联合标定以确定车体坐标系和激光雷达坐标系、激光雷达坐标系和车载摄像头之间的变换关系，联合标定得到激光雷达到车体的外参矩阵、激光雷达到车载摄像头的外参矩阵，外参矩阵包括旋转矩阵和平移矩阵，将联合标定得到的激光雷达到车体的外参矩阵求逆后与激光雷达到车载摄像头的外参矩阵相乘，得到车体到车载摄像头的外参变换矩阵，即得到求解车体坐标与图像像素点之间的投影变换矩阵，根据车载摄像头内参矩阵、联合标定得到的两个外参变换矩阵计算得到的车体到车载摄像头的外参变换矩阵，构建得到图像像素和车体之间的坐标转换关系，即可实现图像像素和车体之间的坐标转换。在具体应用实施例中将分割出的道路区域投影到车体坐标系下的结果如图4所示。
[0059]
考虑到道路邻近路段的道路宽度和道路属性大概率是一致的特性，本实施例步骤s2中取出指定数量的历史道路区域数据时，还包括对各帧历史道路区域数据进行闭运算处理，使得道路区域连通性增强。
[0060]
本实施例步骤s3中，根据历史帧道路区域数据相对于当前帧道路区域数据的位移、角度偏转，将历史帧道路区域数据转换至当前帧道路区域数据的坐标空间中，以使得历史帧道路区域数据与当前帧道路区域数据在时间和空间上同步，便于后续实现数据融合。
[0061]
本实施例具体按照下式将述历史帧道路区域数据转换至当前帧道路区域数据的坐标空间中：
[0062][0063][0064]
其中，xb,yb分别为历史帧道路区域数据在车体坐标系下相对于当前帧道路区域数据的横向和纵向位移，θ为历史帧道路区域数据在车体坐标系下相对于当前帧道路区域数据的角度变化量，x
ih
,y
ih
分别为历史帧道路区域数据中一数据点的横、纵坐标，x
ic
,y
ic
分别为将历史帧道路区域数据的坐标转换到当前帧道路区域数据坐标空间的横、纵坐标值。
[0065]
在具体应用实施例中，取10帧(具体数量可根据实际需求配置)历史帧道路区域数据，先进行闭运算算法处理，然后通过imu(惯导)信息计算历史帧道路区域数据相对于当前帧的位移(xb,yb)和角度偏转θ，按照上式(1)将历史帧道路区域数据统一到当前帧的坐标空间里，保证不同历史帧的道路区域数据在时间和空间上同步。
[0066]
本实施例中，通过步骤s3将历史帧道路区域数据转换至与当前帧道路区域数据同一坐标空间，然后可以直接将转换后历史帧道路区域数据与当前帧道路区域数据进行合并，如具体可通过求或运算实现，得到最终的道路区域识别结果。由于历史帧数据在不同距离的条件下观测同一个区域所产生的图像不同，如同一位置的道路区域在远处时在图像上较小，当随着车辆的运动在近处时在图像上较大，道路区域的阴影与非阴影区在不同距离时的对比度也不同，经过深度卷积网络后上述图像中的差异因素会导致不同的响应，，通过将史帧道路区域数据与当前帧道路区域数据进行合并，可以实现远、近距离特征的集成，改善由于道路区域阴影部分等造成的漏识别问题。
[0067]
直接将历史帧道路区域数据与当前帧道路区域数据进融合，得到的融合结果仍然可能会存在一些由于阴影等造成的空洞。本实施例步骤s4进一步引入错位平移历史帧数据
以实现充分融合，具体步骤包括：
[0068]
s401.将转换后历史帧道路数据进行错位平移，得到平移后历史帧道路数据，错位平移为将各帧数据交错的向道路前、后方向平移；
[0069]
s402.将转换后历史帧道路数据、平移后历史帧道路数据进行初次融合，初次融合得到的结果与当前帧道路区域数据进行二次融合，得到最终的道路区域识别结果。
[0070]
由于一段相近的道路段道路宽度和属性通常是大致相同的，本实施例通过将历史帧道路数据沿着道路前后方向进行错位平移，使得历史帧道路数据沿道路前后方向错位分布，在当前帧数据、历史帧数据的基础上融合该错位分布数据，可以有效填补道路区域中的空洞区域，进一步提高道路区域识别结果的完整性，提高道路区域识别的精度，同时提升对场景变化和光照变化的鲁棒性。
[0071]
本实施例中，上述步骤s401中具体将历史帧道路区域数据中奇数帧数据在空间上向路道前方平移、偶数帧数据在空间上向道路后方平移，即按照奇偶帧进行错位平移，得到平移后历史帧道路数据。上述按照奇偶帧进行错位平移的方式，可以充分确保历史帧道路数据沿道路前后方向错位分布，从而确保能够填补道路区域中的各类空洞区域，最终可以得到完整且精准的道路区域识别结果。具体的错位平移方式当然还可以根据实际需求采用其他的方式，如每次取相邻两帧以上的数据在空间上向路道前方平移，相邻两帧以上的数据在空间上向路道后方平移，甚至可以采用随机取数据帧的方式。
[0072]
如图5所示，本实施例中步骤s402包括：
[0073]
s421.查找出平移后历史帧道路区域数据与转换后历史帧道路区域数据的不同区域，将平移后历史帧道路区域数据与查找出的不同区域进行合并，得到初次融合结果；
[0074]
s422.将初次融合结果与当前帧道路区域数据进行合并以实现二次融合，得到最终的道路区域识别结果。
[0075]
步骤s3转换后的原始历史帧道路区域数据，与平移后历史帧道路区域数据之间若存在相同区域，大概率是同一区域重复识别，若存在不同区域，则可能是新的识别区域。本实施例通过将平移后历史帧道路区域数据与原转换后历史帧道路区域数据进行初次合并融合，去除重复识别区域、筛查出所有的识别区域，然后再与当前帧道路区域数据进行二次融合，能够充分利用历史帧道路区域数据，避免场景多变和光照变化产生强阴影和颜色偏离部分路段造成的漏识别，以及避免对道路旁边为草地或者泥地等的误识别，同时还能够消除道路区域中的空洞区域，从而得到尽可能完整且精准的道路区域识别结果。在具体应用实施例中，融合后最终得到的道路区域识别结果如图6所示。
[0076]
上述步骤s421、s422中具体通过或运算将所有的历史帧道路和当前帧识别的区域集成为一个道路区域。
[0077]
本实施例步骤s4中可以直接采用将历史帧道路区域数据与当前帧道路区域数据进行融合的方式，也可以按照上述步骤，采用历史帧道路区域数据、错位平移后历史帧道路区域数据与当前帧道路区域数据两次融合的方式来实现融合，具体的融合方式可以依据实际的道路环境场景、实时性以及复杂性要求等确定。
[0078]
本实施例步骤s4中融合后，还包括进行一次闭运算操作得到最终的道路区域，使道路区域连通性增强，充分利用道路邻近路段的道路宽度和道路属性大体一致的特性，可以进一步提高道路区域识别的精度以及鲁棒性。
[0079]
本实施例步骤s4后还包括将所述最终的道路区域识别结果中，当前帧道路区域数据所对应的道路区域识别结果配置第一优先级，历史帧道路区域数据对应的道路区域识别结果配置第二优先级，第一优先级高于第二优先级，以使得优先使用当前帧道路区域数据，在不能使用当前帧道路区域数据时，再启动使用历史帧道路区域数据对应的道路区域识别结果。在在复杂的场景或者道路宽度有变化的道路段，使用历史帧道路区域数据对应的道路区域识别结果可能会存在误差，本实施例通过设置优先级以在特殊场景中优先使用当前帧道路区域数据，可以进一步确保在复杂环境路况下道路区域识别的可靠性。
[0080]
本实施例自动驾驶车辆控制方法的步骤包括：
[0081]
在车辆行驶过程中，采集车辆前方道路的环境图像并作为待处理图像；
[0082]
采用上述道路区域识别方法识别出道路区域；
[0083]
按照识别出的道路区域控制进行车辆的路径规划。
[0084]
本实施例按照识别出的道路区域控制进行车辆的路径规划包括：如果识别到当前处于满足预设条件的复杂道路环境时，优先按照当前帧道路区域数据所对应的道路区域识别结果规划行驶路径，当判断到规划的行驶路径存在障碍物时，则按照由转换后的历史帧道路区域数据、转换后的历史帧道路区域数据得到的历史帧识别结果规划行驶路径。
[0085]
本实施例中，步骤s4后还包括优先级划分步骤，将最终的道路区域识别结果中，当前帧道路区域数据所对应的道路区域识别结果配置第一优先级，历史帧识别结果配置第二优先级，第一优先级高于第二优先级。
[0086]
将历史帧道路区域数据与当前帧道路区域数据融合后，在普通的道路环境下，如直道或者普通的曲率小的弯道，可以直接按照融合后得到的最终道路区域识别结果进行路径规划，而在复杂的场景或者道路宽度有变化的道路段，经过历史帧道路区域数据的融合可能会带来少量的误差。本实施例通过实时识别车辆行驶过程中所处的道路环境，如果识别到当前处于满足预设条件的复杂道路环境时，如曲率大于预设阈值的弯道，优先使用当前帧道路区域数据进行路径规划，仅在当前帧道路区域数据存在障碍物无法通行时，再使用历史帧道路区域数据，可以结合道路环境特性确保不同道路环境下路径规划的稳定可靠性。
[0087]
在具体应用实施例中，采用上述道路区域识别方法识别出道路区域后，将由当前帧道路区域数据得到的识别区域像素标识为100，历史帧道路区域数据得到的识别区域标识为101，非道路区域标识为0，其中配置前帧道路区域数据对应的识别区域优先级最高，即100标识号优先级最高，路径规划时优先查找标识为100的区域，当标识100的区域存在障碍物无法行驶时，再查找标识为101的区域。
[0088]
本实施例还提供道路区域识别装置，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，处理器用于执行计算机程序以执行上述方法。
[0089]
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。