一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆与流程

1.本技术涉及自动驾驶领域，特别地，涉及车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆。


背景技术：

2.随着5g通信和车联网技术的快速发展，自动驾驶技术已经成为研究热点。自动驾驶领域核心技术包括智能环境感知、自动导航定位、驾驶行为决策和智能路径规划控制等。在自动驾驶技术中，对于车辆的可行驶区域检测是实现自动驾驶的基础要求，车辆必须识别哪些区域是可行驶的哪些是不可行驶的才可以进行后续的路径规划。而在某些具体的自动驾驶辅助功能(例如泊车)中，可行驶区域的识别尤为重要，以自动泊车为例，它要求：(1)车辆在包含各种障碍物的环境中找到当前位置至目标库位的可行路径；(2)车辆在行驶过程中禁止与运动或静止的障碍物相碰撞。这对车载传感器系统提出了极高的需求：传感器应尽可能精准地提供当前环境中，障碍物相对于车辆自身的坐标信息，以形成车辆在环境中的可行驶区域。
3.现有技术一般采用传感器获取车辆周边信息并进行分析，从而得出车辆周边的可行驶环境；但是现有技术对于可行驶区域的识别往往不够准确，因此，需要一种新的车辆可行驶区域检测方法，其可以更加准确地识别车辆周围的驾驶环境以及可行驶区域。


技术实现要素：

4.作为本技术的第一方面，提供一种车辆可行驶区域检测方法，包括：使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布；根据雷达回波信号的回波时间和回波宽度获得所述障碍物的第二概率分布；根据障碍物的第一概率分布和障碍物的第二概率分布，获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。本技术的方法融合了摄像装置和雷达这两种传感器，并将基于两种传感器所获得障碍物分布信息进行融合，融合后的车辆可行驶区域以概率的形式进行表示。从而不仅可以全面地得到车辆周围的障碍物信息，避免了因为摄像装置的盲区或者雷达的探测范围所导致的探测盲区；另一方面，以概率的形式表示车辆可行驶区域使得车辆对于周围的可行驶区域的理解更加全面，即车辆周围的区域并非要么可以行驶要么不可以行驶，对于有些区域，在一定的条件下是可以行驶的，这样，使得车辆的导航规划更加灵活。
5.结合第一方面的一种可能实现方式，摄像装置包括以下至少一种：鱼眼相机、广角相机、宽视野相机；雷达回波信号包括以下至少一种雷达的回波信号：超声波雷达、激光雷达、毫米波雷达，或者其它任何合适的装置或雷达均可以用于本技术技术方案。
6.结合第一方面的一种可能实施方式，雷达可以设置在车辆上，也可以设置在道路两侧的装置上，摄像头可以设置在车辆上，也可以设置在道路两侧的装置上；道路两侧的装置可以包括但不限于：路侧的灯柱，测速杆，通信基站塔等。车辆可以完全基于自身所设置
的摄像装置和雷达完成车辆周围的障碍物信息获取，也可以基于自身设置的部分传感器(例如仅设置有摄像装置)和设置在道路两侧的装置上的其它传感器共同完成车辆周围的障碍物信息获取。
7.结合第一方面的另一种可能实现方式，可以使用概率栅格地图的形式来表示识别出的车辆可行驶区域，或者车辆不可通行的几率，在概率栅格地图中，每个栅格均包括一个概率值，该概率值用以指示该栅格可以被车辆行驶的几率，通过概率栅格地图，可以清楚地表达车辆周围的可行驶区域的概率分布，从而为后续的路径规划提供准确的前置依据。概率栅格地图可以在车辆的显示装置(例如但不限于驾驶座舱的中控屏)上显示，从而直观地为驾驶员提供参考指示；概率栅格地图也可以被发送给车辆的自动驾驶辅助系统以使得自动驾驶辅助系统获得车辆周围的障碍物信息。
8.结合第一方面的另一种可能实现方式，可以使用神经网络对经由鱼眼相机所获取的图像数据进行语义分割处理，具体地，可以先将图像变换处理为俯视图再进行语义分割处理，变换成俯视图后可以全面地示出车辆周围的环境。可以神经网络对变换后的图像进行语义分割处理指依据神经网络的识别判断出图像中的不同物体/人等的分类，例如可以使用神经网络判断出一张图片中的哪些部分是一幢楼房，而另外哪些部分是一辆车。更具体地，可以使用包括编码器-解码器(encoder-decoder)结构的神经网络来进行上述的对图像的语义分割过程，编码器使用池化层对数据进行降维，解码器使用反卷积层对数据进行升维，通过降维-升维过程，不仅可以对图像进行语义分割，还可以尽可能地保留图像的细节。通过上述的神经网络对图像的语义分割过程，可以对车辆周围环境的物体/人进行识别，从而可以更好地判断车辆周围障碍物分布。
9.结合第一方面的另一种可能实施方式，可以使用时间上相邻或者相间隔的多帧图像输入神经网络进行识别，使用时间上相邻或者相间隔的多帧图像，可以利用同一物体在不同图像帧中的视差信息作为神经网络的识别特征，从而可以使得神经网络可以更好地识别图像中的物体，神经网络的输出包括障碍物类型，基于障碍物类型即可确定障碍物第一概率分布。
10.结合第一方面的另一种可能实施方式，在对神经网络的训练过程中，可以使用障碍物贴图法。所谓障碍物贴图法，是指在神经网络的训练图像中，人工地“贴入”靠近车辆的障碍物，通过这种方法，可以使得神经网络的训练过程中可以获取较多的靠近车辆的障碍物识别信息，从而在后续如果在车辆周围真正出现障碍物的时候，不至于由于训练集不包括这样(靠近车辆的障碍物)的数据所导致的无法识别或者识别错误问题。
11.结合第一方面的另一种可能实施方式，神经网络的损失函数中，对于较小的障碍物的损失函数给予更高的权重，通过这种设置，可以使得神经网络对于较小的障碍物的识别更加“敏感”，因为在实际中，大多数的车辆碰撞并不是由于较大的障碍物(例如：其它车辆)而是较小的障碍物(例如：路边的地锁等)所导致的。
12.结合第一方面的另一种可能实施方式，使用分布在车身周围的多个雷达来获取车辆周围的障碍物的回波信号和回波时间。如果雷达使用超声雷达并且超声雷达环绕车身设置，那么，如果障碍物在车辆右侧，则使用车身右侧的超声雷达，如果障碍物在车辆左侧，则使用车身左侧的超声雷达，如果雷达是激光雷达并设置在车顶，则可以依据车顶的激光雷达来获取车辆周围360度范围内的障碍物信息。雷达的数目可以依据具体需求而设置，一般
而言，在一辆车辆上，可以设置6-16个超声雷达，和/或1-4个激光雷达，和/或1-4毫米波雷达。基于获得的回波信号和回波时间，依据雷达波速和几何法，即可确定障碍物中心在车辆参考坐标系中的坐标值。
13.结合第一方面的另一种可能实施方式，可以使用单个雷达的回波宽度和回波时间来确定障碍物的几何尺寸，因为障碍物不可能是几何意义上的“点”，它必定具有一定的几何尺寸，而同一雷达发射的声波/电磁波经过障碍物不同位置反射回来后的时间会不同，基于回波宽度和不同的回波时间，可以大体上确定障碍物的尺寸。在大体上确定了障碍物的尺寸之后，可以将障碍物抽象/简化处理为半径为r的圆，圆心即是障碍物中心在车辆参考坐标系中的坐标值，并以自圆心为中心，圆周为边缘，线性递减地自圆心向圆周分布概率。圆心的坐标即是障碍物的中心在车辆参考坐标系中的坐标值，圆心处的概率最大，圆周处的概率最小。
14.结合第一方面的另一种可能实施方式，可以使用融合权重函数结合基于所述摄像头和所述雷达所生成的障碍物概率分布，以得到概率栅格地图，具体地，可以选择融合权重函数：
[0015][0016]
其中d
max
表示雷达所能探测的边界距离。
[0017]
融合的目标栅格点的概率值为：
[0018]
p＝w
·
p
ipm
(1-w)
·
p
uss
[0019]
p
ipm
表示基于摄像头所获得的障碍物概率分布；p
uss
表示基于雷达所得的的障碍物概率分布。摄像头可以包括鱼眼相机，雷达可以包括超声雷达、激光雷达、毫米波雷达中的至少一种。
[0020]
第二方面，本技术实施例还提供一种自动驾驶辅助系统，该系统包括：摄像装置，所述摄像装置配置为可获取图像数据；至少一个雷达，所述雷达配置为可获取雷达回波信号；处理器，所述处理器配置为可执行：使用神经网络对摄像装置获取的图像数据进行处理以得到障碍物的第一概率分布；根据雷达回波信号的回波时间和回波宽度获得所述障碍物的第二概率分布；根据所述障碍物的第一概率分布和所述障碍物的第二概率分布，获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。
[0021]
可以理解的是，第二方面提供的系统对应于第一方面提供的方法，故第二方面各实现方式以及达到的技术效果可参见第一方面各实现方式的相关描述。
[0022]
结合第二方面的另一种可能实施方式，系统还包括显示装置，显示装置配置为可显示概率栅格地图。
[0023]
第三方面，提供一种自动驾驶车辆，其包括前述第二方面的自动驾驶辅助系统。
[0024]
第四方面，本技术实施例提供一种计算机可读存储介质，包括指令集，所述指令集可以被处理器执行以实现前述第一方面任意一种实现方式所述的方法。
[0025]
本技术的各种实施例提供了一种车辆可行驶区域检测方法，自动驾驶辅助系统以及包括该系统的自动驾驶车辆。本技术实施例使用了多种传感器来获取车辆周围的环境和障碍物信息，并且依据不同传感器的不同特性来融合所获取的信息，并将这些信息以概率
栅格地图的形式呈现，从而可以更加准确地识别车辆周围的可行驶区域。另一方面，本技术利用了障碍物视差信息、障碍物贴图等方式，使得本技术的技术方案可以具有较高的可泛化性，广泛适用于多种场景，并且不依赖于训练数据，因此本技术技术方案具有鲁棒性，可以广泛地适用于不同等级的自动驾驶方案、系统、车辆。另一方面，本技术技术方案尤其适用于车辆周围障碍物较多的自动驾驶场景，例如自动泊车场景。
附图说明
[0026]
图1是本技术实施例提供的一种自动驾驶车辆的架构示意图；
[0027]
图2是本技术实施例提供的基于图像数据进行障碍物识别的示意图；
[0028]
图3是本技术实施例提供的障碍物贴图法的示意图；
[0029]
图4是本技术实施例提供的基于雷达数据进行障碍物坐标确定的示意图；
[0030]
图5是本技术实施例提供的一种雷达数据确定障碍物尺寸和概率分布的示意图；
[0031]
图6是本技术实施例提供的基于图像数据和雷达数据进行可行驶区域融合的示意图；
[0032]
图7是本技术实施例提供的一种计算机可读存储介质和处理器的示意图；
[0033]
图8是本技术实施例提供的一种自动驾驶辅助系统示意图。
具体实施方式
[0034]
本技术各种实施例提供了一种车辆可行驶区域检测方法、系统以及采用该系统的泊车装置。通过使用车辆上的多种传感器获得的信息，并将这些信息通过给定的方法进行融合，从而可以实现准确地识别车辆周围可行驶范围，为车辆可行驶区域检测方法提供了一种新方案，并为提高自动驾驶可靠性和优化用户驾驶体验提供支持。
[0035]
在一些实施例中，参见图1，提供一种具有自动驾驶功能的车辆100，其可以包括驱动系统101，控制系统102，驱动系统103等。传感器系统101可以包括例如但不限于全球定位系统、惯导设备、激光雷达、毫米波雷达、相机等。控制系统102可以包括例如但不限于自动驾驶车辆计算平台等系统/装置。驱动系统103可以包括例如但不限于引擎、传动装置、电动能量源、线控系统等。所述车辆100还可以包括但不限于自动驾驶辅助系统(advanced driving assistance system:简称adas)。传感器系统101、控制系102统、驱动系统103之间可以通信地连接。
[0036]
下面结合附图2-6进一步详细介绍本技术实施例所提供的车辆可行驶域检测方法。
[0037]
图2示出了本技术实施例的基于图像数据进行障碍物识别的示意图。图2左侧示出了时间上相邻的t和t 1两帧俯视图，图2中部示出了用于进行障碍物识别的神经网络26，图2右侧示出了最终的识别结果。下面详细介绍障碍物识别过程。
[0038]
在图2所示场景中，车辆21行驶在车道20之上，车辆21左侧的障碍物包括柱子24和静止车辆25，车辆21右侧有两个停车位22，每个停车位22的区域内还包括一个停车阻拦块23。
[0039]
在车辆21的车身周围可设置一个或多个多个摄像装置，基于摄像装置可以获取车辆21周围的图像数据。在一些实施例中，用于获取图像数据的摄像装置可以是鱼眼相机，鱼
眼相机具有盲区小的特征，从而可以尽可能多地获取车辆周围的信息，应当理解的是：也可以采用其它类型的合适的相机，例如但不限于普通相机、广角相机、宽视野相机等而不违背本技术的精神。
[0040]
在一些实施例中，通过多个鱼眼相机获取车辆周围的多个图像，并将多个图像通过时间对准处理为俯视图。对于车辆的自动驾驶而言，俯视图可以比较全面地反映出车辆周围的整体环境信息。
[0041]
在一些实施例中，生成俯视图的流程包括：(1)利用相机的畸变参数进行去畸变处理；(2)透视变换至相机坐标系进而转换至图像坐标系；(3)图像拼接，融合亮度平衡。这三个处理过程的具体说明如下：
[0042]
(1)相机的畸变是由于透镜特殊形状的导致的径向畸变。实践中，常常用r＝0处的泰勒级数展开的前几项来近似描述径向畸变。矫正径向畸变前后的坐标表示为：
[0043]
x
rcorr
＝x
p
(1 k1r2 k2r4 k3r6)
[0044]yrcorr
＝y
p
(1 k1r2 k2r4 k3r6)
[0045]
(2)俯视图的生成包括：对俯视图中每一个像素，根据物理尺寸与像素的比例，转换为对应的世界坐标系在地面上的点的坐标。对于该世界坐标系中的坐标，在俯视图的生成中，首先决定使用哪个相机的图像，然后使用空间坐标系转换的公式求得该点在相机坐标系中的坐标，再通过制定相机的内参外参模型来求得该点在图像坐标系和像素坐标系中的坐标。
[0046]
(3)对多个视角的图像进行拼接时，拼接后的图像的不同部分容易存在亮度和色彩差异，而拼接处的图像也容易有明显的拼缝(不同相机在同一区域成像的色差所导致)。为了解决这一问题，使用拼接处两侧相机的重叠区域的像素值，在生成俯视图的过程中，对存有亮度差异的图像部分，通过gamma矫正进行亮度平衡处理，并将图像转换为yuv格式，计算重叠区域的图像的亮度，并将其适配到整体俯视图的y通道上。而对存有拼缝的图像部分，可以通过图像的透明混合(alpha blending)来处理。在一种实现方式中，对任意两张图像可以合成为一张图像，合成图像的像素取值可以根据以下公式(一)得到。
[0047]
i＝(1-a)
×
i1 a
×
i2ꢀꢀ
公式(一)
[0048]
其中a表示混合透明度，其取值范围在[0,1]之间。在重叠区域里a的取值从一张图到另一张图从0逐渐过渡到1。在图像的拼缝处，a的值，例如可以为0.5。
[0049]
经过上述步骤(1)，(2)，(3)，即可通过车辆周围的摄像装置获取车辆周围环境的俯视图，如图2中左侧部分所示意。
[0050]
在上述的俯视图生成的过程中，有一个假设：即所有的像素点(包括障碍物的像素点)都具有相同高度，例如，都是来自于地面。然而，障碍物的点有可能具有不同高度的，在对不同高度的物体从三维转换为二维的过程中，会产生比较明显的形变并且这种形变根据观测角度的不同(即鱼眼相机的位置不同)和障碍物的高度不同而不同，障碍物越高，其发生的形变就越大，因此在不同的图像帧中的视差就越明显。参见图2中柱子24，由于其自身高度较高，因而在俯视图中具有较大的形变，而图2中的停车阻拦块23由于其高度较低(一般而言其高度在10-20cm左右)，所以其在俯视图中基本没有发生形变。本技术技术方案利用了视差信息作为神经网络26的一部分输入，从而使得神经网络可以更好地识别出障碍物。
[0051]
神经网络26可以采用编码器-解码器(encoder-decoder)架构，例如，编码器和解码器，所述编码器用于使用池化层对数据进行降维。解码器用于使用反卷积层对数据进行升维。所述编码器用于识别障碍物的纹理特征，而所述解码器用于更好地恢复障碍物的细节。虽然在一些实施例中使用了编码器-解码器架构，但是本技术方案的神经网络并不限于该架构。可以基于实际情况，选取任何其它合适的神经网络(例如包括但不限于:采用卷积-池化-全连接架构)而不违背本技术的精神。
[0052]
在传统的神经网络对图像的识别过程中，通常采用图像帧中的物体的纹理特征来进行物体识别(语义分割)。然而如上所述，俯视图不同帧中的物体视差信息可以作为障碍物的表征特征。在本技术中，神经网络的输入并不仅仅限于单帧的图像，还包括时间上有关联的多帧图像，例如图2中所示出的相邻的t和t 1两帧图像，这两帧图像在时间上相邻，神经网络通过时间上相邻的图像中的障碍物视差信息，结合传统的基于纹理识别障碍物的方法，来识别出障碍物信息。引入视差信息所带来的好处在于：可以更好地把训练好的模型泛化到模型训练集没有的场景。由于训练数据集很难包括所有可能的障碍物的外形，所以基于纹理特征学习的神经网络会有难泛化的问题。而视差引起的形变是物理普遍规律，学习视差信息判断障碍物可以使得神经网络模型有更好的泛化能力，即可以基于少量的训练数据而应用于多种不同的场景。应当理解的是：虽然在上述实施例中以基于时间上相邻的图像对来进行障碍物识别进行说明，在另一些实现方式中，也可以基于实际情况使用时间上具有一定相邻间隔帧的图像对来进行障碍物识别，例如，可以选用t时刻和t 2时刻(间隔一帧)或t时刻和t 3时刻(间隔两帧)的图像对来进行障碍物识别。在车辆速度较高的时候，可以选择时间帧上最近邻的图像来进行输入，因为车速高的时候，较短的时间间隔内的物体视差即可比较明显；另一方面，而在车辆速度较低的时候，可以选择时间帧上间隔2帧或者3帧或者更多的图像来进行输入。
[0053]
在一些实施例中，使用神经网络26对图像帧进行语义分割，即将图像帧中的障碍物进行识别和分类，例如，可以将图像区域分成三种：
[0054]
(1)自由行驶区域(freespace)，例如道路20就属于自由行驶区域，在自由行驶区域车辆可以自由行驶；
[0055]
(2)高障碍物区域(high obstacle)，例如柱子24就属于高障碍物区域，该区域车辆无法行驶；
[0056]
(3)低障碍物区域(low obstacle)，例如停车阻拦块23就属于低障碍物区域，一般情况下车辆不在低障碍物区域行驶，但是特殊情况下车辆也可以在低障碍物区域行驶，例如：车辆可以通过(轧过)停车阻拦块23。
[0057]
应当理解的是：上述的语义分割的分类是基于实施例的示例性的，技术人员可以依据实际需求采用合适的语义分割种类而不会违背本技术的精神。
[0058]
在一些实施例中，基于神经网络的输出的障碍物的语义分割种类可以得到障碍物概率分布图，用以表示车辆不可行驶区域或车辆可行驶区域。在另一些实施例中，可以用概率栅格地图来表示车辆不可行驶区域或车辆可行驶区域。以图2为例，图2的右侧示出了实施例中的概率栅格地图，其中每个栅格点都有自己的概率值，每个栅格点的概率值表示该栅格点是障碍物(即车辆不可通行)的几率。例如：图2中的区域28和29的虚线所示区域表示经过神经网络识别的高障碍物区域(车辆和柱子)，该区域对于自车21而言是不可行驶的，
图2中的区域28和29中的栅格点的概率值可以设置为一；图2中的区域27所示区域表示经过神经网络识别的低障碍物区域(停车阻拦块)，该区域对于自车21而言有一定几率可以行驶，因此区域27中的栅格点的概率值可以依据需求设定为0-1中的一个数字；而图2中的道路区域21被识别为自由行驶区域，道路区域的栅格点概率值可以设为零。在另外一些实施例中，也可以和上述实施例中的概率值设置相反，即将概率值表示车辆可通行的几率。
[0059]
在一些实施例中，在以概率值表示车辆不可通行的情况下，如果需要确保高度安全性，可以将概率不为零的栅格点都设定为车辆不可通行区域。此种情况下，概率栅格地图中有可通行区域和不可通行区域两种区域。
[0060]
在道路或者行驶区域上，由于小的障碍物(例如交通锥、轮胎等)占有面积/体积较小，在对神经网络训练的过程中，即使发生判断错误，所导致的损失函数的代价值也很小，导致神经网络对小的障碍物的识别敏感度较低，并进而导致小的障碍物可能难以被识别出来。对于车辆驾驶者或者自动驾驶辅助系统而言，相较于大的障碍物，意识/识别较小的障碍物会相对困难，因此，较小的障碍物反而更加容易引起和车辆的碰撞。为了解决这一问题，在一些实施例中，在对神经网络26的训练过程中，相对于大障碍物而言，对于小障碍物在损失函数中给予更高的权重，在一些实施例中，可以采用公式(二)来进行损失函数的调整：
[0061][0062]
其中：a为调整参数，在一些实施例中，a可以为8至12中的一个选取值，a可以为整数，例如10，也可以为小数，例如9.5。
[0063]
loss
segmentation
和loss
small_obstacle
可以为机器学习领域习知的函数，例如(但不限于)sigmoid，l1-loss，l2-loss等。loss
segmentation
是对图像进行了语义分割后，对于不同的分割区域(例如上述的自由行驶区、高障碍物区或者低障碍区)的像素进行计算时所采用的损失函数，loss
small_obstacle
是对图像中所出现的小障碍像素进行计算时所采用的损失函数，通过结合loss
segmentation
和loss
small_obstacle
，可以在小障碍出现时使得整体的损失函数loss较大(高于没有小障碍出现时的损失函数)，从而在本技术实施例中，使得神经网络有较高的可能性识别出小障碍。
[0064]
在一些实施例中，小障碍物包括但不限于例如锥形筒，轮档，车位锁等常见的路面上的物体；从图像角度来看，如果在俯视图上物体的像素小于300个像素点，也可以认为是小障碍物。
[0065]
通过上述调整，可以使得本技术中的经过训练的神经网络26对于较小的障碍物有更好的识别能力。
[0066]
在数据采集过程中，很少会出现近距离的障碍物或是障碍物与车辆发生直接碰撞的场景。因此，在目前的图像训练样本中，几乎没有障碍物出现在车身近距离的范围内。从而造成车辆近距离周边区域障碍物(图像)训练样本的缺少，这种缺少使得神经网络往往会过拟合地输出车周边区域为可行驶区域，即使在车周边事实上存在障碍物的情况下也是如此。
[0067]
为了解决数据分布不平衡(即缺少车辆近距离周边区域内的障碍物训练样本)引起的训练问题，在一些实施例中，引入障碍物贴图法的方法来进行数据增强，从而提高近处障碍物的检出率。
[0068]
图3示出了障碍物贴图法的示意图，自车31周围环境包括由虚线范围32所示意的实际障碍物，可以在将图像送入神经网络进行学习之前“贴”上一个障碍物33，该障碍物33并不是实际场景中存在的障碍物，而是虚拟地“粘贴”入该图像中，并将贴图后的图像送入神经网络对神经网络进行训练，从而在实际场景中缺乏近距离障碍物的情况下可以对神经网络进行较好的训练，并因此使得神经网络不会发生过拟合现象。
[0069]
在一些实施例中，障碍物将随机地被贴在车身周边的区域范围中，障碍物的旋转角度会根据落在哪个相机的视角范围内发生变化，从而避免不真实的图像。在一些实施例中，可以随机选取障碍物的种类，例如但不限于路障、推车，动物、行人等。
[0070]
图4-5示出了实施例给出的使用雷达进行障碍物识别的示意图，在一些实施例中，可以使用超声雷达，超声雷达可以设置在车辆21的周围，一般为6-12个，其中可以包括长距雷达和短距雷达。
[0071]
图4示出了基于两个超声雷达进行障碍物识别的示意图，驱动超声雷达s2发射信号，超声信号经过障碍物41反射后被s1和s2接收，根据回波时间tof(time of flight)的不同，可以定位出该障碍物41与超声雷达s1和s2的相对位置，并进而可以通过三角定位法求出该障碍物的中心相对于车辆参考坐标系的坐标值。具体的计算过程可以参考下面介绍：
[0072]
若s2发波，s1与s2收到有效回波，则障碍物41与s2、s1的距离由下面公式(三)给出：
[0073][0074]
其中tof1、tof2分别表示超声雷达s1，s2所获取的回波时间，v
uss
表示在常温下声波在空气中的传播速度。
[0075]
据此，可以基于下面公式(四)计算出障碍物41的中心在车辆参考坐标系中的具体坐标值(x
obj
，y
obj
)：
[0076][0077]
其中(x1，y1)、(x2，y2)分别为超声雷达s1，s2相对于车辆参考坐标系中的坐标值。
[0078]
在一些实施例中，如图5所示意，可以通过单个超声雷达发送超声波并收取回波信号，获取回波信号的回波宽度和回波时间，根据回波宽度和回波时间，可以获得障碍物的几何形状，在一些实施例中，为了方便起见，可以将障碍物抽象定义为二维平面上的半径为r的圆，圆心的坐标为上述经过两个超声雷达所识别的障碍物的中心点，圆的半径r可以通过下述公式(五)进行确定：
[0079][0080]
其中：echo1表示回波宽度，d1表示最短回波距离，d2表示最长回波距离。因为障碍物具有具体几何尺寸，超声波被障碍物的不同部分反射，从而具有最短回波距离d1和最长回波距离d2。
[0081]
应当理解的是：在本实施例中，为了方便起见而将障碍物抽象定义为半径为r的圆，技术人员也可以将障碍物抽象定义为其它的合适几何形状，例如长方形、多边形等。
[0082]
在一些实施例中，将识别出的障碍物的几何圆作线性概率分布，具体而言：确定圆心为障碍物中心在车辆参考坐标系中的坐标值，在圆心处，障碍物的概率为100％，随着圆心径向向外延伸至圆周处，概率线性地减少。即：圆的径向r/2周处的障碍物概率可以为50％，而圆周r处的障碍物的概率为0。应当理解的是，概率的线性分布是基于一些实施例的可选方式，技术人员可以依据实际情况而选择其它合适的概率衰减函数(例如：e指数衰减)而不违背本技术的精神。
[0083]
在一些实施例中，采用栅格地图来实现上述的障碍物概率分布，图5右侧示出了示例图，障碍物51经过超声雷达识别后呈现为概率分布图52，在圆心处的概率最高颜色最深，在圆周处的概率最低颜色最浅。
[0084]
在一些实施例中，还可以使用例如激光雷达或者毫米波雷达来实现上述过程，将上述计算过程中的的声速改变成光速即可。
[0085]
在一些实施例中，可以利用融合权重函数w来融合基于鱼眼相机和超声雷达所获得的障碍物的概率分布，以得到概率栅格地图。例如，可以参照下述公式(六)的融合权重函数进行融合处理。在公式(六)中融合权重函数w可以是距离d的函数，d代表目标栅格点(障碍物)距离车体的距离；
[0086][0087]
其中d
max
表示超声波所能探测的边界距离。
[0088]
融合的目标栅格点的概率值由下面公式(七)给出：
[0089]
p＝w
·
p
ipm
(1-w)
·
p
uss
ꢀꢀ
公式(七)
[0090]
其中：p
ipm
表示基于鱼眼相机所获得的目标栅格点的障碍物概率分布；p
uss
表示基于超声雷达所得的的目标栅格点的障碍物概率分布。
[0091]
基于上述公式(六)，可以看出：如果障碍物距离车辆的距离d超过了超声雷达所能探测的距离边界，则w＝1。当w＝1，在上述公式(七)中(1-w)*p
uss
项为0，这表明在此情况下超声雷达无法有效地检测到障碍物，车辆将基于鱼眼相机来获得障碍物的概率分布。
[0092]
基于上述公式(六)，还可以看出，在d和d
max
比较而言较小(例如小于0.2)的情况下，公式(七)中超声雷达的权重将占比较大，这可以解决在障碍物距离车辆较近的情况下，由于鱼眼相机的视觉盲区所导致视觉识别效果不佳的问题。
[0093]
应当理解的是，上述的融合权重函数和融合公式仅是基于实施例的一种实现举例，技术人员可以依据实际情况来选择任何其它合适的融合权重函数的形式和融合公式而不违背本技术的精神。
[0094]
应当理解的是，除了上述的鱼眼相机和超声雷达之外，技术人员可以依据情况合理选取其它装置，例如高精度相机、广角相机、激光雷达、毫米波雷达等来实现上述技术过程而不背离本技术精神。
[0095]
经过上述融合后的二维栅格点构成了以概率表示的概率栅格地图，其中某个栅格点障碍物存在的概率从0％至100％分布，依据栅格点概率的不同，车辆可以决定哪些区域
可以自由行驶，哪些区域不可以行驶，哪些区域在一定情况下可以行驶。在一些实施例中，生成的概率栅格地图可以被显示在车辆的座舱显示屏上以供驾驶者参考。
[0096]
通过上述描述可以看出，本技术实施例所提供的技术方案，结合了基于摄像装置和雷达这两种传感器所获取的障碍物概率分布，并将它们进行结合，从而使得使用了本技术技术方案的自动驾驶车辆不仅可以全面地获取车辆周围的障碍物信息，同时也避免了由于单一传感器的盲区或测量极限所导致的信息缺失。并且，本技术实施例所提供技术方案中，在使用神经网络的训练过程和对图像信息的处理过程中，使用了障碍物贴图法、小障碍物损失函数权重增强、引入了连续图像帧之间的视差信息等技术手段，从而使得本技术技术方案中的神经网络基于图像信息可以更加准确地识别车辆周围的障碍物信息。
[0097]
图6示出了一些实施例中基于鱼眼相机和超声雷达结合的对于障碍物的识别过程，类似于图2中的场景(在图6中略去了多帧图像的过程)，其中：64代表柱子，65代表静止车辆，车辆61行驶在道路60上，在车辆61右侧有两个停车位62，每个停车位62还包括了一个阻拦块63。在图6右侧的概率栅格图上，68和69表示高障碍物区域(分别对应于图6左侧的柱子64和静止车辆65)，67表示低障碍物区域(对应于图6左侧的阻拦块23)。和图2场景的不同在于：在道路60上出现了一个较低的并且离车较近的障碍物a(例如但不限于是一个扫地机器人)。由于相机具有盲区，并且扫地机器人的高度可能很低。如果仅仅依据鱼眼相机进行车辆周围环境识别，则很可能漏掉/无法识别障碍物a。在本实施例中，结合了超声雷达，超声雷达可以经过上述各实施例的定位和尺寸识别获取障碍物a的位置和几何形状，并将其定义为半径为r的圆形的障碍物概率分布，将基于超声雷达识别的障碍物概率分布信息和基于鱼眼相机识别的障碍物概率分布信息结合，可以得到例如图6右侧所示的概率栅格地图，其中示出了障碍物a的概率分布。在一些实施例中，概率栅格地图进一步地可以被传输给车辆的自动驾驶辅助系统(advanced driving assistance system:简称adas)，从而adas系统基于获取的概率栅格地图可以“知道”：在右前方的道路区域上有一个障碍物，并因此在进行路径规划的时候可以合理地进行避让。在另一些实施例中，如果是人类驾驶员在驾驶车辆，概率栅格地图也可以被显示在车辆的驾驶座舱的显示屏上，以提示驾驶员右前方道路区域上的有一个障碍物，应当进行合理避让。
[0098]
在上述各种实施例中，摄像装置和雷达均设置在同一车辆上，在另外一些实施例中，摄像装置和雷达也可以分别设置在不同的车辆上，例如：在车辆a上设置有摄像装置，在车辆b上设置有雷达，车辆a和b之间通过通信网络互相通信并传递/交换各自或获得的信息。这样，即使车辆a或b上仅设置有一种传感器，它也可以在一定条件下获得两种传感器的信息，并进一步地依据本技术实施例所披露的技术方案获取车辆周围的障碍物信息。
[0099]
在另外一些实施例中，在车路协同的场景中，也可以将摄像装置和/或雷达设置在道路上，或者道路周围的装置上。例如可以设置在道路周围的电线杆或监控装置上，又例如可以将摄像装置和/或设置在路侧的灯柱，测速杆，通信基站塔等装置上，摄像装置和/或雷达可以通过例如v2x(vehicle to everything)和车辆进行通信并将获取的信息传输给车辆。基于车路协同，车辆可以仅设置有一种传感器(例如只装备摄像装置)也可以在一定条件下获得两种传感器的信息，并进一步地依据本技术实施例所披露的技术方案获取车辆周围的障碍物信息。
[0100]
图7示出了基于一些实施例的计算机可读存储介质71，计算机可读存储介质71存
储有指令集73，指令集73可以包括上述各种实施例所述的神经网络、利用雷达数据进行障碍物位置和概率计算、以及融合将基于摄像装置获取的障碍物概率分布和基于雷达所获取的障碍物概率分布进行融合的逻辑。计算机可度存储介质71配置为可以和处理器72通信连接，处理器72可以和摄像装置74以及雷达75通信连接(图7中虚线示出)，处理器72在获取了摄像装置74和雷达75的数据后，可以基于计算机可读存储介质71所存储的指令集对数据进行处理以实现上述各实施例的技术方案。处理器72可以包括例如但不限于中央处理器(cpu：central process unit)、图像处理器(gpu：graphic process unit)，现场可编程门阵列(fpga：field programmable gate array)、片上系统(soc：sysem on chip)、专用集成芯片(asic：application specific integrated circuit)或它们的组合。
[0101]
图8示出了基于一些实施例的自动驾驶辅助系统800，所述系统800包括：摄像装置81、雷达82、处理器83。摄像装置81可以是例如但不限于如上述各种实施例所记载的鱼眼相机、广角相机、宽视野相机等；雷达82可以是例如但不限于如上述各种实施例所记载的超声雷达、激光雷达、毫米波雷达等，处理器83可以处理器72可以包括例如但不限于中央处理器(cpu：central process unit)、图像处理器(gpu：graphic process unit)，现场可编程门阵列(fpga：field programmable gate array)、片上系统(soc：sysem on chip)、专用集成芯片(asic：application specific integrated circuit)或它们的组合。所述处理器83配置为实现上述实施例中所述的车辆可行驶区域的检测方法。例如，使用神经网络对所述图像数据进行语义分割处理以得到障碍物类型和障碍物第一概率分布；依据所述回波时间和所述回波宽度确定障碍物中心坐标值和障碍物第二概率分布；融合所述障碍物第一概率分布和所述障碍物第二概率分布获得以概率表示的车辆可行驶区域，所述概率表示车辆不可通行的几率。车辆可行驶区域或者车辆不可通行的几率可以使用概率栅格地图的形式表示。所述自动驾驶辅助系统800还可以包括例如但不限于如图7所示的计算机可读存储介质84。所述计算机可读存储介质84存储有指令集，指令集包括用以实现以下一项或多项功能所需的指令：上述各种实施例所述的神经网络、利用雷达数据进行障碍物位置和概率计算、以及融合将基于摄像装置获取的障碍物概率分布、或基于雷达所获取的障碍物概率分布进行融合。所述摄像装置81、所述雷达82和所述处理器83可以和所述存储介质84通信连接。通过上述设置，所述自动驾驶辅助系统800可以实现上述各实施例所描述的技术方案。应当理解的是，在一些实施例中，所述自动驾驶辅助系统800还可以包括其它一个或多个功能模块/装置85(如图8中虚线所示意)，例如功能模块85可以为显示装置，显示装置可以显示概率栅格地图。在一些实施例中，所述自动驾驶辅助系统800可以设置在例如图1所示的所述具有自动驾驶功能的车辆100上。
[0102]
在另外一些实施例中，还提供一种机器人，其可以包括本技术实施例所提供的自动驾驶辅助系统，即机器人上可以设置有摄像装置和雷达，并可以基于本技术实施例所描述的技术方案来获得周围的障碍物信息，并依据获得的障碍物信息对机器人的路线做出合理的规划。
[0103]
本技术各种实施例提供了一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆。在本技术技术方案中，通过使用多种传感器，并融合基于多种传感器所获得的障碍物概率信息以获得概率栅格地图，从而可以更加准确地识别车辆周围的可行驶区域；另一方面，本技术利用了障碍物视差信息、障碍物贴图法等方式，使得本技术的技术方
案可以具有较高的可泛化性，广泛适用于多种场景，并且不依赖于训练数据，因此本技术技术方案具有鲁棒性。综上：本技术技术方案可以广泛地适用于不同等级的自动驾驶方案、系统、车辆。
[0104]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0105]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0106]
在本技术所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑业务划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0107]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0108]
另外，在本技术各个实施例中的各业务单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件业务单元的形式实现。
[0109]
集成的单元如果以软件业务单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、硬盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、高速缓存存储器、电可编程rom(eprom)存储器，电可擦除可编程rom(eeprom)存储器、寄存器、快闪存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0110]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本技术所描述的业务可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些业务存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0111]
以上的具体实施方式，对本技术的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本技术的具体实施方式而已。
[0112]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。