基于双目相机的空间可行驶区域地图构建方法及装置与流程

1.本发明涉及辅助驾驶技术领域，尤其涉及一种基于双目相机的空间可行驶区域地图构建方法及装置。


背景技术：

2.在智能车辆领域中，智能系统通过感知并分析周围的环境信息从而估计自己的运动，以实现在未知环境下的精准定位。作为智能汽车的基础，同时也是自动驾驶技术的四大核心技术之一（环境感知、精确定位、路径规划和线控执行），环境感知技术利用传感器获取道路、车辆位置和障碍物的信息，并将这些信息传递给车载控制中心，为智能汽车提供做决策的依据，在自动驾驶系统中充当“眼睛”的角色，也是实现自动驾驶最关键的环节。
3.在对拍摄到的原始图像进行处理时，常会用到鸟瞰图，鸟瞰图（bev，bird’s eye view）是自动驾驶、控制导航等领域较为常见的应用，其原理上是将三维世界(x，y，z)投影在一个二维平面(x，y)上，投影方向一般为垂直地面指向下方。在传统bev中，可以获取bev平面上障碍物信息，包括位置坐标、x方向上的长度、y方向的长度等信息。但是，由于投影原理，bev数据中丢失了高度方向的信息，因此，在传统bev的应用中，都会隐含“障碍物必须含有接地点”的假设，会导致高度方向上的信息数据丢失。


技术实现要素：

4.本发明提供一种基于双目相机的空间可行驶区域地图构建方法及装置，以至少解决现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
5.第一方面，本发明提供一种基于双目相机的空间可行驶区域地图构建方法，所述方法包括：通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构；基于所述3d-bev数据结构，构建可行驶区域动态栅格地图。
6.进一步地，基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括：将所述三维空间体素数据结构划分为多个三维空间体素单元；基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
7.进一步地，基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云
进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息，具体包括：在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
8.进一步地，基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构，具体包括：记录有效三维空间体素单元的数量；记录连续三维空间体素单元的起止位置，沿z轴正方向，第一个有效三维空间体素单元为起点，连续的最后一个有效三维空间体素单元为终点；将起止位置的三维空间体素单元的数据结构同步到鸟瞰图的栅格数据结构，以得到3d-bev数据结构。
9.进一步地，基于所述3d-bev数据结构，构建可行驶区域动态栅格地图，具体包括：判定所述目标区域的障碍物类型，并基于行驶状态构建所述可行驶区域动态栅格地图。
10.进一步地，所述障碍物类型包括无障碍物状态、有地面障碍物状态和有限高障碍物状态。
11.第二方面，本发明还提供一种基于双目相机的空间可行驶区域地图构建装置，所述装置包括：点云生成单元，用于通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；三维空间体素构建单元，用于基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；数据结构构建单元，用于基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构；地图生成单元，用于基于所述3d-bev数据结构，构建可行驶区域动态栅格地图。
12.第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述方法的步骤。
13.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
14.第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述方法的步骤。
15.本发明提供的基于双目相机的空间可行驶区域地图构建方法，通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点
云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构；基于所述3d-bev数据结构，构建可行驶区域动态栅格地图。
16.本发明所提供的方法中构造的三维鸟瞰图(3d-bev)，不仅继承了传统bev数据量小、结构信息保存完整的特点，而且创造性的补充了高度信息，并在维持较少数据量表征的基础上，进一步完善了空间结构信息。3d-bev进一步丰富了传统bev的数据内容，扩充了传统bev的适用场景，克服了由于投影原理导致的信息数据丢失等问题。解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明所提供的空间可行驶区域地图构建方法一种具体实施方式的流程图之一；图2为视差数据生成视差点云数据结构的示意图；图3为将视差点云数据在三维空间体素数据结构中映射统计的示意图；图4为基于三维空间体素数据结构构造3d-bev的示意图；图5为地面障碍物在3d-bev数据结构下的动态栅格示意图；图6为限高障碍物在3d-bev数据结构下的动态栅格示意图；图7为本发明所提供的空间可行驶区域地图构建方法一种具体实施方式的流程图之二；图8为本发明所提供的空间可行驶区域地图构建装置一种具体实施方式的结构框图；图9为本发明提供的电子设备的结构示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，本发明提供了一种空间可行驶区域地图构建方法，以便在鸟瞰图中融合进高度参数，避免数据丢失，提高了空间可行驶区域地图构建的准确性。
21.请参考图1，图1为本发明所提供的空间可行驶区域地图构建方法一种具体实施方式的流程图之一。
22.在一种具体实施方式中，本发明提供的基于双目相机的空间可行驶区域地图构建方法包括以下步骤：s101：通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据。
23.也就是说，首先利用双目相机的视差数据，生成视差点云数据结构，由视差数据生成三维点云数据的过程是本领域内的基本操作，这里不再赘述，以下对视差点云数据结构进行定义与说明。如图2所示，双目相机输出的视差数据d是与图像分辨率一致的二维数组，其内存储的数据即为双目视差。基于双目视差数据，可以计算得到该像素位置在视差值为d时，对应的三维空间点云的坐标。构建尺寸为的三维数组，r
×
c的维度上分别对应像素位置，三通道分别赋值为x/y/z坐标。
24.s102：基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系。三维空间体素数据结构的坐标轴如图3所示，x轴与双目相机基线（baseline）平行，y轴与相机光轴平行，z轴竖直向上，即满足笛卡尔坐标系。
25.s103：基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构；在鸟瞰图视角下构建栅格地图，该栅格地图的尺度应与三维空间体素的尺度保持一致，或者是三维空间体素的整数倍，该实施例中以x方向w、y方向d为例进行说明。
26.具体地，步骤s103具体包括以下步骤：记录有效三维空间体素单元的数量；记录连续三维空间体素单元的起止位置，沿z轴正方向，第一个有效三维空间体素单元为起点，连续的最后一个有效三维空间体素单元为终点；将起止位置的三维空间体素单元的数据结构同步到鸟瞰图的栅格数据结构，以得到3d-bev数据结构。
27.也就是说，在鸟瞰图中，对栅格位置对应的全部三维空间体素进行映射统计，映射统计的方法如下。第一步，记录有效三维空间体素的数量；第二步，并记录连续三维空间体素的起止位置，沿z轴正方向，第一个有效三维空间体素为起点，连续的最后一个有效三维空间体素为终点。第三步，将起止位置的三维空间体素数据结构同步到鸟瞰图的栅格数据结构。
28.如图4所示，在鸟瞰图的每一个二维栅格中记录数组（start，end，num），其中start是连续三维体素的起始点，end是连续三维体素的终止点，num是连续三维体素的数量。
29.s104：基于所述3d-bev数据结构，构建可行驶区域动态栅格地图。具体地，判定所述目标区域的障碍物类型，并基于行驶状态构建所述可行驶区域动态栅格地图。
30.其中，所述障碍物类型包括无障碍物状态、有地面障碍物状态和有限高障碍物状态。
31.当3d-bev用于三维可行驶区域路径规划的时候，通畅需要提前获取以下信息：车身宽度、车身长度、车身高度，底盘最大可通行高度。基于这三个信息，一般对三维空间体素进行划分时，令x方向尺度，y方向尺度，z方
向尺度，其中是一个较小的安全阈值；这样做的目的是，使得每一个空间三维体素都等于车辆本身的最小外接立体矩形的。
32.同理，则在3d-bev的数据结构中，x方向尺度w和y方向尺度d也保证与三维空间体素的尺度相等，或是其整倍数。将3d-bev划分为三种状态：（1）无障碍物；（2）有地面障碍物；（3）有限高障碍物。依据这三种状态可以构建可通行区域动态栅格地图。
33.这三种状态的划分规则如下：（1）无障碍物。3d-bev数据中num≤1，start=end=0；表示当前3d-bev对应的三维空间中，有且仅有地面区域，则当前3d-bev是可通行状态。
34.（2）有地面障碍物。3d-bev数据中num≥1，start=0，end》start；表示当前3d-bev对应的三维空间中，存在地面上的障碍物，障碍物的高度轴尺度。若地面障碍物高度《底盘最大可通行高度，则当前3d-bev的是可以通行的，否则为不可通行状态。如图5所示，当地面障碍物可通过时，根据3d-bev数据判定对应的动态栅格为有地面障碍物，但可通行状态，标签为2，浅色背景；当地面障碍物不可通过时，根据3d-bev数据判定对应的动态栅格为有地面障碍物，不可通行状态，标签为2，深色背景；其他动态栅格表示为无障碍物可通行状态。
35.（3）有限高障碍物。3d-bev数据中num≥1，start＞0，end≥start；表示当前3d-bev对应的三维空间中，存在空间障碍物，障碍物的高度轴尺度，障碍物距离地面的高度轴尺度。若空间障碍物到地面的高度》车身高度，则当前3d-bev是可以通行的，否则为不可通行状态。如图6所示，当限高障碍物可通过时，根据3d-bev数据判定对应的动态栅格为有限高障碍物，但可通行状态，标签为3，浅色背景，；当限高障碍物不可通过时，根据3d-bev数据判定对应的动态栅格为有限高障碍物，不可通行状态，标签为3，深色背景；其他动态栅格表示为无障碍物可通行状态。
36.在一些实施例中，为了降低点云数据中的噪声数据的比例，从而进一步提高数据处理的准确性，如图7所示，基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括以下步骤：s701：将所述三维空间体素数据结构划分为多个三维空间体素单元；s702：基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
37.具体地，在上述步骤s702中，进一步包括以下步骤：在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
38.具体地，在构建点云数据与图像信息的三维空间分布，并建立三维空间体素数据结构时，构建三维空间体素数据结构（体素单元的尺度可以根据实际问题进行设置，为方便
下文论述，此处认为x轴方向尺度为w，y轴方向尺度为d，z轴方向尺度为h），划分三维空间体素单元。
39.基于前述三维点云数据，对三维空间体素进行映射统计，映射统计的方法如下。第一步，根据三维点云的坐标，判断该点云属于哪一个三维空间体素，将该点云信息归置为所属空间体素。第二步，当全部的空间点云都归属完毕后，对三维空间体素中点云数量进行数据统计，并计算三维空间体素中全部点云坐标的平均值。第三步，对三维空间体素进行基于点云密度的滤波，滤除点云数量少于一定阈值的三维空间体素内的数据信息，这样做的目的是，进一步降低噪声数据的比例。
40.在上述具体实施方式中，本发明提供的基于双目相机的空间可行驶区域地图构建方法，通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构；基于所述3d-bev数据结构，构建可行驶区域动态栅格地图。
41.本发明所提供的方法中构造的三维鸟瞰图(3d-bev)，不仅继承了传统bev数据量小、结构信息保存完整的特点，而且创造性的补充了高度信息，并在维持较少数据量表征的基础上，进一步完善了空间结构信息。3d-bev进一步丰富了传统bev的数据内容，扩充了传统bev的适用场景，克服了由于投影原理导致的信息数据丢失等问题。解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
42.除了上述方法，本发明还提供一种基于双目相机的空间可行驶区域地图构建装置，如图8所示，所述装置包括：点云生成单元801，用于通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；三维空间体素构建单元802，用于基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；数据结构构建单元803，用于基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构；地图生成单元804，用于基于所述3d-bev数据结构，构建可行驶区域动态栅格地图。
43.进一步地，基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，之后还包括：将所述三维空间体素数据结构划分为多个三维空间体素单元；基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
44.进一步地，基于所述视差点云数据，对映射在各所述三维空间体素单元内的点云进行映射统计，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息，具体包括：
在所述视差点云数据中，根据各三维点云的坐标，判断所述三维点云所属的三维空间体素单元，并将该三维点云的数据信息归置为所属的三维空间体素单元；当全部的三维点云都归属完毕后，对各三维空间体素单元中的点云数量进行数据统计，并计算各三维空间体素单元中全部点云坐标的平均值；对各三维空间体素单元进行基于点云密度的滤波，以滤除点云数量少于预设阈值的三维空间体素单元中的数据信息。
45.进一步地，基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构，具体包括：记录有效三维空间体素单元的数量；记录连续三维空间体素单元的起止位置，沿z轴正方向，第一个有效三维空间体素单元为起点，连续的最后一个有效三维空间体素单元为终点；将起止位置的三维空间体素单元的数据结构同步到鸟瞰图的栅格数据结构，以得到3d-bev数据结构。
46.进一步地，基于所述3d-bev数据结构，构建可行驶区域动态栅格地图，具体包括：判定所述目标区域的障碍物类型，并基于行驶状态构建所述可行驶区域动态栅格地图。
47.进一步地，所述障碍物类型包括无障碍物状态、有地面障碍物状态和有限高障碍物状态。
48.在上述具体实施方式中，本发明提供的基于双目相机的空间可行驶区域地图构建装置，通过双目相机获取目标区域的原始图像，并基于所述原始图像得到视差数据，根据所述视差数据生成视差点云数据；基于所述视差点云数据与所述原始图像的三维空间分布，构建三维空间体素数据结构，所述三维空间体素数据结构的坐标轴满足笛卡尔坐标系；基于所述三维空间体素数据结构进行鸟瞰图的视角投影，以构造3d-bev数据结构；基于所述3d-bev数据结构，构建可行驶区域动态栅格地图。
49.本发明所提供的装置中构造的三维鸟瞰图(3d-bev)，不仅继承了传统bev数据量小、结构信息保存完整的特点，而且创造性的补充了高度信息，并在维持较少数据量表征的基础上，进一步完善了空间结构信息。3d-bev进一步丰富了传统bev的数据内容，扩充了传统bev的适用场景，克服了由于投影原理导致的信息数据丢失等问题。解决了现有技术中在地图构建时，由于投影原理导致的信息数据丢失的技术问题，以提高空间可行驶区域地图构建的准确性。
50.图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器（processor）910、通信接口（communicationsinterface）920、存储器（memory）930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行上述方法。
51.此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施
例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
52.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法。
53.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法。
54.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
55.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
56.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。