一种基于三维目标检测的飞行汽车起飞着陆决策规划方法

1.本发明属于自动驾驶技术领域，尤其涉及一种基于三维目标检测的飞行汽车起飞着陆决策规划方法。


背景技术：

2.美国福特汽车创始人亨利
·
福特曾预言，飞机和汽车的结合体即将面世。随着城市交通拥堵日益严重，而以飞行汽车为代表的城市空中交通是新的解决方案。多家制造商将2025年前后定为重要的时间节点，飞行汽车将实现商业化。
3.随之产生两个问题：
4.1)如何在车水马龙的道路上，让具有初速度的飞行汽车从空中安全汇入车流中；
5.2)如何让具有初速度的飞行汽车从车水马龙的地面安全的起飞。
6.从空中汇入车流中的难度比从车流飞到空中难度大得多，起飞场是着陆场的简化形式。
7.为了解决上述问题，需要解决两个问题环境感知和路径规划：
8.普通的摄像头对于目标的检测只能分辨出目标类别，对于目标在三维空间的位置感知误差较大。激光雷达进行三维目标检测具有天然的距离优势，能够直接获取到各个点的位置信息，但其缺乏图像丰富的视觉信息。
9.不同类型的传感器各有优劣，单一传感器无法实现精确高效的检测.为此，将具有互补特性的多种传感器融合以增强感知能力，图像和点云融合的三维目标检测方法既能弥补图像的深度不足也能弥补点云缺乏视觉信息的不足。
10.目前的路径规划算法分为两大类，以a*算法为代表的全局路径规划的算法，和以人工势场法为例的局部避障算法。两种算法各有优劣，a*算法可以求得全局最优解从而避免无人机陷入局部最优解，但是a*算法需要提前获知整个地图的信息且算法随着地图的增大解算时间也会延长；而人工势场法可以快速针对障碍物位置信息做出响应，方法可靠性高，不依赖环境的先验信息和障碍物形状，不受障碍物的外形影响，但是会陷入局部最优；具体来说，人工势场法的基本原理，在飞行过程中生成虚拟的两个势力场：引力场、斥力场。然后，在两个势力场联合的作用下，根据各个势力场的模型不同产生不同的作用力，飞行汽车在这些力的作用下进行安全起飞、着陆。


技术实现要素：

11.本发明的目的在于克服现有技术缺陷，提出了一种基于三维目标检测的飞行汽车起飞着陆决策规划方法。
12.为了实现上述目的，本发明提出了一种基于三维目标检测的飞行汽车起飞着陆决策规划方法，基于部署在飞行汽车上的摄像头和激光雷达实现，所述方法包括：
13.步骤1)根据实时采集的图像和三维点云数据对指定道路进行环境感知，建立动态三维地图；
14.步骤2)当待决策规划的飞行汽车为飞行状态，转至步骤3)；当待决策规划的飞行汽车为行驶状态，转至步骤5)；
15.步骤3)根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取行驶汽车后某点或地面上某点建立引力场；
16.步骤4)由斥力场和引力场形成实时变化的合力场，驱动飞行汽车进行动态着陆，判断飞行汽车和目标位置间的距离是否满足安全距离，判断为是，控制飞行汽车着陆，并转至步骤7)；判断为否，控制飞行汽车上升，并转至步骤3)重新建立引力场；
17.步骤5)根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取空中安全位置建立引力场；
18.步骤6)由斥力场和引力场形成实时变化的合力场，驱动飞行汽车起飞，并转至步骤7)；
19.步骤7)决策规划结束。
20.作为上述方法的一种改进，所述步骤1)包括：
21.步骤1-1)将采集的图像经卷积神经网络处理，经过图像金字塔特征提取，得到与初始图像大小相同的图像特征图；
22.步骤1-2)将获取的三维点云和图像特征图经联合标定，得到在图像范围内的点云，并得到对应的图像特征；
23.步骤1-3)将融合的点云图像数据按照点云的分布进行体素网格化，得到体素化数据；
24.步骤1-4)对体素化数据进行筛选，去掉空的网格，将长宽高按秩序排列成一维，得到处理后的体素化数据，
25.步骤1-5)将处理后的体素化数据输入数据编码网络，得到特征图；
26.步骤1-6)将特征图通过单阶段的目标检测网络，得到指定道路三维目标的坐标及长宽高信息；
27.步骤1-7)根据检测到的每个三维目标的坐标及长宽高信息，建立动态三维地图。
28.作为上述方法的一种改进，所述步骤1-5)的数据编码网络包括：全连接层和voxelnet；所述数据编码网络的处理包括：
29.处理后的体素化数据包括若干个非空格子，每个格子包括若干个点，从每个格子提取出一个点表示这个格子，一个高度方向选出一个格子表示这个高度，得到l长、w宽的特征图大小，c为特征图特征数，通过升维扩充特征。
30.作为上述方法的一种改进，所述步骤3)包括：
31.步骤3-1)提取待决策规划飞行汽车的数据，经分析处理后建立斥力场；
32.作用在飞行汽车上的斥力场u
ri
(x)和斥力fr(x)满足下式：
[0033][0034]
其中，kr表示正比例系数，x表示待决策规划的飞行汽车位置，xi表示障碍物i的位置，ηi(x,xi)表示x与xi之间的距离，ηi(x,xi)表示x与xi之间的距离，η
0，i
表示第i个障碍物斥力场作用的最大距离；
[0035][0036]
其中，n表示障碍物总数，f
ri
(x)表示障碍物i的斥力，满足下式：
[0037][0038]
其中，表示ηi梯度；
[0039]
步骤3-2)结合待决策规划飞行汽车的前后方车辆情况，建立引力场；
[0040]
作用在飞行汽车上的引力场ua(x)和引力fa(x)满足下式：
[0041][0042][0043]
其中，ρ表示引力正比例系数，xg表示目标位置，η(x,xg)表示飞行汽车和目标位置的距离，表示η梯度。
[0044]
作为上述方法的一种改进，所述步骤4)判断飞行汽车和目标位置间的距离是否满足安全距离；包括：
[0045]
当前车和后车之间的距离大于等于安全距离时，满足安全距离，否则不满足安全距离。
[0046]
作为上述方法的一种改进，所述步骤5)包括：
[0047]
步骤5-1)提取行驶在单行路的汽车数据以及待决策规划的飞行汽车的飞行数据，经分析处理后建立斥力场；
[0048]
作用在飞行汽车上的斥力场u
ri
(x)和斥力fr(x)满足下式：
[0049][0050][0051][0052]
其中，kr表示正比例系数，x表示待决策规划的飞行汽车位置，xi表示障碍物i的位置，ηi(x,xi)表示x与xi之间的距离，ηi(x,xi)表示x与xi之间的距离，η
0，i
表示第i个障碍物斥力场作用的最大距离；
[0053]
步骤5-2)选取空中安全位置建立引力场；
[0054]
作用在飞行汽车上的引力场ua(x)和引力fa(x)满足下式：
[0055]
[0056][0057]
其中，ρ表示引力正比例系数，xg表示目标位置，η(x,xg)表示飞行汽车和目标位置的距离，表示η梯度。
[0058]
一种基于三维目标检测的飞行汽车起飞着陆决策规划系统，基于部署在飞行汽车上的摄像头和激光雷达实现，其特征在于，所述系统包括：动态三维地图构建模块、状态判断模块、飞行斥引力场建立模块、着陆控制模块、行驶斥引力场建立模块和起飞控制模块；
[0059]
所述动态三维地图构建模块，用于根据实时采集的图像和三维点云数据对指定道路进行环境感知，建立动态三维地图；
[0060]
所述状态判断模块，用于当待决策规划的飞行汽车为飞行状态，转至飞行斥引力场建立模块；当待决策规划的飞行汽车为行驶状态，转至行驶斥引力场建立模块；
[0061]
所述飞行斥引力场建立模块，用于根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取行驶汽车后某点或地面上某点建立引力场；
[0062]
所述着陆控制模块，用于由斥力场和引力场形成实时变化的合力场，驱动飞行汽车进行动态着陆，判断飞行汽车和目标位置间的距离是否满足安全距离，判断为是，控制飞行汽车着陆，决策规划结束；判断为否，控制飞行汽车上升，并转至飞行斥引力场建立模块重新建立引力场；
[0063]
所述行驶斥引力场建立模块，用于根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取空中安全位置建立引力场；
[0064]
所述起飞控制模块，用于由斥力场和引力场形成实时变化的合力场，驱动飞行汽车起飞，决策规划结束。
[0065]
与现有技术相比，本发明的优势在于：
[0066]
1、不同类型的传感器各有优劣，单一传感器无法实现精确高效的检测.本发明将具有互补特性的多种传感器融合以增强感知能力，图像和点云融合的三维目标检测方法既能弥补图像的深度不足也能弥补点云缺乏视觉信息的不足；
[0067]
2、根据图像和点云融合的三维目标检测方法提供的车辆坐标及车辆长宽高信息建立动态三维地图，空间中车辆的坐标及车辆长宽高信息实时体现在动态三维地图中；
[0068]
3、基于动态三维地图，建立引力场和斥力场，飞行汽车在实时变化的势场作用下进行着陆和起飞。
附图说明
[0069]
图1是本发明基于三维目标检测的飞行汽车起飞着陆决策规划方法着陆控制决策流程图；
[0070]
图2本发明基于三维目标检测的飞行汽车起飞着陆决策规划方法起飞控制决策流程图。
具体实施方式
[0071]
为解决上述问题，本发明提供一种基于三维目标检测的飞行汽车起飞着陆决策规划方法。利用三维目标检测的数据建立的动态三维地图，使飞行汽车在动态势场的作用下，让具有初速度的飞行汽车从空中安全汇入车流中，或者让具有初速度的飞行汽车从车流中
进行起飞。
[0072]
下面结合附图和实施例对本发明的技术方案进行详细的说明。
[0073]
实施例1
[0074]
本发明的实施例1提出了一种基于三维目标检测的飞行汽车起飞着陆决策规划方法。通过相机和激光雷达获取道路信息后，使得飞行汽车在城市中安全的从空中汇入到机动车道中。
[0075]
基于三维目标检测动态着陆场的方法主要包括以下步骤，
[0076]
如图1所示，动态着陆场具体实施步骤如下：
[0077]
步骤1：摄像头采集的图像经卷积神经网络处理，经过图像金字塔提取得到与初始图像大小相同的图像特征图。
[0078]
图像(h，w，3)表示长为w像素，宽为h像素，每个像素拥有rgb3个通道；图像特征图(h,w,nc)表示长为w像素，宽为h像素，每个像素拥有nc个通道；
[0079]
步骤2：激光雷达获取的三维点云经联合标定后的坐标变换矩阵，坐标变换到图像坐标系进行投影，每个在图像大小范围内的点云都获取对应像素点的特征，最终得到在图像范围内的点云，并且获取了对应的图像特征
[0080]
三维点云(n，4)表示一帧获取到n个点云，每个点云有(x,y,z,r)四个通道，其中(x,y,z)为点云的三维坐标，r为点云的反射率；图像特征(nr,4 nc)表示nr个在图像范围内的点，4 nc表示点云原有的4个(x,y,z,r)特性再拼接上对应点的图像特征nc[0081]
步骤3：将融合的点云图像数据按照点云的分布进行体素网格化，得到体素化数据；
[0082]
体素化后的数据(l,w,h,n,4 nc)表示长边l个格子，宽边w个格子，高度h个格子，每个格子内n个点云图像数据，每个数据4 nc个特征通道，并且n有最大限值，若格子内超过n个点，则根据点的xyz坐标，按照距离原点的距离进行升序排列，取前n个点。
[0083]
步骤4：对体素化数据进行筛选，去掉空的网格，将长宽高按秩序排列成一维，得到的体素化数据。
[0084]
筛选后的体素化数据(k,n,4 nc表示k个非空格子，每个格子n个数据点，每个数据4 nc个特征通道。
[0085]
步骤5：将处理后的体素化数据输入数据编码网络，得到特征图。
[0086]
数据编码网络包括全连接层、voxelnet；数据编码网络在每个格子提取出一个点表示这个格子，一个高度方向选出一个格子表示这个高度，即得到l长、w宽的特征图大小，c为特征图特征数，通过升维扩充特征。
[0087]
步骤6：将特征图通过单阶段的目标检测网络，最后输出层直接输出三维目标的(x,y,z,ry,l,w,h,s)。
[0088]
三维目标的(x,y,z,ry,l,w,h,s)表示目标的(x,y,z)坐标其朝向与原点坐标系x轴的夹角ry，目标的长宽高(l,w,h)，以及置信分数s。
[0089]
步骤7根据检测到汽车三维目标的(x,y,z,ry,l,w,h,s)，建立动态三维地图
[0090]
步骤8提取行驶在单行路的汽车的数据，对行驶在单行路的汽车数据进行分析处理后建立斥力势场。
[0091]
作用在飞行汽车上的斥力场和斥力：
[0092][0093][0094][0095]
其中kr》0,表示正比例系数，x表示飞行汽车位置，xi表示障碍物i的位置，η
0，i
表示第i个障碍物斥力场作用的最大距离，表示梯度
[0096]
步骤9决策系统选取行驶汽车后某点或者地面上某点建立引力场
[0097]
作用在飞行汽车上的引力场和引力：
[0098][0099][0100]
其中，ρ》0,表示引力正比例系数，x表示飞行汽车位置，xg表示目标的位置，η(x,xg)表示飞行汽车和目标的距离。表示梯度
[0101]
步骤10引力场和斥力场形成实时变化的合力场，飞行汽车在实时变化的合力场的作用下进行动态着陆。
[0102]
步骤11若存在η(x1，x2)《安全距离，飞行汽车在引力场和斥力场的作用下上升到安全位置，返回步骤8重新进行引力场的建立。若η(x1，x2)≥安全距离，飞行汽车在引力场和斥力场的作用下安全着陆。
[0103]
x1表示前车的位置，x2表示后车的位置，η(x1，x2)表示前车和后车直接的距离。
[0104]
如图2所示，动态起飞场具体实施步骤如下：
[0105]
步骤1-7与着陆场一致；
[0106]
步骤8提取行驶在单行路的汽车和空中飞车的数据，对行驶在单行路的汽车和空中飞车数据进行分析处理后建立斥力势场。
[0107]
作用在飞行汽车上的斥力场和斥力：
[0108][0109][0110]
[0111]
其中kr》0，表示正比例系数，x表示飞行汽车位置，xi表示障碍物i的位置，η
0，i
表示第i个障碍物斥力场作用的最大距离，表示梯度，需要说明，对于起飞和降落斥力场公式相同，但是kr取值不同。
[0112]
步骤9决策系统选取空中安全位置建立引力场；
[0113]
作用在飞行汽车上的引力场和引力：
[0114][0115][0116]
其中，ρ》0,表示引力正比例系数，x表示飞行汽车位置，xg表示目标的位置，η(x,xg)表示飞行汽车和目标的距离。表示梯度
[0117]
步骤10引力场和斥力场形成实时变化的合力场，飞行汽车在实时变化的合力场的作用下进行动态起飞。
[0118]
实施例2
[0119]
本发明的实施例2提出了一种基于三维目标检测的飞行汽车起飞着陆决策规划系统，基于部署在飞行汽车上的摄像头和激光雷达实现，所述系统包括：动态三维地图构建模块、状态判断模块、飞行斥引力场建立模块、着陆控制模块、行驶斥引力场建立模块和起飞控制模块；采用实施例1的方法实现，
[0120]
所述动态三维地图构建模块，用于根据实时采集的图像和三维点云数据对指定道路进行环境感知，建立动态三维地图；
[0121]
所述状态判断模块，用于当待决策规划的飞行汽车为飞行状态，转至飞行斥引力场建立模块；当待决策规划的飞行汽车为行驶状态，转至行驶斥引力场建立模块；
[0122]
所述飞行斥引力场建立模块，用于根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取行驶汽车后某点或地面上某点建立引力场；
[0123]
所述着陆控制模块，用于由斥力场和引力场形成实时变化的合力场，驱动飞行汽车进行动态着陆，判断飞行汽车和目标位置间的距离是否满足安全距离，判断为是，控制飞行汽车着陆，决策规划结束；判断为否，控制飞行汽车上升，并转至飞行斥引力场建立模块重新建立引力场；
[0124]
所述行驶斥引力场建立模块，用于根据动态三维地图，结合飞行汽车数据和行驶在单行路的汽车情况，建立斥力场，选取空中安全位置建立引力场；
[0125]
所述起飞控制模块，用于由斥力场和引力场形成实时变化的合力场，驱动飞行汽车起飞，决策规划结束
[0126]
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。