用于直升机近地告警的障碍物探测方法、装置和存储介质

1.本发明属于直升机飞行安全技术领域，具体涉及用于直升机近地告警的障碍物探测方法、装置和存储介质。


背景技术：

2.目前，直升机前视告警系统已被广泛应用于直升机，以避免可控飞行撞地事故的发生。其基本原理是通过机载地形数据库得到直升机周围地形，并于直升机当前位置姿态及速度进行碰撞威胁预测，若判断有可能碰撞，则进行告警，否则不告警。不难看出，前视告警系统的有效性与机载地形数据库密切相关。多数情况下，地形数据库更新周期以年计算。对于经常在繁华的城市内飞行的直升机而言，由于城市内建筑物兴建或拆除周期较短，往往造成机载地形数据库信息更新不及时，从而导致直升机前视告警系统在城市内告警成功率显著下降，甚至会出现机毁人亡的事故。因此，对于在城市内飞行的直升机而言，如果具有建筑物主动探测能力，可有效解决该问题。
3.直升机主动探测常用设备包括机载雷达、红外及可见光学设备等。直升机机载地形扫描雷达对直升机前方地形探测效果良好，但大部分直升机限于成本及功耗等原因并未装有高性能雷达；红外设备对特定环境，如电力巡线等工作适应性良好，但城市环境较为复杂，红外及热成像设备获得的信息缺失障碍物的纹理信息，难以分辨复杂环境下的障碍物与背景；可见光学设备则能够获得障碍物纹理信息，并通过诸如图像检测神经网络法，光流法等方法获得障碍物类型及其在图像中的位置，但难以获得障碍物与直升机间的准确距离；还有一部分直升机通过激光测距设备实现对前视方向障碍物的探测，这种方法虽然实现了较低成本的直升机城市内探测任务，但是功能单一，只能回传前方障碍物与直升机的相对距离，不具备针对直升机当前位姿及速度情况进行防撞威胁预测功能，也不具备记录障碍物位置及类型以备后续防撞威胁预测使用的功能。


技术实现要素：

4.发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供用于直升机近地告警的障碍物探测方法、装置和存储介质，旨在解决直升机机载地形数据库在城市飞行等场景中精度低，实时性差的问题。针对单个传感器存在的缺陷，本发明通过雷达与可见光设备的信息融合实现对直升机前视方向地形进行探测。该方法针对特定场景及特定探测任务进行优化，降低了选择各传感器的成本，是一种兼顾经济性及安全性的直升机城市内障碍物主动探测方法。
5.本发明方法能够根据直升机当前位置姿态信息及通过雷达和可见光相机探测得到的图像和距离信息生成直升机前视方向上的障碍物信息，并将信息更新入机载地形数据库中，用于直升机前视近地告警。具体包括如下步骤：
6.步骤1，使用图像检测神经网络和多目标跟踪算法对机载摄像机回传的图像进行障碍物检测及跟踪，得到每张图像中障碍物的角点像素坐标、障碍物类型和障碍物序号；通
过障碍物角点像素坐标与图像宽度中线的距离与相机视场角关系，得到障碍物与直升机前视方向方位角信息，通过方位角信息提取由机载毫米波雷达探测得到的障碍物与直升机间距离；
7.步骤2，进行信息融合处理，得到障碍物经纬度信息；
8.步骤3，对步骤2得到的障碍物经纬度信息进行数据处理，完成障碍物探测。
9.步骤1中，首先制作城市内常见障碍物数据集，对数据集中各个障碍物进行标签划分及障碍物角点像素坐标划分，在完成后对数据集进行分割和归一化操作，将数据集分为训练集及测试集；
10.对图像神经网络进行调整，调整多目标检测图像神经网络输出为障碍物角点像素坐标和障碍物类型概率；在经过每批100次共30批训练后使神经网络模型达到收敛，得到神经网络模型权重；
11.根据相机视场角与像素长度的对应关系，通过障碍物边缘检测框中心位置横坐标与图像中心点横坐标差值，计算得到障碍物与直升机前视方向方位角；
12.根据所述方位角对雷达探测距离进行提取，提取最近一次时间戳的对应方位角加上雷达方位角精度误差的所有距离数据，并进行平均值计算，通过平均值剔除离群点，再次进行计算，得到最终直升机与对应障碍物间距离数据。
13.步骤1中，对由机载毫米波雷达及机载摄像机得到的直升机前视方向上的距离及图像信息对障碍物进行检测和跟踪，通过图像神经网络及多目标跟踪算法得到障碍物序号及障碍物像素坐标；并通过障碍物像素坐标得到障碍物相对于直升机前视方向的方位角，
14.通过方位角得到毫米波雷达在对应方位角上的距离信息，之后通过直升机机载gps，气压高度计及imu获得直升机当前位置，高度及姿态信息，并将得到的信息通过时间戳进行汇总拼接。imu(inertial measurement unit)，即惯性测量单元，用于测量物体三轴姿态角(或角速率)以及加速度。
15.步骤2包括：通过整合机载摄像机回传数据及机载毫米波雷达回传数据，得到针对障碍物的全部探测信息帧，帧中信息包括障碍物序号、障碍物像素坐标、障碍物类型、障碍物与直升机距离、方位角；
16.通过如下公式得到像素点与实际长度对应关系：
[0017][0018]
其中，η
pix2meter
为像素与实际尺寸转换系数；d
rel
为直升机与障碍物的相对距离；θ为世界坐标系中经度方向与障碍物间夹角；x1为图像坐标系中障碍物边界检测框左下角点横坐标；x2为图像坐标系中障碍物边界检测框右上角点横坐标；h
img_width
为图像像素宽度；
[0019]
通过像素点与实际长度对应关系计算得到障碍物相对于直升机高度和宽度，并设定障碍物厚度与宽度相等；
[0020]
通过当地经纬度与实际长度对应关系及直升机经纬度与高度信息，计算障碍物中心点经纬度坐标，通过障碍物自身几何关系计算得到障碍物各角点位置经纬度坐标，再通过直升机高度与障碍物相对于直升机高度的叠加得到障碍物实际高度。
[0021]
步骤3包括：得到从信息融合模块103传输来的障碍物各角点位置经纬度坐标和高
度信息帧，将各同一障碍物序号数据帧排进同一队列，当队列中帧数量达到阈值时，将队列内数据取出；这里帧数量阈值取5；使用公式(2)计算得到每个点反映经纬度及高度的马氏距离量，并使用公式(3)判断是否有离群点存在，如果存在则剔除离群点：
[0022][0023][0024]
其中，为队列中第k个包含障碍物经纬度及高度向量与其前一个向量的马氏距离，∑-1
为特征向量间协方差矩阵，pm为当前马氏距离概率密度，p
tr
为截断概率密度阈值，本发明取0.9，二进制数bk用于判定被检测点是否为离群点，bk为0表示检测点非离群点，bk为1时检测点被判定为离群点；
[0025]
完成剔除操作后，对队列其余点根据更新时间先后顺序输入式(4)进行处理，得到新的障碍物信息队列，再输入式(5)，得到最终输出点，并清空障碍物序号队列，重新等待障碍物数据信息输入队列：
[0026][0027][0028]
其中，为上一次探测时的障碍物位置高度向量，为当前探测时障碍物经纬度及高度信息，为一阶滤波得到的结果；ω为权重矩阵，μi为当前序号中包含障碍物经纬度及高度的向量的队列中第i项的遗忘系数，为叠加遗忘系数后加权平均所得结果。
[0029]
步骤3中，每次当同一序号障碍物队列达到阈值后就再次执行步骤3，阈值一般取值为5。
[0030]
本发明还提供了用于直升机近地告警的障碍物探测装置，包括视觉探测模块(101)、雷达探测模块(102)、信息融合模块(103)、障碍物数据处理模块(104)、机载地形数据库(105)和直升机近地告警系统(106)；
[0031]
其中，视觉探测模块(101)使用图像检测神经网络和多目标跟踪算法对机载摄像机回传的图像进行障碍物检测及跟踪，得到每张图像中障碍物的角点像素坐标、障碍物类型和障碍物序号；通过障碍物角点像素坐标与图像宽度中线的距离与相机视场角关系，得到障碍物与直升机前视方向方位角信息，通过方位角信息提取由雷达探测模块(102)探测得到的障碍物与直升机间距离；
[0032]
信息融合模块(103)将视觉探测模块(101)得到的信息进行融合，再根据直升机当前位姿计算得到障碍物经纬度范围和高度；
[0033]
障碍物数据处理模块(104)将包含同一个序号的障碍物信息分入同一队列并进行处理，剔除离群点并得到处理后障碍物信息，输入进机载地形数据库(105)，供直升机近地告警系统(106)使用，供直升机近地告警系统106会实时扫描机载地形数据库(105)中储存
直升机当前位置周围环境的地形高程数据，并基于地形高程数据进行碰撞威胁预测，如果有威胁则将告警提示画面及声音发送至告警显示面板中，如果无威胁，则不发送告警提示画面和声音。
[0034]
所述装置执行如下步骤：
[0035]
步骤a1，在视觉探测模块(101)中，首先制作城市内常见障碍物数据集，对数据集中各个障碍物进行标签划分及障碍物角点像素坐标划分，在完成后对数据集进行分割和归一化操作，将数据集分为训练集及测试集；
[0036]
对图像神经网络进行调整，调整图像神经网络最终输出结果为障碍物角点像素坐标和障碍物类型概率；选取合适的神经网络模型学习率及学习步长，通过迭代运算使神经网络模型达到收敛，得到能够快速准确检测城市内障碍物的神经网络模型权重；
[0037]
步骤a2，在雷达探测模块(102)中，根据视觉探测模块(101)得到的障碍物角点像素坐标，根据相机视场角与像素长度的对应关系，通过障碍物边缘检测框中心位置横坐标与图像中心点横坐标差值，计算得到障碍物与直升机前视方向方位角；
[0038]
根据所述方位角对雷达探测距离进行提取，提取最近一次时间戳的对应方位角加上雷达方位角精度误差的所有距离数据，并进行平均值计算，通过平均值剔除离群点，再次进行计算，得到最终直升机与对应障碍物间距离数据；
[0039]
步骤a3，在信息融合模块(103)中，通过整合视觉探测模块(101)回传数据及雷达探测模块(102)回传数据，得到针对障碍物的全部探测信息帧，帧中信息包括障碍物序号、障碍物像素坐标、障碍物类型、障碍物与直升机距离、方位角；
[0040]
通过如下公式得到像素点与实际长度对应关系：
[0041][0042]
其中，η
pix2meter
为像素与实际尺寸转换系数；d
rel
为直升机与障碍物的相对距离；θ为世界坐标系中经度方向与障碍物间夹角；x1为图像坐标系中障碍物边界检测框左下角点横坐标；x2为图像坐标系中障碍物边界检测框右上角点横坐标；h
img_width
为图像像素宽度；
[0043]
通过像素点与实际长度对应关系计算得到障碍物相对于直升机高度和宽度，并设定障碍物厚度与宽度相等；
[0044]
通过当地经纬度与实际长度对应关系及直升机经纬度与高度信息，计算障碍物中心点经纬度坐标，通过障碍物自身几何关系计算得到障碍物各角点位置经纬度坐标，再通过直升机高度与障碍物相对于直升机高度的叠加得到障碍物实际高度；
[0045]
步骤a4，在障碍物数据处理模块(104)中，得到从信息融合模块(103)传输来的障碍物各角点位置经纬度坐标和高度信息帧，将各同一障碍物序号数据帧排进同一队列，当队列中帧数量达到阈值时，将队列内数据取出；这里帧数量阈值取5；使用公式(2)计算得到每个点反映经纬度及高度的马氏距离量，并使用公式(3)判断是否有离群点存在，如果存在则剔除离群点：
[0046]
[0047][0048]
其中，为队列中第k个包含障碍物经纬度及高度向量与其前一个向量的马氏距离，∑-1
为特征向量间协方差矩阵，pm为当前马氏距离概率密度，p
tr
为截断概率密度阈值，本发明取0.9，二进制数bk用于判定被检测点是否为离群点，bk为0表示检测点非离群点，bk为1时检测点被判定为离群点；
[0049]
完成剔除操作后，对队列其余点根据更新时间先后顺序输入式(4)进行处理，得到新的障碍物信息队列，再输入式(5)，得到最终输出点，并清空障碍物序号队列，重新等待障碍物数据信息输入队列：
[0050][0051][0052]
其中，为上一次探测时的障碍物位置高度向量，为当前探测时障碍物经纬度及高度信息，为一阶滤波得到的结果；ω为权重矩阵，μi为当前序号中包含障碍物经纬度及高度的向量的队列中第i项的遗忘系数，为叠加遗忘系数后加权平均所得结果；
[0053]
将对应序号的最终输出点更新入机载地形数据库(105)，用于直升机近地告警系统106工作。
[0054]
本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述用于直升机近地告警的障碍物探测方法。
[0055]
本发明与现有技术相比，本发明的有益效果如下：
[0056]
(1)本发明提出的用于直升机近地告警的一种障碍物主动探测方法可应用于执行城市内低空及超低空飞行任务的直升机，在保障其飞行安全的同时，最大程度的允许直升机执行当前飞行任务。与传统的如通过激光测距进行直升机前视方向障碍物探测相比，该方法能够对直升机飞行过的区域进行更全面的感知，能够使驾驶员知道障碍物类型及经纬度高度，并更新入机载地形数据库中。
[0057]
(2)与传统的通过昂贵的测地雷达进行地形感知的方法相比，该方法针对城市场景及障碍物探测任务进行了专精优化，无需使用专业的测地雷达，显著降低了安装及购买成本。
附图说明
[0058]
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
[0059]
图1为本发明装置原理图。
[0060]
图2所示为本发明硬件连接图。
[0061]
图3为本发明的直升机城市内障碍物主动探测示例示意图。
[0062]
图4为本发明的直升机城市内障碍物主动探测示例结果图。
具体实施方式
[0063]
本发明提出的用于直升机近地告警的障碍物探测装置原理如图1、图2所示，包括视觉探测模块101、雷达探测模块102、信息融合模块103、障碍物数据处理模块104、机载地形数据库105和直升机近地告警系统106。
[0064]
其中，视觉探测模块101使用图像检测神经网络及多目标跟踪算法对机载摄像机回传的图像进行障碍物检测及跟踪，从而得到每张图像中障碍物的边缘检测框、障碍物类型及障碍物序号；通过障碍物检测框中心点位置与图像宽度中线的距离与相机视场角关系得到障碍物与直升机前视方向方位角信息，通过方位角信息提取由雷达探测模块102探测得到的障碍物与直升机间距离；信息融合模块103将之前得到的视觉检测跟踪信息及雷达距离信息进行融合，再根据直升机当前位姿计算得到障碍物经纬度范围及高度；障碍物数据处理模块104将包含同一个序号的障碍物信息分入同一队列并进行处理，剔除离群点并得到处理后障碍物信息，输入进机载地形数据库105，供直升机近地告警系统使用106。
[0065]
本发明提出的用于直升机近地告警的障碍物主动探测方法，具体包括以下步骤：
[0066]
步骤a1，在视觉探测模块101中，首先需要制作城市内常见障碍物数据集，对数据集中各个障碍物进行标签划分及障碍物边缘检测框域划分，在完成后对数据集进行分割和归一化操作，将数据集分为训练集及测试集。
[0067]
进一步，对图像神经网络进行调整，调整神经网络最终输出结果为障碍物边缘检测框角点像素坐标及障碍物类型概率。选取合适的神经网络模型学习率及学习步长，通过迭代运算使神经网络模型达到收敛，得到可以快速准确检测城市内障碍物的神经网络模型权重。
[0068]
步骤a2，在雷达探测模块102中，根据视觉探测模块101得到的障碍物像素坐标，根据相机视场角与像素长度的对应关系，通过障碍物边缘检测框中心位置横坐标与图像中心点横坐标差值计算得到障碍物与直升机前视方向方位角。
[0069]
进一步，根据上述所得方位角对雷达探测距离进行提取，提取最近一次时间戳的对应方位角加上雷达方位角精度误差的所有距离数据，并进行平均值计算，通过平均值剔除离群点，再次进行计算，得到最终直升机与对应障碍物间距离数据。
[0070]
步骤a3，在信息融合模块103中，通过整合视觉探测模块101回传数据及雷达探测模块102回传数据，得到针对某一障碍物的全部探测信息帧，帧中信息包括障碍物序号，障碍物像素坐标，障碍物类型，及障碍物与直升机距离及方位角。
[0071]
通过如下公式得到像素点与实际长度对应关系：
[0072][0073]
其中，η
pix2meter
为像素与实际尺寸转换系数；d
rel
为直升机与障碍物的相对距离；θ为世界坐标系中经度方向与障碍物间夹角；x1为图像坐标系中障碍物边界检测框左下角点横坐标；x2为图像坐标系中障碍物边界检测框右上角点横坐标；h
img_width
为图像像素宽度；
[0074]
通过像素点与实际长度对应关系计算得到障碍物相对于直升机高度和宽度，并设
定障碍物厚度与宽度相等；
[0075]
通过当地经纬度与实际长度对应关系及直升机经纬度与高度信息，计算障碍物中心点经纬度坐标，通过障碍物自身几何关系计算得到障碍物各角点位置经纬度坐标，再通过直升机高度与障碍物相对于直升机高度的叠加得到障碍物实际高度；
[0076]
步骤a4，在障碍物数据处理模块104中，得到从信息融合模块103传输来的障碍物各角点位置经纬度坐标和高度信息帧，将各同一障碍物序号数据帧排进同一队列，当队列中帧数量达到阈值时，将队列内数据取出；这里帧数量阈值取5；使用公式(2)计算得到每个点反映经纬度及高度的马氏距离量，并使用公式(3)判断是否有离群点存在，如果存在则剔除离群点：
[0077][0078][0079]
其中，为队列中第k个包含障碍物经纬度及高度向量与其前一个向量的马氏距离，∑-1
为特征向量间协方差矩阵，pm为当前马氏距离概率密度，p
tr
为截断概率密度阈值，本发明取0.9，二进制数bk用于判定被检测点是否为离群点，bk为0表示检测点非离群点，bk为1时检测点被判定为离群点；
[0080]
完成剔除操作后，对队列其余点根据更新时间先后顺序输入式(4)进行处理，得到新的障碍物信息队列，再输入式(5)，得到最终输出点，并清空障碍物序号队列，重新等待障碍物数据信息输入队列：
[0081][0082][0083]
其中，为上一次探测时的障碍物位置高度向量，为当前探测时障碍物经纬度及高度信息，为一阶滤波得到的结果；ω为权重矩阵，μi为当前序号中包含障碍物经纬度及高度的向量的队列中第i项的遗忘系数，为叠加遗忘系数后加权平均所得结果；
[0084]
将对应序号的最终输出点更新入机载地形数据库105，用于直升机近地告警系统106工作。
[0085]
表1是通过本发明提出的基于多传感器融合的的直升机城市内障碍物主动探测方法的示例结果，可以看出，与本发明提出的直升机近地告警方法对直升机前视方向上障碍物探测效果较好，精度较高。
[0086]
表1
[0087]
1号障碍物lat
top
(
°
)lat
bottom
(
°
)lon
left
(
°
)lon
right
(
°
)hgt(m)真实经纬度及高度31.15550931.155179118.235371118.234579147主动探测经纬度及高度31.15548831.155150118.235401118.234547152.4
[0088]
表1中，lat
top
为障碍物俯视图左上角点纬度；lon
left
为障碍物俯视图左上角点经度；lat
bottom
为障碍物俯视图右下角点纬度；lon
right
为障碍物俯视图右下角点经度；hgt为障碍物高度。图3为本发明的直升机城市内障碍物主动探测示例示意图(图3中横坐标表示经度，纵坐标表示纬度)。图4为本发明的直升机城市内障碍物主动探测示例结果图。从图中结果可以看出，本发明方法能够产生较好的技术效果，为直升机障碍物探测提供了可靠的方法。
[0089]
具体实现中，本技术提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的用于直升机近地告警的障碍物探测方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0090]
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。muu或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0091]
本发明提供了用于直升机近地告警的障碍物探测方法、装置和存储介质，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。