一种基于多传感器融合的无人机避障方法及系统

本发明涉及无人机避障，尤其涉及一种基于多传感器融合的无人机避障方法及系统。

背景技术：

1、无人机避障技术领域涉及无人飞行器在复杂环境中感知周围实体障碍物并规划安全飞行路线的核心事项，该领域整体涵盖环境几何特征获取、局部地图构建、避让轨迹生成以及底层姿态控制等层面，其主要通过搭载外置探测设备采集空间深度信息并结合飞行器的运动学约束条件动态更新当前三维空间内的可通行区域。其中，传统无人机避障方法是指无人机在自主飞行任务中探测到周边障碍物后改变预设航线以防止物理碰撞的执行方案，其所针对的技术事项为无人机在未知空域中如何应对前方突然出现的静态或动态实体障碍物。

2、传统多传感器融合机制在实际运作中主要依赖数据源内部一致性进行判断，面对复杂环境时缺乏对传感器物理失效模式的深层理解，当激光雷达光束射向玻璃幕墙产生穿透获取后方点云时，视觉相机同时提取到表面反光特征，由于雷达点云内部一致性高，易错误赋予其高信任度并将视觉特征视为噪声予以滤除，这种物理层面的感知对立直接触发信任度分配失灵，输出错误环境通行映射图，会导致避障路径规划失效。

技术实现思路

1、本发明的目的是解决现有技术中存在的缺点，而提出的一种基于多传感器融合的无人机避障方法及系统。

2、为了实现上述目的，本发明采用了如下技术方案，一种基于多传感器融合的无人机避障方法，包括以下步骤：

3、s1：采集激光雷达点云数据、视觉相机视频图像以及无人机位姿数据，利用所述无人机位姿数据对所述激光雷达点云数据进行位姿对齐得到虚拟点云帧，利用所述虚拟点云帧与所述视觉相机视频图像进行坐标转换和投影关联得到稀疏深度图，并依据所述虚拟点云帧计算得到点云几何曲率，依据所述视觉相机视频图像提取得到表面特征置信度图；

4、s2：根据所述表面特征置信度图和稀疏深度图生成视觉表面候选区，结合点云几何曲率、无人机飞行速度以及基于稀疏深度图和虚拟点云帧计算得到的深度异常梯度和回波缺失率，计算综合冲突因子，基于所述综合冲突因子识别介质冲突区域并建立穿透误导冲突标识网格；

5、s3：依据所述介质冲突区域及所述无人机位姿数据生成局部空间平面模型，由所述表面特征置信度图生成表面阻挡层体素，并结合所述穿透误导冲突标识网格从所述虚拟点云帧中提取后景探测层体素，将所述表面阻挡层体素与所述后景探测层体素合并建立三维分层八叉树地图；

6、s4：基于所述局部空间平面模型与所述表面特征置信度图计算表面层可信度得分，根据所述后景探测层体素计算后景层可信度得分，由所述表面阻挡层体素生成高风险禁入边界，将所述高风险禁入边界、所述表面层可信度得分及所述后景层可信度得分赋予所述三维分层八叉树地图，建立带风险梯度属性环境映射图；

7、s5：提取所述视觉相机视频图像的时序特征建立表面阻挡层时序置信度，并基于所述后景探测层体素生成被隔离动态目标轨迹，根据所述高风险禁入边界、所述表面阻挡层时序置信度以及所述被隔离动态目标轨迹替换所述带风险梯度属性环境映射图的代价值建立高程风险融合栅格图，检索所述高程风险融合栅格图生成无碰撞避障飞行路径。

8、本发明改进有，所述s1的具体步骤为：

9、s111：采集激光雷达点云数据、视觉相机视频图像以及无人机位姿数据，提取所述无人机位姿数据作为四元数球面线性插值算法的姿态平滑节点，基于四元数球面线性插值算法计算所述激光雷达点云数据和所述视觉相机视频图像曝光时刻对应的虚拟位姿偏差，根据所述虚拟位姿偏差调整所述激光雷达点云数据的空间位置，进行位姿对齐得到虚拟点云帧；

10、s112：获取激光雷达与视觉相机联合外参标定文件中的旋转矩阵、平移向量以及相机内参矩阵，调用所述旋转矩阵和所述平移向量计算所述虚拟点云帧在相机坐标系下的空间坐标转换结果，利用所述空间坐标转换结果统一雷达与相机的空间参考基准，利用主成分分析方法计算所述虚拟点云帧在点云局部球形邻域内的点云几何曲率，根据所述相机内参矩阵计算所述虚拟点云帧包含的三维深度点和所述视觉相机视频图像包含的二维彩色像素之间的投影坐标关联关系，以此建立稀疏深度图；

11、s113：调用所述视觉相机视频图像进行图像色彩空间转换操作，提取亮度通道高光区域以及图像高频线性边缘，基于灰度共生矩阵计算所述视觉相机视频图像包含的连续表面纹理，通过加权算法计算所述亮度通道高光区域、所述图像高频线性边缘以及所述连续表面纹理的融合特征图生成表面特征置信度图。

12、本发明改进有，所述s2的具体步骤为：

13、s211：根据图像金字塔对应的多尺度网格划分策略划分所述表面特征置信度图的空间网格生成局部网格区域，获取光照感知硬件测得的全局光照强度，计算所述局部网格区域内部涵盖像素点的置信度算术均值得到表面特征置信度均值，根据所述全局光照强度调节视觉表面存在阈值，计算所述表面特征置信度均值和所述视觉表面存在阈值之间的差值，筛选差值大于预设差值筛选阈值的所述局部网格区域，生成视觉表面候选区；

14、s212：计算所述稀疏深度图在所述视觉表面候选区覆盖范围内的有效深度点数和网格总像素数之间的比值得到有效回波率，在所述有效回波率高于预设回波判定阈值时提取所述稀疏深度图在所述视觉表面候选区内投影点云对应的平均深度值，提取所述稀疏深度图在所述局部网格区域外围相邻网格对应的内部深度数据，根据所述内部深度数据计算参考深度均值以及深度标准差，计算所述平均深度值和所述参考深度均值之间的深度差值，计算所述深度差值和所述深度标准差之间的比值得到深度异常梯度，调用所述点云几何曲率，在所述点云几何曲率低于预设曲率判定阈值时计算数值1和所述有效回波率之间的回波差值得出回波缺失率；

15、s213：采集无人机飞行速度，依据所述无人机飞行速度分配深度异常权重系数和回波缺失权重系数，根据所述深度异常权重系数和所述深度异常梯度计算异常乘积数值，根据所述回波缺失权重系数和所述回波缺失率计算缺失乘积数值，计算所述异常乘积数值和所述缺失乘积数值的求和结果得到综合冲突因子，筛选所述综合冲突因子大于预设冲突报警临界值的区域生成介质冲突区域，针对所述介质冲突区域，当所述深度异常梯度大于预设异常梯度阈值时，标记所述介质冲突区域建立穿透误导冲突标识网格。

16、本发明改进有，所述根据所述全局光照强度调节视觉表面存在阈值的过程具体包括：

17、获取光照感知硬件出厂标定文件记录的基准光照环境参数；

18、提取所述基准光照环境参数包含的标准照度数值和初始响应比例因子；

19、计算所述全局光照强度和所述标准照度数值之间的环境照度偏差数值；

20、提取多组已知测试光照环境下的表面特征置信度波动数据拟合生成的平滑衰减对应关系数据集合设置非线性光照补偿函数映射表；

21、依据所述非线性光照补偿函数映射表检索所述环境照度偏差数值对应的动态补偿系数；

22、计算所述动态补偿系数和所述初始响应比例因子之间的数值乘积得到光照调节控制权重；

23、在无环境光照干扰的理想漫反射条件下统计表面特征样本的表面特征置信度均值作为静态表面置信度基准数值；

24、计算所述光照调节控制权重和所述静态表面置信度基准数值之间的乘积结果得到所述视觉表面存在阈值。

25、本发明改进有，所述s3的具体步骤为：

26、s311：提取所述介质冲突区域在三维全局坐标系中的坐标边界，根据所述坐标边界划分表面阻挡层以及后景探测层，调用所述穿透误导冲突标识网格、所述虚拟点云帧以及反射强度值，提取未带有所述穿透误导冲突标识网格对应的所述介质冲突区域外侧边界在所述虚拟点云帧中对应的所述反射强度值，提取大于或等于点云反射阈值的所述反射强度值对应的点云，得到边缘点云；

27、s312：提取所述无人机位姿数据包含的无人机偏航角，获取全局地图附带的先验建筑轮廓，提取所述无人机偏航角和所述先验建筑轮廓作为随机采样一致性算法的平面法向量约束条件，基于随机采样一致性算法计算所述边缘点云在三维空间的平面法向量、平面空间截距以及平面拟合内点率，拟合生成局部空间平面模型，调用所述相机内参矩阵和所述表面特征置信度图，根据所述相机内参矩阵计算所述表面特征置信度图包含的网格像素点沿相机光心射线对应的反投影交点，投射所述反投影交点至所述局部空间平面模型表面，建立表面阻挡层体素；

28、s313：提取带有所述穿透误导冲突标识网格覆盖范围在所述虚拟点云帧中包含的三维深度位置数据，保留所述三维深度位置数据并转换生成后景探测层体素，调用所述表面阻挡层体素，合并所述表面阻挡层体素和所述后景探测层体素在同重视线方向上的空间坐标构建生成三维分层八叉树地图。

29、本发明改进有，所述提取大于或等于点云反射阈值的所述反射强度值对应的点云，得到边缘点云的过程具体包括：

30、计算所述反射强度值的反射强度均值和反射强度标准差；

31、统计已知实体反光表面回波强度分布区间宽度与均值偏移量之间的数值比例关系设定反射强度调节权重；

32、计算所述反射强度标准差和所述反射强度调节权重之间的乘积数值得到动态反射补偿值；

33、计算所述反射强度均值和所述动态反射补偿值之间的求和结果得到所述点云反射阈值；

34、比较所述反射强度值和所述点云反射阈值之间的数值大小；

35、提取数值大于或等于所述点云反射阈值的所述反射强度值对应的点云生成高反候选点云集合；

36、计算所述高反候选点云集合中点云数据之间的欧氏空间距离；

37、计算雷达硬件扫描角分辨率和当前探测空间距离之间的弧长乘积数值设定连通距离阈值；

38、提取所述欧氏空间距离小于所述连通距离阈值的所述点云数据执行空间聚集操作得到所述边缘点云。

39、本发明改进有，所述s4的具体步骤为：

40、s411：提取所述局部空间平面模型包含的平面拟合内点率，计算所述表面特征置信度均值和所述平面拟合内点率之间的乘积数值得到表面层可信度得分，提取所述表面层可信度得分作为指数衰减模型的负向指数部分，基于指数衰减模型计算自然对数底数的负向指数幂值得到衰减系数，调用所述后景探测层体素，获取所述后景探测层体素对应的后景探测层体素网格初始可信度，根据所述衰减系数和所述后景探测层体素网格初始可信度计算惩罚乘积结果生成后景层可信度得分；

41、s412：采集无人机硬件包围盒包含的无人机尺寸半径、当前时刻飞行速度向量、端到端通信延迟时间以及最大刹车距离，计算所述当前时刻飞行速度向量和所述端到端通信延迟时间之间的乘积数值得到通信时延位移，计算所述通信时延位移、所述无人机尺寸半径以及所述最大刹车距离对应的长度求和总值建立动态安全缓冲厚度，调用所述表面阻挡层体素，提取所述表面阻挡层体素对应的网格法向量方向，根据所述动态安全缓冲厚度沿所述网格法向量方向拓展所述表面阻挡层体素的阻挡边界范围，生成高风险禁入边界；

42、s413：提取所述高风险禁入边界、所述表面层可信度得分以及所述后景层可信度得分作为语义属性标签，赋予所述三维分层八叉树地图所述语义属性标签，建立带风险梯度属性环境映射图。

43、本发明改进有，所述s5的具体步骤为：

44、s511：提取所述视觉相机视频图像包含的窗框角点与图像污渍斑块作为静态表面特征，通过光流法计算连续的所述视觉相机视频图像中各个所述静态表面特征的图像间相对位移矢量，计算所述图像间相对位移矢量和所述无人机位姿数据推算预期投影轨迹之间的轨迹偏差，在所述轨迹偏差小于偏差判定阈值时确定所述表面阻挡层体素具备时序连续性，并累加所述表面层可信度得分建立表面阻挡层时序置信度；

45、s512：基于欧几里得聚类算法计算所述后景探测层体素包含点云对应的空间距离聚集程度，合并所述空间距离聚集程度小于距离聚集阈值的点云建立聚类质心节点，提取所述聚类质心节点包含的聚类三维位置和聚类三维速度作为动态状态追踪向量，提取所述表面阻挡层体素包含的网格坐标边界建立隔离掩码矩阵，通过卡尔曼滤波器结合所述隔离掩码矩阵限制所述动态状态追踪向量的协方差更新范围生成被隔离动态目标轨迹；

46、s513：采集无人机逼近速度，计算所述表面阻挡层体素相对无人机当前位置对应的网格相对距离，计算所述网格相对距离和所述无人机逼近速度之间的比值得到相对碰撞预测时间，在所述相对碰撞预测时间低于紧急避障临界值时，结合所述表面阻挡层时序置信度，提取所述高风险禁入边界以及所述被隔离动态目标轨迹在所述带风险梯度属性环境映射图中的覆盖区域，替换所述覆盖区域的代价值为惩罚常数代价值建立高程风险融合栅格图，通过寻优算法检索所述高程风险融合栅格图中非障碍标签对应的可用网格，计算可用网格连线之间的最小绕行曲率，生成无碰撞避障飞行路径。

47、本发明改进有，所述累加所述表面层可信度得分建立表面阻挡层时序置信度的过程具体包括：

48、提取前一图像帧数据记录的历史时序置信度；

49、统计历史测试数据中连续帧之间静态表面特征保持稳定的状态转移概率设定时序平滑转移系数；

50、计算所述历史时序置信度和所述时序平滑转移系数之间的乘积数值得到历史传递置信度；

51、计算所述历史传递置信度和所述表面层可信度得分之间的求和数值得到初始时序置信度；

52、提取全局地图文件预置的障碍物占据概率安全边界数值作为置信度饱和上限阈值；

53、比较所述初始时序置信度和所述置信度饱和上限阈值之间的数值大小；

54、在所述初始时序置信度大于所述置信度饱和上限阈值时，提取所述置信度饱和上限阈值作为所述表面阻挡层时序置信度；

55、在所述初始时序置信度小于或等于所述置信度饱和上限阈值时，提取所述初始时序置信度作为所述表面阻挡层时序置信度。

56、一种基于多传感器融合的无人机避障系统，所述基于多传感器融合的无人机避障系统用于实现上述基于多传感器融合的无人机避障方法，所述系统用于实现上述的基于多传感器融合的无人机避障方法，所述系统包括：

57、多源感知接入模块，采集激光雷达点云数据、视觉相机视频图像以及无人机位姿数据，利用所述无人机位姿数据对所述激光雷达点云数据进行位姿对齐得到虚拟点云帧，利用所述虚拟点云帧与所述视觉相机视频图像进行坐标转换和投影关联得到稀疏深度图，并依据所述虚拟点云帧计算得到点云几何曲率，依据所述视觉相机视频图像提取得到表面特征置信度图；

58、跨域一致性辨识模块，根据所述表面特征置信度图和稀疏深度图生成视觉表面候选区，结合点云几何曲率、无人机飞行速度以及基于稀疏深度图和虚拟点云帧计算得到的深度异常梯度和回波缺失率，计算综合冲突因子，基于所述综合冲突因子识别介质冲突区域并建立穿透误导冲突标识网格；

59、空间结构解析模块，依据所述介质冲突区域及所述无人机位姿数据生成局部空间平面模型，由所述表面特征置信度图生成表面阻挡层体素，并结合所述穿透误导冲突标识网格从所述虚拟点云帧中提取后景探测层体素，将所述表面阻挡层体素与所述后景探测层体素合并建立三维分层八叉树地图；

60、安全态势赋值模块，基于所述局部空间平面模型与所述表面特征置信度图计算表面层可信度得分，根据所述后景探测层体素计算后景层可信度得分，由所述表面阻挡层体素生成高风险禁入边界，将所述高风险禁入边界、所述表面层可信度得分及所述后景层可信度得分赋予所述三维分层八叉树地图，建立带风险梯度属性环境映射图；

61、连续航迹决策模块，提取所述视觉相机视频图像的时序特征建立表面阻挡层时序置信度，并基于所述后景探测层体素生成被隔离动态目标轨迹，根据所述高风险禁入边界、所述表面阻挡层时序置信度以及所述被隔离动态目标轨迹替换所述带风险梯度属性环境映射图的代价值建立高程风险融合栅格图，检索所述高程风险融合栅格图生成无碰撞避障飞行路径。

62、与现有技术相比，本发明的优点和积极效果在于：

63、本发明中，通过对齐位姿和坐标转换生成稀疏深度图与表面特征置信度图，结合深度异常梯度等多维数据计算综合冲突因子，准确辨识特殊介质区域并构建穿透误导冲突标识网格，有效克服常规感知对物理失效模式识别的盲区，在局部空间平面模型基础上生成包含表面阻挡与后景探测的三维分层八叉树地图，精准隔离并区分真实障碍物与反射误导感知，同步引入各层可信度得分确立高风险禁入边界，在此框架下提取时序特征建立高程风险融合栅格图，实现对复杂环境风险的动态量化评估并输出无碰撞避障飞行路径。