基于多模态视觉感知的无人机风险评估方法及相关设备

本技术涉及低空安防，尤其涉及一种基于多模态视觉感知的无人机风险评估方法及相关设备。

背景技术：

1、近年来，随着民用无人机技术的快速普及，其在物流、测绘、航拍等领域的应用日益广泛。然而，由于缺乏有效的监管手段，无人机“黑飞”、误入禁飞区或坠落伤人等事件频发，给低空空域管理和公共安全带来了严峻挑战。

2、现有的无人机探测与反制系统主要存在以下技术缺陷：

3、其一，现有技术多依赖于雷达或无线电频谱探测设备。这类设备虽然探测距离远，但在复杂的城市建筑群中容易受到电磁干扰，且设备造价高昂、部署困难，难以满足移动端或轻量化安防场景的需求。

4、其二，部分基于纯视觉的无人机追踪算法（如单一的深度学习目标检测或相关滤波追踪）在应对复杂背景时鲁棒性较差。当无人机距离较远、尺寸较小，或短暂被树木、建筑物遮挡时，极易发生目标丢失（tracking loss）。且现有算法往往缺乏目标丢失后的全局时空对齐与重定位机制，导致追踪链条断裂。

5、其三，现有的无人机安全评估大多停留在“定性”层面（即仅判断画面中是否存在无人机），缺乏如同交通工程领域中对交通事故碰撞毁伤那般的严密物理学考量。市面上的系统往往对仅重几百克的微型娱乐无人机和重达几十公斤的工业载重无人机发出同等级别的警报，无法结合目标的实际物理尺寸、质量与瞬时速度进行动能量化的精细化风险分级，容易导致安防资源的浪费或对高危目标的漏判。

技术实现思路

1、本技术的目的是为了克服以上现有技术存在的不足之一，提供了一种基于多模态视觉感知的无人机风险评估方法、电子设备、存储介质及程序产品。

2、为实现上述目的，本技术实施例的一方面提出了一种基于多模态视觉感知的无人机风险评估方法，所述方法包括：

3、获取监控空域的连续视频流图像；

4、对所述视频流图像进行目标检测与追踪，建立目标无人机的连续运动轨迹；其中，所述目标检测与追踪采用全局深度学习搜索模态、局部区域特征追踪模态、目标轨迹预测模态与背景对齐运动补偿模态相结合的多模态追踪机制；所述多模态追踪机制通过状态机进行自适应调度；

5、获取所述目标无人机的先验物理参数，所述先验物理参数至少包括无人机的物理参考宽度和物理质量；

6、提取所述连续运动轨迹中相邻图像帧之间的像素位移，并根据所述物理参考宽度与目标边界框像素宽度之间的比例关系，将所述像素位移转化为实际空间位移，从而计算所述目标无人机的瞬时飞行速度；

7、基于所述目标无人机的物理质量与所述瞬时飞行速度，计算所述目标无人机的实时动能，并将所述实时动能代入预设的动力学综合风险评估模型中，解算出目标综合风险值，最后根据所述综合风险值所处的阈值区间，输出对应的分级管制预警策略。

8、在一些实施例中，所述多模态追踪机制的协同运行过程为：

9、系统初始状态下，启动全局深度学习搜索模态，对整帧图像进行无人机目标检测；

10、当捕获到目标并输出目标边界框后，切换至局部区域特征追踪模态，并以所述目标边界框的中心为锚点建立局部感兴趣区域，在后续图像帧中优先在所述局部感兴趣区域内执行目标检测与目标跟踪；

11、当目标遭遇短暂遮挡或丢失时，启动目标轨迹预测模态，通过轨迹预测算法输出目标的预测边界框，以维持连续追踪；

12、在目标丢失帧数达到设定阈值且盲测失效时，激活背景对齐运动补偿模态，通过提取历史图像帧与当前图像帧中的静态背景特征点，构建图像几何变换关系，对时延差分背景进行全局几何对齐与差分运算，提取残差轮廓，并结合卡尔曼滤波的预测质心进行融合锁定，实现复杂背景下的目标重定位。

13、在一些实施例中，计算所述瞬时飞行速度的具体方法为：

14、在连续图像帧中，读取所述多模态追踪机制输出的目标边界框像素宽度；

15、结合所述目标无人机的物理参考宽度，通过下式解算出当前帧的单像素实际物理表征尺寸系数：

16、

17、提取当前帧与前一帧的目标中心点像素坐标差，计算得到相邻图像帧之间的目标中心点像素位移；

18、结合视频流的实时帧率，通过下式解算出瞬时速度：

19、

20、并采用滑动平均滤波方式对多个连续瞬时飞行速度进行平滑处理，输出目标无人机的最终瞬时飞行速度。

21、在一些实施例中，所述动力学综合风险评估模型融合物理毁伤维度、环境暴露维度和行为合规性维度，其具体评估逻辑为：

22、所述动力学综合风险评估模型引入环境人群密度参数、来源非法性标志、归一化航道偏离度、环境遮蔽系数、目标无人机投影面积、来源非法性惩罚系数以及宏观风险缩减常数；

23、通过所述瞬时飞行速度解算出实时动能之后，使用下式计算毁伤效能参数：

24、

25、其中，为人员伤亡易感常数，为环境遮蔽系数，为动能脱敏调节常数；

26、根据所述毁伤效能参数、环境人群密度参数、来源非法性标志、归一化航道偏离度、环境遮蔽系数、目标无人机投影面积、来源非法性惩罚系数以及宏观风险缩减常数，使用下式计算目标综合风险值 r：

27、

28、将解算出的综合风险值与预设的风险阈值区间进行比对：若r小于第一预设阈值，定级为低风险并输出伴飞监测策略；若大于或等于所述第一预设阈值且小于或等于第二预设阈值，定级为中风险并输出电子围栏与定向干扰策略；若大于所述第二预设阈值，定级为高风险并输出物理拦截或电磁脉冲瘫痪策略。

29、在一些实施例中，所述背景对齐运动补偿模态的具体实现方法为：

30、构建动态环形缓存区，存储历史图像帧；

31、当正常追踪中断时，提取所述环形缓存区中最前端的时延历史灰度图像帧；

32、在所述历史灰度图像帧上提取多个强角点特征作为参考背景锚点；

33、采用金字塔光流法追踪所述背景锚点在当前最新图像帧中的映射像素位置；

34、筛选出光流追踪成功的背景点对，若点对数量大于或等于预设阈值，则调用随机抽样一致性算法解算出历史帧到当前帧的单应性矩阵；

35、利用所述单应性矩阵对所述历史灰度图像帧进行透视变换，生成与当前帧视角重合的模拟纯净背景；

36、将当前最新图像帧与所述模拟纯净背景进行绝对值差分运算，消除动态相机运动造成的背景差异；

37、对差分图进行阈值极化与形态学膨胀操作，提取连通域轮廓；

38、调用卡尔曼滤波器的先验预测质心，在预设搜索半径内寻找与所述预测质心距离最近且面积符合无人机物理几何特征的连通域轮廓；

39、一旦成功匹配，将所述连通域的外接矩形作为最新的目标边界框，实现目标重定位。

40、在一些实施例中，所述方法还包括目标丢失判定与盲测预测步骤，所述目标丢失判定与盲测预测步骤具体包括：

41、当全局深度学习搜索模态、局部区域特征追踪模态及背景对齐运动补偿模态在当前帧均未能捕获目标时，判断目标连续丢失帧数是否超过预设的最大丢失帧数阈值；

42、若未超过所述最大丢失帧数阈值，启动目标轨迹预测模态，通过卡尔曼滤波器输出先验的盲测预测边界框，维持连续追踪；

43、若目标连续丢失帧数超过所述最大丢失帧数阈值，宣布追踪死锁，复位所有数据，状态归零为丢失目标。

44、在一些实施例中，所述方法还包括基于层次分析法的动态权重调整步骤，所述动态权重调整步骤具体包括：

45、针对不同防务场景建立重要度判断矩阵；

46、通过求解所述判断矩阵最大特征值对应的特征向量，并进行一致性检验，为动能项、来源合法性项、航道偏离度项、人群与遮蔽联合项分别赋予独立的动态权重；

47、基于所述动态权重对所述综合风险值进行加权计算，输出加权后的风险评估结果。

48、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上所述的方法。

49、为实现上述目的，本技术实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上所述的方法。

50、为实现上述目的，本技术实施例的另一方面提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上所述的方法。

51、本技术实施例至少包括以下有益效果：本技术提供一种基于多模态视觉感知的无人机风险评估方法、电子设备、存储介质及程序产品，该方案通过构建全局深度学习搜索、局部区域特征追踪、目标轨迹预测与背景对齐运动补偿四模态接力的多模态追踪机制，并利用状态机进行自适应调度，显著提升了复杂背景下对微小无人机的连续追踪鲁棒性，有效克服了传统单一视觉追踪算法在目标被遮挡或丢失时易跟丢的技术缺陷；同时，通过引入目标无人机的物理参考宽度和物理质量作为先验参数，将相邻帧间的像素位移转化为实际空间位移以测算瞬时飞行速度，进而结合实时动能与动力学综合风险评估模型解算综合风险值，实现了从像素级视觉感知到物理级动能评估的跨域融合，摒弃了现有技术中“一刀切”式的定性报警模式，能够根据综合风险值所处的阈值区间自动输出分级管制预警策略，为低空空域安防提供了科学、精细化的决策依据。