一种受无人机视场扰动指数驱动的交通异常事件动态监测与稳定跟踪方法

摘要: 本发明属于无人机智能巡检,具体为一种受无人机视场扰动指数驱动的交通异常事件动态监测与稳定跟踪方法,尤其适用于高速公路、城市快速路等场景下无人机高空巡检中的微小车...
一种受无人机视场扰动指数驱动的交通异常事件动态监测与稳定跟踪方法

本发明属于无人机智能巡检,具体为一种受无人机视场扰动指数驱动的交通异常事件动态监测与稳定跟踪方法,尤其适用于高速公路、城市快速路等场景下无人机高空巡检中的微小车辆目标检测、跨帧稳定跟踪及异常行为实时预警。

背景技术:

1、随着无人机技术的快速发展,利用无人机搭载光电吊舱进行高速公路交通巡检已成为智能交通领域的重要应用方向。然而,现有无人机交通监测方法在实际应用中仍面临以下三个突出痛点:

2、第一,视场扰动导致图像质量退化,传统检测方法适应性不足。无人机在巡检过程中易受气流扰动、机械振动等影响,导致图像出现抖动模糊;同时,飞行高度的变化会引起目标成像尺度的突变。这些视场扰动因素使得传统的固定参数目标检测网络(如基于滑动窗口的检测器或固定置信度阈值的分类器)难以稳定工作,容易出现漏检或误检,尤其是在微小目标检测场景下,问题尤为突出。

3、第二,多目标跟踪中的特征关联缺乏动态平衡机制。在扰动环境下,目标的表观特征(如颜色、纹理)会因图像模糊而变得不可靠,而运动特征(如位置、速度)也因抖动而产生噪声。现有方法通常采用固定权重的线性融合方式,无法根据实时扰动强度动态调整运动特征与表观特征的贡献比例,导致目标身份频繁切换或关联失败,跟踪鲁棒性较差。

4、第三,目标失跟后的轨迹断裂问题缺乏有效的修复手段。当目标因遮挡或检测丢失而进入失跟状态时,现有方法通常简单停止跟踪或采用卡尔曼滤波进行匀速外推,缺乏对目标行为先验的学习与利用。同时,失跟期间的过程噪声协方差固定不变,无法反映不确定性的真实增长;失跟结束后,历史轨迹与当前轨迹之间存在断层,缺乏基于全局优化思想的闭环平滑重建机制,导致轨迹不连续、位置跳变,难以满足交通事件分析对轨迹完整性的要求。

技术实现思路

1、本发明针对无人机高空巡检中因气流扰动、高度变化导致的图像抖动模糊、目标尺度突变及跟踪易失跟的问题,提出一种受无人机视场扰动指数驱动的交通异常事件动态监测与稳定跟踪方法。

2、为了实现上述目的,本发明采用了如下技术方案:

3、本发明的一种受无人机视场扰动指数驱动的交通异常事件动态监测与稳定跟踪方法,包括以下步骤:

4、步骤一:获取物理量测数据计算背景光流场方差和相对高度偏差因子,并量化视场扰动综合指数;

5、步骤二:根据视场扰动综合指数动态计算滑动窗口重叠率,从而生成空间注意力权重掩码,通过计算检测置信度阈值构建有效检测候选集;

6、步骤三:根据视场扰动综合指数,计算动态关联权重,结合有效检测候选集构建综合关联代价矩阵,通过卡方分布阈值约束与匈牙利算法的全局最优指派求解;

7、步骤四:利用长短时记忆网络(lstm)进行行为先验推演,并引入视场扰动综合指数动态扩维过程噪声协方差,最终通过rts平滑算法实现失联区间内轨迹的闭环重建;

8、步骤五:基于时空连续轨迹的交通异常事件语义识别与动态预警。

9、作为更进一步的优选方案,步骤一包括以下步骤:

10、1.1)基于背景光流统计特性的机械抖动强度量化(计算背景光流场方差):利用无人机载光电吊舱获取原始视频序列,在相邻视频帧与之间,识别非动态交通区域的背景像素集;利用金字塔lucas-kanade光流算法计算所述背景像素集中每个背景像素点的运动矢量;随后,通过计算背景光流场的统计方差来量化由无人机机械抖动或气流扰动引起的视觉模糊强度,其计算公式定义为:

11、;

12、其中,为识别的非动态背景像素集合,表示第个背景像素点的运动矢量模长,为当前帧全局背景运动的平均模长;该公式通过度量背景像素运动的不一致性,精确捕捉图像由于机械抖动产生的光学畸变能量,方差越大,代表图像对比度损耗与边缘弥散现象越严重;

13、1.2)基于绝对飞行高度偏差的视场尺度偏移度量(计算相对高度偏差因子):实时同步调取机载气压高度计反馈的实时飞行高度,将其与预设的基准巡检高度进行对比,利用对数算子计算用于量化成像尺寸突变的相对高度偏差因子,用以量化由于无人机升降运动导致的交通目标成像尺寸突变,其计算公式为:

14、;

15、其中,对数算子用于平滑高度剧烈波动时的数值跳变。该项指标反映了视场内单位像素所代表的实际物理尺寸的演变趋势:当增大时,预示着地面车辆在图像中的特征感受野发生剧烈收缩或扩张,从而引导后续算法动态调整滑动窗口的采样频率;

16、1.3)建立受物理抖动与尺度偏移共同约束的视场扰动综合评价模型(融合生成视场扰动综合指数):建立受所述统计方差与所述相对高度偏差因子共同约束的视场扰动综合评价模型,利用非线性映射机制生成全局驱动变量,即视场扰动综合指数,其融合方程定义为:

17、;

18、式中,的值域被映射至[0,1]区间,和分别为抖动分量与高度分量的灵敏度调节系数,且满足为用于调节系统对细微震动容忍度的环境噪声抑制常数;该公式通过指数衰减项将无限范围的光流方差映射至[0,1]区间,确保了综合指数在极端抖动环境下的数值稳定性。最终输出的将实时干预后续步骤中检测网络的置信度门限演化。

19、作为更进一步的优选方案,步骤二包括以下步骤:

20、2.1)动态计算滑动窗口重叠率:针对无人机回传的高分辨率交通巡检视频帧,为克服高空视角下微小病害或车辆目标因机械抖动产生的运动拖影与特征发散问题,引入受控于视场扰动综合指数的自适应滑动窗口切片机制。系统获取步骤一输出的视场扰动综合指数,据此计算当前视频帧执行切片操作时的动态重叠率,其计算公式为:

21、;

22、其中,表示计算所得的滑动窗口动态重叠率,与分别代表预设的最大计算冗余重叠率常数和无人机平稳飞行状态下的基准重叠率常数,为以自然常数为底的指数函数,指代预设的窗口重叠率对环境波动的响应敏感系数;通过该计算模型,当无人机受到强风或急转弯导致升高时,系统呈非线性地增加切片窗口的重叠步长,以高频冗余扫描的方式确保目标的完整局部特征能够落入单一检测网络的感受野内;

23、2.2)融合空间注意力机制的区域特征提取与像素级抗噪补强(生成空间注意力权重掩码):利用所述动态重叠率对当前视频帧执行滑动窗口切片,将生成的各个切片图像分别输入至目标检测网络的骨干特征提取模块中(包含分类与回归双分支的深度学习),并生成二维空间位置权重掩码;

24、目标检测网络采用视觉transformer模型或深度残差收缩网络作为骨干特征提取模块,为抑制由光照突变或复杂背景带来的伪影干扰,并在其特征提取层引入空间注意力机制生成二维空间位置权重掩码,其计算公式为:

25、;

26、其中,为sigmoid非线性激活函数,表示感受野大小为的二维特征空间卷积操作,代表对特征矩阵在通道维度上执行的拼接融合操作,avgpool(·)与maxpool(·)分别表示沿特征通道维度并行执行的空间平均池化操作与空间最大池化操作,则是所述切片图像在骨干特征提取模块中提取的中间层局部特征图;

27、系统随后利用所述位置权重掩码  对所述中间层局部特征图  执行逐像素的点乘增益操作,从而在特征层面上压制高频气象噪声,生成纹理细节与边缘信息得到显著补强的高维候选特征响应图;

28、2.3)动态计算检测置信度阈值:将所述高维候选特征响应图输入目标检测网络的检测头模块,经分类分支输出各候选目标属于交通目标类别的预测置信度得分,经回归分支输出其边界框参数;为避免因图像信噪比降低导致真实的模糊交通目标被固定置信度门限硬性过滤,系统建立受控于所述扰动综合指数的检测置信度动态演化模型,即计算当前帧的实时动态检测置信度阈值,其计算公式为:

29、;

30、式中,th_score 为计算所得的实时动态检测置信度阈值;th_base 表示所述目标检测网络在标准平稳视场条件下经离线标定确定的基础检测置信度基准值,即视场扰动综合指数趋于零时,使检测召回率达到预设指标所对应的置信度门限;γ 代表预设的控制阈值衰减速率的灵敏度常数;c_margin 则是为防止入围阈值过度衰减引发海量误检而预设的硬性下界常数。

31、最终,提取所述预测置信度得分大于所述动态置信度阈值 th_score 的候选目标作为潜在交通目标,输出其观测状态向量与表观特征向量,构建有效检测候选集,用于后续跨帧轨迹关联匹配;

32、作为更进一步的优选方案,步骤三,基于非线性权重算子的多维特征代价融合与目标全局最优关联,包括以下步骤:

33、3.1)基于视场扰动指数驱动的关联权重算子自适应调控(计算动态关联权重):获取步骤一生成的视场扰动综合指数,通过逻辑回归算子构建非线性权重演化曲线,计算用于平衡运动一致性与表观相似性的动态关联权重,其计算公式定义为:

34、;

35、其中,表示计算所得的运动特征分配权重值,为以自然常数为底的指数函数,为预设的控制权重随扰动增大向运动特征倾斜响应速率的曲率增益系数,为预设的用于判定视场稳定性边界的扰动临界阈值;当超过扰动临界阈值时(预示环境出现剧烈抖动或模糊),系统通过上调强制提升物理运动规律在关联决策中的占比,从而有效屏蔽失效的视觉表观信息,保障恶劣环境下跟踪算法的鲁棒性;

36、3.2)构建综合关联代价矩阵:利用步骤二输出的有效检测候选集,计算当前视频帧中第个检测目标与第条历史轨迹预测状态之间的多维异构特征距离,为消除不同度量空间带来的量纲差异,将各距离分量先归一化到近似同尺度区间,并利用动态关联权重合成综合代价矩阵,其矩阵元素计算公式为:

37、;

38、其中,指代第个检测目标与第条历史轨迹之间的综合匹配代价,为表征两者时空运动一致性并经归一化处理后的马氏距离,为当前检测目标表观特征向量与历史轨迹均值特征向量之间经归一化处理后的余弦距离,表示当前检测目标边界框与轨迹预测边界框之间经归一化映射后的广义交并比分量,为预设的用于修正边界框空间重叠精度的几何一致性惩罚系数;通过引入惩罚系数,使得空间形态的微小畸变不会导致关联彻底失效,提升了复杂视场下的容错率;

39、3.3)基于卡方分布阈值约束与匈牙利算法的全局最优指派求解(匈牙利算法全局关联):为排除由于高空复杂环境背景噪声或雨雾瞬时遮挡引入的伪关联干扰,系统引入基于卡方分布的关联阈值对所述综合关联代价矩阵进行物理可达性预筛选;若特定匹配项的马氏距离满足条件,则判定该项为物理逻辑不可达的伪匹配,将该匹配项在所述综合关联代价矩阵中的代数值赋予无穷大惩罚项,其中为显著性水平,为运动状态向量的自由度;在完成严谨的预筛选后,系统应用匈牙利算法对经过惩罚修正后的综合关联代价矩阵进行指派求解,在全局范围内搜索总关联代价最小化的最优匹配对集合,输出车辆目标的匹配状态标志位,据此建立跨帧目标身份关联;匹配成功的检测-轨迹对进入卡尔曼滤波状态更新环节,持续维持目标跟踪;未匹配的检测初始化为新的跟踪轨迹,纳入后续帧的关联匹配;未匹配的轨迹转入步骤四,进行基于lstm行为先验的失跟推演与轨迹闭环重建。

40、作为更进一步的优选方案,步骤四,结合深度行为先验的失跟推演与基于rts反向平滑的轨迹闭环重建,包括以下步骤:

41、4.1)融合lstm意图先验的时序轨迹虚拟推演:若当前视频帧中目标未匹配到有效量测值时,判定所述目标进入失跟状态;提取所述目标失跟前的历史轨迹序列,并将其输入至预训练的长短时记忆网络(lstm)中;获取所述长短时记忆网络输出的下一时刻虚拟预测坐标量,并将该虚拟预测坐标量强制设定为所述目标在失跟期间的先验物理位置,替代真实量测值输入至卡尔曼滤波的量测更新环节,与步骤 4.2 所述受扰动指数与时延双重约束的过程噪声协方差扩展矩阵协同作用,维持目标在失跟期间的状态估计,从而在无真实视觉观测输入的条件下,保持目标轨迹在时空维度的逻辑延续;同时启动累计失跟帧数计数器 δt,自目标进入失跟状态起逐帧递增,供步骤4.2构建过程噪声协方差扩展矩阵时调用,从而在无真实视觉观测输入的条件下,维持目标轨迹在时空维度的逻辑延续;

42、4.2)受扰动指数与时延双重约束的预测协方差自适应修正:在标准卡尔曼滤波的时间更新阶段,为解决纯物理动力学模型在视距受限与环境抖动叠加时的发散问题,获取步骤一生成的视场扰动综合指数以及所述目标的累计失跟帧数,构建受所述综合指数与所述失跟帧数双重驱动的过程噪声协方差扩展矩阵,其计算公式为:

43、;

44、其中,为修正后的状态不确定性预测协方差矩阵,为系统状态转移矩阵,为所述状态转移矩阵的转置,为上一时刻的最优状态协方差矩阵,为基础过程噪声矩阵,为以自然常数为底的指数函数,为预设的时延膨胀惩罚系数,为目标当前累计的连续失跟帧数,为步骤 s1 量化获取的全局视场扰动综合指数;该公式通过指数膨胀机制,随着失跟时间增加与环境抖动加剧,自适应放大以为中心的马氏距离搜索椭圆门限,允许物理不确定性在受控范围内合理扩张;

45、4.3)跨帧状态重激活与基于rts反向平滑的隐藏轨迹重建:当新的检测目标满足重激活条件时(即重新落入动态扩张的搜索椭圆门限内,且其表观特征的余弦距离满足重激活条件时),提取重激活时刻的观测状态;为消除失跟踪期间由虚拟推演导致的轨迹折线与空间突变,系统触发 rauch-tung-striebel (rts) 平滑算法进行逆向闭环重建;以时刻为锚点,触发rauch-tung-striebel平滑算法进行逆向闭环重建;沿着逆向时间步,依次计算平滑增益矩阵:

46、;

47、利用所述平滑增益矩阵,对失联区间内的历史隐藏状态向量进行递归闭环修正,其递归更新公式为:

48、;

49、式中,为正向滤波产生的前验协方差矩阵,为修正扩展矩阵的逆矩阵,表示经过逆向平滑后的最优回溯状态估计向量,为当前时刻正向滤波状态估计计,为下一时刻的最优回溯状态估计向量,为卡尔曼正向预测状态量;

50、经过逆向递归计算,系统将重激活时刻的真实物理误差反向且平滑地摊薄分配至所有的失跟帧中,最终输出空间位置可微、一阶与二阶导数均连续的车辆完整行驶轨迹,并结合该连续轨迹的偏离度与停靠时长输出交通异常事件的精准预警。

51、作为更进一步的优选方案,步骤五,基于时空连续轨迹的交通异常事件语义识别与动态预警,包括以下步骤:

52、5.1)提取平滑轨迹状态序列:提取步骤四输出的空间位置可微且物理意义连续的车辆行驶轨迹集合,针对任意车辆目标,获取其平滑后的轨迹状态序列,其中为第步的位置坐标,为瞬时速度模长,为速度矢量航向角,为轨迹序列总长度;

53、利用所述轨迹状态序列,系统建立时间滑窗检测机制,构建基于多维时空阈值的交通异常事件联合判定逻辑,具体包括以下两种独立的异常事件判定:异常停滞事件判定和逆行事件判定。

54、5.2)异常事件联合判定:基于步骤 5.1 提取的轨迹状态序列,建立时间滑窗检测机制,执行以下两种独立的异常事件判定:若所述车辆目标在连续滑窗周期内,其瞬时速度模长持续满足,且当前位置坐标位于预设的非应急车道区域,则判定发生“异常停滞/交通事故”事件,其中为预设的极小滞留速度阈值;计算所述车辆目标的航向角与预设的车道基准方向矢量之间的余弦相似度,若满足且持续帧数超过预设的确认帧数阈值,则判定发生逆行事件;

55、5.3)输出实时预警:当触发上述任一异常事件判定时,提取异常发生时刻的无人机全局gps坐标、目标相对图像坐标以及步骤一生成的视场扰动综合指数,封装备份,并向地面管控平台输出带有地理空间锚点的交通异常事件实时预。

56、作为更进一步的优选方案,视觉transformer模型与所述深度残差收缩网络在离线阶段的联合训练与特征学习过程,包括以下步骤:

57、①基于多气象梯度样本库的视觉transformer模型气象语义收敛训练。为使网络具备在复杂气象与扰动环境下对全局浑浊度的感知能力,系统在离线阶段收集涵盖大雾、暴雨、强雪及晴天等不同环境特征的真实无人机巡检视频,以基于多气象梯度样本库的视觉transformer模型气象语义收敛训练。为使网络具备在复杂气象与扰动环境下对全局浑浊度的感知能力,系统在离线阶段收集涵盖大雾、暴雨、强雪及晴天等不同环境特征的真实无人机巡检视频,以构建包含预设不同气象梯度特征的真实无人机巡检视频多气象梯度样本库;针对所述多气象梯度样本库,系统采用one-hot编码标签机制,并利用采用交叉熵损失函数对所述视觉transformer模型进行气象语义收敛训练,所述交叉熵损失函数的计算公式定义为:

58、;

59、该公式中, 表示计算所得的全局语义分类交叉熵损失值, 为预设的气象等级类别总数, 代表当前训练样本真实气象标签的 one-hot 编码指示变量(当样本属于第  类时取值为1,否则为0), 则为所述视觉transformer网络中 softmax 分类层输出的当前环境属于第  类气象等级的概率值;通过最小化该损失函数 ,网络得以精准提取表征环境浑浊度的全局语义特征向量,为后续实时能见度指标的量化提供高置信度的数据支撑;

60、②基于感兴趣区域对齐的深度残差收缩网络抗噪表观特征收敛训练:为剥离高空复杂环境背景与降水伪影带来的高频非结构化噪声,获取标注有车辆二维边界框及身份重识别(re-id)标签的训练样本集,利用感兴趣区域对齐(roi align)操作,将训练样本集中的目标区域裁剪至固定像素分辨率(128×64)后,输入至所述深度残差收缩网络中;采用三元组损失函数对深度残差收缩网络进行度量学习与收敛训练,三元组损失函数的计算公式定义为:

61、;

62、式中,为计算所得的三元组特征空间惩罚损失值,为选定的锚点车辆表观特征向量, 为与锚点车辆具有同一身份标签的正样本特征向量,为与锚点车辆具有不同身份标签的负样本特征向量,指代计算两个特征向量之间余弦距离的映射函数,则是为强制同类特征聚类且异类特征排斥而预设的边缘惩罚余量常数,为确保损失非负的非线性截断算子;通过该训练机制,系统最大化了不同目标车辆在余弦度量空间内的特征区分度,确保输出的表观特征向量具备极强的纹理鲁棒性与空间不变性。

63、有益效果:本发明通过构建融合背景光流方差与高度偏差的视场扰动综合指数,将无序的飞行抖动与尺度变化转化为可计算的全局驱动变量,使检测网络的滑动窗口重叠率与置信度阈值能够随扰动强度自适应调节,有效解决了高空巡检中微小交通目标因图像模糊导致的漏检问题;通过逻辑回归算子动态分配运动特征与表观特征的关联权重,在扰动加剧时自动提升物理运动规律在匹配决策中的占比,显著降低了目标身份切换率;针对目标失跟后的轨迹断裂问题,利用lstm生成行为先验并驱动过程噪声协方差自适应扩展,结合rts反向平滑实现失联区间内轨迹的闭环重建,使输出轨迹具备空间连续性与物理一致性,为异常停滞、逆行等交通事件的精准判定提供了可靠的数据基础。整体上,本发明实现了从视场感知、目标检测、跨帧关联到轨迹修复与事件预警的全链路自适应闭环,适用于高速公路无人机智能巡检场景。