基于多模态信息融合的带尾焰飞行物识别跟踪方法及系统与流程
本发明涉及机器视觉下的目标检测与跟踪,特别涉及一种基于多模态信息融合的带尾焰飞行物识别与跟踪方法及系统。
背景技术:
1、在低空监测与航天飞行器测控领域,带尾焰飞行物的准确识别与实时跟踪是保障监测系统有效性、及时性的核心环节,直接关系到航天测控精度和响应效率。尾焰作为带尾焰飞行物的典型特征,其在红外波段呈现出高亮度、高动态的辐射特性,红外成像设备捕捉尾焰信息时,极易因尾焰的强红外辐射产生图像饱和、拖影及目标本体特征模糊等问题,这些问题会严重干扰传统目标识别与跟踪算法的特征提取和位置定位环节,导致算法对目标本体的判断出现偏差。
2、现有带尾焰飞行物的识别与跟踪方法,大多单独依赖可见光图像特征或单一红外波段特征进行处理,可见光方法受光照、天气等环境因素影响显著,在夜间、雾天等复杂环境下完全失效;而单一红外特征方法虽能摆脱可见光的环境限制,但无法有效区分目标本体与尾焰的红外辐射特征,难以在尾焰强干扰下保持稳定的检测与跟踪效果。尤其在目标快速机动、背景包含云层、建筑、地形等复杂元素、带尾焰目标标注数据集稀缺的实际应用情况下,现有方法极易出现目标误检、关键帧漏检与跟踪轨迹丢失等问题,无法满足实际场景对实时性、准确性与鲁棒性的要求。
3、目前工业界与学术界常见的红外小目标检测方法主要分为三类:基于局部对比度的检测方法、基于形态学滤波的检测方法和基于深度学习的检测方法。基于局部对比度的方法通过计算图像局部区域的灰度对比度来区分目标与背景,但尾焰的高亮度会使局部区域对比度计算出现偏差,无法准确分离目标与尾焰区域;基于形态学滤波的方法通过膨胀、腐蚀等操作对图像进行特征增强与噪声去除,但尾焰的不规则形态会导致滤波操作后目标本体特征被破坏,同时尾焰区域无法被有效滤除;基于深度学习的方法虽能通过网络模型学习复杂的目标特征,但对大规模高质量标注数据依赖度极高,且模型推理速度较慢,难以满足实时监测的需求。
4、在目标跟踪方面,传统的卡尔曼滤波、粒子滤波及其改进算法是应用较为广泛的方法,这类方法通过对目标运动状态进行预测与修正实现跟踪,但卡尔曼滤波适用于线性高斯运动场景,在目标非线性运动和尾焰高动态干扰下,其状态预测的精度会大幅下降;粒子滤波虽能适配非线性非高斯场景,但存在粒子退化、计算量过大的问题,在实时性要求较高的监测场景中难以应用。此外,多数红外目标检测与跟踪的融合方法均依赖高质量的带尾焰目标标注数据,而在实际应用中,带尾焰飞行物的红外图像采集受设备、场景、任务等因素限制,标注数据存在稀缺、场景单一、标注精度不足等问题,严重限制了监督学习类方法的实际实用性。
5、针对现有技术在尾焰干扰下检测精度低、跟踪稳定性差、对标注数据依赖度高、环境适应性弱等问题,本发明提出一种能够在尾焰强干扰下仍能实现高精度、实时识别与跟踪的带尾焰飞行物处理方法,通过多模块协同设计与特征融合策略,大幅提升方法的抗干扰能力与环境适应性,解决现有方法在实际场景中存在的各类技术痛点。
6、这里的陈述仅提供与本发明有关的背景技术,而并不必然地构成现有技术。
技术实现思路
1、基于前述技术问题,本发明的目的在于通过多模块协同设计与算法创新,最终实现在检测精度、跟踪稳定性、抗干扰能力、工程实用性等方面,带尾焰飞行物识别跟踪性能的显著提升。
2、为了达到上述目的,本发明提供一种基于多模态信息融合的带尾焰飞行物识别跟踪方法,该方法通过红外成像设备以固定帧率持续采集带尾焰飞行物的原始红外图像,单帧带尾焰飞行物的原始红外图像作为输入,逐帧循环步骤s1至s4处理并更新该帧带尾焰飞行物识别跟踪结果,直至全部帧红外图像均处理与更新后,完成带尾焰飞行物的识别与跟踪,其中,逐帧循环的步骤具体如下:
3、步骤s1、在某一时刻,接收到包含目标本体和尾焰两部分的带尾焰飞行物的当前帧原始红外图像,对其做滤波预处理;
4、步骤s2、利用基于局部强度与梯度的红外小目标检测算法,对滤波预处理后的当前帧红外图像进行局部强度与梯度特征提取,构建强度梯度图,通过二值化分割和感兴趣区域筛选机制,得到各个带尾焰目标当前帧的位置检测结果;
5、步骤s3、利用多目标跟踪算法,接收s2各带尾焰目标的当前帧位置检测结果,结合卡尔曼滤波算法与匈牙利算法,构建多目标跟踪器,实现每个带尾焰目标的检测结果与跟踪轨迹的跨帧数据关联,得到各带尾焰目标的跟踪结果;
6、步骤s4、接收s3中各带尾焰目标的跟踪结果,设计基于动态方向感知的尾焰分离机制,实现各目标本体的精准定位,实时更新并管理多个目标本体的跟踪轨迹,输出当前帧目标本体运动状态参数,并在当前帧原始红外图像中标注显示,实现可视化监控。
7、具体的,步骤s2中所述基于局部强度与梯度的红外小目标检测算法具体包括以下步骤:
8、步骤s2.1、提前设定红外图像的感兴趣区域,当接收滤波预处理后的当前帧红外图像后,只保留感兴趣区域内的当前帧红外图像进行s2的后续步骤,输出roi 区域筛选后的当前帧红外图像;
9、步骤s2.2、对roi 区域筛选后的当前帧红外图像划分局部窗口,计算窗口内的像素灰度均值与方差,作为该窗口的局部强度特征;筛选出均匀背景窗口,抑制其强度特征,输出抑制背景后的当前帧局部强度特征图像;
10、步骤s2.3、接收当前帧局部强度特征图像,计算窗口梯度,获取水平与垂直方向梯度值,计算各窗口的梯度幅值与梯度方向,构建局部梯度分布特征;通过梯度阈值筛选增强目标本体边缘的梯度信息,弱化尾焰边缘的梯度特征,输出弱化尾焰后的当前帧局部梯度分布特征图像;
11、步骤s2.4、结合当前帧局部强度特征图像与当前帧局部梯度分布特征图像,构建图像的当前帧的强度梯度图,采用最大类间方差法计算其自适应分割阈值,通过该阈值对强度梯度图进行二值化分割,将其划分为背景区域与带尾焰目标候选区域,最终输出带尾焰目标候选区域的位置信息,即各带尾焰目标的当前帧位置检测结果,包括带尾焰目标中心定位坐标与描述各带尾焰目标占据范围的检测框。
12、进一步的,步骤s2.2中,将灰度均值与方差均小于设定阈值的窗口作为所述均匀背景窗口,将其余的窗口作为灰度变化显著窗口,所述灰度变化显著窗口可认为是带尾焰目标所在的窗口;对所有均匀背景窗口进行灰度归一化的操作以抑制其强度特征,进而突出灰度变化显著窗口的强度特征,实现第一步的背景与目标分离。
13、进一步的,步骤s2.3中,对每个窗口计算梯度幅值与梯度方向后,基于当前帧roi区域内全部的梯度幅值分布确定自适应梯度阈值;当窗口梯度幅值大于或等于该自适应梯度阈值,且该窗口的梯度方向分布符合目标本体边缘的梯度特征时,保留或增强该窗口梯度信息;当窗口的梯度幅值小于该自适应梯度阈值,或者该窗口的梯度方向分布杂乱并呈尾焰拖拽特征时,对该窗口梯度信息进行抑制或降低权重,以弱化尾焰边缘的梯度特征。
14、具体的,步骤s3中所述多目标跟踪算法包括:
15、步骤s3.1、若当前帧为第一帧时,获取所述各带尾焰目标的初始位置检测结果,对每个初始检测到的带尾焰目标,为其分配唯一的目标跟踪id,同时初始化卡尔曼滤波器的状态向量与协方差矩阵,所述状态向量包含目标初始位置检测结果、速度、加速度等运动参数,所述协方差矩阵表征状态向量的估计误差,构建目标的初始跟踪轨迹,并将其传递给s4做进一步处理和轨迹更新管理;
16、步骤s3.2、若当前帧不是第一帧,根据接收到的前一帧各带尾焰目标状态向量,结合设置好的反映目标运动映射关系的常值矩阵即状态转移矩阵,对各个带尾焰目标的当前帧进行卡尔曼滤波运动状态估计,输出各带尾焰目标的当前帧运动状态估计参数,包括预测的位置信息即中心点坐标和目标占据范围的预测框、速度与加速度,更新协方差矩阵,针对带尾焰飞行物的运动特性,对卡尔曼滤波的状态转移矩阵进行优化;
17、步骤s3.3、设计综合代价矩阵,匈牙利算法对所述综合代价矩阵进行求解,实现所述各带尾焰目标当前帧位置检测结果与所述各带尾焰目标当前帧运动状态的最优匹配:若跨帧数据关联匹配成功,输出带尾焰目标当前帧的位置检测结果及其对应的目标跟踪id;若跨帧数据关联匹配失败,则为当前帧的位置检测结果分配新的跟踪 id、初始化卡尔曼滤波器与跟踪轨迹并输出。
18、进一步的,所述综合代价矩阵具体如下:
19、;
20、其中,i表示当前帧带尾焰目标的第i个位置检测结果,j表示第j个目标跟踪id对应的带尾焰目标当前帧运动状态;diou表示基于交并比的距离项;dmah表示马氏距离项,和 分别表示归一化后的交并比和马氏距离,λ为权重系数。
21、具体的,步骤s4中所述基于动态方向感知的尾焰分离机制具体包括:
22、利用各带尾焰目标实时运动状态参数,构建带尾焰目标的运动方向向量,结合各带尾焰目标跟踪轨迹,采用线性拟合的方式预测并输出每一个带尾焰目标下一帧的运动方向;
23、接收所述包含目标跟踪id的带尾焰目标当前帧的位置检测结果,其中包含目标本体与尾焰区域的检测框,由于尾焰导致目标本体定位存在中心偏移,通过该跟踪id的目标预测的下一帧运动方向,以原检测框的矩形短边为边长,在运动方向的前端构建排除尾焰区域的目标本体正方形识别框,完成检测框的动态收束,最终输出各目标本体的当前帧位置检测结果,包括各目标本体中心定位坐标与描述各目标本体占据范围的正方形识别框。
24、进一步的,所述检测框动态收束之前,引入反向帧数累计机制:
25、对接收到预测的带尾焰目标下一帧的运动方向与跟踪轨迹变化方向不一致的情况进行帧数累计,仅当连续反向帧数超过设定阈值时,才判定为带尾焰目标运动方向发生真实改变,并根据新的运动方向更新检测框;若连续反向帧数未超过阈值,则判定为噪声或短暂机动干扰,保持原有检测框与运动方向不变。
26、具体的,步骤s4中所述实时更新并管理多个目标本体的跟踪轨迹具体包括:
27、利用所述尾焰分离后的目标本体当前帧位置检测结果以及首次出现的目标跟踪id对应的当前帧位置检测结果对卡尔曼滤波的预测状态进行修正,即更新状态向量与协方差矩阵,并作为前一帧目标的实时运动状态参数用于后续帧的运动状态估计,同时将尾焰分离后的目标本体当前帧位置检测结果以及首次出现的目标跟踪id对应的当前帧位置检测结果添加至对应跟踪轨迹中,完成跟踪轨迹的更新;对于跟踪轨迹未匹配到当前帧检测结果的带尾焰目标,启动轨迹丢失计数,若连续计数超过设定阈值,则判定为该带尾焰目标离开监测区域,删除该跟踪目标id及该目标跟踪id对应的卡尔曼滤波状态参数,该跟踪目标id的跟踪轨迹作为历史记录保存,实现跟踪轨迹的实时更新与动态管理。
28、本发明还提供了一种基于多模态信息融合的带尾焰飞行物识别跟踪系统,该系统包括:滤波预处理模块、基于局部强度与梯度的红外小目标检测模块、多目标跟踪模块、可视化监控模块;
29、所述滤波预处理模块,接收红外成像设备采集当前帧带尾焰飞行物的原始红外图像,对该红外图像滤波预处理,输出滤波预处理后的当前帧红外图像传递给基于局部强度与梯度的红外小目标检测模块;
30、所述基于局部强度与梯度的红外小目标检测模块,与所述滤波预处理模块相连,接收所述滤波后当前帧红外图像,通过感兴趣区域排除非目标区域,基于局部强度与梯度特征构建强度梯度图,最终提取带尾焰目标的当前帧位置检测结果,传递给多目标跟踪模块;
31、所述多目标跟踪模块,与所述基于局部强度与梯度的红外小目标检测模块相连,接收所述带尾焰目标的当前帧位置检测结果,通过卡尔曼滤波进行运动状态估计与修正,通过匈牙利算法完成多个带尾焰飞行物当前帧位置检测结果与跟踪轨迹的跨帧关联,最终输出带有目标跟踪id的各带尾焰目标实时运动状态参数,传递给可视化监控模块;
32、所述可视化监控模块,与所述多目标跟踪模块相连,接收多目标跟踪模块上述结果,通过基于动态方向感知的尾焰分离机制,实现目标检测框动态收束,输出尾焰分离后的目标本体当前帧位置检测结果,进行卡尔曼滤波预测状态更新修正给到多目标跟踪模块,目标本体当前帧位置检测结果添加至对应目标跟踪id的跟踪轨迹中,完成轨迹更新存储,同时将跟踪结果以可视化的方式在当前帧原始红外图像上进行标注,输出包含跟踪框、轨迹线、目标运动参数的可视化图像,满足实际监测场景的可视化需求。
33、本发明与现有技术相比具有以下优点:
34、1、本发明提供的一种基于多模态信息融合的带尾焰飞行物识别跟踪方法及系统,通过提出并设计一种基于局部强度与梯度的红外弱小目标检测算法,突破了传统检测方法的技术瓶颈,在无需大量标注数据的情况下实现对带尾焰目标的高精度检测,具有良好的抗尾焰干扰能力。该方法摒弃了深度学习方法对大规模标注数据的依赖,通过局部强度特征与梯度特征的融合构建强度梯度图,结合自适应阈值分割与感兴趣区域筛选机制,实现了目标本体与尾焰区域、复杂背景的有效分离,解决了传统方法在尾焰高亮度干扰下检测精度低、漏检率高的问题,同时纯算法设计的方式大幅提升了检测速度,满足实际场景的实时检测需求。
35、2、本发明提供的一种基于多模态信息融合的带尾焰飞行物识别跟踪方法及系统,通过构建一种融合卡尔曼滤波与匈牙利算法的多目标跟踪框架,并结合运动方向感知的尾焰分离机制,实现了跟踪性能与抗干扰能力的双重提升,有效区分目标本体与尾焰区域,提升复杂动态环境下的跟踪鲁棒性。该跟踪框架对卡尔曼滤波与匈牙利算法进行了针对性优化,融合iou与马氏距离构建匹配代价函数,提升了跨帧数据关联的准确性;同时创新性设计的运动方向感知尾焰分离机制,通过动态检测框调整与反向帧数累计策略,实现了目标本体与尾焰的精准分离,避免了尾焰对目标本体定位与跟踪的干扰,解决了传统跟踪算法在尾焰干扰下轨迹丢失、定位偏移的问题,能够在目标快速机动、多目标并存、背景复杂等场景下保持稳定的跟踪性能。
36、3、本发明提供的一种基于多模态信息融合的带尾焰飞行物识别跟踪方法及系统,通过实现从图像预处理到目标跟踪的全流程集成方案,各模块之间实现数据无缝传输与结果融合优化,具备较高的工程应用价值与系统适应性。本发明将图像预处理、红外目标检测、多目标跟踪、尾焰分离、结果可视化等环节进行一体化设计,形成了端到端的带尾焰飞行物识别与跟踪解决方案,整个方案的算法复杂度适中,运算速度快,能够适配各类红外成像设备的硬件平台,无需大规模的计算资源;同时方案的参数可根据不同实际场景进行灵活调整,具备良好的环境适应性与场景扩展性,填补了现有技术在尾焰强干扰下带尾焰飞行物实时识别与跟踪的技术空白,具有重要的工程应用价值与实际推广意义。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com