基于门控机制与局部图交互的可见光-热红外车辆多目标跟踪方法及系统
本发明涉及计算机视觉,尤其涉及基于门控机制与局部图交互的可见光-热红外车辆多目标跟踪方法及系统。
背景技术:
1、准确地跟踪车辆是智慧交通、自动驾驶、道路监控以及全天候安防领域中的关键问题。现有多目标跟踪方法大多基于可见光图像实现车辆目标检测与跨帧关联,在常规光照条件下能够取得较好的跟踪效果。然而,在夜间、低照度、逆光、雾霾、雨雪及隧道出入口等复杂场景下,可见光图像易出现车辆轮廓模糊、对比度下降以及前景与背景混淆等问题,导致车辆检测精度下降,并进一步影响轨迹关联的稳定性。热红外图像能够反映车辆的热辐射信息,在弱光和复杂环境干扰下具有较好的成像稳定性,但通常缺乏丰富的颜色和纹理细节,如车身外观、车牌区域及车辆表面结构信息等。因此,将可见光图像与热红外图像结合用于车辆多目标跟踪,有望充分利用两种模态之间的互补信息,从而提升复杂环境下车辆跟踪的鲁棒性。
2、目前,针对车辆目标的双模态多目标跟踪在实际复杂的交通道路或监控环境中仍面临诸多挑战:(1)历史帧中蕴含的时序信息利用不足,难以充分建模车辆跨帧运动的连续性。在车辆并排行驶、超车、跟车或局部遮挡等情况下,容易出现目标身份丢失或切换的问题,从而影响长期跟踪过程中目标身份的一致性。(2)部分方法在主干网络之前对多源特征进行单阶段融合,容易造成细粒度特征信息丢失,且难以实现不同层级特征的上下文自适应融合。当车辆因远近距离改变而在画面中呈现明显尺度变化时,模型往往难以有效适应这种尺度波动。(3)若在主干网络的每个层级上均采用复杂的融合机制,则容易引入冗余计算并增加网络复杂度,不利于实现高效的车辆多目标跟踪,难以满足车载平台或道路监控设备对实时性的要求。
3、鉴于此,特提出本发明。
技术实现思路
1、本发明旨在至少解决以上任一个技术问题,从而提供了基于门控机制与局部图交互的可见光-热红外车辆多目标跟踪方法及系统。
2、为实现上述目的,本发明采用的第一个技术方案为:
3、基于门控机制与局部图交互的可见光-热红外车辆多目标跟踪方法,包括:
4、获取当前时刻及前一时刻的可见光图像和热红外图像,以及前一时刻目标热力图;
5、分别在可见光分支和热红外分支中,将当前帧浅层特征与前一帧浅层特征进行跨帧交叉注意力融合得到时序交互特征,并利用前一时刻目标热力图生成门控权重对所述时序交互特征进行逐元素门控调制,得到可见光时序融合特征和热红外时序融合特征;
6、将所述可见光时序融合特征和热红外时序融合特征分别输入共享权重的主干网络提取多尺度特征,对第2级至第5级的可见光特征与热红外特征执行双模态融合,第0级和第1级特征直接向后传递;所述双模态融合包括:基于全局统计信息计算互补质量权重对两模态特征进行加权调制;在3×3局部邻域内建立双向跨模态图连接,通过图注意力机制聚合邻域信息得到跨模态消息,利用sigmoid门控对所述跨模态消息进行可靠性调制并与源模态特征残差融合,得到双向增强特征;对所述双向增强特征执行通道注意力残差自调制并经1×1卷积映射,得到融合特征;
7、将第2级至第5级的所述融合特征进行多尺度对齐与聚合,得到统一特征;
8、根据所述统一特征预测目标中心热力图、目标宽高、中心偏移及跨帧位移,结合目标关联策略输出车辆多目标跟踪结果。
9、优选的,所述跨帧交叉注意力融合包括:将当前帧浅层特征与前一帧浅层特征分别通过patch嵌入算子映射为patch token序列,叠加位置编码后,以当前帧token为查询、前一帧token为键和值执行交叉注意力,经逆重排、卷积变换及上采样恢复至原空间分辨率。
10、优选的,所述门控权重通过以下方式生成:将前一时刻目标热力图输入由卷积、归一化和非线性激活组成的映射算子得到热力图先验特征,先验特征再经卷积映射和sigmoid激活函数生成门控权重。
11、优选的,所述第0级和第1级特征感受野较小,对跨模态语义互补关系的表达能力有限,直接向后传递而不执行双模态融合。
12、优选的,在3×3局部邻域内建立双向跨模态图连接包括:对于源模态特征中任意空间位置处的特征节点,以该节点为源节点;在目标模态特征中与所述空间位置对应的3×3局部邻域内确定多个邻域节点;为所述源节点和各邻域节点分别添加对应的位置编码信息;将添加位置编码后的源节点特征通过查询权重矩阵映射为查询向量,将添加位置编码后的各邻域节点特征通过键权重矩阵映射为键向量,将各邻域节点特征通过值权重矩阵映射为值向量;根据所述查询向量与各键向量的相似度计算注意力权重,依据所述注意力权重对各值向量进行加权聚合,得到跨模态消息。
13、优选的,利用sigmoid门控对所述跨模态消息进行可靠性调制包括:将所述跨模态消息输入门控映射函数,再经sigmoid激活函数处理生成可靠性门控系数;将所述可靠性门控系数与所述跨模态消息经输出权重矩阵映射后的结果进行逐元素相乘,得到门控调制后的跨模态消息;将所述门控调制后的跨模态消息与源模态节点特征相加并经线性整流激活函数relu处理,得到更新后的节点特征。
14、优选的,将第2级至第5级的所述融合特征进行多尺度对齐与聚合包括:基于深层聚合网络解码器架构,采用由高层到低层的逐级特征聚合方式,对高层融合特征执行通道投影降维,经空间对齐上采样后与相邻低层融合特征逐元素相加,再经可变形卷积节点进行几何形变校正与深度提纯,直至输出与第2级融合特征相同空间分辨率的统一特征。
15、优选的,结合目标关联策略输出车辆多目标跟踪结果包括:根据当前帧预测的热力图提取置信度大于预设阈值的候选目标;利用各候选目标对应的跨帧位移向量映射回前一帧预估位置,结合贪心匹配策略计算与历史轨迹的距离得分;当所述距离得分小于预设关联阈值时判定关联成功并继承身份标识号,当历史轨迹连续未匹配帧数超过保留阈值时终止跟踪。
16、本发明采用的第二个技术方案为:
17、基于门控机制与局部图交互的可见光-热红外车辆多目标跟踪系统,包括:
18、获取模块,用于获取当前时刻及前一时刻的可见光图像和热红外图像,以及前一时刻目标热力图;
19、时序信息融合模块,用于分别在可见光分支和热红外分支中,将当前帧浅层特征与前一帧浅层特征进行跨帧交叉注意力融合得到时序交互特征,并利用前一时刻目标热力图生成门控权重对所述时序交互特征进行逐元素门控调制,得到可见光时序融合特征和热红外时序融合特征;
20、双模态融合模块,用于将所述可见光时序融合特征和热红外时序融合特征分别输入共享权重的主干网络提取多尺度特征,对第2级至第5级的可见光特征与热红外特征执行双模态融合,第0级和第1级特征直接向后传递;所述双模态融合包括:基于全局统计信息计算互补质量权重对两模态特征进行加权调制;在3×3局部邻域内建立双向跨模态图连接,通过图注意力机制聚合邻域信息得到跨模态消息,利用sigmoid门控对所述跨模态消息进行可靠性调制并与源模态特征残差融合,得到双向增强特征;对所述双向增强特征执行通道注意力残差自调制并经1×1卷积映射,得到融合特征;
21、多尺度聚合模块,用于将第2级至第5级的所述融合特征进行多尺度对齐与聚合,得到统一特征;
22、输出模块,用于根据所述统一特征预测目标中心热力图、目标宽高、中心偏移及跨帧位移,结合目标关联策略输出车辆多目标跟踪结果。
23、与现有技术相比,本发明具有以下技术效果:
24、本发明通过时序信息融合与门控调制、选择性层级融合、互补质量评估、双向局部跨模态图交互及多尺度聚合的协同作用,在复杂光照与恶劣环境条件下,实现了对车辆目标的稳定检测与连续跟踪,有效提升了多目标跟踪的鲁棒性、精度与计算效率,保障了长期跟踪过程中目标身份的一致性与轨迹的完整性。
25、本发明通过热力图门控调制时序交互特征,实现了历史位置先验的自适应筛选,增强了轨迹连续性;采用选择性层级融合策略,在避免低层冗余计算与噪声放大的同时,保障了深层语义的有效融合;利用互补质量评估机制,自适应抑制低质量模态干扰,突出当前场景下更具判别力的模态信息;通过双向局部跨模态图交互与可靠性门控,在控制计算复杂度的前提下实现了细粒度的模态互补传播,并有效抑制了跨模态噪声;经多尺度对齐与聚合,解决了跨尺度特征空间不对齐问题,使不同层级的语义信息得到充分整合,提升了目标检测与位移预测的精度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com