一种基于小样本快速部署的小目标跟踪方法和装置与流程
本发明涉及时空目标跟踪,尤其涉及一种基于小样本快速部署的小目标跟踪方法和装置。
背景技术:
1、空间目标的准确跟踪是广域态势感知的重要基础,而现有基于传统相机的光学成像空间目标跟踪技术手段,通常仅依赖于rgb模态的特征作为输入源。这种单一模态的方法在面对复杂的真实环境时,往往表现出不稳定和不可靠的特性,尤其是在遇到高曝光、低光照、目标快速运动等挑战时。这种情况直接削弱了系统的态势感知能力,进而影响了嵌入式ai系统的整体性能和生存能力。
2、红外辅助跟踪作为一种跨模态视觉目标跟踪领域的新型研究方向,展现出广阔的应用前景。该方法通过有机结合红外数据和传统的视觉信息,有效提升了目标跟踪系统在复杂环境下的表现。红外数据的独特优势在于其对时空信息的高效捕捉能力,尤其是在高帧率或动态变化的场景中,红外传感器能够提供更为丰富和精准的运动提示。这使得红外辅助跟踪在处理快速运动目标、低光照环境以及高动态范围等挑战时表现出色,显著增强了系统的鲁棒性和跟踪精度。同时,红外信息的引入为跨模态融合提供了新的思路,尤其是在传统rgb图像特征不足的情况下,红外数据能够有效弥补视觉信息的缺失。通过创新的红外-视觉信息融合策略,红外辅助跟踪不仅提升了目标定位的准确性,还增强了系统对环境变化的适应能力,为智能视觉系统的发展提供了新的可能性。传统光学目标跟踪算法在面对小样本场景时,难以利用有限数据进行有效部署;针对快速无规则运动的小目标,由于目标特征微弱,传统算法无法实现精准跟踪;此外,在空间光照环境剧烈变化(如强曝光或弱光照)的情况下,单一模态的跟踪算法容易因传感器动态范围受限而导致目标丢失。
3、因此,如何在训练样本稀缺的条件下,对体积小且运动轨迹快速无规则的目标在强曝光、弱光照等极端光照环境下实现稳定跟踪是亟须解决的问题。
技术实现思路
1、有鉴于此,有必要提供一种基于小样本快速部署的小目标跟踪方法和装置,用以实现在训练样本稀缺的条件下,对体积小且运动轨迹快速无规则的目标在强曝光、弱光照等极端光照环境下实现稳定跟踪的目的。
2、为了实现上述目的,本发明提供一种基于小样本快速部署的小目标跟踪方法,包括:
3、获取可见光图像序列与红外数据;
4、将所述可见光图像序列与红外数据输入至训练完备的目标跟踪网络,提取当前帧目标;其中,所述目标跟踪网络包括提示注入模块,所述提示注入模块用于提供可学习的提示参数,以使所述目标跟踪网络在训练时仅更新所述提示参数;
5、根据当前帧目标的几何尺寸和运动状态,判断是否启动历史轨迹融合增强;以及根据当前帧可见光图像的全局对比度,确定可见光模态与红外模态的融合权重;
6、根据所述历史轨迹增强和融合权重,对当前帧特征进行加权融合,得到融合特征,并根据所述融合特征确定跟踪结果。
7、在一种可能的实现方式中,所述目标跟踪网络还包括特征提取主干网络、时序增强模块、跨模态融合模块和预测模块;
8、所述提示学习包括:在所述主干网络的输入端和/或中间层插入可学习的提示向量参数;训练时,仅通过反向传播更新所述提示向量参数及预测头参数,并保持主干网络的所有其他参数冻结;所述提示向量被添加至transformer多头注意力机制的键值对中,用以引导冻结网络关注小目标的形态特征;
9、所述时序增强模块的赋值规则为:历史帧距离当前帧的时间间隔越小,其被赋予的权重值越大。
10、在一种可能的实现方式中,所述根据当前帧目标的几何尺寸和运动状态,判断是否启动历史轨迹融合增强,包括:
11、若当前帧的目标尺寸小于预设阈值或运动轨迹呈现无规则机动时,则获取至少一帧历史帧的目标特征;
12、并基于各历史帧与当前帧的时间距离确定的时序权重,将加权后的历史目标特征与当前帧特征进行融合,得到时序增强后的当前帧特征。
13、在一种可能的实现方式中,所述将加权后的历史目标特征与当前帧特征进行融合,采用时间衰减函数,通过如下公式表示:
14、
15、其中,为原始输入的当前帧红外图像,为历史目标特征的像素信息,为衰减函数,n为历史帧目标特征的数量,i为历史帧目标特征的编号,x、y为像素点坐标。
16、在一种可能的实现方式中,所述根据当前帧可见光图像的全局对比度,确定可见光模态与红外模态的融合权重,包括:
17、确定当前帧可见光图像的全局对比度;
18、基于所述全局对比度,确定可见光模态与红外模态的融合权重;
19、根据所述融合权重,将当前帧可见光图像和红外图像在像素空间进行加权相加融合。
20、在一种可能的实现方式中,所述根据融合特征确定跟踪结果,包括:
21、将所述融合特征输入至预测头,所述预测头包括并行的评分分支和坐标回归分支;所述评分分支输出表征各空间位置存在目标置信度的评分图,所述坐标回归分支输出表征各位置到目标边界框四边距离的坐标图;
22、在所述评分图中搜索最大置信度位置,并根据所述最大置信度位置从所述坐标图中提取对应的四边距离,结合所述最大置信度位置的空间坐标解析得到目标边界框。
23、在一种可能的实现方式中,在获取可见光图像序列与红外数据之后,还包括:
24、对所述红外数据进行时空对齐和格式重构,使其与可见光图像序列在时间和空间上保持一致。
25、第二方面,本发明还提供一种基于小样本快速部署的小目标跟踪装置,包括:
26、获取模块,用于获取可见光图像序列与红外数据;
27、提取模块,用于将所述可见光图像序列与红外数据输入至训练完备的目标跟踪网络,提取当前帧目标;其中,所述目标跟踪网络包括提示注入模块,所述提示注入模块用于提供可学习的提示参数,以使所述目标跟踪网络在训练时仅更新所述提示参数;
28、融合模块,用于根据当前帧目标的几何尺寸和运动状态,判断是否启动历史轨迹融合增强;以及根据当前帧可见光图像的全局对比度,确定可见光模态与红外模态的融合权重;
29、跟踪模块,用于根据所述历史轨迹增强和融合权重,对当前帧特征进行加权融合,得到融合特征,并根据所述融合特征确定跟踪结果。
30、第三方面,本发明还提供了一种电子设备,包括:处理器和存储器;
31、所述存储器上存储有可被所述处理器执行的计算机可读程序;
32、所述处理器执行所述计算机可读程序时实现如上所述的基于小样本快速部署的小目标跟踪方法中的步骤。
33、第四方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上所述的基于小样本快速部署的小目标跟踪方法中的步骤。
34、本发明的有益效果是:通过提示注入模块冻结主干网络并仅更新提示参数,极大降低了小样本场景下的训练成本和部署难度,实现了模型的快速迁移适配;在此基础上,根据目标几何尺寸与运动状态自适应启动历史轨迹融合增强,利用时序信息补强单帧弱小目标的特征表达,有效克服了快速无规则机动导致的跟踪漂移问题;同时,通过全局对比度感知动态调整可见光与红外的融合权重,使系统在正常光照下充分保留纹理细节,并在强曝光或弱光条件下自动发挥红外大动态范围优势,三者协同作用,最终在全天候、多运动模式下实现对空间小目标的持续、精准、鲁棒跟踪。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com