基于频率解耦的无人机RGB-T单目标跟踪方法及装置
本发明涉及一种无人机智能图像识别,尤其涉及一种基于频率解耦的无人机rgb-t单目标跟踪方法及装置。
背景技术:
1、随着低空无人机智能作业技术的快速发展,无人机已广泛部署于安防巡逻、应急救援、电力巡检、交通管控等诸多场景。上述应用场景会面临作业环境复杂多变、动态干扰频繁等挑战,而传统无人机作业主要依赖于人工操控航拍或固定式视觉监测方式,自主化程度低、定位精度有限、环境适应性差,难以满足当前复杂场景下目标自主追踪、高精度实时定位的智能化作业需求。
2、在无人机视觉感知中,单一成像模态会存在固有的技术缺陷,例如,可见光rgb图像虽然具备丰富的纹理、色彩与细节特征,成像清晰度高,但极易受黑夜弱光、逆光强光、烟雾沙尘、目标遮挡等复杂环境干扰,因而易出现目标特征丢失、跟踪失效的问题,无法实现全天候稳定作业;而红外热成像()依托目标热辐射特性成像,不受光照变化影响,具备良好的夜视与抗干扰能力,但其图像纹理信息匮乏、目标区分度较低,单独使用时易产生目标误匹配、跟踪漂移与定位偏差。
3、为解决单一模态的上述问题,研究人员将rgb-t双模态融合感知技术应用于无人机视觉任务中,通过整合可见光与红外图像的互补优势,弥补单一体制成像的缺陷,成为当前提升无人机视觉感知鲁棒性的主流技术方向。此外,无人机高空俯拍、飞行抖动、视角动态变换、目标尺度剧烈变化、画面中小目标占比低等特殊成像特性,对目标跟踪的稳定性、自适应能力与定位精度提出了更高要求,由此也进一步推动了适配空基视角的rgb-t单目标跟踪与定位技术的迭代优化。相较于传统视觉监测技术,无人机rgb-t单目标跟踪与定位技术通过深度融合双模态信息可实现昼夜全天候、复杂干扰环境下的稳定目标感知,能够大幅提升算法抗干扰能力与目标辨识精度,同时,可以针对性适配无人机飞行成像特点,有效解决高空小目标跟踪不稳定、尺度适配性差、跟踪易漂移等难题,实现像素级跟踪与地理坐标解算的一体化融合,构建起像素位置、相对距离、地理坐标的完整数据链路,在保障感知实时性的同时,兼顾机载端轻量化部署需求;还能够有效降低无人机智能作业的人力成本与高危场景作业风险,极大提升无人机自主感知、智能研判与无人化作业能力,为低空智能监测、应急搜救、自动化巡检等工程应用提供核心技术支撑。
4、在无人机算力受限的应用场景中,现有技术中通常是采用cnn(卷积神经网络)、transformer 架构或mamba网络实现rgb-t 跟踪算法,其中,基于cnn的 rgb-t单目标跟踪算法具备推理速度快的优势,但受限于 cnn 局部感受野的特性,跟踪精度难以进一步提升,而依托transformer 架构的 rgb-t 跟踪算法可通过全局特征融合有效改善跟踪效果,然而自注意力机制会带来平方级计算复杂度,大幅增加了模型运算开销,无法满足无人机机载平台的实时性要求;传统基于mamba网络的rgb-t 跟踪算法,直接将输入特征整体输入至mamba网络中进行特征提取,但是mamba网络不善于处理高频信息,对局部细节信息不敏感,导致整体的特征提取能力不足,因而在轻量级场景下其跟踪精度不高,难以做到跟踪精度与跟踪实时性平衡。综上,现有技术中单目标跟踪方法在无人机算力资源受限的情况下,就难以兼顾跟踪精度与实时性。因此,当前亟需一种能够兼顾高精度与低计算开销、适配无人机机载算力环境的rgb-t单目标跟踪方法,以满足当前复杂场景下目标自主追踪、高精度实时定位的智能化作业需求。
技术实现思路
1、本发明的目的在于提供一种基于频率解耦的无人机rgb-t单目标跟踪方法及装置,其能够在有限算力条件下实现跟踪精度与推理速度的平衡,提升单目标跟踪系统运行的精度、实时性以及鲁棒性。
2、为实现上述目的,本发明的实施例提供了一种基于频率解耦的无人机rgb-t单目标跟踪方法,步骤包括:
3、步骤s01.获取红外模板图像、可见光模板图像以及无人机机载设备采集的红外待搜索图像、可见光待搜索图像并进行数据预处理,得到序列化的输入特征;
4、步骤s02.将所述输入特征分别输入至由多个tinyvim组件构成的骨干网络中进行特征提取,得到红外模板图像深度特征、可见光模板图像深度特征以及红外待搜索图像深度特征、可见光待搜索图像深度特征,每个所述tinyvim组件包括局部模块以及mamba模块,所述局部模块用于对输入特征进行卷积操作以提取出局部特征,所述mamba模块用于对所述局部特征进行深度语义提取,输出深度特征,所述mamba模块包括特征调制单元以及ffn单元,所述特征调制单元用于对输入的局部特征进行特征调制,以分离出图像中的高频特征、低频特征并分别使用动态可重参数卷积支路、mamba处理支路进行处理后,将两条支路的输出相互融合得到调制后特征,所述ffn单元用于对所述调制后特征进行空间域特征增强得到空域增强特征,将所述特征调制单元、所述ffn单元的输出融合后得到所述深度特征,所述动态可重参数卷积支路用于对输入的特征进行多尺度动态卷积;
5、步骤s03.将提取的红外模板图像深度特征、可见光模板图像深度特征作为参考特征,并与提取的红外待搜索图像深度特征、可见光待搜索图像深度特征分别输入检测头,得到可见光图像、红外图像的跟踪结果,根据所述跟踪结果以及无人机实时位置转换得到跟踪目标的实时三维定位坐标。
6、可选地,所述特征调制单元通过以下步骤对输入的局部特征进行特征调制:
7、将输入的局部特征按通道维度拆分为占比为通道和占比为通道两部分,其中,为预设比例,表示通道维度;
8、对占比通道的特征进行频率解耦以分离出高频与低频特征;将所述低频特征输入至所述mamba处理支路进行处理,将高频特征以及通道的特征进行融合后输入至所述动态可重参数卷积支路得到增强后高频特征,所述mamba处理支路包括门控分支以及双向ssm结构,所述门控分支包括线性层和激活函数层,所述双向ssm结构包括并行的两个ssm分支,两个ssm分支均包含卷积层、激活函数以及ssm模型,且其中一个分支中ssm模型为前向,另一个分支中ssm模型为反向,将两个所述ssm分支的输出与所述门控分支特征进行融合后得到最终的低频特征表示;
9、将所述增强后高频特征与所述低频特征表示进行拼接得到所述调制后特征。
10、可选地,所述频率解耦采用基于巴特沃斯滤波的频率解耦方式,步骤包括:
11、将输入的特征进行初始卷积,得到初始特征图;
12、将所述初始特征图执行二维巴特沃斯低通滤波后,将频域相乘以保留低频分量,将保留的低频分量还原到空域后得到低频特征;
13、执行采样频率低于预设频率的下采样;
14、执行采样频率低于预设频率的上采样后,根据上采样图像与原始图像之间的残差解耦出高频特征。
15、可选地,所述局部模块包括并行的第一卷积支路以及第二卷积支路,所述第一卷积支路为动态可重参数卷积支路,用于通过对输入的特征进行多尺度动态卷积以提取局部空间特征,所述第二卷积支路为基于二维快速傅里叶变换的频域分支,用于对输入的特征执行二维快速傅里叶变换以转换至频域,经频域滤波调制后通过逆二维快速傅里叶变换恢复至空间域,所述第一卷积支路与所述第二卷积支路的输出特征融合得到所述局部特征输出。
16、可选地,所述动态可重参数卷积支路在训练阶段通过注意力机制动态融合多尺度卷积核的特征响应完成特征增强,在推理阶段将多分支卷积核等价重参数化为单路卷积,所述通过注意力机制动态融合多尺度卷积核的特征响应完成特征增强包括:
17、构建一个包含多尺度、多参数卷积核的并行分支结构;
18、输入的特征经注意力权重生成分支为所述并行分支结构中每一个卷积分支动态地生成一个注意力权重,所述注意力权重生成分支通过对输入特征进行全局平均池化以压缩空间维度,再经1×1 卷积、nelu 激活函数、softmax 函数后生成对不同卷积分支的动态权重分布,得到包含多个所述注意力权重的注意力权重矩阵;
19、将生成的注意力权重矩阵中各所述注意力权重与对应卷积分支的输出进行加权融合,并将所有分支的输出进行融合,完成增强特征输出。
20、可选地,还包括预先对由所述骨干网络与检测头构成的跟踪模型进行训练,训练过程中采用的损失函数包括分类损失以及边界框回归损失,其中,所述分类损失使用变焦点损失函数以及尺度感知因子计算得到,所述尺度感知因子根据当前目标框像素面积计算得到,所述边界框回归损失采用inner-focaleriou损失函数以及聚焦调制因子计算得到,所述聚焦调制因子根据预测框的确定得到。
21、可选地,所述分类损失的计算表达式为:
22、;
23、其中,为全部样本总数;为样本真实标签,为模型预测前景置信度;为正负样本平衡系数,为调制因子,为当前目标框宽度,为当前目标框高度,为尺度感知因子,计算公式为:
24、;
25、其中,为当前目标框像素面积,为训练数据集中目标平均面积;为超参数,、分别为训练数据集中目标的最小面积、最大面积;
26、所述边界框回归损失的计算表达式为:
27、;
28、其中,表示损失,表示内框交并比,表示聚焦调制因子,计算表达式为:
29、;
30、其中,表示交并比,、分别为预设的下界 、上界阈值。
31、可选地,步骤s03包括:
32、将可见光图像的深度特征和红外图像的深度特征分别输入检测头,同步输出可见光图像、红外图像内目标的中心坐标后,获得一对匹配的同源像素点与;
33、根据预先标定的相机内参将同源像素点与反投影至三维空间,分别构造从可见光相机光心穿过像素点、从红外相机光心穿过像素点的两条空间射线,并统一至同一相机坐标系下;
34、求解两条空间射线的交点,得到跟踪目标在相机坐标系下的三维空间坐标;
35、根据无人机的实时位置及无人机与相机坐标系之间的相对位置关系,将所述三维空间坐标从相机坐标系转换至世界坐标系,得到跟踪目标的实时三维空间位置。
36、可选地,步骤s01中按照如下步骤进行数据预处理:
37、对输入的图像进行无重叠划分,并通过卷积运算同步实现分块与特征降维,以将二维空间图像转化为长度固定的特征序列;
38、为转化得到的所述特征序列添加位置嵌入;
39、对添加位置嵌入的特征序列执行层归一化操作以优化特征分布,得到标准化的序列化输入特征。
40、一种基于频率解耦的无人机rgb-t单目标跟踪装置,包括:
41、处理器;
42、用于存储处理器可执行指令的存储器;
43、其中,所述处理器被配置为执行所述指令时实现如上述方法。
44、与现有技术相比,本发明的有益效果在于:
45、1、本发明通过基于mamba网络架构构建轻量型跟踪模型,模型中通过局部模块提取局部特征,mamba模块对局部特征进行深度特征抽象,mamba模块中通过特征调制单元对输入的局部特征进行特征调制,分离出图像中的高、低频特征并分别使用不同处理路径处理,将低频特征使用擅长处理低频信号mamba分支进行处理,高频信息则采用动态可重参数卷积支路进行特征增强,可以有效增强整体mamba网络特征提取能力,改善mamba轻量级模型特征提取能力不足的问题,在检测头再结合红外可见光图像的跟踪结果以及无人机的实时位置,利用双目视觉成像原理实现目标的三维跟踪定位,能够在无人机机载算力环境受限情况下兼顾跟踪精度与跟踪实时性。
46、2、本发明进一步对低频信息采用前向与反向的双向ssm结构建模,可以兼顾全局与时序依赖,相比单向mamba 能更好地捕捉特征序列中的双向依赖关系,从而能够适用于无人机目标尺度快速变化、运动轨迹复杂的场景中,有效提升模型对目标长期特征的建模能力,增强跟踪的连续性和鲁棒性。
47、3、本发明进一步动态可重参数卷积支路中通过注意力分支生成多尺度卷积的动态权重分布,在训练阶段构建多尺度卷积的并行分支并通过注意力权重加权融合,推理阶段则将多分支卷积核等价重参数化为单一标准卷积,实现高效推理,可以匹配于无人机rgb-t 单目标跟踪任务中通过多尺度动态建模适配目标尺度变化,借助注意力引导的加权机制增强跨模态特征鲁棒性,同时利用重参数化特性兼顾特征提取精度与推理效率,有效提升复杂场景下目标特征的稳定性与跟踪性能。
48、4、本发明进一步模型中局部模块通过采用空间卷积结合频率卷积的并行架构,实现局部特征与全局特征的融合提取,可以增强特征的上下文语义联系,从而进一步跟踪精度,同时通过对卷积通道的动态加权及训练阶段的多分支动态进化与推理阶段的单路重参数化,可以在不增加推理开销的前提下,显著提升空间域特征建模能力,能更好地捕捉目标的局部纹理与形态细节,增强模型对目标外观变化的适应性,从而进一步提高轻量级模型对rgb-t融合特征的表征能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com