一种无人机跟踪方法及装置与流程

摘要: 本发明涉及无人机,特别是涉及一种基于目标识别与跟踪算法的无人机跟踪方法及装置。背景技术:1、随着低空经济和无人机技术的快速发展,无人机目标识别、跟踪及追踪技术已...
一种无人机跟踪方法及装置与流程

本发明涉及无人机,特别是涉及一种基于目标识别与跟踪算法的无人机跟踪方法及装置。

背景技术:

1、随着低空经济和无人机技术的快速发展,无人机目标识别、跟踪及追踪技术已被广泛应用于户外安防、日常巡检、作业监管、应急救援等领域。其核心需求是在复杂环境下实现对各类目标的精准识别、稳定跟踪及无人机高效追踪。当前针对目标识别和跟踪算法,主要包括目标识别传统方法(手工特征和分类器)、目标识别深度学习方法(两阶段检测器、单阶段检测器)、单目标跟踪、多目标跟踪等算法。通过上述算法进行目标的稳定跟踪,确保目标始终在画面范围内。并结合视觉信息,解算目标位置,通过飞控闭环控制无人机位置,实现对目标的自主追踪。

2、通过无人机加装机载计算机搭建硬件环境,依赖视觉处理,采用yolov8等目标识别模型作为目标识别模块,搭配bot-sort等跟踪算法作为跟踪模块,从而实现无人机目标识别与跟踪功能。最后通过视觉信息结合相机模型、运动估计、坐标变换,解算目标与无人机的相对位置,再通过飞控闭环控制无人机位置,实现对目标的追踪。

3、然而,纯视觉跟踪在无人机轻微抖动、树荫遮挡、目标重叠或背景混淆场景下容易丢失目标。且纯视觉跟踪方案中依赖强先验,精度受限,须知目标真实物理尺寸才能较为准确计算深度,若目标姿态变化等,像素尺寸和真实尺寸的映射关系会被破坏,距离计算误差会增大。导致追踪精度减弱。并在目标遮挡、快速运动时,左右帧的特征匹配容易失败,导致深度计算中断或出现误差。

技术实现思路

1、鉴于上述问题,本发明提供用于克服上述问题或者至少部分地解决上述问题的一种无人机跟踪方法及装置。解决了现有技术在跟踪抗扰性差及识别-跟踪-追踪协同性弱等方面的缺陷。实现了增强复杂环境下的跟踪抗扰性,有效应对抖动、遮挡、背景混淆等场景。识别-跟踪-追踪的深度协同,构建完整追踪闭环链路,保障无人机精准追踪。

2、本发明提供了如下方案:

3、一种无人机跟踪方法,包括:

4、确定yolov8m目标检测模型的检测置信度达到预设阈值时,同步完成视觉特征锚点初始化、空间锚点初始化、运动锚点初始化以及核心模块启动;所述视觉特征锚点初始化包括提取所述yolov8m目标检测模型的骨干网络最后一层输出的特征图,裁剪目标区域对应的特征块,经全局平均池化与归一化处理,存储为目标专属视觉特征锚点;所述空间锚点初始化包括读取激光测距模块输出的目标空间数据,作为空间定位基准锚点;所述运动锚点初始化包括基于所述yolov8m目标检测模型输出的目标初步定位坐标计算初始运动速度,并初始化卡尔曼滤波模型以预测未来多帧运动轨迹,作为运动趋势锚点;所述核心模块启动包括将所述视觉特征锚点导入eco跟踪器完成初始化,并启动所述eco跟踪器与所述卡尔曼滤波并行运行;

5、每帧图像基于距离分层策略,动态融合所述eco跟踪器实时输出的视觉跟踪位置及响应分数、所述激光测距模块输出的实时空间坐标转换后的图像像素坐标以及所述卡尔曼滤波基于前帧运动状态输出的运动预测位置,输出融合坐标;

6、当所述响应分数低于预设阈值时,确定目标处于遮挡状态,暂停视觉跟踪结果主导权,切换至空间锚点与运动锚点联合预测模式,输出临时跟踪位置;以遮挡前最后一次激光测距获取的目标坐标为中心,根据目标与无人机的直线距离设定搜索半径,形成搜索区域;调用初始化阶段存储的所述视觉特征锚点,所述yolov8m目标检测模型在所述搜索区域内检测候选目标并提取候选特征,计算候选特征与所述视觉特征锚点的相似度;当所述相似度达到预设阈值时,锁定目标,更新各个锚点数据,恢复三锚定融合跟踪;若连续预定帧数未匹配成功,则跟踪终止并重启所述yolov8m目标检测模型的全局检测;

7、每帧图像跟踪结束后,同步更新所述视觉特征锚点、所述空间锚点和所述运动锚点。

8、优选地:所述经全局平均池化与归一化处理包括:

9、经全局平均池化得到256维特征向量,并通过l2归一化处理;所述目标空间数据包括目标经纬度、目标高度以及目标与无人机的直线距离。

10、优选地:计算初始运动速度以及初始化卡尔曼滤波模型,包括:

11、基于 yolov8m 目标检测模型输出的目标初步定位坐标,计算目标初始运动速度:

12、

13、其中,初始值帧;

14、初始化卡尔曼滤波模型,设置状态向量,过程噪声协方差,观测噪声协方差,并预测未来 3 帧运动轨迹。

15、优选地:所述响应分数低于预设阈值包括所述响应分数小于0.6;所述相似度达到预设阈值包括余弦相似度大于或等于0.85;所述连续预定帧数包括连续10帧。

16、优选地:所述激光测距模块输出的实时空间坐标转换为图像像素坐标的转换过程基于相机内参与无人机姿态,实现空间数据与像素域的映射。

17、优选地:所述距离分层策略及所述融合坐标的计算方式如下:

18、当目标与无人机的直线距离d小于50米时,为近距场景,确定视觉权重为、激光权重为、运动权重为,融合坐标;若,则启动yolov8m局部重检测,仅在周边200×200像素区域进行检测,校准eco跟踪模板,其中为像素坐标转换后的实际距离;

19、当直线距离d大于或等于50米且小于或等于1000米时,为中距场景,确定视觉权重为、激光权重为、运动权重为,通过所述卡尔曼滤波动态调整滤波增益系数,实现三者数据的加权融合;

20、当直线距离d大于1000米时,为远距场景,确定视觉权重为、激光权重为、运动权重为,基于所述激光测距模块的空间坐标修正所述视觉跟踪位置的漂移误差;

21、若,则临时调整运动权重,增大激光数据权重,抑制帧间跳变异常。

22、优选地:所述临时跟踪位置的计算公式包括;所述根据目标与无人机的直线距离设定搜索半径包括当直线距离d小于500米时,搜索半径为50像素;当直线距离d大于或等于500米时,搜索半径为100像素;所述相似度包括余弦相似度,所述余弦相似度的计算公式包括。

23、优选地:所述视觉特征锚点更新包括:

24、基于最新帧所述yolov8m目标检测模型提取的目标新特征,采用滑动平均策略更新,公式为,即保留80%历史特征与20%新特征;所述空间锚点更新为直接替换为所述激光测距模块输出的实时空间数据;所述运动锚点更新为通过所述卡尔曼滤波的预测-更新迭代流程,用当前帧融合坐标优化运动状态向量。

25、优选地:还包括融合所述yolov8m目标检测模型识别结果、三锚定跟踪模块输出的稳定跟踪位置以及激光测距空间数据,生成目标实时状态报告,所述目标实时状态报告包含目标位置、运动速度、遮挡状态、与无人机的相对距离信息;

26、无人机飞行控制系统接收所述目标实时状态报告,基于目标经纬度、高度与无人机自身位置的差值计算相对运动趋势,生成飞行姿态调整指令、相机微调指令及路径规划建议;

27、所述无人机执行控制指令后,所述yolov8m目标检测模型与三锚定跟踪模块实时反馈目标在画面中的位置偏差与跟踪稳定性,若目标偏离画面中心大于30%或跟踪响应分数下降,所述飞行控制系统结合激光测距空间数据再次微调飞行或相机参数,形成识别-跟踪-定位-控制-反馈的闭环调整。

28、一种无人机跟踪装置,用于执行上述的无人机跟踪方法,所述装置包括:

29、跟踪初始化单元,用于确定yolov8m目标检测模型的检测置信度达到预设阈值时,同步完成视觉特征锚点初始化、空间锚点初始化、运动锚点初始化以及核心模块启动;所述视觉特征锚点初始化包括提取所述yolov8m目标检测模型的骨干网络最后一层输出的特征图,裁剪目标区域对应的特征块,经全局平均池化与归一化处理,存储为目标专属视觉特征锚点;所述空间锚点初始化包括读取激光测距模块输出的目标空间数据,作为空间定位基准锚点;所述运动锚点初始化包括基于所述yolov8m目标检测模型输出的目标初步定位坐标计算初始运动速度,并初始化卡尔曼滤波模型以预测未来多帧运动轨迹,作为运动趋势锚点;所述核心模块启动为将所述视觉特征锚点导入eco跟踪器完成初始化,并启动所述eco跟踪器与所述卡尔曼滤波并行运行;

30、多源数据实时融合单元,用于每帧图像基于距离分层策略,动态融合所述eco跟踪器实时输出的视觉跟踪位置及响应分数、所述激光测距模块输出的实时空间坐标转换后的图像像素坐标以及所述卡尔曼滤波基于前帧运动状态输出的运动预测位置,输出融合坐标;

31、遮挡判定与快速恢复单元,用于当所述响应分数低于预设阈值时,确定目标处于遮挡状态,暂停视觉跟踪结果主导权,切换至空间锚点与运动锚点联合预测模式,输出临时跟踪位置;以遮挡前最后一次激光测距获取的目标坐标为中心,根据目标与无人机的直线距离设定搜索半径,形成搜索区域;调用初始化阶段存储的所述视觉特征锚点,所述yolov8m目标检测模型在所述搜索区域内检测候选目标并提取候选特征,计算候选特征与所述视觉特征锚点的相似度;当所述相似度达到预设阈值时,锁定目标,更新各个锚点数据,恢复三锚定融合跟踪;若连续预定帧数未匹配成功,则跟踪终止并重启所述yolov8m目标检测模型的全局检测;

32、跟踪状态更新单元,用于每帧图像跟踪结束后,同步更新所述视觉特征锚点、所述空间锚点和所述运动锚点。

33、根据本发明提供的具体实施例,本发明公开了以下技术效果:

34、本技术实施例提供的一种无人机跟踪方法及装置,该方法通过三锚定抗扰机制与多源融合策略,提高了跟踪抗扰性,可以有效应对抖动、遮挡、背景混淆等场景。构建了完整追踪闭环,实现识别、跟踪、激光测距、追踪、飞行控制的深度协同,保障无人机精准追踪。

35、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。