一种无人机直播视频流目标实时地理定位方法与系统与流程

摘要: 本发明属于无人机空中巡查以及摄影测量定位,特别涉及无人机直播视频流目标实时地理定位方法与系统,特别适用于无人机机库值守巡查场景下识别目标即输出对应精准经纬度的业...
一种无人机直播视频流目标实时地理定位方法与系统与流程

本发明属于无人机空中巡查以及摄影测量定位,特别涉及无人机直播视频流目标实时地理定位方法与系统,特别适用于无人机机库值守巡查场景下识别目标即输出对应精准经纬度的业务应用。

背景技术:

1、无人机搭载可见光载荷开展巡查作业时,机器视觉模型能够在视频流中实时检测出各类目标对象(如人员、车辆、火点、违建等),但是目标检测框仅能够输出目标对应的像素位置,实际业务处置工作需要获取目标真实的地理经纬度坐标。

2、现有无人机视频目标地理定位技术主要分为以下几类:

3、(1)飞行中定位误差补偿:

4、如公开号为cn122688987a的专利申请中公开了一种基于航向调制特性的无人机视觉定位误差修正方法,控制无人机按预设的顺时针、逆时针圆形航线飞行采集数据,对配准偏差与安装角误差进行解耦估计,获得标定参数后对视觉定位系统输出的原始定位结果进行实时补偿。该类方法需要无人机执行专门的标定飞行航线完成参数估计,标定过程与作业过程相互干扰,且不适用于驻守在固定机场、按任务航线飞行的机场值守无人机;此外,其补偿对象为定位结果的误差修正,没有构建从视频检测像素到目标经纬度的完整解算链路,难以适配无人机机库值守的常态化巡查业务需求。

5、(2)载荷光轴偏差标定:

6、如公开号为cn120521848a的专利申请公开了一种在空中通过目标定位标定激光光轴偏差的方法,通过对已知目标连续激光测距定位,反推激光光轴偏差;再如公开号为cn217586252u的专利申请公开了一种光电吊舱光轴标定装置,通过旋转台与靶板在实验室环境下完成光轴校准。该类方法依赖激光测距通道或实验室工装,仅完成载荷自身的装配偏差校准,未涉及相机内参与云台偏置的联合估计,也缺少定位结果输出判别逻辑,无法直接用于机库值守直播视频的实时定位输出。

7、(3)跨视角图像匹配定位:

8、如公开号为cn122694990a的专利申请公开了一种区域感知与拓扑引导的跨视角目标地理定位方法,通过训练深度网络将无人机视角查询图像与卫星参考图像匹配得到目标地理空间位置;再如公开号为cn122346561a的专利申请公开了跨视角目标地理定位方法,通过特征解耦与跨视角特征融合预测目标在参考图像中的位置;又如公开号为cn122368176a的专利申请公开了一种视觉定位方法,对候选地理坐标进行密度聚类投票以抑制误匹配。该类方法依赖预先获取的带地理参考的卫星影像数据库与大型神经网络模型,计算开销大、部署复杂,定位精度受参考影像现势性制约,且无法利用无人机直播链路中实时回传的机载位姿与云台数据进行几何解算,不适合机库端实时直播解算场景。

9、(4)像素坐标直接解算:

10、如公开号为cn122324089a的专利申请中公开了一种列车安全预警方法,根据图像拍摄参数和列车地理位置坐标,将障碍目标在图像中的像素位置坐标转换为地理位置坐标。该类方法实现像素坐标向地理坐标转换,但其应用于沿固定线路运行的列车,位姿状态维度低、相机安装固定,未考虑无人机场景下云台三轴转动、变焦档位变化、飞行高度变化带来的投影模型时变问题,也未涉及解算参数如何标定获得、何时输出结果可靠的判断机制,不能直接迁移到云台可变、变焦动态变化的机库值守无人机系统。

11、综上,现有技术应用于无人机机库值守直播目标定位业务时,存在以下缺陷:

12、第一,缺少面向直播视频流完整的检测-解算-输出实时链路,没有处理模型推理缩放尺寸和原始视频分辨率不一致带来的像素坐标错位问题,容易引入系统性定位偏差。

13、第二,视频流与机载位姿数据传输链路相互独立,存在时间不同步、数据超时、云台运动跳变现象,现有方案没有设置位姿新鲜度、云台稳定性量化判据,过期或者运动瞬态位姿参与解算,输出误差大且无法被感知。

14、第三,定位参数获取需要专门飞行标定或者实验室工装,工程落地成本高,变焦、分辨率、载荷变更后参数直接失效,缺少多维度参数隔离管理机制。

15、第四,无定位结果可靠性门控机制,无条件输出定位坐标,业务端无法区分可靠定位结果与错误定位结果,也无法区分“未检出目标”和“检出目标但定位不可信”两种工况,容易误导业务处置。

16、第五,标定质量仅依靠全量拟合残差作为评价指标,容易出现过拟合、物理不合理参数,缺少独立点位交叉验证验收手段。

17、第六,标定参数静态使用,镜头更换、机库迁移后缺少版本管理、回滚能力,参数错配之后无降级运行策略,错误定位会长期输出而难以发现。

技术实现思路

1、本发明所要解决的技术问题是:提供一种无人机直播视频流目标实时地理定位方法与系统,解决无人机机库值守场景下,直播视频流目标地理定位存在链路不完整、位姿数据不同步、标定落地成本高、定位结果无可靠性管控的问题。

2、本发明解决上述技术问题采用的技术方案是:

3、一方面,本发明提供了一种无人机直播视频流目标实时地理定位方法,包括以下步骤:

4、s1.接入无人机直播视频流并逐帧解码得到原始视频帧,将原始视频帧缩放至目标检测模型推理输入尺寸,得到推理帧;在所述推理帧上执行目标检测,获得目标在推理帧上的像素坐标;

5、s2.按目标检测模型推理输入尺寸与原始视频图像分辨率的比例关系,将目标在推理帧上的像素坐标还原至原始视频图像坐标系,获得目标对应的原图像素坐标;

6、s3.获取与原始视频帧时间戳相匹配的机载osd位姿数据,校验机载osd位姿数据的新鲜度,剔除位姿不满足新鲜度要求的原始视频帧;

7、s4.对保留的原始视频帧,依据连续多帧云台角度数据判定云台是否处于稳定状态,剔除云台处于运动状态的原始视频帧;

8、s5.基于目标对应的原图像素坐标、经过校验的机载osd位姿数据以及预标定定位参数开展投影解算,求解得到目标的候选地理坐标;

9、s6.对完成投影解算的原始视频帧执行多条件门控校验,若门控校验全部通过,则执行步骤s7,否则进入步骤s8;

10、s7.输出目标对应的地理坐标;

11、s8.抑制定位结果输出并记录门控失败原因。

12、本方案中,在输入适配层面,通过对原始视频帧缩放适配目标检测模型输入尺寸的设计,既解决了原生高分辨率视频直接推理算力开销大、处理延迟高的问题,保障直播流处理的帧率与实时性,又保留了后续投影解算所需的原始分辨率坐标系基准,避免检测环节直接改变成像几何关系。在数据筛选层面,设置位姿新鲜度校验、云台稳定性判定两级前置筛选,分别从时间维度剔除位姿滞后失效的视频帧、从姿态维度剔除云台运动抖动的视频帧,在进入投影解算前就过滤掉不具备可靠定位条件的帧,既减少了无效的几何计算开销,又从输入源头降低了定位结果出现大幅偏差的概率。在输出管控层面,通过多条件门控校验衔接投影解算与分级输出逻辑,对完成解算的帧做最终可靠性把关,门控通过则输出地理坐标、不通过则抑制输出并记录原因,既保证了可靠定位结果的正常输出,又避免不可信坐标流入下游业务系统。

13、进一步的,步骤s1中,根据推理帧上的目标检测框确定目标在推理帧上的像素坐标:地面目标取检测框下边缘中点,悬浮目标取检测框中心点作为目标在推理帧上的像素坐标;

14、步骤s2中,按照下式将目标在推理帧上的像素坐标还原至原始视频图像坐标系:

15、;

16、其中,为换算得到的目标在原始视频帧上像素坐标的水平分量;为目标在推理帧上像素坐标的水平分量;为原始视频帧图像的宽度;为目标检测模型推理输入图像的宽度;为换算得到的目标在原始视频帧上像素坐标的竖直分量;为目标在推理帧上像素坐标的竖直分量;为目标检测模型推理输入图像的高度;为原始视频帧图像的高度。

17、本方案中,针对地面目标与悬浮目标的空间特性差异,分别采用检测框下边缘中点与中心点作为目标锚点,使像素坐标更贴合目标的实际空间位置,避免因目标形态、检测框范围带来的像素定位偏差;同时基于推理帧与原始帧的分辨率比例进行线性坐标还原,严格保持目标在图像中的相对位置不变,从数据输入层面保障了后续投影解算的坐标精度,避免图像缩放环节引入系统性误差。

18、进一步的,步骤s3中,获取与原始视频帧时间戳相匹配的机载osd位姿数据,校验机载osd位姿数据的新鲜度,剔除位姿不满足新鲜度要求的原始视频帧,具体包括:

19、为每个原始视频帧从osd滑动缓存中匹配时间上最近的osd记录;

20、若原始视频帧时间戳介于两条osd记录的时间戳之间,则对两条osd记录的云台三轴角度执行线性插值,得到该原始视频帧对应的云台三轴角度;

21、计算原始视频帧时间戳与匹配osd记录的时间差;

22、当大于预设时间阈值时,判定位姿不新鲜,则舍弃该原始视频帧;

23、若osd记录存在字段缺失,则直接判定该osd记录为无效数据,并舍弃该原始视频帧;

24、所述osd记录至少包含飞机经纬度、相对高度、起飞点海拔与云台三轴角度。

25、本方案中,通过时间最近匹配与线性插值处理,解决了视频帧与osd数据采样频率不一致的问题,保证每帧图像都能对应到时间对齐的云台角度与位姿数据,消除时间错位带来的姿态误差;通过时间差阈值校验位姿新鲜度,避免使用过度滞后的位姿数据解算,保障了动态飞行场景下的定位时效性;同时增设字段缺失校验,直接剔除无效位姿对应的视频帧,从数据源头阻断错误输入,提升了位姿输入环节的可靠性。

26、进一步的,步骤s4中,对保留的原始视频帧,依据连续多帧云台角度数据判定云台是否处于稳定状态,剔除云台处于运动状态的原始视频帧,具体包括:

27、取长度为的滑动窗口,按下式计算云台总角度变化量:

28、;

29、其中,为滑动窗口中的帧索引;为第帧对应的云台偏航角;为第帧对应的云台偏航角;为第帧对应的云台俯仰角;为第帧对应的云台俯仰角;为第帧对应的云台横滚角;为第帧对应的云台横滚角;

30、若满足,则判定云台处于运动状态并舍弃当前原始视频帧,否则判定云台处于稳定状态,其中,为预设的云台角度变化阈值。

31、本方案中,通过综合偏航、俯仰、横滚三轴的角度变化量量化云台运动状态,而非单轴判定,更全面反映云台的抖动与转动情况;采用滑动窗口机制平滑判定结果,避免单帧角度波动造成的误判;通过剔除云台运动状态下的视频帧,排除云台姿态不稳定对观测射线方向的干扰,保证投影解算的姿态基准处于稳定区间,提升了定位结果的稳定性与一致性。

32、进一步的,步骤s5中,所述预标定定位参数预先存储于标定参数库;所述预标定定位参数至少包括相机内参、云台偏置角以及地面海拔;从所述标定参数库中,以五元组作为检索索引读取对应的预标定定位参数;所述五元组由机场标识、载荷型号、镜头类型、变焦档位、原始分辨率构成。

33、本方案中,以机场标识、载荷型号、镜头类型、变焦档位、原始分辨率五个维度构成检索索引,能够精准匹配不同作业场景、不同硬件配置下的标定参数,避免因参数错配导致的投影解算偏差;同时将预标定参数统一存储于标定参数库,实现参数的规范化管理与快速调用,既保障了投影解算内参基准的准确性,也提升了不同场景切换时的参数调用效率。

34、进一步的,所述预标定定位参数的获取方式包括:

35、选取至少3个分散布设的地面固定地标,采集地标的图像样本并对图像样本中的地标进行人工像素位置标注;

36、以相机内参、云台偏置角、地面海拔作为待估参数,基于已标注的地标图像样本,通过最小化样本重投影误差的方式开展参数联合拟合;

37、采用留一地标交叉验证的方式对拟合得到的标定参数开展验收;

38、当且仅当全部留出地标的预测误差均小于预设误差阈值时,判定验收通过,将验收通过的标定参数作为预标定定位参数,与对应的五元组进行一一绑定并存入标定参数库。

39、本方案中,采用相机内参、云台偏置角、地面海拔多参数联合拟合,能够同时补偿相机光学误差、云台安装偏置误差与地面高程误差,解决了多参数耦合导致的标定精度不足问题;通过至少3个分散地标的样本采集,保证标定参数的空间泛化性;采用留一地标交叉验证进行验收,以预设误差阈值作为准入标准,严格把控标定参数的输出质量,从源头上为在线投影解算提供高精度的基准参数,降低系统性定位误差。

40、进一步的,步骤s5中,开展投影解算,求解得到目标的候选地理坐标的具体方式包括:

41、将目标在原始视频帧上的像素坐标归一化为相机坐标系下的观测射线方向向量:

42、;

43、其中,、分别为相机等效焦距的水平方向、竖直方向分量;、分别为相机主点在像素坐标系下的水平方向、竖直方向坐标;

44、经含云台偏置修正的云台旋转矩阵与机体-世界旋转矩阵,将观测射线方向向量变换至以机场为原点的东北天局部坐标系enu,得到世界坐标系下的射线方向向量:

45、;

46、其中,为引入云台偏置角修正后的云台旋转矩阵;分别为云台偏航角、俯仰角、横滚角;、、分别为云台安装后在偏航方向、俯仰方向、横滚方向的零位偏置角,均为预标定定位参数;

47、以飞机绝对海拔为射线起点高度,求射线与地面高程平面的交点,得到目标在enu坐标系下的坐标:

48、;

49、;

50、其中,为飞机在enu坐标系下的位置,由飞机经纬度经坐标换算得到;

51、为射线方向向量的竖直向下分量,要求满足,即射线朝向地面;为射线长度系数;为起飞点海拔;为无人机相对起飞点的高度;

52、将的enu水平分量按下式反算为目标经纬度:

53、;

54、;

55、其中,分别为在enu坐标系下的东向分量与北向分量;为enu局部坐标系原点的经纬度;为地球平均半径,取值6371000m;为求解得到的目标wgs-84经纬度,作为目标的候选地理坐标。

56、本方案中,从像素坐标归一化、相机坐标系到enu世界坐标系的旋转变换,到射线与地面平面求交,再到enu坐标转经纬度,形成了完整严谨的几何计算链;其中引入云台偏置修正的旋转矩阵,能够补偿云台安装与零位偏置带来的角度误差;将飞机绝对海拔拆解为起飞点海拔与相对高度之和,适配无人机机载高度数据的输出特性;该手段保证了目标像素坐标到地理坐标转换的准确性,实现了图像域到地理域的精准映射。

57、进一步的,步骤s6中,对完成投影解算的原始视频帧执行多条件门控校验,具体包括:

58、对完成投影解算的原始视频帧,同时校验以下六个门控条件:

59、g1:标定参数库中存在与五元组相匹配的预标定定位参数,且该预标定定位参数已经过留一地标交叉验证并通过验收;

60、g2:当前原始视频分辨率与标定所用的原始分辨率相一致;

61、g3:视频流已追上实时,即,其中,为码流滞后量;为预设的码流追实时阈值;

62、g4:机载osd位姿数据满足新鲜度要求,即;

63、g5:云台判定为稳定状态,即;

64、g6:投影求解得到的候选地理坐标有效,即射线方向向量的竖直向下分量,且求解得到的交点落于机场作业范围多边形之内;

65、将所述门控校验结果以布尔量表示:当门控条件g1至g6全部满足时,,该原始视频帧为可靠定位帧,进入步骤s7;当g1至g6中任意一项不满足时,,进入步骤s8。

66、本方案中,g1至g6分别从标定参数有效性、分辨率一致性、码流实时性、位姿新鲜度、云台稳定性、投影结果合理性六个维度进行全链路校验,覆盖了参数输入、硬件状态、数据质量、解算结果等所有影响定位可靠性的环节;通过布尔量统一输出校验结果,逻辑清晰,便于后续分级输出逻辑的实现;该门控机制能够系统性过滤不可靠帧,将定位输出限制在所有前置条件均合格的场景下,大幅降低错误坐标输出的概率,保障输出结果的整体可信度。

67、进一步的,步骤s7中,所述输出目标对应的地理坐标,包括:

68、将步骤s5求解得到的目标候选地理坐标作为有效地理坐标,连同目标检测得到的目标类别、检测置信度,以及解算时刻的机载位姿快照、本次解算所采用标定参数的版本号一并推送至业务系统;

69、步骤s8中,所述抑制定位结果输出并记录门控失败原因,包括:

70、不输出目标经纬度,仅输出目标检测信息并标注“定位不可信”,同时记录门控失败原因码;所述门控失败原因码为未满足的门控条件编号g1至g6中的对应编号;

71、所述目标检测信息包括目标在图像中的检测框位置、目标类别与检测置信度。

72、本方案中,门控通过时,除输出地理坐标外,同步推送目标类别、检测置信度、位姿快照与标定参数版本号,完整保留定位解算的上下文信息,支持事后复算、问题追溯;门控未通过时,抑制地理坐标输出,仅保留目标检测信息并标注“定位不可信”,既保证了目标检测能力的连续性,又避免不可信的坐标数据流入下游业务系统;同时记录对应门控失败原因码,便于后续统计故障分布、定位系统短板,支撑系统优化与运维排查。

73、另一方面,本发明提供了一种无人机直播视频流目标实时地理定位系统,该系统包括:

74、视频接入与目标检测模块,用于接入无人机直播视频流并逐帧解码得到原始视频帧,将原始视频帧缩放至目标检测模型推理输入尺寸得到推理帧,在推理帧上执行目标检测,获得目标在推理帧上的目标检测框以及对应的像素坐标;

75、坐标还原模块,用于按目标检测模型推理输入尺寸与原始视频分辨率的比例关系,将推理帧上目标的像素坐标还原至原始视频图像坐标系,获得目标对应的原图像素坐标;

76、位姿与云台校验模块,用于为原始视频帧匹配机载osd位姿数据,校验机载osd位姿数据的新鲜度,并基于连续多帧云台角度数据判定云台是否处于稳定状态;所述机载osd位姿数据至少包括飞机经纬度、相对高度、起飞点海拔与云台三轴角度;

77、投影解算模块,用于读取与当前机场、载荷型号、镜头、变焦档位及原始分辨率对应的预标定定位参数,所述预标定定位参数包括相机内参、云台偏置角与地面海拔;基于所述原图像素坐标、所述机载osd位姿数据与所述预标定定位参数,将目标像素点变换为观测射线并求其与地面高程平面的交点,解算目标经纬度;

78、门控输出模块,用于对原始视频帧执行可靠定位门控,门控条件至少包括标定参数存在且通过验证、当前分辨率与标定分辨率匹配、视频流已追上实时、位姿新鲜、云台稳定、投影结果有效;全部条件满足时输出所述目标经纬度,任一条件不满足时抑制定位结果输出并记录未满足的条件。

79、本方案中,采用功能模块化的架构设计,既便于系统的开发部署与维护升级,也保障了方法流程的完整落地;各模块间数据接口清晰,可适配不同型号无人机、不同机场场景的接入需求,具备良好的扩展性;整套系统实现了从视频流接入到目标地理坐标输出的全流程自动化处理,能够稳定支撑无人机直播场景下的实时目标定位业务。

80、本发明的有益效果是:

81、(1)实时性与精度平衡,适配直播流连续处理:

82、本发明通过将原始高分辨率视频帧缩放至目标检测模型推理尺寸完成检测,大幅降低检测环节的算力消耗与处理时延,满足直播视频流高帧率连续输入的实时性要求;同时基于分辨率比例将目标像素坐标还原至原始视频坐标系,完整保留原始成像几何关系,避免图像缩放环节引入系统性定位偏差,在控制计算开销的同时守住了投影解算的精度基础。

83、(2)多级前置筛选,从源头保障解算基准可靠:

84、本发明针对机载位姿时延与云台抖动两大定位误差源,分别设置位姿新鲜度校验与云台稳定性判定两级前置筛选:通过osd数据时间匹配、线性插值与时间差阈值校验,消除位姿数据采样不同步、过度滞后带来的角度误差;通过滑动窗口综合三轴角度变化量判定云台状态,剔除云台运动抖动下的无效帧。两级筛选在投影解算前完成质量过滤,既减少冗余几何计算,也从输入源头降低定位结果出现大幅偏差的概率。

85、(3)五元组精准配参,标定过程质量闭环:

86、本发明采用机场标识、载荷型号、镜头类型、变焦档位、原始分辨率构成的五元组作为标定参数检索索引,可精准匹配不同作业场景与硬件配置下的标定参数,避免参数错配引发的系统性定位误差;离线标定采用相机内参、云台偏置角、地面海拔多参数联合拟合,同时补偿多源误差,并通过留一地标交叉验证严格把控参数入库精度,实现标定参数从生成、验收到入库的全流程质量管控。此外,本发明提出的基于地面固定地标注点的现场标定方法,无需专门标定飞行与实验室工装,一套参数可复用服务对应场景下的所有直播定位任务,大幅降低现场标定的部署成本与运维成本。

87、(4)全链路门控管控,输出结果分级可控:

88、本发明通过构建覆盖参数有效性、分辨率一致性、码流实时性、位姿新鲜度、云台稳定性、投影结果合理性的六条件门控校验体系,对完成投影解算的视频帧进行最终可靠性把关;门控通过时同步输出地理坐标、目标属性、位姿快照与参数版本号,支持事后复算与追溯;门控未通过时抑制坐标输出、保留检测信息并记录失败原因码,既避免不可信数据流入下游业务,也便于后续故障统计与系统优化。