一种无人机实时视频测绘目标定位方法及系统

本发明涉及无人机测绘与目标定位，具体涉及一种基于多帧像素视差反演目标自身高度的无人机实时视频测绘目标定位方法及系统，可应用于无人机航空测绘、应急救援、城市管理、农林监测、安防监控、交通调度等典型作业任务场景。

背景技术：

1、无人机实时视频测绘目标定位是从无人机机载相机所获取的视频序列中识别地面目标并实时输出该目标真实地理坐标的关键支撑技术。该技术最早期的实现路径是单帧共线方程反演法：将目标在视频帧像素平面上的几何中心点连同相机内参、由gps和imu提供的相机外参代入摄影测量学经典共线方程，反演成像光线并与地形数字高程模型求交点，该交点即被视为目标的地面坐标。该路径形式简洁、计算成本低，但其效果依赖一项隐性前提条件：目标自身在地面上的几何尺寸相对相机视野可忽略不计，使目标在像素平面的几何中心点与该目标在地面上的真实投影中心点近似等同。

2、为缓解对目标尺寸假设的依赖，业内沿三条主流路径展开改进：多视立体重建路径对连续帧做特征匹配与束调整重建三维点云后读取目标坐标，精度较高但算力开销大，在常见嵌入式飞控平台上难以做到实时视频处理；卫星底图配准路径将视频帧与高分辨率卫星正射影像底图做特征匹配后读出目标的底图坐标，在乡村、山地、林区等底图分辨率不足或时效性差的区域配准失败率高；基于深度学习的端到端回归路径用神经网络模型直接从视频帧像素与位姿数据回归目标地理坐标，需要大量标注数据训练且模型推理算力开销在典型机载嵌入式平台上偏重，新场景下泛化能力不可控。

3、然而上述各路径均未解决实际作业中的一类关键问题：对地面上停放的轿车、变压器箱体、站立的作业人员等具有显著自身高度的目标做定位时，所反演出的地面坐标与该目标真实坐标之间常存在几米至十几米的偏差；飞行高度越低、相机俯仰角度越远离正下方垂直拍摄，该偏差越大；该偏差并非随机噪声，而是方向稳定一致的系统性偏移。当前业内产品级实践往往将该偏差归类为相机标定残差或位姿测量噪声，引入滤波平滑环节做后处理掩盖，只能减小偏差的瞬时跳变幅度，无法消除其系统性指向。虽有部分方法尝试通过引入毫米波雷达或激光测距仪做额外测距以剥离目标自身高度信息，仍无法解决既有视频流自身已蕴含该信息却未被挖掘的低成本路径下的定位偏差问题。

4、对单帧共线方程反演几何做分析可以发现，现有方法的根本症结在于：现有方法只关心目标在像素平面上的几何中心点这一二维位置信息，却未关心目标在连续多帧之间的像素位移与无人机自身位姿变化之间所蕴含的目标自身高度信息。对于具有非零自身高度的地面目标，其像素几何中心点对应的成像光线与地面交点并非该目标的真实地面投影点，而是偏移了目标自身高度乘以相机俯仰角余切的点(此为摄影测量学经典几何中已被广泛记载的成像几何先验事实，在此仅作已知现象引用)，如图3所示；而当目标在连续帧间被持续识别时，无人机位姿渐变引起的目标像素位移与目标自身高度之间存在可解析的线性几何耦合关系，对若干帧像素位移做线性拟合即可反向解出目标自身高度，再用该高度对像素中心点做一次几何校正即可消除上述系统性偏差。

5、因此，本发明所要解决的技术问题是：在不引入毫米波雷达、激光测距仪等额外硬件传感器，且不增加神经网络模型推理算力开销的约束条件下，对目标在连续视频帧间的像素位移与无人机自身位姿变化之间的耦合关系做识别，在线反向解出该目标的自身高度，并用该自身高度对像素中心点做一次几何校正后再反演地面坐标，从而消除现有方法因忽略目标自身高度引起的系统性定位偏差。

技术实现思路

1、针对现有无人机实时视频测绘目标定位方法中因忽略目标自身高度而引起的系统性定位偏差问题，本发明提供一种无人机实时视频测绘目标定位方法及系统。本发明方法不引入毫米波雷达、激光测距仪等额外硬件传感器，不依赖神经网络模型推理，仅靠对目标在连续多帧之间的像素位移与无人机自身位姿变化之间的耦合关系做线性拟合，即可在线反向解出目标自身高度，再用该高度对像素几何中心点做几何校正后代入共线方程反演地面坐标，从而消除因忽略目标自身高度引起的定位偏差。

2、为解决上述技术问题，本发明的无人机实时视频测绘目标定位方法，包括：

3、s1：于每个视频帧读取当前帧图像并识别其中各待定位地面目标，对每个目标提取其像素几何中心点坐标，同时读取该帧曝光时刻的无人机位姿，所述无人机位姿包括无人机地理坐标、姿态角与相机内外参；

4、s2：对每个目标，在历史帧中查找该目标已被持续识别的连续若干帧，以该若干帧的像素几何中心点坐标与对应无人机位姿组成该目标的多帧观测序列；所述多帧观测序列的长度不小于第一预设阈值时进入s3，否则等待下一帧；

5、s3：对满足s2触发条件的目标，将多帧观测序列中各帧像素几何中心点对应的成像光线与地面理想投影面交点作为各帧地面观测投影点，以无人机位姿在各帧间渐变所诱导的所述地面观测投影点渐变向量作为目标视差向量，对所述目标视差向量与目标自身高度间的线性几何耦合做最小二乘拟合，得到该目标的自身高度估计值；

6、s4：用s3所得自身高度估计值对该目标在当前帧的像素几何中心点做几何校正，得到该目标在当前帧的地面投影校正点；所述几何校正按以下规则：校正后投影点等于校正前地面观测投影点沿无人机至所述地面观测投影点连线的水平投影方向反向偏移，偏移量等于自身高度估计值乘以无人机相机俯仰角的余切；

7、s5：将地面投影校正点的地理坐标作为该目标在当前帧的定位结果输出。

8、本发明的无人机实时视频测绘目标定位系统包括无人机、所述无人机搭载的机载相机、机载视频处理单元、位姿测量单元以及连接所述机载视频处理单元的存储器；所述机载视频处理单元由视频帧采集模块、目标识别模块、多帧观测序列管理模块、目标自身高度估计模块、像素中心几何校正模块、定位结果输出模块六大功能模块组成；六大模块按典型嵌入式视频处理系统的中断驱动+定时任务调度方式串行执行，每帧视频流到达后于该帧曝光时刻的位姿同步上报后开始处理，处理结果在下一帧到达前完成输出。

9、本发明的有益效果包括如下三点。第一，本发明通过引入目标在连续多帧之间像素位移与无人机自身位姿变化之间的耦合关系作为目标自身高度反演判据，消除了现有单帧共线方程反演法因忽略目标自身高度引起的系统性定位偏差，使同一架无人机同一套相机内外参在斜视拍摄具有非零自身高度的地面目标时，因忽略目标自身高度引起的系统性定位偏差得以消除，定位偏差由几米至十几米显著降低（在rtk差分定位等高精度位姿测量配置下可降至亚米级至米级），克服了现有方法在中低空斜视拍摄条件下定位精度严重劣化的困境。第二，本发明的目标自身高度估计算法基于线性几何耦合关系做最小二乘拟合，具有o(k)的计算复杂度，k为多帧观测序列长度典型取5至30帧，在主流嵌入式机载视频处理硬件上单目标单次估计时延约0.1至1毫秒，可与现有视频帧处理流程无缝集成，无需额外硬件传感器、无需神经网络模型推理。第三，本发明在城区、山地、林区、海岸、夜间等多种典型作业场景下均能适用，配合光轴夹角筛帧、自身高度有效性校验、多目标并行、定位结果时序管理等扩展机制，具备良好的工程通用性与场景覆盖度。