一种基于光流场分析的单目无人机运动目标视觉测速方法与流程

本发明涉及视频测量，具体为一种基于光流场分析的单目无人机运动目标视觉测速方法。

背景技术：

1、在全球智能交通系统与智慧高速快速发展的背景下，无人机凭借其部署灵活、视野广阔、响应迅速等优势，已逐步成为高速公路巡检、交通流监测及应急事件感知的重要空中平台。其中，基于无人机载单目视觉对路面运动车辆进行非接触式速度估计，是实现大规模、低成本交通状态感知的关键技术手段，对提升高速公路运营管理水平、保障行车安全具有重要意义。

2、然而，现有基于单目视觉的车辆测速方法通常假设背景静止，或依赖帧间差分与静态背景建模来提取运动区域，难以有效建模无人机自身飞行所引起的全局背景视差。当无人机处于持续运动状态时，其平移、旋转及姿态变化会在图像平面上形成大范围背景位移，该背景运动与车辆自身真实运动相互叠加耦合，导致现有方法难以准确区分“无人机自运动引起的背景变化”与“车辆自身的真实运动”，尤其是在车辆低速行驶或临时停靠时，车辆运动信号极易被背景视差运动所淹没，从而产生速度误测或运动方向误判。

3、此外，现有方法多依赖gps、imu、道路标线或地面控制点等外部先验信息，来实现像素尺度到物理速度的映射。在桥梁、隧道等gps拒止环境，或无地面控制点的空旷路段中，此类方法的适用性受到明显限制，难以满足无人机高速巡检场景下对车辆速度进行连续、稳定估计的实际需求。

4、若无法有效解耦无人机自运动与车辆相对运动，测速结果的可靠性将无法保证，不仅会误导交通态势判断，还可能导致对低速或静止车辆的漏报、误报，削弱智能巡检系统的实际效能，增加人工复核成本，甚至因错误的交通事件预警引发不必要的管控措施，影响高速公路通行效率与行车安全。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于光流场分析的单目无人机运动目标视觉测速方法，解决了上述背景技术中的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于光流场分析的单目无人机运动目标视觉测速方法，包括以下步骤：

3、s1，对输入视频序列帧进行车辆检测，得到车辆检测框集合；对车辆检测框集合进行多目标跟踪，为每个车辆目标维护历史轨迹队列，历史轨迹队列记录预设时间窗口内的连续多帧几何状态，预设时间窗口涵盖从当前帧向前回溯预设帧数至当前帧的连续多帧图像，几何状态包括边界框坐标、中心点坐标和四个角点坐标；

4、s2，利用车辆检测框集合构建动态区域掩码，将动态区域掩码之外的像素区域作为有效静态区域，在有效静态区域内提取背景特征点，并采用lucas-kanade稀疏光流算法计算所述背景特征点在相邻帧之间的像素位移向量；

5、s3，对像素位移向量依次进行空间掩蔽过滤、统计离群值剔除和方向一致性约束的多级筛选，将多级筛选后保留的像素位移向量作为高置信度位移向量；利用高置信度位移向量拟合表征全局背景运动的一阶仿射光流场模型，得到用于描述图像任意位置背景运动矢量的光流场函数；维护最近预设平滑帧数的历史参数序列，对光流场函数的系数进行时序平滑，得到稳健光流场函数；

6、s4，对于每个车辆目标，在所述预设时间窗口内，分别计算该车辆目标的车辆总像素位移和对应背景累计位移；车辆总像素位移通过对该车辆目标的四个角点在所述预设时间窗口起止帧之间的累计像素位移取均值得到；对应背景累计位移通过沿该车辆目标的四个角点轨迹逐帧查询稳健光流场函数并累加帧间背景位移得到；将车辆总像素位移与所述对应背景累计位移相减，得到该车辆目标相对于背景的真实像素位移；根据真实像素位移与背景每帧位移确定带方向的相对速度比值；

7、s5，维护包含历史光流场参数的历史参数队列，历史参数队列为滑动窗口队列；基于历史参数队列中高置信度区间的历史光流幅值计算参考背景幅值；根据无人机预设的最大巡航速度与参考背景幅值确定标定系数；利用标定系数和当前帧光流场常数项模长估算当前无人机对地速度；将带方向的相对速度比值与无人机对地速度相乘，计算并输出车辆绝对速度。

8、进一步，步骤s1中，采用yolov8n目标检测模型进行车辆检测，对于每一帧图像，所述yolov8n目标检测模型输出车辆检测框集合，所述车辆检测框集合包括轴对齐边界框及对应置信度分数；采用bytetrack跟踪器，通过双阈值关联机制和卡尔曼滤波预测-匹配框架实现目标关联与全局唯一id分配；所述历史轨迹队列的长度为所述预设帧数加一帧；所述四个角点坐标为所述轴对齐边界框的左上角、右上角、左下角和右下角四个顶点坐标。

9、进一步，步骤s2中，动态区域掩码将车辆检测框集合中所有车辆检测框覆盖的像素区域标记为无效区域；有效静态区域为图像中不属于无效区域的像素区域；采用shi-tomasi角点检测器在有效静态区域内提取背景特征点，提取的背景特征点满足与邻近已选点的最小间距不小于10像素的条件；保留500至1500个背景特征点。

10、进一步，步骤s3中，所述空间掩蔽过滤为：剔除终点落入车辆检测框内的像素位移向量；

11、所述统计离群值剔除为：计算经空间掩蔽过滤后剩余像素位移向量的均值和标准差，保留位移量偏离均值不超过预设倍数标准差的像素位移向量；

12、所述方向一致性约束为：计算经统计离群值剔除后剩余像素位移向量与全局平均光流方向的夹角余弦，保留夹角余弦不小于预设阈值的像素位移向量。

13、进一步，步骤s3中，所述一阶仿射光流场模型包含平移分量、水平伸缩分量、垂直伸缩分量、旋转分量和剪切分量，共计六个自由度；通过线性最小二乘法对所述高置信度位移向量求解得到所述光流场函数的系数；所述时序平滑包括：对每个系数分量独立计算最近预设平滑帧数内的均值和标准差，剔除偏离均值超过1.5倍标准差的异常帧，对剩余有效帧的系数值取算术平均，得到平滑后的系数。

14、进一步，步骤s4中，对车辆目标的四个角点分别计算累计像素位移和背景累计位移，将四个角点计算得到的真实像素位移取平均，得到整体真实像素位移；所述带方向的相对速度比值通过整体真实像素位移向量与背景累计位移向量的点积符号确定方向，并以整体真实像素位移幅值与背景累计位移幅值之比作为比值大小。

15、进一步，步骤s4中，将所述车辆总像素位移除以所述预设帧数得到平均每帧车辆位移，将所述对应背景累计位移除以所述预设帧数得到平均每帧背景位移；将平均每帧车辆位移与平均每帧背景位移之差作为平均每帧真实像素位移；所述带方向的相对速度比值为平均每帧真实像素位移幅值与当前帧背景每帧位移幅值之比，所述当前帧背景每帧位移幅值为当前帧光流场常数项模长。

16、进一步，步骤s5中，所述高置信度区间通过对所述历史参数队列中的光流场常数项模长进行分位数统计确定，选取85%至98%分位数对应的样本子集，计算所述样本子集的平均幅值作为所述参考背景幅值。

17、进一步，步骤s5中，所述标定系数为所述无人机预设的最大巡航速度与所述参考背景幅值之比；所述当前无人机对地速度取所述当前帧光流场常数项模长与所述标定系数乘积、所述无人机预设的最大巡航速度中的较小值。

18、本发明提供了一种基于光流场分析的单目无人机运动目标视觉测速方法，具备以下有益效果：

19、本发明仅依赖单目摄像头视频流，在不使用gps、imu、道路标线或地面控制点的条件下，通过构建动态区域掩码排除车辆动态干扰，提取背景特征点并计算像素位移，经多级筛选后拟合一阶仿射光流场并进行时序平滑，得到稳健光流场函数；在此基础上，利用车辆四个角点的累计像素位移与背景累计位移相减，解耦出车辆相对背景的真实像素位移及带方向的相对速度比值，并借助历史光流参数滑动窗口统计高置信度区间的参考背景幅值，结合无人机预设最大巡航速度自标定无人机对地速度，最终实现车辆绝对速度的连续输出。该方案有效解决了无人机自运动背景下车辆真实运动难以分离的问题，显著提升了对低速和静止车辆的识别可靠性，无需外部传感器即可完成像素尺度到物理速度的映射，具有低成本、易部署、环境适应性强、可实时稳定测速等有益效果。