一种基于视觉目标跟踪的无人机飞行系统的制作方法

摘要: 本发明涉及无人机控制,具体涉及一种基于视觉目标跟踪的无人机飞行系统。背景技术:1、基于视觉目标跟踪的无人机飞行系统,是指通过机载视觉传感器实时采集图像,并利用目...
一种基于视觉目标跟踪的无人机飞行系统的制作方法

本发明涉及无人机控制,具体涉及一种基于视觉目标跟踪的无人机飞行系统。

背景技术:

1、基于视觉目标跟踪的无人机飞行系统,是指通过机载视觉传感器实时采集图像,并利用目标跟踪算法实现对特定目标的自主识别、定位与持续跟随的智能飞行系统,其在安防监控、应急救援、基础设施巡检及影视航拍等领域发挥着不可替代的关键作用。

2、现有的主流实践中,基于单个无人机的视觉目标追踪容易受到遮挡物影响,且单一无人机视野范围受限、无法快速调整,在目标出现长时间遮挡或目标突然变换运动模式时极易丢失目标。针对此问题,多无人机协同被认为是有效的解决思路。“领航-跟随”法因简单高效、编队精度高等优点而被广泛采用,但其高度依赖于领航无人机的可靠性,且集中式架构容易使通信负担集中于领航者节点,一旦领航者出现意外或追踪效果不佳,会影响整个无人机集群的控制与追踪效果。

3、虽已有在动态切换领航无人机的技术,但其基本都是在无人机电池状态出现偏差或领航无人机丢失追踪目标之后才触发调控,属于被动调控手段。当出现上述情况时,已经影响到追踪效果,此时再进行领航员切换可能已经来不及,容易导致追踪目标丢失。

技术实现思路

1、本发明提供一种基于视觉目标跟踪的无人机飞行系统,以解决现有的问题。

2、本发明的一种基于视觉目标跟踪的无人机飞行系统采用如下技术方案:

3、本发明一个实施例提供了一种基于视觉目标跟踪的无人机飞行系统,包括:

4、图像获取模块,用于获取多无人机集群针对同一追踪目标的同步图像帧;

5、三维定位模块,用于根据同步图像帧,通过多无人机视线交会与融合,得到追踪目标在世界坐标系下的三维位置序列;

6、轨迹预测模块,用于根据三维位置序列确定位移向量序列和方向变化量序列,并根据位移向量序列和方向变化量序列构造下一时刻为直线变化的预测位移向量和下一时刻为非直线变化的预测位移向量;

7、权重分布生成模块,用于确定直线变化的预测位移向量的权重和非直线变化的预测位移向量的权重,并根据直线变化的预测位移向量和非直线变化的预测位移向量,以及直线变化的预测位移向量的权重和非直线变化的预测位移向量的权重,通过高斯叠加得到预测追踪目标轨迹权重分布;

8、追踪质量评估模块,用于确定每架无人机的边界框中心偏离图像中心的程度,并根据预测追踪目标轨迹权重分布,确定每架无人机的轨迹覆盖指标;

9、领航无人机设定模块,用于根据边界框中心偏离图像中心的程度和轨迹覆盖指标,得到每架无人机作为候选领航无人机的评分,并根据评分从多无人机集群中动态设定领航无人机;

10、路径规划模块,用于根据预测追踪目标轨迹权重分布,确定领航无人机可保证追踪覆盖的区域,并在区域内规划无人机群的飞行路径。

11、进一步地,所述三维定位模块具体用于:

12、将同步图像帧输入基于深度卷积网络的目标检测器中,输出追踪目标在同步图像帧中的边界框与置信度;

13、根据每架无人机机载组合导航系统记录的相机空间位置和姿态,结合相机在机体坐标系中的安装参数和相机内参,将同步图像帧中边界框的质心转化为从对应相机出发、指向追踪目标方向的三维射线,以将各个机位识别到的追踪目标信息统一到同一三维空间中;

14、对于每架无人机对应的三维射线,分别计算该三维射线与其余每一条三维射线之间的交会残差,并对得到的多个交会残差求取平均值,作为该三维射线的残差平均值;

15、将所有三维射线的残差平均值按从小到大排序,确定下四分位数、上四分位数以及四分位距;其中,四分位距为上四分位数与下四分位数之差;

16、将残差平均值大于预设残差阈值的三维射线,判定为异常射线并剔除;其中,预设残差阈值为上四分位数与预设倍数乘以四分位距之和;

17、对于剔除后剩余的各个三维射线,以目标检测器输出的置信度作为权重,采用最小二乘三角化方法进行融合,融合结果的位置作为追踪目标位置;

18、将预设第一时间窗口内每一时刻的追踪目标位置按照时间顺序排列,得到追踪目标在世界坐标系下的三维位置序列;其中,预设第一时间窗口由当前时刻之前的历史时刻构成。

19、进一步地,所述轨迹预测模块具体用于:

20、针对追踪目标在世界坐标系下的三维位置序列中的每对相邻位置,将后一位置减去前一位置,得到该对相邻位置的位移向量;

21、按照时序对所有位移向量排列,构成位移向量序列;

22、针对位移向量序列中的每对相邻位移向量,将后一位移向量的方向角减去前一位移向量的方向角,得到该对相邻位移向量的方向变化量;

23、按照时序对所有方向变化量排列,构成方向变化量序列;

24、对方向变化量序列进行线性趋势拟合,得到下一时刻的预测方向变化量;

25、计算位移向量序列中每个位移向量的模长,得到位移长度序列;

26、对位移长度序列进行线性趋势拟合,得到下一时刻的预测位移长度;

27、将当前时刻的位移向量方向角加上下一时刻的预测方向变化量,得到下一时刻的预测方向角,根据下一时刻的预测方向角和下一时刻的预测位移长度构造下一时刻为非直线变化的预测位移向量;

28、根据当前时刻的位移向量方向角和下一时刻的预测位移长度构造下一时刻为直线变化的预测位移向量。

29、进一步地,所述权重分布生成模块中确定直线变化的预测位移向量的权重和非直线变化的预测位移向量的权重,包括的具体步骤如下:

30、计算位移长度序列中所有位移长度的均值,作为平均位移长度;

31、将下一时刻的预测位移长度除以平均位移长度,得到下一时刻归一化后的预测位移长度;

32、计算方向变化量序列中所有方向变化量的绝对值的均值,作为平均方向变化量;

33、将下一时刻的预测方向变化量的绝对值除以平均方向变化量,得到下一时刻归一化后的预测方向变化量;

34、以下一时刻归一化后的预测位移长度为分子,以下一时刻归一化后的预测位移长度与下一时刻归一化后的预测方向变化量之和作为分母,计算得到下一时刻为直线变化的预测位移向量的权重;

35、以下一时刻归一化后的预测方向变化量为分子,以下一时刻归一化后的预测位移长度与下一时刻归一化后的预测方向变化量之和作为分母,计算得到下一时刻为非直线变化的预测位移向量的权重。

36、进一步地,所述权重分布生成模块中根据直线变化的预测位移向量和非直线变化的预测位移向量,以及直线变化的预测位移向量的权重和非直线变化的预测位移向量的权重,通过高斯叠加得到预测追踪目标轨迹权重分布,包括的具体步骤如下:

37、将下一时刻为直线变化的预测位移向量和下一时刻为非直线变化的预测位移向量分别通过相机投影关系透视变换到每架无人机的二维图像平面中,得到对应的直线像素位移向量和非直线像素位移向量;

38、分别以直线像素位移向量和非直线像素位移向量的终点为中心,以下一时刻为直线变化的预测位移向量的权重和下一时刻为非直线变化的预测位移向量的权重为幅度,以预设带宽为高斯核宽度,进行高斯叠加,得到每架无人机二维图像平面中的预测追踪目标轨迹权重分布;

39、其中,预设带宽根据位移长度序列的线性趋势拟合结果确定,具体为:对位移长度序列进行线性趋势拟合,计算实际位移长度序列与拟合线性趋势之间的残差绝对值的均值,将该均值作为预设带宽。

40、进一步地,所述追踪质量评估模块具体用于:

41、针对多无人机集群中的每架无人机,获取该无人机在预设第二时间窗口内每一同步图像帧中追踪目标边界框的中心坐标,并按时间顺序构成边界框中心坐标序列;

42、针对边界框中心坐标序列中的每个中心坐标,计算该中心坐标与该无人机对应的同步图像帧的对角线交点之间的第一距离;

43、按照预设权重规则对全部第一距离进行加权求和,得到加权距离总和;其中,预设权重规则为:当前时刻对应的第一距离权重为1,预设第二时间窗口内最早时刻对应的第一距离权重为0,其余时刻对应的第一距离权重随时间线性递增;

44、将加权距离总和除以权重之和,得到加权平均距离;

45、将加权平均距离除以该无人机对应的同步图像帧的对角线长度的一半,得到该无人机归一化后的边界框中心偏离图像中心的程度;

46、按照预测追踪目标轨迹权重分布,对该无人机对应的同步图像帧中每个像素位置以其对应的权重值进行加权,计算得到加权质心;

47、计算加权质心与该无人机对应的同步图像帧的对角线交点之间的第二距离;

48、将第二距离除以该无人机对应的同步图像帧的对角线长度的一半,得到该无人机归一化后的轨迹覆盖指标。

49、进一步地,所述领航无人机设定模块中根据边界框中心偏离图像中心的程度和轨迹覆盖指标,得到每架无人机作为候选领航无人机的评分,包括的具体步骤如下:

50、将该无人机归一化后的边界框中心偏离图像中心的程度与1的和值,作为第一和值;

51、将该无人机归一化后的轨迹覆盖指标与1的和值,作为第二和值;

52、将第一和值与第二和值的乘积,确定为该无人机作为候选领航无人机的评分;其中,评分越低,表示该无人机越适合作为候选领航无人机。

53、进一步地,所述领航无人机设定模块中根据评分从多无人机集群中动态设定领航无人机,包括的具体步骤如下:

54、获取当前时刻的领航无人机在预设第二时间窗口内每一时刻的评分,并按照时间顺序构成评分序列;

55、计算评分序列的均值和标准差;

56、针对多无人机集群中的每架无人机,将均值减去该无人机作为候选领航无人机的评分得到该无人机的领先程度,并将该无人机的领先程度除以标准差,得到该无人机的领先程度标准化值;

57、若该无人机的领先程度标准化值大于或者等于预设倍数阈值时,则将该无人机确定为下一时刻的候选领航无人机;

58、若不存在领先程度标准化值大于或等于预设倍数阈值的无人机,则维持当前时刻的领航无人机不变;

59、获取每个候选领航无人机的切换评估值;其中,切换评估值根据候选领航无人机与当前领航无人机之间的三维空间距离和领先程度确定;

60、将切换评估值最大的候选领航无人机确定为下一时刻的领航无人机。

61、进一步地,所述获取每个候选领航无人机的切换评估值,包括的具体步骤如下:

62、对于每一个候选领航无人机,计算该候选领航无人机与当前时刻的领航无人机之间的三维空间距离;

63、获取所有候选领航无人机与当前时刻的领航无人机之间的三维空间距离最大值,作为最大空间距离;

64、将该候选领航无人机与当前时刻的领航无人机之间的三维空间距离除以最大空间距离,得到该候选领航无人机的归一化空间距离;

65、将该候选领航无人机的领先程度除以该候选领航无人机的归一化空间距离与1的和值,得到该候选领航无人机的切换评估值。

66、进一步地,所述路径规划模块中在区域内规划无人机群的飞行路径,包括的具体步骤如下:

67、在领航无人机可保证追踪覆盖的区域内,规划领航无人机的飞行路径;

68、根据领航无人机的飞行路径和预设追踪阵列,规划各跟随无人机的飞行路径。

69、本发明的技术方案的有益效果是:本发明实施例中提出了一种基于视觉目标跟踪的无人机飞行系统,其通过分析追踪目标的三维行为轨迹进行轨迹预测,并根据预测轨迹以及各无人机短时间内的监控状况和对预测轨迹的覆盖状况动态安排领航无人机,进而规划各无人机飞行路径,从而实现领航无人机的预测性主动切换,能够防患于未然,有效避免因领航无人机出现意外或追踪效果不佳而导致多无人机集群控制与追踪受影响的问题;与现有方法相比,本发明在目标跟踪过程中具有更优的跟踪连续性和切换平滑性,能够显著提升追踪精度与追踪效果,增强多无人机协同目标追踪的稳定性和可靠性。