一种基于视觉几何先验的无人艇高效多目标跟踪方法

本发明涉及计算机视觉与多目标跟踪，尤其涉及一种基于视觉几何先验的无人艇高效多目标跟踪方法。

背景技术：

1、多目标跟踪是计算机视觉领域的基础任务，旨在视频序列中同时定位多个目标并维持每个目标跨帧的身份一致性，输出带有唯一标识符的边界框轨迹。与传统行人或车辆跟踪场景不同，海上跟踪环境具有视场广阔、目标运动尺度变化大、背景相对简单但动态干扰强等特点。近年来，随着无人水面舰艇（usv）在自主海事导航、港口监控、交通流量分析等场景中的广泛应用，面向usv平台的多目标跟踪技术日益受到关注。

2、现有基于检测的跟踪范式主要依赖外观特征和卡尔曼滤波进行数据关联，但在海上远距离场景下，外观特征不可靠，卡尔曼滤波的运动预测易受相机抖动干扰产生漂移。基于transformer的跟踪器虽然性能优异，但计算复杂度高，不适合usv边缘部署。

技术实现思路

1、本发明公开了一种基于视觉几何先验的无人艇高效多目标跟踪方法，以克服上述技术问题。

2、为了实现上述目的，本发明的技术方案是：

3、一种基于视觉几何先验的无人艇高效多目标跟踪方法，包括如下步骤：

4、s1：获取包括当前帧海上图片的图片时序序列，以采用目标检测器，获取目标检测器的输出结果并进行预处理；目标检测器的输出结果包括多个活跃轨迹、海上图片中的目标的id、目标的检测框以及检测框的置信度；

5、s2：根据目标检测器的输出结果，获取目标在相邻帧之间的原始位移；以获取目标在相邻帧之间的衰减后的位移；

6、s3：根据衰减后的位移，获取平滑后的目标最终速度，以获取活跃轨迹在当前帧海上图片的预测的检测框位置；

7、s4：根据活跃轨迹在当前帧海上图片的预测的检测框位置，获取当前帧海上图片中的检测框与活跃轨迹之间的距离代价；

8、s5：获取当前帧海上图片中的检测框与活跃轨迹之间的顺序匹配代价，以根据当前帧海上图片中的检测框与活跃轨迹之间的距离代价，获取包含尺度代价和置信度代价的海上图片中的检测框与活跃轨迹之间的总匹配代价；

9、s6：根据所述总匹配代价矩阵，采用匈牙利匹配算法，获取初步的轨迹-检测框匹配对；以根据轨迹-检测框匹配对的交并比和轨迹-检测框匹配对的运动距离，对总匹配代价矩阵进行更新，获取更新的总匹配代价矩阵；并根据更新的总匹配代价矩阵，采用匈牙利算法，获取更新的轨迹-检测框匹配对；以获取当前帧海上图片中未被匹配的检测框位置；

10、s7：建立用于储存以当前帧海上图片之前的所有海上图片中未被匹配的检测框信息作为候选条目的候选池；以根据当前帧海上图片中未被匹配的检测框位置，对候选池中的候选条目进行更新；其中，海上图片中未被匹配的检测框信息包括检测框的中心位置、检测框的置信度、检测框的尺寸；

11、s8：根据更新后的候选池中的候选条目，确定是否能够将所述候选条目晋升为轨迹，以获取更新的轨迹列表；

12、s9：若更新的轨迹列表中，存在两条时序不重叠的轨迹，则获取两条轨迹的时间间隔、空间间隔、面积尺度比，以确定两条轨迹是否能够进行合并，以在两条轨迹能够合并时进行合并，进而获取最终的轨迹列表，以基于最终的轨迹列表中的轨迹，实现基于视觉几何先验的无人艇多目标的跟踪。

13、进一步的， 获取相邻帧目标的原始位移所采用公式如下：

14、

15、式中：为第条活跃轨迹在第k帧和第k-1帧海上图片之间的原始位移；、为第条活跃轨迹在第帧和第帧海上图片中的观测中心坐标；为图片时序序列中的海上图片帧序号的索引；为活跃轨迹的索引；

16、获取衰减后的位移所采用公式如下：

17、

18、式中：是第条活跃轨迹在第k帧和第k-1帧海上图片之间的衰减后的位移；为衰减系数；为向量的二范数，即欧氏距离；为像素抖动判定阈值。

19、进一步的， 获取平滑后的目标最终速度和当前帧海上图片的预测的检测框位置采用公式如下：

20、

21、

22、式中：为第条活跃轨迹在第k帧经指数平滑后的最终速度；与分别为历史速度与当前位移的平滑融合权重；为第条活跃轨迹在第k-1帧经指数平滑后的最终速度；是第条活跃轨迹在第k帧和第k-1帧海上图片之间的衰减后的位移；为第条活跃轨迹在第k+1帧海上图片的预测的目标检测框中心位置坐标；为第条活跃轨迹在第帧海上图片的观测的检测框的中心位置坐标。

23、进一步的， 获取海上图片中的检测框与活跃轨迹之间的距离代价所采用公式如下：

24、

25、式中，为海上图片中的第个检测框与第条活跃轨迹之间的距离代价；为第条活跃轨迹在第k+1帧海上图片中的预测中心位置坐标；为第k+1帧海上图片中的第个检测框的中心坐标；为向量的二范数；为归一化的海上图片中的检测框与活跃轨迹之间的最大距离；为活跃轨迹的索引；为海上图片中的检测框的索引。

26、进一步的， 获取海上图片中的检测框与活跃轨迹之间的顺序匹配代价所采用公式如下：

27、

28、式中：为顺序匹配代价；为id号索引，也是活跃轨迹的索引；为海上图片中的检测框的索引；为绝对值；为当前活跃轨迹数量，为当前帧海上图片中的检测框数量。

29、进一步的， 获取海上图片中的检测框与活跃轨迹之间的总匹配代价所采用公式如下：

30、

31、式中：为海上图片中的第个检测框与第条活跃轨迹之间的总匹配代价；为海上图片中的第个检测框与第条活跃轨迹之间的距离代价；为海上图片中的第个检测框与第条活跃轨迹之间尺度代价；为顺序匹配代价；为置信度代价；、、、均为权重系数；

32、其中，

33、

34、式中：

, 分别为海上图片中的第个检测框的宽和高；分别为第条活跃轨迹在海上图片中的预测框的宽和高；

35、

36、式中：为海上图片中的第个检测框的置信度得分。

37、进一步的， 对候选池中的候选条目进行更新所采用方法如下：

38、若候选池中不存在候选条目，则将当前帧海上图片中未被匹配的检测框信息作为候选条目，增加至候选池；否则，若候选池中存在候选条目，则：

39、当候选条目中检测框的中心位置与当前帧海上图片中未被匹配的检测框位置的横坐标和纵坐标之差的绝对值，均小于设定的像素阈值，则所述候选条目的命中次数加一；并更新所述候选条目的置信度均值；所述候选条目中检测框的位置更新为当前帧海上图片中未被匹配的检测框位置；所述候选条目中检测框的尺寸更新为当前帧海上图片中未被匹配的检测框尺寸；

40、当候选条目中检测框的中心位置与当前帧海上图片中未被匹配的检测框位置的横坐标和纵坐标之差的绝对值，没有都小于设定的像素阈值，但当前帧海上图片中未被匹配的检测框的置信度不小于设定的置信度阈值，则将当前帧海上图片中未被匹配的检测框信息作为新的候选条目，增加至候选池。

41、进一步的， 确定是否能将所述候选条目晋升为轨迹所采用方法如下：

42、s81：当候选条目中的命中次数达到最低晋升阈值，且置信度均值不低于置信度均值阈值，则执行s82；否则，所述候选条目不能晋升为轨迹；

43、s82：遍历轨迹列表中的轨迹，若存在最后一帧与当前帧之间的海上图片帧数量少于设定的图片帧阈值的轨迹，则获取轨迹列表中的轨迹在最后一帧的真实检测框位置，若候选条目中的检测框位置与轨迹列表中的轨迹在最后一帧的真实检测框位置的横坐标差值绝对值小于第一晋升像素阈值，且候选条目中的检测框位置与轨迹在最后一帧的真实检测框位置的纵坐标差值绝对值小于第二晋升像素阈值，则所述候选条目不能晋升为轨迹；否则，执行s83；

44、s83：当影子库中的轨迹对应的最后一帧与当前帧海上图片之间的帧数量大于设定的第二图片帧阈值时，获取影子库中的轨迹在最后一帧的真实检测框位置，以获取影子库中的轨迹的外推预测位置坐标，进而获取影子库中的轨迹与候选条目对应的检测框之间的综合匹配得分；

45、获取与候选条目对应的检测框之间的综合匹配得分最高的影子库中的轨迹，若所述综合匹配得分大于继承阈值，则所述候选条目晋升为轨迹，并加入轨迹列表；晋升后的轨迹继承影子库中的轨迹的id号，并将所述候选条目移出候选池；

46、否则，所述候选条目不能晋升为轨迹。

47、进一步的， 获取综合匹配得分所采用公式如下：

48、

49、式中：为综合匹配得分；为运动得分与尺度得分的加权平衡系数；为运动匹配得分；为尺度匹配得分；

50、其中，

51、

52、

53、式中：为影子库中存储的轨迹外推后的预测中心坐标；均为影子库中存储的轨迹消失时刻在对应的海上图片中检测框的中心坐标；均为影子库中存储的轨迹消失时刻的速度；为当前帧与影子库中存储的轨迹消失时的图片帧之间的帧差；为运动距离容差；均为第k帧候选平均位置坐标；

54、

55、式中：为候选框面积；为影子库中存储的轨迹消失时刻在对应的海上图片中检测框的面积，为尺度敏感度控制参数。

56、进一步的， 获取两条轨迹的时间间隔、空间间隔所采用公式如下：

57、

58、

59、式中：为时间间隔；为后一轨迹片段起始帧号；为前一轨迹片段结束帧号；为空间距离；为前一轨迹片段结束帧对应的目标观测中心坐标；为后一轨迹片段起始帧对应的目标观测中心坐标；

60、获取两条轨迹的面积尺度比所采用公式如下：

61、

62、式中：为面积尺度比；、分别为前一轨迹片段和后一轨迹片段的平均检测框面积；

63、确定两条轨迹是否能够进行合并的条件如下：

64、

65、

66、

67、

68、

69、式中：为时间间隔；为最大允许拼接帧间隔；为空间距离；为最大允许拼接空间距离；为面积尺度比；为最大允许尺度差异比；为前一轨迹片段a的平均检测置信度；为后一轨迹片段b的平均检测置信度；为最低检测置信度阈值；为前一轨迹片段a覆盖的所有帧号集合；为后一轨迹片段b覆盖的所有帧号集合。

70、有益效果：本发明的一种基于视觉几何先验的无人艇高效多目标跟踪方法，通过引入基于视觉几何先验的位移衰减与速度平滑机制，有效克服了海上相机抖动引起的运动预测漂移问题，摒弃了对易受干扰的卡尔曼滤波的依赖；同时，构建融合尺度代价与置信度代价的多维总匹配代价矩阵，并结合交并比与运动距离的二次优化匹配策略，显著提升了在目标尺度剧烈变化及背景动态干扰下的数据关联精度。此外，通过设置候选池对未匹配检测框进行时序管理，并依据时间间隔、空间间隔及面积尺度比对时序不重叠轨迹进行智能合并，成功解决了目标因波浪遮挡或检测器漏检导致的轨迹中断与碎片化问题。综上所述，本发明在保证高跟踪精度的前提下，规避了高复杂度的外观特征提取与transformer运算，实现了计算资源的高效利用，特别适用于无人艇边缘端平台的实时、稳健多目标跟踪。