基于高斯距离匹配的海面多目标跟踪方法及系统

技术特征：
1.一种基于高斯距离匹配的海面多目标跟踪方法，其特征在于，采用目标检测器获得视频中每一帧的预检测结果，使用卡尔曼滤波对预检测结果形成的轨迹进行先验估计后，依次
①
使用iou距离关联轨迹和高分检测框、
②
使用iou距离关联步骤
①
剩余轨迹和低分检测框以及
③
使用高斯距离关联步骤
②
剩余轨迹和步骤
①
剩余高分检测框，综合三次关联结果后使用以观测为中心的卡尔曼滤波执行后验估计得到当前帧的轨迹，实现多目标跟踪。2.根据权利要求1所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的卡尔曼滤波，首先在关联之前预测轨迹在下一帧的位置，关联后通过直接使用检测框在线修正轨迹的位置，从而规避采用高斯距离关联带来的卡尔曼滤波后验估计过大的误差。3.根据权利要求1所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的多目标跟踪方法，当步骤
③
后依旧存在剩余高分检测框，即连续两帧的剩余高分检测框的置信度大于0.7时，重新进行轨迹初始化，具体为：对剩余高分检测框分配新的身份标识并初始化新的轨迹。4.根据权利要求1所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的多目标跟踪方法，当步骤
③
后依旧存在剩余轨迹，即已连续30帧没有检测框能够与之关联成功时，则标记跟丢状态，具体为：将剩余轨迹标记为跟丢状态并删除此剩余轨迹。5.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的目标检测器，采用yolov7神经网络根据输入帧检测得到高分检测框和低分检测框。6.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的先验估计是指：根据上一帧目标的位置和速度，预测当前帧目标的位置，具体为：2.1)在多目标跟踪的任务中，对每个目标建立一个状态空间其中：(u,v)、,a、h分别代表检测框和轨迹在图像像素坐标系下的位置、宽高比、高，中：(u,v)、,a、h分别代表检测框和轨迹在图像像素坐标系下的位置、宽高比、高，代表对应变量的变化率(变量在前后帧的差值)，则系统的状态方程为：其中：n～n(0,q),v～n(0,r)，a为状态转移矩阵；h为测量矩阵；n和v服从高斯分布；q，r则为系统过程噪声和观测噪声；2.2)根据线性运动的假设，在跟踪过程中，状态变量的先验估计由以下方程解算2.2)根据线性运动的假设，在跟踪过程中，状态变量的先验估计由以下方程解算其中：状态变量的定义见2.1)的状态空间，状态变量的下标k代表当前状态，k-1代表前一状态。7.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的使用iou距离关联轨迹和高分检测框是指：根据高分检测框集合d，共m个检测目标，轨迹预测框集合为t，共n个轨迹，匈牙利匹配的代价矩阵为c，形状为m
×
n，则对于任意d
i
∈d，任意t
j
∈t，则它们之间的iou距离即为代价矩阵元素其中：area()代表包围框的面积，在得到代价矩阵之后，即可将问题转化为一个最优二部匹配问题，采用匈牙利匹配根据损失最小的准则实现匹配。8.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征
是，所述的使用iou距离关联步骤
①
剩余轨迹和低分检测框是指：根据经过iou距离关联轨迹和高分检测框后仍剩余的轨迹为t以及低分检测框集合为d，将d和t作为输入，重复使用iou距离关联轨迹和高分检测框实现剩余轨迹和低分检测框的匹配。9.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的使用高斯距离关联步骤
②
剩余轨迹和步骤
①
剩余高分检测框是指：5.1)根据经过两次iou关联后剩余的检测和轨迹分别为：d
remain
＝{d1,
…
d
m
},},则每一个检测和轨迹之间的平方高斯距离为：则每一个检测和轨迹之间的平方高斯距离为：其中：(u，v)，,a,和,h,为目标或轨迹在像素坐标系下的横纵坐标，宽高比，高度；5.2)计算基于高斯距离构建匹配代价矩阵c＝{c
ij
}，其中：σ为最大的高斯匹配距离。考虑到低帧率和观测平台的晃动，采用匈牙利匹配，当目标和轨迹之间的面积比值>4,或<1/4，则拒绝匹配。10.根据权利要求1-4中任一所述的基于高斯距离匹配的海面多目标跟踪方法，其特征是，所述的后验估计是指：综合三次关联结果使用以观测为中心的卡尔曼滤波执行后验估计得到当前帧的轨迹，具体为：设目标检测结果，即观测值为d
k
，如果成功匹配，则使用观测值d
k
直接替换后验估计。11.一种实现权利要求1-10中任一所述基于高斯距离匹配的海面多目标跟踪方法的系统，其特征在于，包括：视频流单元、目标检测算法单元、多目标跟踪算法单元和界面显示与控制单元，其中：视频流单元读取相机或本地视频流，采用ros2话题异步通信机制输出源图像至目标检测算法单元；目标检测算法单元根据实时收到的源图像使用已部署的tensorrt模型推理得到检测框结果；多目标跟踪算法单元根据实时收到的检测框进行目标关联、轨迹初始化以及跟丢轨迹的移除，生成检测框和身份标识结果；界面显示与控制单元根据实时收到的源图像、检测框和身份标识结果进行图像叠加绘制显示。12.根据权利要求11所述的系统，其特征是，每个单元中均设有功能模块和ros2通信模块，使得视频流单元、目标检测算法单元和多目标跟踪算法单元之间通过发布和订阅特定名称话题的方式进行实时通信，其中：源图像、检测框、检测框和身份标识结果为话题的通信接口与数据格式；界面显示与控制单元与其他单元的ros2通信模块之间通过qt的信号与槽机制进行通信，最终将检测跟踪结果的图像和数据显示到界面上。

技术总结
一种基于高斯距离匹配的海面多目标跟踪方法及系统，采用目标检测器获得视频中每一帧的预检测结果，使用卡尔曼滤波对预检测结果形成的轨迹进行先验估计后，依次


技术研发人员：肖刚 梁振起 曾柳 顾恩惠
受保护的技术使用者：上海交通大学
技术研发日：2022.11.21
技术公布日：2023/3/10