一种船舶多目标视频跟踪方法及装置

摘要: 本发明涉及船舶目标跟踪领域,特别是一种船舶多目标视频跟踪方法及装置。背景技术:1、船舶多目标跟踪是指在海上或水域中,通过使用传感器和算法来实时跟踪和识别多个船舶...
一种船舶多目标视频跟踪方法及装置

本发明涉及船舶目标跟踪领域,特别是一种船舶多目标视频跟踪方法及装置。

背景技术:

1、船舶多目标跟踪是指在海上或水域中,通过使用传感器和算法来实时跟踪和识别多个船舶目标的位置、速度、航向等信息的技术。随着计算机技术、传感器技术和人工智能的快速发展,船舶多目标跟踪变得更加可行和成熟。其发展的壮大有助于推动船舶视频监控的发展,保证船舶航行的安全,然而,当船舶出现相互遮挡时,一些算法会丢失被遮挡目标的检测,导致跟踪精度下降。

2、因此如今需要一种能够更有效应对遮挡问题的船舶多目标视频跟踪方法及装置。

技术实现思路

1、本发明的目的在于克服现有技术中所存在的船舶相互遮挡时,算法丢失遮挡目标,导致跟踪精度下降的问题,提供一种船舶多目标视频跟踪方法及装置。

2、为了实现上述发明目的,本发明提供了以下技术方案:

3、一种船舶多目标视频跟踪方法,包括以下步骤:

4、s1:获取船舶的航行图片,生成样本数据集;所述样本数据集包括训练集以及验证集;

5、s2:通过所述样本数据集对目标检测模型进行模型训练,直至模型收敛,输出为目标检测模型;

6、s3:通过所述目标检测模型对监控视频中的船舶目标进行目标检测,得到当前时刻各个船舶目标的目标外表信息与检测框;所述目标外表信息为小型神经网络提取的128维外观向量特征;

7、s4:使用扩展卡尔曼滤波器对每个所述船舶目标进行跟踪,预测每个所述船舶目标下一帧的位置以及速度状态,并生成预测框;

8、s5:根据所述目标外表信息,计算相邻两帧监控视频中各个船舶目标的外观相似度,获取相邻两帧中相互对应的船舶目标;

9、s6:实时计算每一帧中各个船舶目标的检测框与预测框的交叠率和曼哈顿距离,并根据计算结果对检测框进行调整,得到最终的跟踪框,实现多目标跟踪;

10、其中,所述目标检测模型包括特征提取模块以及特征融合模块,所述模型训练包括:

11、s21:提取样本数据的数据特征;

12、s22:对所述数据特征进行归一化处理以及激活操作,得到三幅特征尺度分别为大、中、小的特征图;

13、s23:对三幅特征图进行特征融合,生成特征融合图;

14、s24:提取所述特征融合图的数据特征;

15、s25:进入s22,直至所述目标检测模型收敛,输出为目标检测模型。

16、作为本发明的优选方案,所述s1还包括通过数据增强方法对所述样本数据集进行扩充;所述数据增强方法包括水平翻转、随机裁剪、颜色扰动以及模糊噪声处理。

17、作为本发明的优选方案,所述s22中所述归一化处理的表达式为:

18、

19、其中,y为输出数据,x为输入数据,var(x)为x的方差,γ为范围系数,ε为惩罚项,用以保障分母不为0,β为偏置项,e(x)为x的期望。

20、作为本发明的优选方案,所述s22中所述目标检测模型的激活操作表达式为:

21、

22、其中,w(x)为激活函数,x为输入。

23、作为本发明的优选方案,所述s2还包括模型微调处理,包括以下步骤:

24、冻结所述目标检测模型;将靠近模型输出的若干网络层解冻;将解冻的网络层进行模型训练;输出微调后的所述目标检测模型。

25、作为本发明的优选方案,所述s5通过将所述目标外表信息转换为特征向量,并使用相似度公式计算前后两帧船舶目标的相似度,从而确认是否为同一目标;相似度公式为:

26、

27、其中,sim表示相似度,a和b分别表示前后帧的船舶目标特征向量,||a||和||b||分别表示向量的范数。

28、作为本发明的优选方案,所述s6通过计算检测框与预测框的交叠率、中心点的曼哈顿距离,通过km算法对检测框进行调整,得到最终的跟踪框;

29、具体的,交叠率计算的表达式为:

30、

31、其中,i为交叠率,d为检测框的面积,t为预测框的面积;

32、曼哈顿距离计算的表达式为:

33、d=|x1-x2|+|y1-y2|,

34、其中,d为曼哈顿距离,(x1,y1)为目标检测框中心点坐标,(x2,y2)为目标预测框中心点坐标。

35、作为本发明的优选方案,所述km算法包括以下步骤:

36、s61:创建代价矩阵:将预测框和检测框之间的交叠率和曼哈顿距离作为代价,构建一个代价矩阵;

37、其中,代价矩阵的行号为预测框的序号,列号为检测框的序号,每个元素表示对应框之间的交叠率和曼哈顿距离之和;

38、s62:进行行和列的规约:在所述代价矩阵中,对每一行进行减最大值操作,使每一行的最大值为0;然后对每一列进行减最大值操作,使每一列的最大值为0;得到了规约后的代价矩阵;

39、s63:进行零元素的覆盖:在规约后的代价矩阵中,找到可以完全覆盖的零元素集合,使得每行和每列中都有且仅有一个零元素被选择;

40、s64:判断是否完成匹配:如果能够找到完全覆盖的零元素集合,则说明匹配已完成,算法结束;否则,需要进行下一步;

41、s65:寻找最小未覆盖元素:在规约后的代价矩阵中,找到最小的未被覆盖的元素,并记为minval;

42、s66:修改代价矩阵:将所有已选择的行中的元素都减去minval,将所有未被覆盖的列中的元素都加上minval;

43、s67:回到s63,继续进行零元素的覆盖;

44、s68:输出匹配结果:根据匹配情况,可以得到每个预测框与检测框之间的对应关系,从而挑选出最合适的检测框作为跟踪框。

45、一种船舶多目标视频跟踪装置,包括采集模块以及处理模块;

46、所述采集模块用于实时获取待识别视频;

47、所述处理模块包括至少一个处理器,以及与所述至少一个处理器通信连接的存储器;所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述任一项所述的方法。

48、与现有技术相比,本发明的有益效果:

49、本发明通过预训练的目标检测模型对待识别视频中的内河船舶进行目标检测,再对得到的目标跟踪框与目标检测框进行数据关联,并根据数据关联结果对待识别视频进行滤波处理,从而实现对多目标进行跟踪,且该方法能有效应对,船舶相互遮挡而导致的跟踪精度下降的问题。

1.一种船舶多目标视频跟踪方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种船舶多目标视频跟踪方法,其特征在于,所述s1还包括通过数据增强方法对所述样本数据集进行扩充;所述数据增强方法包括水平翻转、随机裁剪、颜色扰动以及模糊噪声处理。

3.根据权利要求1所述的一种船舶多目标视频跟踪方法,其特征在于,所述s22中所述归一化处理的表达式为:

4.根据权利要求1所述的一种船舶多目标视频跟踪方法,其特征在于,所述s22中所述目标检测模型的激活操作表达式为:

5.根据权利要求1所述的一种船舶多目标视频跟踪方法,其特征在于,所述s2还包括模型微调处理,包括以下步骤:

6.根据权利要求1所述的一种船舶多目标视频跟踪方法,其特征在于,所述s5通过将所述目标外表信息转换为特征向量,并使用相似度公式计算前后两帧船舶目标的相似度,从而确认是否为同一目标;相似度公式为:

7.根据权利要求1所述的一种船舶多目标视频跟踪方法,其特征在于,所述s6通过计算检测框与预测框的交叠率、中心点的曼哈顿距离,通过km算法对检测框进行调整,得到最终的跟踪框;

8.根据权利要求7所述的一种船舶多目标视频跟踪方法,其特征在于,所述km算法包括以下步骤:

9.一种船舶多目标视频跟踪装置,其特征在于,包括采集模块以及处理模块;