基于水流检测的船舶航迹预测方法

1.本发明属于图像处理技术领域，涉及多目标跟踪、水流识别技术，具体涉及基于水流检 测的船舶航迹预测方法。


背景技术：

2.船舶航迹预测一直是图像处理在船航领域的一个热点应用，在各个行业中均有应用，如 军事、桥梁防撞、无人船等行业，同时在各个行业中，做法各有不同。在军事、无人船行业 中，图像处理为主流；而在建筑、水利行业中，主要是被动防撞的方式，利用外设进行路径 采集、距离检测来实现船舶航迹预测。无论在哪个行业中，船舶航迹预测都没有固定通用的 方案，只有最合适的解决方案。因此，本发明主要提出一种单一的方案，不局限于某一个行 业或者应用场景。
3.目前，图像处理技术已相对成熟，如目标检测、目标识别、目标跟踪等技术，已经几乎 达到和人眼差不多的精度，甚至更高。图像处理在船舶航迹预测过程中，主流的做法是通过 识别船，结合时序的视频流信息，拟合出船舶行进的路径，达到预测的目的。这种做法比较 简单，但现实世界中影响船舶前进的因素非常多，不仅仅是船本身，还有外界的因素，如水 流方向、水流速度、风速、风向等等，都会影响船行驶的速度、方向，只有尽量考虑到实际 环境中这些因素的影响，才能有更加符合现实情况的方案。现实情况虽然复杂，影响因素很 多，但也要考虑具体实现成本、现实场景环境。目前常见的船舶航迹预测系统中，鲜有结合 水流速度综合考虑的方案。
4.在水流中，水流速度的计算往往是困扰人们的一大难题。水在大多环境下，其图像特征 都不够明显，较难被图像连续性地提取出有效的特征，且在船舶行驶过程中，水流变化多端， 情况复杂。
5.因此，本发明提出一种新的水流检测方法来对船舶航迹进行预测。


技术实现要素：

6.有鉴于此，本发明的目的在于提供一种基于水流检测的船舶航迹预测方法，采用图像处 理的方式，结合现实场景中船舶行驶过程中受水流速度影响，将水流中水波的速度结合船舶 行驶速度起来实现船舶航迹的预测，从而提高船舶航迹预测精度。
7.为达到上述目的，本发明提供如下技术方案：
8.一种基于水流检测的船舶航迹预测方法，具体包括以下步骤：
9.s1：使用摄像头采集多帧图像数据，采用目标检测模型检测船舶；
10.s2：当检测船舶出现，将所检测船舶分离出来，提取船舶的角点特征，对运动船舶目标 的追踪换成对角点特征的追踪，使用光流法跟踪特征点，当出现多个运动船舶时，记录下每 帧所检测的船舶位置，在每只船舶附近一定范围内进行角点特征检测，根据特征点位置进行 跟踪，即前后两帧图像中船舶角点特征分布情况进行判断船舶的追踪情况；
11.s3：在船舶检测成功的基础上，基于采集的多帧图像数据，采用混合高斯背景建模
与帧 差法来提取水流运动目标；
12.s4：基于多帧水流运动目标检测法，计算水流运动矢量，与船舶行驶矢量做加权矢量和， 在确定图像帧率的情况下，计算出船舶下一帧位置，根据船舶航迹路线上所有水流的速度矢 量，来拟合出船舶航迹路线。
13.进一步，步骤s1中，对船舶进行检测，具体包括以下步骤：
14.s101：在检测前，利用目标检测模型的训练模型和收集的船舶数据集，训练出能够识别 船舶的模型；
15.s102：使用图像标注软件对收集的船舶图像进行标注，标注完后用训练集进行模型训练， 训练模型完成后，将测试集输入进行测试，当发现无法识别时，输入模型进行再训练，直到 模型较为完善为止，直到模型识别正确率到达98％。
16.s103：使用训练好的模型，对摄像头采集的每帧图像都进行船舶检测。
17.进一步，步骤s2中，提取船舶的角点特征，具体包括以下步骤：
18.s201：基于目标检测模型检测到的多个船舶，计算其角点特征，设定合适的x
max
、y
max
数 值，分别表示在x轴、y轴方向上运动的最大区间范围；
19.s202：遍历每个船舶的角点特征，获取船舶对象的中心位置x、y，在区间(x-x
max
/2, x x
max
/2)、(y-y
max
/2,y y
max
/2)范围内对图像的像素点进行特征匹配；
20.s203：通过特征匹配点的分布情况进行区域划分，按照高斯分布对点的分布进行拟合， 目标最新位置至少满足50％的特征点落在区域范围内，与目标检测模型检测范围做对比判断： 当范围小于目标检测模型的检测范围时，则采用目标检测模型的检测范围，反之采用之前的 检测范围作为下一帧角点追踪的判断依据。
21.进一步，步骤s3中，采用混合高斯背景建模与帧差法来提取水流运动目标，具体包括以 下步骤：
22.s301：输入前后两帧图像，先后进行灰度处理，平滑高斯滤波，二进制阈值化处理，处 理后两帧图像做差，通过膨胀处理和轮廓检测，得到两帧图像中水流变化图像；
23.s302：通过轮廓检测和膨胀处理后形成的每个闭环水流轮廓图像来获取轮廓变化范围si， 在此范围从上往下遍历获取像素顶点坐标，拟合底部和顶部轮廓波形：先通过简单移动平均 法进行波形平滑；再采用三次beizer拟合波形，将顶部和底部轮廓波形的角点处连接，代表 此水流区域内的水波流向，连接直线的线段长为di，在已知图像采集帧率r的情况下，计算 出每个水流速度矢量di/r。
24.进一步，步骤s302中，通过简单移动平均法进行波形平滑，其计算公式为h
t
＝(y
t-1
y
t-2
y
t-3
... y
t-n
)/n，h
t
表示平滑后的结果坐标，n表示移动平均个数，y
t-n
表示前n个 移动平均结果。
25.进一步，步骤s4具体包括以下步骤：
26.s401：计算船舶途径路线上的水流运动矢量和船舶行驶矢量，然后通过矢量计算公式得 到船舶下一帧的速度矢量预测值；
27.s402：假定在船舶航迹路线上，各位置水流速度矢量不变的情况下，船舶行驶到下一帧 位置时，采用步骤s401的方式进行矢量计算，直到船舶行驶出图像范围，以此拟合出船舶航 迹路线。
28.进一步，步骤s401中，所述船舶途径路线上的水流运动矢量v1等于多方汇集而来
的水流 矢量和图像采集帧率r的比值，表达式为：v1＝(d1 d2 ... di)/r；
29.所述船舶行驶矢量v2等于船舶位置坐标的差值与图像采集帧率r的比值，表达式为： v2＝(x
n-x
n-1
,y
n-y
n-1
)/r，其中，(xn、yn)为第n帧船舶位置坐标；
30.所述矢量计算公式为：v1×
w1 v2×
w2，其中，w1为水流矢量权值，w2为船舶行驶矢 量权值。
31.进一步，步骤s402中，拟合出船舶航迹路线的表达式为：其中，m表示需要m次船舶行驶出检测范围。
32.进一步，所述检测船舶能替换成任何在水流中能够漂浮的物体。
33.本发明的有益效果在于：本发明采用图像处理的方式，考虑了现实场景中船舶行驶过程 中受水流速度影响，将水流中水波的速度结合船舶行驶速度起来实现船舶航迹的预测，从而 提高了船舶航迹预测精度。
34.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某 种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发 明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
35.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详 细描述，其中：
36.图1为本发明基于水流检测的船舶航迹预测方法的流程图；
37.图2为本发明提供的检测到的船舶矢量计算示意图；
38.图3为本发明提供的检测水流的流程图；
39.图4为本发明提供的多船舶图像识别模式下的水流运动处理流程；
40.图5为本发明提供的水流速度矢量展示图；
41.图6为本发明提供的多船舶检测模式下所检测水流矢量展示图。
42.具体实施方式
43.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精 神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本 发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
44.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明 的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表 实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理 解的。
45.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描
述中， 需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位 或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不 是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图 中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通 技术人员而言，可以根据具体情况理解上述术语的具体含义。
46.请参阅图1～图6，图1为本发明提供的一种基于水流检测的船舶航迹预测方法，包括以 下步骤：
47.s1：基于摄像头采集的多帧图像数据，采用目标检测模型检测船舶。
48.s2：当检测目标出现，将所检测船舶分离出来，提取船舶的角点特征，对运动船舶目标 的追踪换成对角点特征的追踪，使用光流法跟踪特征点，当出现多个所述运动目标时，记录 下每帧所检测的船舶位置，在每只船舶附近一定范围内进行角点特征检测，根据特征点位置 进行跟踪，即前后两帧图像中船舶角点特征分布情况进行判断目标的追踪情况。
49.s3：在船舶检测成功的基础上，基于摄像头采集的多帧图像数据，采用混合高斯背景建 模与帧差法来提取水流运动目标。
50.s4：基于多帧水流运动目标检测，计算所述水流运动矢量，与船舶运动矢量做加权矢量 和，在确定图像帧率的情况下，计算出所述船舶下一帧位置，根据船舶航迹路线上所有水流 的速度矢量，来拟合出所述船舶航迹路线。
51.对于步骤s1，基于摄像头采集的多帧图像数据，采用目标检测模型检测船体。具体实施 时，下载收集网络上关于船的数据集，通过目标检测模型进行模型训练，在本实施例中，此 目标检测模型使用改进的fast r-cnn网络结构进行构建：改进点主要在于基于原fast r-cnn 模型网络结构，对候选区域高度重叠的问题进行了优化改进，引入rpn，其作用主要是用于 提取候选框，对每个候选框进行交并比计算，交并比大于0.8则判定为有目标，小于0.3则判 定为背景，介于0.3-0.8则设为0，不参与训练。相比于faster r-cnn，它采用的是传统selectivesearch方法，生成检测框较为耗时，本网络结构更为简单，主要优化了原本fast r-cnn计算 冗余的问题，另外使用图像标注软件对数据集进行标注，在本实施例中，标注格式为voc， 共标注了4万条数据用于训练、1万条数据用于测试。标注完后用训练集进行模型训练，训 练模型完成后，将测试数据集输入进行测试，当发现无法识别时，输入模型进行再训练，直 到模型较为完善为止，在本实施例中模型识别正确率到达98％。使用训练好的模型，对摄像 头读取的每帧图像都进行船体检测。
52.对于步骤s2，多目标检测方法按照以下步骤提取角点特征：
53.基于目标检测模型检测到的多个所述目标，计算其角点特征，在本实施例中角点特征计 算方式采用harris角点检测算法，设定合适的x
max
、y
max
数值，在本实施例中，分别取值为 30、40像素值，表示在x轴、y轴方向上运动的最大区间范围；遍历每个所述目标的角点特 征，获取所述目标对象的中心位置x、y，在区间(x-x
max
/2,x x
max
/2)、(y-y
max
/2, y y
max
/2)范围内对所述图像的像素点进行特征匹配；通过特征匹配点的分布情况进行区域 划分，按照高斯分布对所述点的分布进行拟合，所述目标最新位置至少满足50％的特征点落 在区域范围内，与目标检测模型检测范围做对比判断：当范围小于目标检测模型的检测范围 时，则采用目标检测模型的检测范围，反之采用之前的检测范围作为下一帧所述角点追踪
的 判断依据。实现了船舶目标追踪后，就可以实现船舶速度矢量的计算，如图2所示。计算出 其矢量后，将船舶特征点值通过hash计算后作为该船舶的id，并记录连续多帧图像中船舶的 行驶轨迹、速度矢量信息。在本实施例中，hash的id值仅作为船舶标记符，当船只驶出检测 范围时，就清空删除。船只行驶当超过1/3图像大小时，才开始接下来对船舶附近水流运动 的检测，防止船舶数据不足，预测不准的情况出现。
54.在本实施例中，也对多只船舶进行了航迹预测。其方法本质与单只船舶航迹预测大致相 同：在之前的步骤中检测到多只船舶，将这几只船舶检测范围标记出来，对标记范围外的水 流进行上文所述处理，其图像变化流程如图4所示。说明本发明方法适用于多船舶行驶下水 流运动特征提取。
55.对于步骤s3，按照以下步骤采用混合高斯背景建模与帧差法来提取所述水流运动目标：
56.在本实施例中，输入前后两帧图像，先后进行灰度处理、3乘3的卷积核进行平滑高斯 滤波、5乘5的卷积核进行二进制阈值化处理，处理后两帧图像做差，通过3核高斯模糊隐 藏不明显的噪点信息后用3乘3卷积核的膨胀处理、3乘3卷积核的轮廓检测，得到两帧图 像中所述水流变化图像，本实施例具体流程参照图3；通过对轮廓检测和膨胀处理后所形成 的每个所述闭环水流轮廓图像来获取轮廓变化范围si，在此范围从上往下遍历获取像素顶点 坐标，拟合底部和顶部轮廓波形，在本实施例中先通过简单移动平均法进行波形平滑，其计 算公式为h
t
＝(y
t-1
y
t-2
y
t-3
... y
t-n
)/n，h
t
表示平滑后的结果坐标，n表示移动平均 个数，y
t-n
表示前n个移动平均结果；再采用三次beizer拟合波形，将顶部和底部波形的角 点处连接，代表此水流区域内的水波流向，连接直线的线段长为di，在已知图像采集帧率r 的情况下，计算出每个所述水流矢量di/r，可得如图5的矢量展示图。多船舶检测模式下所 检测水流矢量展示图如图6。
57.对于步骤s4，按照以下步骤进行计算和预测：
58.经上述步骤，可得船舶途径路线上的水流矢量为多方汇集而来的水流矢量和图像采集帧 率的比值v1＝(d1 d2 ... di)/r，船舶行驶矢量为所述船舶位置坐标差值与图像采集帧 率的比值v2＝(x
n-x
n-1
,y
n-y
n-1
)/r；假定水流矢量权值为w1、船舶行驶矢量权值为w2， 通过矢量计算公式v1×
w1 v2×
w2，步骤如图5，得到船舶下一帧的速度矢量预测值。在假 定船舶航迹路线上，各位置水流速度矢量不变的情况下，船舶行驶到下一帧位置时，也采用 上述矢量计算公式进行矢量计算，直到船舶行驶出图像范围，以此拟合出船舶航迹路线，用 公式表示为：其中m表示需要m次所述船舶行驶出检测范 围。在本实施例中，w1取值为0.08，w2取值为0.65。
59.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施 例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进 行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求 范围当中。