基于深度学习的船舶辅助航行方法及系统与流程

1.本发明涉及一种船舶辅助航行方法及系统，尤其涉及一种基于深度学习的船舶辅助航行方法及系统。


背景技术：

2.随着水上交通运输的不断发展，水上船舶密度也不断增加，增加了水上交通事故发生的风险。为了增加船舶航行的安全性，一般在船舶上安装有ais系统(automatic identification system，船舶自动识别系统)，能够将周围船只的航行信息通过基站，以无线传输的方式告知行驶的船舶，并通过一定的数学运算后判断周围船只与本船的碰撞风险。ais系统做为电子设备，有一定的失效概率，许多船舶碰撞的事故的发生是缘于事故双方中有一方未安装ais系统或ais系统故障，无法判断周围船只的风险。因此在缺少ais系统信息的条件下，如何保障船舶的安全行驶也成为关系水上交通安全的重要研究内容。


技术实现要素：

3.本发明解决的技术问题是：构建一种基于深度学习的船舶辅助航行方法及系统，克服现有技术在缺少ais系统信息的条件下如何保障船舶安全行驶的技术问题。
4.本发明的技术方案是：提供一种基于深度学习的船舶辅助航行方法，其特征在于，包括如下步骤：
5.视频成像：获取本船航道水平视频图像，获取视频图像的水平视角；
6.目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记；
7.建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；
8.坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。
9.获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记；
10.图像融合：将坐标网格、顶视图坐标系、目标标识与视频进行融合。
11.本发明的进一步技术方案是：在建立坐标系步骤中，根据摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，确定摄像机的观测范围，以相对大地固定的坐标轴方向建立直角坐标系。
12.本发明的进一步技术方案是：图像融合过程中，设置一个距离阈值，将顶视图坐标系限制在以距离阈值为半径的圆内，顶视图坐标系以一定的缩小比例呈现在画面上。
13.本发明的进一步技术方案是：被识别的目标在平视图坐标系中的坐标位置，由回归框坐标计算获得。
14.本发明的进一步技术方案是：使用深度学习模型对本船航道水平视频图像中的目
标进行检测，采用实例分割的方法获得目标的轮廓。
15.本发明的进一步技术方案是：对目标的标记包括以文字或图形方式指明类别、画出回归框、轮廓高亮、轮廓填充等方法中的一种或多种。
16.本发明的进一步技术方案是：通过周围船只在顶视图坐标系中的坐标位置信息计算周围船只与本船的距离，通过固定时间间隔内周围船只在顶视图坐标系中的坐标变化，计算周围船只的相对行驶速度。
17.本发明的技术方案是：构建一种基于深度学习的船舶辅助航行系统，包括视频成像设备、视角获取模块、目标识别模块、目标标记模块、坐标系构建模块、坐标变换模块、船只航行信息获取模块、图像融合模块，所述视频成像设备获取本船航道水平视频图像，所述视角获取模块获取视频图像的水平视角；所述目标识别模块通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，所述目标标记模块对视频图像中的目标进行标记；所述坐标系构建模块在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；所述坐标变换模块获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换；所述船只航行信息获取模块在顶视图视角坐标系中，计算船只目标的航速和航向并对船只目标进行标记；所述图像融合模块将坐标网格、顶视图坐标系、目标标识与视频进行融合。
18.本发明的进一步技术方案是：还包括目标测距模块，所述目标测距模块对周围场景中的目标进行测距。
19.本发明的进一步技术方案是：还包括标识模块，所述标识模块对周围场景中的目标及航道区域进行标识。
20.本发明的进一步技术方案是：还包括目标信息处理模块，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。
21.本发明的进一步技术方案是：还包括目标船只信息输出模块，所述目标船只信息输出模块输出目标船只的相关信息，包括目标船只的距离信息、最近会遇距离信息、最近会遇时间信息中的一种或多种。
22.本发明的进一步技术方案是：还包括桥梁穿越评估模块，所述桥梁穿越评估模块对船只在穿越桥梁过程中的风险进行评估。
23.本发明的技术效果是：提供一种基于深度学习的船舶辅助航行方法及系统，包括如下步骤：视频成像：获取本船航道水平视频图像，获取视频图像的水平视角；目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记；建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记；图像融合：将坐标网格、顶视图坐标系、目标标识与视频进行融合。本发明一种基于深度学习的船舶辅助航行方法，通过对获取视频图像内容的智能分析，识别出船只、浮标等水上目标，通过建立顶视图坐标系、坐标变换，计算获得船只航行信息以及本船和周围船只碰撞风险，以可视化图形界面的形
式叠加在视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，尤其在在缺乏ais信息的条件下，辅助船员在实际场景中直接作出航行决策。
附图说明
24.图1为本发明的结构示意图。
25.图2为本发明的由顶视图坐标系变换至平视图坐标系示意图。
26.图3为本发明的平视图坐标系与顶视图坐标系对应关系示意图。
27.图4为本发明的周围船只信息显示方式示意图。
28.图5为本发明的系统组成框图
29.图6为本发明的航道区域划分示意图。
30.图7为本发明的穿越桥梁风险评估示意图。
31.图8为本发明的穿越桥梁边界距离测量示意图。
具体实施方式
32.下面结合具体实施例，对本发明技术方案进一步说明。
33.如图1所示，本发明的具体实施方式是：提供一种基于深度学习的船舶辅助航行方法，包括如下步骤：
34.视频成像：获取本船航道水平视频图像，获取视频图像的水平视角。
35.具体实施过程是：对本船航道水平视角进行视频成像，可以输出稳定的视频图像。获取水平视角视频图像包括以下方式：使用三轴陀螺仪、三轴加速度计等惯性器件感知摄像机的视轴变化。陀螺仪是角速度传感器，设t0时刻摄像机视轴俯仰角速率为ω
x
，滚转方向ω
y
，视频帧率为f，摄像机焦距为f，探测器像元尺寸为a，为了维持视频的稳定，需要将图像在俯仰方向平移p
x
个像素，并以原始图像中心像素为中心旋转θ
y
角度，其中p
x
、θ
y
满足以下公式：
[0036][0037][0038]
本发明的优选实施方式是：为了避免电子稳像过程中频繁出现黑边现象，在全画幅视频图像中，截取中间一个窗口区域输出，例如在1920
×
1080的全画幅窗口中，截取中心1792
×
1008区域输出，即左右各包含64个像素、上下各包含36个像素的过渡区域。
[0039]
目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记。
[0040]
具体实施过程是：通过采集包含船只、摩托艇、浮标、桥梁、礁石等水上常见物体的图像，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本，从而构建图像目标的深度学习模型，采用深度学习模型对图像进行检测分析，深度学习模型是一个全卷积神经网络，通过监督学习、半监督学习或无监督学习，确定深度学习模型参数；优选的，在采用监督学习的过程中，对目标对象进行丰富的多种类型的图像采集，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本；优选的，采用mask r
‑
cnn
学习模型对标签样本进行监督学习，使用该学习模型中的mask分支对不同的目标进行实例分割。完成训练的深度学习模型，能够对图片中的前景目标区域和背景区域得到不同的响应，从而区分出目标区域，能够对图片中的不同的目标类别得到不同的响应，从而区分出目标类别，mask分支能够对回归框中像素得到不同的响应，从而区分目标的轮廓。本发明中，对图像中目标的类别进行标注，对采集的图像通过全卷积神经网络的深度学习模型进行监督学习，通过图像目标的深度学习模型在全幅面图像中区分出目标区域、目标类别、目标轮廓。深度学习模型获取到成像目标后对目标进行标记，标记的方法包括以文字、图形、类别序号等方式指明类别，用矩形框绘制出目标回归框，对获得的目标轮廓高亮显示，对目标轮廓包含的区域进行填充等；标记过程采用以上方法中的一种或者多种。
[0041]
建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格。
[0042]
如图2所示，具体实施过程是：根据摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，计算能够被观测到的区域。设摄像机为水平前视安装，视轴为正北方向，水平视场角为α，垂直视场角为β，则只有以正北为中心，角度为α的三角区域可以被观察到，并且根据船舶的吃水深度和摄像机的安装高度，获得摄像机离水面的高度为h，在摄像机前方l＝h
·
ctan(β/2)距离范围内的景物也无法被观测到，因此，能够被观测到的范围为一个缺角三角区域。以本船所在位置为原点，以正北方向y轴，正东方向为横轴x轴，建立直角坐标系，以固定距离间隔a，绘制坐标网格。具体实施例中，坐标原点的位置也可以不以本船为参考，而选择相对大地固定的位置做为坐标原点。
[0043]
坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。
[0044]
如图2所示，具体实施过程是：图2(a)为顶视平面图，而视频图像为平视的平面图，平视图具有透视效果；平视图视角的坐标系即为摄像机的像素坐标系，一般以成像传感器左上角为坐标原点，水平向右为横轴正方向，竖直向下为纵轴正方向，以1920
×
1080的传感器为例，在该像素坐标系(同平视图坐标系)中，左上角像素的坐标为(1，1)，左下角像素的坐标为(1，1080)，右上角像素的坐标为(1920，1)，右下角像素的坐标为(1920，1080)；顶视图的坐标需要经过仿射变换转换到平视图的像素坐标中，坐标转换关系的获得可以通过在图2(a)坐标中选择特殊的点，例如观测区域边界的点或区域的顶点等，分别获得特殊的点在视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系。当镜头存在畸变时，需要对获得的像素坐标进行畸变映射，即理想成像位置至实际成像位置的映射关系，该映射关系可以通过对红外摄像机标定获得。
[0045]
获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记。
[0046]
如图3所示，具体实施过程是：通过坐标映射关系将图3(b)中目标的坐标位置a，转换至图3(b)顶视图直角坐标系中的a点。通过在不同时刻下，船只在顶视图直角坐标系下的位置变化，计算获得船只的航速和航向，以图3(b)中船只目标为例，t0时刻a点坐标位置为(x0，y0)，t1时刻a点坐标位置为(x1，y1)，则该船只的相对本船的行驶速度v0满足：
[0047][0048]
该船只的相对本船的行驶方向即由(x0，y0)指向(x1，y1)的向量方向；作为本方案的优选，在计算船只相对行驶速度过程中，可采用多次计算取均值或进行带权重的均值运算，也可采用kalman滤波等数值滤波算法获得船只的相对行驶速度。本船的航行速度可通过船舶两次或多次定位信息计算获得，因此将本船的航行速度向量与船只的相对本船的航行速度向量相加，即为该船只的对地航行速度向量；周围船只和本船的距离可直接由船只的直角坐标系坐标运用勾股定理计算获得；两船最近会遇距离dcpa(distance of closest point of approach)和最近会遇时间tcpa(time to closest point of approach)可通过两船行驶速度和行驶方向计算得到，该计算方法为成熟算法，此处不再赘述。使用等腰三角形或船舶图形等图案在顶视图坐标系中标记出船只所在的位置，等腰三角形的顶角或船舶图形的船艏方向与船只行驶方向一致；目标在图3(b)像素坐标系中的坐标是通过以下方式获得：深度学习模型获得场景中的目标回归框，取目标回归框的下边框中点坐标作为目标在像素坐标系中的坐标。
[0049]
图像融合：将坐标网格、顶视图坐标系、目标标识与视频进行融合。
[0050]
如图4所示，具体实施过程是：设置一个距离阈值s，将顶视图坐标系限制在以s为半径的圆内，当且仅当周围船只与本船的距离小于等于s时，该船的标记才被显示在顶视图坐标系中；绘制出圆周，在圆周上以文字、字母、图形方式中的一种或多种标记出方向，例如图中以e、w、s、n分别表示东、西、南、北方向；顶视图坐标系中目标显示区域处于圆周上半区，并关于竖直方向对称；顶视图坐标系以合适的缩小比例呈现在画面的边缘，例如在1920
×
1080像素的画面中，将顶视图坐标系图案圆周直径设置为180像素，置于画面的左上角。将坐标网格、目标标识、顶视图坐标系分别设置成一定透明度，例如将坐标网格、目标标识、顶视图坐标系透明度分别设置为70％、0％、50％，将坐标网格、目标标识、顶视图坐标系和视频图像进行图像叠加。
[0051]
如图5所示，本发明的具体实施方式是：构建一种基于深度学习的船舶辅助航行系统，包括视频成像设备1、视角获取模块2、目标识别模块3、目标标记模块4、坐标系构建模块5、坐标变换模块6、船只航行信息获取模块7、图像融合模块8，所述视频成像设备1获取本船航道水平视频图像，所述视角获取模块2获取视频图像的水平视角；所述目标识别模块3通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，所述目标标记模块4对视频图像中的目标进行标记；所述坐标系构建模块5在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；所述坐标变换模块6获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换；所述船只航行信息获取模块7在顶视图视角坐标系中，计算船只目标的航速和航向并对船只目标进行标记；所述图像融合模块8将顶视图坐标系、坐标网格、目标标识与视频讲行融合。
[0052]
如图5所示，本发明的具体实施过程是：视频成像设备1对本船航道水平视角进行视频成像，可以输出稳定的视频图像。视角获取模块2获取水平视角视频图像包括以下方
式：使用三轴陀螺仪、三轴加速度计等惯性器件感知摄像机的视轴变化。陀螺仪是角速度传感器，设t0时刻摄像机视轴俯仰角速率为ω
x
，滚转方向ω
y
，视频帧率为f，摄像机焦距为f，探测器像元尺寸为a，为了维持视频的稳定，需要将图像在俯仰方向平移p
x
个像素，并以原始图像中心像素为中心旋转θ
y
角度，其中p
x
、θ
y
满足以下公式：
[0053][0054][0055]
通过采集包含船只、摩托艇、浮标、桥梁、礁石等水上常见物体的图像，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本，从而构建图像目标的深度学习模型，采用深度学习模型对图像进行检测分析，深度学习模型是一个全卷积神经网络，通过监督学习、半监督学习或无监督学习，确定深度学习模型参数；优选的，在采用监督学习的过程中，对目标对象进行丰富的多种类型的图像采集，对图像中目标的类别和回归框进行人工标注，以此作为监督学习的标签样本；优选的，采用mask r
‑
cnn学习模型对标签样本进行监督学习，使用该学习模型中的mask分支对不同的目标进行实例分割。完成训练的深度学习模型，能够对图片中的前景目标区域和背景区域得到不同的响应，从而区分出目标区域，能够对图片中的不同的目标类别得到不同的响应，从而区分出目标类别，mask分支能够对回归框中像素得到不同的响应，从而区分目标的轮廓。本发明中，对图像中目标的类别进行标注，对采集的图像通过全卷积神经网络的深度学习模型进行监督学习，通过图像目标的深度学习模型在全幅面图像中区分出目标区域、目标类别、目标轮廓。深度学习模型获取到成像目标后对目标进行标记，标记的方法包括以文字、图形、类别序号等方式指明类别，用矩形框绘制出目标回归框，对获得的目标轮廓高亮显示，对目标轮廓包含的区域进行填充等；标记过程采用以上方法中的一种或者多种。
[0056]
根据摄像机的视场角、摄像机视轴方向和摄像机离水面的位置，计算能够被观测到的区域。设摄像机为水平前视安装，视轴为正北方向，水平视场角为α，垂直视场角为β，则只有以正北为中心，角度为α的三角区域可以被观察到，并且根据船舶的吃水深度和摄像机的安装高度，获得摄像机离水面的高度为h，在摄像机前方上＝h
·
ctan(β/2)距离范围内的景物也无法被观测到，因此，能够被观测到的范围为一个缺角三角区域。以本船所在位置为原点，以正北方向y轴，正东方向为横轴x轴，建立直角坐标系，以固定距离间隔a，绘制坐标网格。
[0057]
图2(a)为顶视平面图，而视频图像为平视的平面图，平视图具有透视效果；平视图视角的坐标系即为摄像机的像素坐标系，一般以成像传感器左上角为坐标原点，水平向右为横轴正方向，竖直向下为纵轴正方向，以1920
×
1080的传感器为例，在该像素坐标系(同平视图坐标系)中，左上角像素的坐标为(1，1)，左下角像素的坐标为(1，1080)，右上角像素的坐标为(1920，1)，右下角像素的坐标为(1920，1080)；顶视图的坐标需要经过仿射变换转换到平视图的像素坐标中，坐标转换关系的获得可以通过在图2(a)坐标中选择特殊的点，例如观测区域边界的点或区域的顶点等，分别获得特殊的点在视频图像中的像素坐标中的像素坐标值，通过数值计算获得坐标映射关系。当镜头存在畸变时，需要对获得的像素坐标进行畸变映射，即理想成像位置至实际成像位置的映射关系，该映射关系可以通过对红外
摄像机标定获得。
[0058]
通过坐标映射关系将图3(b)中目标的坐标位置a，转换至图3(b)顶视图直角坐标系中的a点。通过在不同时刻下，船只在顶视图直角坐标系下的位置变化，计算获得船只的航速和航向，以图3(b)中船只目标为例，t0时刻a点坐标位置为(x0，y0)，t1时刻a点坐标位置为(x1，y1)，则该船只的相对本船的行驶速度v0满足：
[0059][0060]
该船只的相对本船的行驶方向即由(x0，y0)指向(x1，y1)的向量方向；本船的航行速度可通过船舶两次或多次定位信息计算获得，因此将本船的航行速度向量与船只的相对本船的航行速度向量相加，即为该船只的对地航行速度向量；两船最近会遇距离dcpa(distance of closest point of approach)和最近会遇时间tcpa(time to closest point of approach)可通过两船行驶速度和行驶方向计算得到，该计算方法为成熟算法，此处不再赘述。使用等腰三角形或船舶图形等图案在顶视图坐标系中标记出船只所在的位置，等腰三角形的顶角或船舶图形的船艏方向与船只行驶方向一致；目标在图3(b)像素坐标系中的坐标是通过以下方式获得：深度学习模型获得场景中的目标回归框，取目标回归框的下边框中点坐标做为目标在像素坐标系中的坐标。
[0061]
设置一个距离阈值s，将顶视图坐标系限制在以s为半径的圆内，当且仅当周围船只与本船的距离小于等于s时，该船的标记才被显示在顶视图坐标系中；绘制出圆周，在圆周上以文字、字母、图形方式中的一种或多种标记出方向，例如图中以e、w、s、n分别表示东、西、南、北方向；顶视图坐标系中目标显示区域处于圆周上半区，并关于竖直方向对称；顶视图坐标系以合适的缩小比例呈现在画面的边缘，例如在1920
×
1080像素的画面中，将顶视图坐标系图案圆周直径设置为180像素，置于画面的左上角。将坐标网格、目标标识、顶视图坐标系分别设置成一定透明度，例如将坐标网格、目标标识、顶视图坐标系透明度分别设置为70％、0％、50％，将坐标网格、目标标识、顶视图坐标系和视频图像进行图像叠加。
[0062]
如图3、图5所示，本发明的优选实施方式是：还包括目标测距模块9，所述目标测距模块对周围场景中的船只目标进行测距。具体实施过程是：通过坐标映射关系将图3(b)中目标的坐标位置a，转换至图3(b)顶视图直角坐标系中的a点。t0时刻a点坐标位置为(x0，y0)，本船的坐标位置为(x
b
，y
b
)，则t0时刻该目标船只与本船的距离l
a
为：
[0063][0064]
如图4、图5、图6所示，本发明的优选实施方式是：还包括标识模块10，所述标识模块对周围场景中的目标及航道区域进行标识。具体实施过程是：使用等腰三角形或船舶图形等图案在顶视图坐标系中标记出船只所在的位置，等腰三角形的顶角或船舶图形的船艏方向与船只行驶方向一致。根据本船的宽度、船艏方向和航行方向确定船舶在按行驶方向在航道中所占宽度，将航道分为直线行驶区、危险区、其他区域，区域之间使用曲线区分。直线行驶区为船舶所占宽度沿行驶方向的预测轨迹，危险区是直线行驶区两侧固定宽度的区域，例如设置该区域宽度左右各为20米，其他区域为除直线行驶区和危险区以外的航道区域。
[0065]
如图3、图5所示，本发明的优选实施方式是：还包括目标信息处理模块11，所述目标信息处理模块对周围场景中目标信息进行显示或隐藏。还包括周围船只信息显示，通过选择指定的周围船只标识，可以显示或消隐该船只的信息，船只的信息包括本船和指定船只的当前距离、最近会遇距离、最近会遇时间等。具体实施过程是：深度学习模块检测到船只目标，通过回归框位置获得船只在像素坐标中的位置a，通过坐标映射关系将图3(a)像素坐标中位置a转换至图3(b)顶视图直角坐标系中的a点。通过在不同时刻下，船只在顶视图直角坐标系下的位置变化，计算获得船只的航速和航向，以图3(b)中船只目标为例，t0时刻a点坐标位置为(x0，y0)，t1时刻a点坐标位置为(x1，y1)，则该船只的相对本船的行驶速度v0满足：
[0066][0067]
该船只的相对本船的行驶方向即由(x0，y0)指向(x1，y1)的向量方向；本船的航行速度可通过船舶两次或多次定位信息计算获得，因此将本船的航行速度向量与船只的相对本船的航行速度向量相加，即为该船只的对地航行速度向量；两船最近会遇距离dcpa(distance of closest point of approach)和最近会遇时间tcpa(time to closest point of approach)可通过两船行驶速度和行驶方向计算得到，该计算方法为成熟算法，此处不再赘述。指定船只的船只距离、最近会遇距离、最近会遇时间等信息会集中在一个对话框中，通过人工选择指定的周围船只标识，该船只标识可以通过颜色填充、高亮等方式突出显示，同时在界面上显示上述对话框；通过再次选择该船只标识可以将对话框消隐。
[0068]
如图5、图7、图8所示，本发明的优选实施方式是：还包括桥梁穿越评估模块12，所述桥梁穿越评估模块对船只在穿越桥梁过程中的风险进行评估。具体实施过程是：在桥梁穿越评估模块中预存本船在水面以上横截面的图形，根据船只吃水深度、船艏方向和航行方向调整图像长宽比例。深度学习模型检测到桥梁目标后，直线行驶区与桥梁回归框相交于p1、p2两点，将预存的横截面的图形按其长宽比例投影至桥梁位置，横截面的底边与p1、p2组成的线段重合，直观展示本船在穿越桥梁时与桥梁的相对位置。深度学习模块的mask分支对桥梁目标进行实例分割，区分桥梁所占的像素，当桥梁所占的像素和投影面像素有重叠，则代表船只有碰撞桥梁的危险，可通过对投影面标红、高亮等方式做出警告；当桥梁所占的像素和投影面像素无重叠，设置预存横截面的最左点b、最高点c、最右点d，分别计算三个点距离桥梁的像素距离l1、l2、l3；将p1点或p2点的像素坐标变换到顶视图的直角坐标，计算投影位置与本船的距离m，根据摄像机焦距f，探测器像元尺寸a，预估l1、l2、l3对应的实际距离：
[0069][0070][0071][0072]
设置警告阈值l
alarm
，当l1
real
、l2
real
、l3
real
中任意一个距离小于等于警告阈值l
alarm
时，可通过对投影面标黄、危险一侧边缘高亮等方式做出警告。
[0073]
如图5所示，本发明的优选实施方式是：还包括周围船只碰撞警示，当周围船只具有与本船碰撞的风险时，会做出警示。警示方式可以采用但不限于对不同碰撞风险的船只标识使用不同的颜色加以区分。还包括触礁、触岸警示，当本船行驶靠近危险区域，如浮标、礁石等，会做出警示；警示方式可以采用但不限于对危险区域或危险物体进行边缘高亮。
[0074]
本发明的技术效果是：提供一种基于深度学习的船舶辅助航行方法及系统，包括如下步骤：视频成像：获取本船航道水平视频图像，获取视频图像的水平视角；目标识别和标记：通过深度学习模型检测视频中的目标，获得目标的分类、回归框和轮廓中的一种或多种，并进行标记；建立坐标系：在摄像机的观测范围内建立顶视图视角的直角坐标系，坐标系的x轴和y轴方向相对大地固定，按照等距离间隔绘制坐标网格；坐标变换：获得平视图视角和顶视图视角的坐标映射关系，按平视图视角进行对坐标系中坐标轴及坐标网格进行坐标变换，按顶视图视角对周围船只位置进行坐标变换。获取船只航行信息：在顶视图视角坐标系中，获取船只目标的航速和航向并对船只目标进行标记；图像融合：将顶视图坐标系、坐标网格、目标标识与视频进行融合。本发明一种基于深度学习的船舶辅助航行方法，通过对获取视频图像内容的智能分析，识别出船只、浮标等水上目标，通过建立顶视图坐标系、坐标变换，计算获得船只航行信息以及本船和周围船只碰撞风险，以可视化图形界面的形式叠加在视频图像。本发明技术方案，直观地呈现出船只行驶过程中的风险点，尤其在在缺乏ais信息的条件下，辅助船员在实际场景中直接作出航行决策。
[0075]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。