基于计算机视觉、AIS和雷达的船舶信息显示方法及系统

基于计算机视觉、ais和雷达的船舶信息显示方法及系统
技术领域
1.本发明涉及船舶通信领域，尤其涉及一种基于计算机视觉、ais和雷达的船舶信息显示方法及系统。


背景技术：

2.河运在我国整个交通运输体系当中发挥了重要的作用，为了保证船舶航行的安全，需要对河道内船舶的状态进行监控。随着河运的发展，河道内船舶数量的增加，给船舶的监管增加了难度。现有的监控手段大多是将ais信息展示在电子海图当中，不够直观。并且由于船舶发送ais信息时间间隔较长，难以实现实时性追踪。


技术实现要素：

3.本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于计算机视觉、ais和雷达的船舶信息显示方法及系统，具有显示直观且实时性好的特点。
4.本发明解决其技术问题所采用的技术方案是：
5.本发明提供一种基于计算机视觉、ais和雷达的船舶信息显示方法，该方法包括以下步骤：
6.步骤100、使用高清摄像头和红外摄像头获取监控区域内船舶的视频信息；
7.步骤200、对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息；对识别出的船舶进行图像分割，得到目标船舶的船头和船尾部分图片；根据目标船舶的船头和船尾部分图片进行文字识别得到目标船舶的第一船名信息；
8.步骤300、使用相控阵雷达实时扫描得到监控区域船舶的经纬度信息，得到船舶的第二基本信息；
9.步骤400、使用ais接收机获取船舶经纬度的第三基本信息；第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
10.步骤500、对第一基本信息和第二基本信息进行匹配；
11.步骤600、对第二基本信息和第三基本信息中的信息进行匹配；
12.步骤700、根据上述两次匹配，即可得到摄像头所拍摄到并识别出的船舶与ais的对应关系，将匹配好的信息通过ar技术进行显示。
13.优选的，所述步骤200中得到船舶的第一基本信息，识别的具体过程为：
14.将视频信息逐帧分解，对分解所得到的图片进行网格划分，将其分成n*n个网格，分别在每个网格上进行对船舶进行定位并框出；计算两个边框交集和并集之比；最后采用非极大值抑制算法保留特征损失最小的特征图并框出；根据识别所得到的框得到船舶的几何中心；非极大值抑制算法的公式为：
[0015][0016]
其中，si为候选框得分；m为得分最高的候选框；bi为除去m之外的其余候选框；n
t
为设定的阈值，iou表示交并比计算；
[0017]
将视觉图像和红外成像进行融合，提高照片质量，便于船舶的识别；视觉图像和红外成像融合所采用的具体步骤为：
[0018]
1)基于导向滤波，采用hdr压缩激励的方法，对原始高清摄像机所获得的图像进行增强；具体算法公式为：
[0019]
u＝exp((β-1)
·
log(ib 1) log(i 1) γ)
[0020]
其中，输入图像为i；输出图像为u；经过导向滤波的图像为ib；γ为比例因子，用于增强对比度；
[0021]
2)基于导向滤波，采用多尺度分解的方法，将高清摄像机和红外摄像头所获得的图片进行分解；
[0022]
3)将分解后的信息进行融合得到最后的融合图像；具体的算法公式为：
[0023]bf
＝cbbr (1-cb)bv[0024]
其中，cb为融合权重；br为分解后的红外图像；bv为分解后的高清图像，bf表示融合后的图像。
[0025]
优选的，所述步骤500中，第一基本信息和第二基本信息匹配的过程具体包括：
[0026]
根据第一基本信息，即船舶几何中心点在图片中的坐标，对中心点进行连接得到第一形状；根据第二基本信息，即雷达上船舶的经纬度，并将监控区域船舶的经纬度进行连接得到第二形状；将第一形状与第二形状进行匹配，即得到图像中船舶的经纬度信息。
[0027]
优选的，所述步骤500中的具体算法为：
[0028]
将视频逐帧分解，找到与雷达数据时间戳符合的图片；使用目标检测技术，加载针对船舶预训练好的卷积神经网络模型；调用gpu进行图像识别，计算出船舶在图片上的几何中心，得到点集数据；取出点集中某点，计算其与点集中其他点的距离，找到与该点最近的两点，从该点出发，向其余两点连线；将以上计算过程遍历点集中所有点，得到第一形状；对于雷达数据，重复上述步骤，得到第二形状；两点之间距离计算公式为：
[0029][0030]
其中，xi、yi是点i的横纵坐标；xj、yj是点j的横纵坐标；d
(i，j)
是点i到点j之间的距离；
[0031]
将第一形状和第二形状进行匹配，如果计算得到的数值小于阈值，则匹配成功；匹配所用的算法为：
[0032][0033]
其中，a为第一形状，b为第二形状，为a的胡矩，为b的胡矩；i(a，b)的数值表示形状a和b的相似程度，越小则表示二者更相似；
[0034]
当形状匹配成功之后，在第一形状中，将其端点的坐标即船舶的坐标进行排序，将每个端点的x轴坐标值与其他端点的x轴坐标值进行比较，得到该端点在x轴方向上的坐标序数，同理得到该坐标点在y轴上的坐标序数，两个方向上的序数即可确定该端点与其它端点的相对位置；同理可得第二形状中每个端点的x轴与y轴方向上的坐标序数，将第一形状和第二形状中的端点的x轴和y轴的坐标序数进行比对，即可得到第一形状和第二形状中端点的一一对应关系，进而将视觉中的船舶和相控阵雷达中的船舶建立了映射关系。
[0035]
优选的，该方法中还包括第二基本信息第三基本信息匹配的方法，具体方法为：将第二基本信息和第三基本信息中的经纬度信息进行提取，逐一进行比对；将经纬度相同的船舶建立联系，即完成了第二基本信息和第三基本信息的匹配；根据第一基本信息和第二基本信息的匹配关系以及第二基本信息和第三基本信息的匹配关系，即可完成第一基本信息和第三基本信息的匹配，最终实现了第一基本信息、第二基本信息和第三基本信息的匹配。
[0036]
本发明提供一种基于计算机视觉、ais和雷达的船舶信息显示系统，该系统包括：
[0037]
数据获取模块，通过高清摄像头以及红外摄像头获取监控区域内船舶的视频信息；通过相控阵雷达得到所监控区域内船舶的第二基本信息，即经纬度信息；通过ais接收机得到船舶的第三基本信息，第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
[0038]
数据处理模块，对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息，并对雷达以及ais接收机所得到的信息进行处理和筛选，供数据匹配模块使用；
[0039]
数据匹配模块，对所述的第一基本信息、第二基本信息和第三基本信息进行匹配；
[0040]
数据可视化模块，将船舶航行的实时画面显示出来；并根据数据匹配模块所得到的匹配结果以及数据获取模块所获取的信息，将船舶的ais信息实时显示在画面上；
[0041]
数据传输模块，将船舶航行的视频数据、相控阵雷达所得到的船舶信息以及ais接收机所接收的数据传输给数据匹配模块。
[0042]
优选的，所述数据获取模块包括：
[0043]
船舶视频信息获取单元，用于通过高清摄像头和红外摄像头获取船舶航行的视频信息；
[0044]
船舶雷达信息获取单元，用于通过相控阵雷达获取船舶的位置信息；
[0045]
船舶ais信息获取单元，用于通过ais接收机获取船舶的ais信息。
[0046]
优选的，所述数据匹配模块包括：
[0047]
数据筛选单元，作用为将传输过来的数据进行筛选，剔除后续单元无需处理的信息，减少后续单元运算量；
[0048]
图像处理单元，作用为将所得到的视频数据进行处理，并使用目标检测技术来实现对视频数据中船舶目标的识别，使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到船舶在视频中的几何中心，得到第一基本信息。
[0049]
信息匹配单元，作用为实现第一基本信息、第二基本信息以及第三基本信息的匹配；匹配的具体过程为：
[0050]
使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到视频中船
舶的几何中心点坐标；对于所得到的坐标点，依次计算每个坐标点与其他坐标点的距离，取与其最近的两个坐标点进行连线，得到第一形状；以同样的方法对于雷达中的数据点得到第二形状；将第一形状和第二形状进行匹配，即可得到视频中船舶与雷达中数据点的对应关系；在实际应用中，雷达的扫描间隔小于船舶ais信息发射的间隔，所以雷达获取到船舶的位置数据后要不断得与所得的ais的位置信息进行匹配，以获取到船舶的其他信息，包括船名、船号；经过两次匹配，最终将雷达数据与ais数据融合。
[0051]
优选的，所述数据可视化模块包括用户操作单元和信息显示单元；由鼠标、键盘以及led拼接大屏幕组成；其中鼠标、键盘用于用户输入指令，切换显示模式和选择船舶；led拼接大屏幕主要用于显示船舶信息。
[0052]
优选的，所述数据可视化模块包括电子海图和ar模式两种模式；电子海图模式是加载电子海图，在电子海图中显示船舶信息；ar模式下，显示摄像头的实时画面，对于被识别出并且信息匹配完成的船舶，用户通过鼠标键盘与其进行交互。
[0053]
本发明产生的有益效果是：本发明的基于计算机视觉、ais和雷达的船舶信息显示方法及系统，充分利用了视频监控信息、雷达信息以及ais信息进行信息融合，并利用卷积神经网络和形状匹配算法对船舶进行识别和信息匹配。通过以上技术和方法，本发明使船舶的监控更加直观明了；相较于单纯使用ais信息的系统，本发明由于引用了雷达信息，使得船舶的数据更新较为及时，能更好地配合大屏进行显示，结合ar技术，与用户的交互性更好。本发明所采用的目标识别技术，能够根据需要修改模型，可以识别监控区域内其他物体，具有一定的拓展性。本发明能够使监管人员能够直观地查看监控区域内航行船舶信息，方便管理，易于上手，减少了时间成本。
附图说明
[0054]
下面将结合附图及实施例对本发明作进一步说明，附图中：
[0055]
图1是本发明实施例的方法流程图；
[0056]
图2是本发明实施例的系统框图。
具体实施方式
[0057]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0058]
如图1所示，本发明实施例的基于计算机视觉、ais和雷达的船舶信息显示方法，用以解决或至少部分解决现有的技术和发明当中无法对船舶的航行过程中的实时状态无法直观呈现以及单纯依赖ais所造成的信息更新慢的技术问题，从而达到准确获取船舶的航行状态并且能够将信息实时地呈现给指挥调度人员的作用。
[0059]
为了实现上述功能，该方法包括以下步骤：
[0060]
步骤100、使用高清摄像头和红外摄像头获取监控区域内船舶的视频信息；
[0061]
步骤200、对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息；对识别出的船舶进行图像分割，得到目标船舶的船头和船尾部分图片；根据目标船舶的船头
和船尾部分图片进行文字识别得到目标船舶的第一船名信息；
[0062]
步骤300、使用相控阵雷达实时扫描得到监控区域船舶的经纬度信息，得到船舶的第二基本信息；
[0063]
步骤400、使用ais接收机获取船舶经纬度的第三基本信息；第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
[0064]
步骤500、对第一基本信息和第二基本信息进行匹配；
[0065]
步骤600、对第二基本信息和第三基本信息中的信息进行匹配；
[0066]
步骤700、根据上述两次匹配，即可得到摄像头所拍摄到并识别出的船舶与ais的对应关系，将匹配好的信息通过ar技术进行显示。
[0067]
如图2所示，本发明实施例的基于计算机视觉、ais和雷达的船舶信息显示系统，该系统包括：
[0068]
数据获取模块10，通过高清摄像头以及红外摄像头获取监控区域内船舶的视频信息；通过相控阵雷达得到所监控区域内船舶的第二基本信息，即经纬度信息；通过ais接收机得到船舶的第三基本信息，第三基本信息包括以下信息的一种或多种：船舶所在经纬度，第二船名信息，艏向，船速，船号；
[0069]
数据处理模块，对视频信息进行逐帧分解，进行图像识别，识别出监控区域内的船舶，并通过计算机视觉技术得到船舶几何中心点在图片中的坐标，得到船舶的第一基本信息，并对雷达以及ais接收机所得到的信息进行处理和筛选，供数据匹配模块使用；
[0070]
数据匹配模块30，对所述的第一基本信息、第二基本信息和第三基本信息进行匹配；
[0071]
数据可视化模块40，将船舶航行的实时画面显示出来；并根据数据匹配模块所得到的匹配结果以及数据获取模块所获取的信息，将船舶的ais信息实时显示在画面上；
[0072]
数据传输模块20，将船舶航行的视频数据、相控阵雷达所得到的船舶信息以及ais接收机所接收的数据传输给数据匹配模块。
[0073]
其中，所述数据获取模块包括：
[0074]
船舶视频信息获取单元，作用为通过高清摄像头以及红外摄像头获取船舶航行的视频信息；
[0075]
船舶雷达信息获取单元，作用为通过相控阵雷达获取船舶的位置信息；
[0076]
船舶ais信息获取单元，作用为通过ais接收机获取船舶的ais信息。
[0077]
数据传输模块，作用为将数据获取模块得到的数据传输给数据处理模块。
[0078]
其中，所述数据匹配模块包括：
[0079]
数据筛选单元，作用为将传输过来的数据进行筛选，剔除后续单元无需处理的信息，减少后续单元运算量；
[0080]
使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到船舶在视频中的几何中心；
[0081]
图像处理单元，作用为将所得到的视频数据进行处理，并使用目标检测技术来实现对视频数据中船舶目标的识别，并且得到第一基本信息。
[0082]
信息匹配单元，作用为实现第一基本信息、第二基本信息以及第三基本信息的匹配。匹配的具体过程为：
[0083]
使用目标检测技术识别出视频中的船舶得到识别框，并通过识别框得到视频中船舶的几何中心点坐标。对于所得到的坐标点，依次计算每个坐标点与其他坐标点的距离，取与其最近的两个坐标点进行连线，得到第一形状。以同样的方法对于雷达中的数据点得到第二形状。将第一形状和第二形状进行匹配，即可得到视频中船舶与雷达中数据点的对应关系。在实际应用中，雷达的扫描间隔小于船舶ais信息发射的间隔，所以雷达获取到船舶的位置数据后要不断得与所得的ais的位置信息进行匹配，以获取到船舶的其他信息如船名、船号等。经过两次匹配，最终将雷达数据与ais数据融合。
[0084]
其中，数据可视化模块包括：
[0085]
用户操作单元，作用为接受用户指令的输入，根据用户的需要切换电子海图和ar显示模式，选择需要显示信息的船舶。
[0086]
信息显示单元，实现船舶和船舶信息的显示功能。
[0087]
具体地，数据获取模块可以由高清摄像头、红外摄像头、相控阵雷达和ais接收机组成。其中，摄像头的安装高度不宜太低，否则难以获取第一基本信息；相控阵雷达应安装位置前方应无遮挡。
[0088]
数据匹配模块，主要包括图像处理单元和信息匹配单元。该模块可以由带有高性能gpu或cpu的服务器来组成，并要配有与数据传输模块通信的端口，用以满足实时处理船舶视频以及接收数据的需求。
[0089]
在实际的数据匹配过程中，将视频逐帧分解，找到与雷达数据时间戳符合的图片。使用目标检测技术，加载针对船舶预训练好的卷积神经网络模型。调用gpu或cpu进行图像识别，计算出船舶在图片上的几何中心，得到点集数据。取出点集中某点，计算其与点集中其他点的距离，找到与该点最近的两点，从该点出发，向其余两点连线。将以上计算过程遍历点集中所有点，得到第一形状。对与雷达数据，重复上述步骤，得到第二形状。两点之间距离计算公式为：
[0090][0091]
其中，xi、yi是点i的横纵坐标；xj、yj是点j的横纵坐标；d
(i，j)
是点i到点j之间的距离；
[0092]
将第一形状和第二形状进行匹配，如果计算得到的数值小于阈值，则匹配成功；匹配所用的算法为：
[0093][0094]
其中，a为第一形状，b为第二形状，为a的胡矩，为b的胡矩；i(a，b)的数值表示形状a和b的相似程度，越小则表示二者更相似；
[0095]
当形状匹配成功之后，在第一形状中，将其端点的坐标即船舶的坐标进行排序，将每个端点的x轴坐标值与其他端点的x轴坐标值进行比较，得到该端点在x轴方向上的坐标序数，同理得到该坐标点在y轴上的坐标序数，两个方向上的序数即可确定该端点与其它端点的相对位置；同理可得第二形状中每个端点的x轴与y轴方向上的坐标序数，将第一形状和第二形状中的端点的x轴和y轴的坐标序数进行比对，即可得到第一形状和第二形状中端
点的一一对应关系，进而将视觉中的船舶和相控阵雷达中的船舶建立了映射关系。
[0096]
在本发明的另一个具体实施例中，相控阵雷达获取的数据包括以下信息的一种或多种：经度、纬度、船速。
[0097]
在本发明的另一个具体实施例中，ais接收机的数据包括以下信息的一种或多种：经度、纬度、船名、船舶类型、船长、船宽、船速、艏向。
[0098]
可选的，可以通过船舶的经纬度变化推算航迹向。
[0099]
在本发明的另一个具体实施例中，数据可视化模块包括电子海图和ar两种模式。具体地，信息显示模式包括电子海图和ar模式。电子海图模式是加载海图，在电子海图中显示船舶信息；ar模式下，显示摄像头的实时画面，对于被识别出并且信息匹配完成的船舶，用户可以通过鼠标键盘与其进行交互。展示的信息包括：船名、船的经纬度、船速、航迹向。
[0100]
在本发明的另一个具体实施例中，提供了一种数据处理和匹配方法，包括：
[0101]
步骤s1：通过数据获取模块获取摄像头、雷达和ais信息；
[0102]
步骤s2：通过数据传输模块将数据获取模块所获取到的信息发送给数据匹配模块；
[0103]
步骤s3：通过数据匹配模块将数据进行匹配。使用目标算法识别出视频中的船舶得到识别框，并通过识别框得到视频中船舶的几何中心点坐标。对于所得到的坐标点，依次计算每个坐标点与其他坐标点的距离，取与其最近的两个坐标点进行连线，得到第一形状。以同样的方法对于雷达中的数据点得到第二形状。将第一形状和第二形状进行匹配，即可得到视频中船舶与雷达中数据点的对应关系。在实际应用中，雷达的扫描间隔小于船舶ais信息发射的间隔，所以雷达获取到船舶的位置数据后要不断得与所得的ais的位置信息进行匹配，以获取到船舶的其他信息如船名、船号等。经过两次匹配，最终将雷达数据与ais数据融合。
[0104]
步骤s4：将匹配好的数据通过数据可视化模块进行显示。
[0105]
本实施例提供的方法是实施例一中数据匹配的方法，其余各模块的工作方式已经在实施一中详细介绍，故在此不再赘述。
[0106]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。