一种船舶运输管理数据的整合方法与流程

1.本发明涉及船舶运输管理数据的处理技术领域，具体涉及一种船舶运输管理数据的整合方法。


背景技术：

2.ais数据、后报气象数据、mrv正午报数据、mrv航次报数据和his船舶登记基础数据是船舶运输管理中常用的几大数据来源。随着航运业的发展和数据量的增加，各项数据之间的联系关系越来越复杂，并且多个数据源的查询不利于工作的高效开展。
3.若按照业务逻辑对各项数据源之间的关系进行梳理，拼接出一个包含更多、更加全面数据属性的数据集，将有利于相关企业、部门和政府管理分析航运业。因此本专利基于上述需求发明了一种船舶报文与ais数据自动对比方法与系统，构建了一个更加全面、更加详细的船舶数据集，不用在不同数据集之间反复查询，可以更加详细、更加迅速的了解到船舶的多项数据资料，提高管理运营效率，方便后续进一步的分析预测等工作。


技术实现要素：

4.对于目前航运业在进行数据分析时在多个数据集之间分别查询，且数据分析操作复杂的问题，本发明提出了一种船舶运输管理数据的整合方法，使用postgresql和python语言，基于ais数据、后报气象数据、mrv正午报数据和mrv航次报数据，根据数据集所包含数据字段内容之间的逻辑关系找到不同数据集之间的联系，并构建新的便捷、高效的集合数据集，为后续的数据挖掘奠定了基础。
5.一种船舶运输管理数据的整合方法，包括如下步骤：
6.s1：从本地数据中台的ais数据库获取ais动态数据并剔除ais经纬度漂移点，得到调整后的ais动态数据集，所述ais动态数据集包括该船舶的ais点，所述ais点为该船舶所在位置的经纬度和上报时间，所述ais点连接后形成该船舶的航行轨迹；
7.s2：调整后的ais动态数据集与后报气象数据对齐：通过本地数据中台的后报气象数据库获取后报气象数据，根据所述调整后的ais数据集中ais点的上报时间和位置，搜寻与ais点距离最近的后报气象数据的经纬度网格点以及刷新时间，将所述距离最近的经纬度网格点中的气象数据赋值给ais点，形成带有后报气象数据的ais数据集；
8.s3：将带有后报气象数据的ais数据集与mrv报文数据对齐：获取mrv报文数据，对mrv报文数据中日报上报时间进行时区换算，并用日报上报时间生成虚拟点并用所述虚拟点分割ais点序列，形成带有ais动态数据、后报气象数据和mrv报文数据信息的集合数据集。
9.剔除ais经纬度漂移点的具体步骤为：
10.s1：通过本地数据中台的ais数据库获取ais动态数据字段，包括所述船舶及该船所在经度loni，纬度lati和上报时间ti；
11.s2：确认船舶ais航行轨迹点：s＝{p1，p2，
…
，pi，
…
，pn}，其中点pi＝(loni，lati，
ti)；
12.s3：计算点pi与p
i 1
之间的距离：distance
(i，i 1)
＝δd
(i，i 1)
和时间差time_diff
(i，i 1)
＝δt
(i，i 1)
；
13.s4：将本地数据中台的ihs船舶登记资料中该船设计航速记为v
max
，当v
max
·
δt
(i，i 1)
＞δd
(i，i 1)
时，认为产生漂移点，剔除p
i 1
；
14.s5：计算pi和p
i 2
，循环执行s3-s4步骤，直到计算pi和p
i k
不再产生漂移，不再产生漂移时，将当前初始检测点设为p
i k
，再循环执行s3-s4步骤，直到s2中船舶ais轨迹点全部计算完成，得到剔除ais经纬度漂移点的所述调整后的ais动态数据集。
15.所述ais动态数据包括：用于唯一标识船舶的水上移动通信业务标识码mmsi、该ais点收集的时间postime、上一个ais点收集的时间pre_postime、postime与pre_postime差值time_diff、接收该ais数据点时船舶所在的经度lon、接收的ais点上一个ais点的经度pre_lon、接收该ais数据点时船舶所在的纬度lat及接收的ais点上一个ais点的纬度pre_lat。
16.所述后报气象数据库中的数据包括风的大小wind_s、风的方向wind_d、浪的高度wave_h、浪的方向wave_d、水流的大小stream_s、水流的方向stream_d及气象数据刷新时间切片t。
17.所述ais数据与后报气象数据对齐的具体步骤为：
18.s1：通过本地数据中台的后报气象数据库获取后报气象数据；
19.s2：按照ais点上报时间和位置，根据haversine公式在气象数据库中计算1*1经纬度网格中距离最近的经纬度网格点，所述位置包括经纬度lon和lat；
20.s3：设船舶ais点pi上报时间是ti＝(yy-mm-dd hh:mm:ss)，提取日期信息yy-mm-dd，定位至该日，再提取小时信息hh定位至刷新时间序列切片中，提取分秒信息mm:ss，计算距离前后两刷新时间的时间间隔，选取时间间隔最短的刷新时间：
21.s4：将所述距离最近的经纬度网格点中的气象数据赋值给ais点，形成带有后报气象数据的ais数据集。
22.所述后报气象数据库中风、浪数据每4小时刷新一次，分别为0点、4点、8点、12点、16点、20点，流数据每24小时刷新一次，为0点。
23.所述计算1*1经纬度网格中距离最近的经纬度网格点的haversine公式为：
[0024][0025]
其中，θ＝d/r，d为两地间距离，r为地球半径，则有半正矢公式：
[0026][0027]
其中，为两点纬度，λ1，λ2为两点经度，化简使用：
[0028][0029][0030]
ais数据与mrv报文数据的对齐具体步骤为：
[0031]
s1：获取mrv报文数据中的正午报与航次报，首先将正午报与航次报时间、ais上报
时间从当地时间根据时区统一换算为北京时间进行比对；
[0032]
s2：按照转换后的北京时间，将前一天日报上报时间作为今天日报状态统计开始时间，利用ais点的mmsi数据作为船舶索引，对ais上报时间处于当日日报开始时间与日报上报时间之间的ais点，打上该日的日报状态标签；
[0033]
s3：用正午报及航次报的上报时间来生成虚拟点di＝(ti，time_diffi，distancei)，利用时间占比分割与虚拟点距离最近的ais点计算虚拟点中的distancei，形成带有ais动态数据、后报气象数据和mrv报文数据信息的集合数据集。
[0034]
所述生成虚拟点的方法为，
[0035]
设虚拟点di＝(ti，time-diffi，distancei)，处于ais点p1＝(t1，time_diff1，distance1)与p2＝(t2，time_diff2，distance2)之间，则：
[0036]
time_diffi＝t
i-t1[0037][0038]
time_diff2′
＝t
2-ti[0039][0040]
所述distance
′2为虚拟点到p2的距离，即虚拟点生成后，p2转变为p2＝(t2，timediff
′2，distance
′2)。
[0041]
一种计算机设备，包括储存器、处理器及储存在储存器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行使用postgresql和python语言的所述程序实现上述一种船舶运输管理数据的整合方法的步骤。
[0042]
本发明的有益效果针对未进行智能化改造的船舶，提出一种船舶运输管理数据的整合方法。基于ais数据、后报气象数据、mrv正午报数据和mrv航次报数据，根据数据集所包含数据字段内容之间的逻辑关系找到不同数据集之间的联系，通过剔除ais经纬度漂移点、ais数据与后报气象数据对齐以及ais数据与mrv报文数据对齐的步骤，构建了新的便捷、高效的集合数据集，为后续的数据挖掘奠定了基础。
[0043]
本发明通过生成虚拟点对ais序列进行分割，实现对每天的航行里程进行统计，避免ais数据丢失造成的航行时间和里程误差。
[0044]
同时，通过将ais数据与后报气象数据和mrv日报数据进行对比和匹配，增加数据查阅的效率，降低了阅读不同数据所带来的困难与障碍。并且能更加详细准确的掌握每一个ais点所对应的气象数据、油耗数据和航次数据，更加有效的评价航线的成本、收益和碳排放等。
附图说明
[0045]
图1：一种船舶运输管理数据的整合方法流程图。
[0046]
图2：实施例2中ais经纬度漂移点剔除前航路及坐标对比图。
[0047]
图3：实施例2中ais经纬度漂移点剔除后航路及坐标效果图。
[0048]
图4：实施例4中分割ais序列后的效果图。
具体实施方式
[0049]
下面结合附图和实施例对本发明作进一步说明。
[0050]
实施例1：一种船舶运输管理数据的整合方法。
[0051]
如图1所示，一种船舶运输管理数据的整合方法，包括如下步骤：
[0052]
s1：从本地数据中台的ais数据库获取ais动态数据并剔除ais经纬度漂移点，得到调整后的ais动态数据集，所述ais动态数据集包括该船舶的ais点，所述ais点为该船舶所在位置的经纬度和上报时间，所述ais点连接后形成该船舶的航行轨迹；
[0053]
s2：调整后的ais动态数据集与后报气象数据对齐：通过本地数据中台的后报气象数据库获取后报气象数据，根据所述调整后的ais数据集中ais点的上报时间和位置，搜寻与ais点距离最近的后报气象数据的经纬度网格点以及计算刷新时间，将所述距离最近的经纬度网格点中的气象数据赋值给ais点，形成带有后报气象数据的ais数据集；
[0054]
s3：将带有后报气象数据的ais数据集与mrv报文数据对齐：获取mrv报文数据，对mrv报文数据中日报上报时间进行时区换算，并用日报上报时间生成虚拟点并用所述虚拟点分割ais点序列，形成带有ais动态数据、后报气象数据和mrv报文数据信息的集合数据集。
[0055]
实施例2：ais经纬度漂移点剔除。
[0056]
ais数据中经纬度坐标信息来自于gps定位装置采集，可能存在漂移、缺失等情况。对于经纬度坐标点漂移的情况进行异常点的检测处理，将异常数据点进行检测剔除。如图2所示，船舶在可视化界面可见出现了明显漂移，需要如下算法进行检测剔除处理：
[0057]
设船舶ais航行轨迹点s＝{p1，p2，
…
，pi，
…
，pn}，其中点pi＝(loni，lati，ti)，loni为该点经度，lati为纬度，ti是上报时间。可计算得到点pi与p
i 1
之间的距离distance
(i，i 1)
＝δd
(i，i 1)
和时间差time_diff
(i，i 1)
＝δt
(i，i 1)
。该船可能达到的最大航速记为v
max
。当v
max
·
δt
(i，i 1)
＞δd
(i，i 1)
时，即认为已经产生了漂移点，应当进行剔除操作。
[0058]
实施例3：ais动态数据与后报气象数据进行对齐。
[0059]
首先按照ais点上报时间在气象数据库中搜寻距离最近的经纬度网格点。设船舶ais点pi＝(loni，lati)，其中loni和lati分别是经纬度，利用haversine公式分别计算到经纬度网格点的最短距离，并记录下距离最短的网格点信息。
[0060]
其次风、浪数据每4小时刷新一次，分别为0点、4点、8点、12点、16点、20点，流数据每24小时刷新一次，为0点。设有船舶ais点pi上报时间是ti＝(yy-mm-dd hh:mm:ss)，首先提取日期信息yy-mm-dd，定位至该日，其次提取小时信息hh定位至刷新时间序列切片中，然后提取分秒信息mm:ss，计算距离前后两刷新时间的时间间隔，选取时间间隔最短的刷新时间：
[0061]
δti＝min(t
i-t
前
，t
后-ti)
[0062]
得到最近刷新时间，将最近经纬度网格点的气象数据赋值给ais点，完成此过程。
[0063]
实施例4：ais数据与mrv报文数据进行对齐.
[0064]
首先将mrv日报上报时间进行时区换算。设有船舶日报di＝(ti，time_zonei)，上报时间是当地时间ti，时区为time_zonei，time_zonei中w代表替换为符号，e代表替换成正号，则日报上报北京时间t
e8i
为：
[0065]
[0066]
按照转换后的北京时间，将前一天日报上报时间作为今天日报状态统计开始时间，利用ais点mmsi作为船舶索引，对ais上报时间处于当日日报开始时间与日报上报时间之间的ais点，打上该日日报状态标签。
[0067]
其次用日报上报时间生成虚拟点，来分割ais点序列。在日报上报时间生成虚拟点，以分割跨日报时间的ais点的时间，并以时间占比为依据，分割ais点的距离。
[0068]
设虚拟点di＝(ti，time_diffi，distancei)，处于ais点p1＝(t1，time_diff1，distance1)与p2＝(t2，time_diff2，distance2)之间，则：
[0069]
time_diffi＝t
i-t1[0070][0071]
time_diff2′
＝t
2-ti[0072][0073]
如图4所示，表示在2022-01-23时间利用上述公式生成虚拟点之后的航行距离变化，所述distance＝2.51代表从p1到p2的航行里程。当部分ais数据缺失时，可以通过两个相邻的虚拟点之间的里程差计算该时段的船舶里程。
[0074]
上述实施例仅仅是为了清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无法对所有的实施方式予以穷举。凡是属于本发明的技术方案所引申出的显而易见的变化或变动，仍处于本发明的范围之内。