一种国际船期数据处理方法、存储介质与流程

1.本发明涉及船期数据处理领域，具体指有一种国际船期数据处理方法、存储介质。


背景技术：

2.船期数据一般包含：船公司、出发港、目的港、离港时间、到港时间、船名、航次。通过船位、港口和航线等基础数据跟踪海上船舶与运输货物，为海运物流参与方提供实时准确可视的个体动态信息，能够为铁矿石、原油、煤炭、天然气等大宗商品贸易商提供物流动态和行业情报。
3.目前全球各家船东的船期数据都分散在各自的业务系统中，没有集中统一的船期数据供全球的发货人、收货人、货代和订舱代理等相关方查询和下载使用。货主或货代往往需要有船期数据接口能力的船东授权才能获取单个船东的结构化船期数据，船期数据的来源有限，数据内容单一，船期数据无法纠错，无法包含船队共舱和中转信息。
4.针对上述的现有技术存在的问题设计一种国际船期数据处理方法、存储介质是本发明研究的目的。


技术实现要素：

5.针对上述现有技术存在的问题，本发明在于提供一种国际船期数据处理方法、存储介质，能够有效解决上述现有技术存在的问题。
6.本发明的技术方案是：
7.一种国际船期数据处理方法，包含以下步骤：
8.获取用户选定的目标国家，收集所述目标国家的始发港口档案数据形成所述目标国家的港口档案表；
9.获取所述目标国家可提供服务的各家船东数据，所述船东数据包含船东清单、船东航线serive清单、船东船期访问地址；
10.根据各家船东的始发港和目的港进行全部可能性的配对，定期根据每一条始发港和目的港的配对创建船东港口船期数据搜索和解析任务池；
11.对任务池中的每一个任务执行：通过所述船东船期访问地址下载http数据，搜索并判断所述http数据中是否包含船期数据，若是则解析所述船期数据，将所述船期数据写入月度原始船期表，所述船期数据包括船名、航次、service、航向、航线、开航日期、始发港、目的港、中转港、航程其中的一种或多种；
12.将所述月度原始船期表清洗去重，并删除无效数据；
13.对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队，根据船队输出所述月度原始船期表中的船期数据。
14.进一步地，所述获取所述目标国家可提供服务的各家船东数据之后，包括：
15.通过所述船东船期访问地址获取各家船东的始发港和目的港，将始发港和目的港记录在数据表中并建立始发港和目的港的搜索引擎。
16.进一步地，所述获取所述目标国家可提供服务的各家船东数据之后，包括：建立http搜索下载引擎和http格式解析引擎；
17.所述通过所述船东船期访问地址下载http数据，搜索并判断所述http数据中是否包含船期数据包括：通过所述http搜索下载引擎访问所述船东船期访问地址并下载http数据，通过所述http格式解析引擎解析所述http数据，搜索并判断所述http数据是否包含船期数据。
18.进一步地，所述对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队包括：所述对所述月度原始船期表中的每一条所述船期数据执行：
19.获取已创建的船队清单；
20.若该船期数据所包括的船名和service记载于所述船队清单，则将该船期数据匹配为所述船队清单中对应的船队；
21.若该船期数据所包括的船名和service未记载于所述船队清单，则创建新的船队，并将新的船队写入所述船队清单中，将该船期数据匹配为所述船队清单中对应的新的船队。
22.进一步地，所述对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队之后，所述根据船队输出所述月度原始船期表中的船期数据之前，包括：
23.根据所述月度原始船期表中的抵港日期计算航程，根据一个船队内航程由小到大的顺序进行排列。
24.进一步地，所述对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队之后，所述根据船队输出所述月度原始船期表中的船期数据之前，包括：
25.校验船期数据的字段是否包含船东、始发港、起运码头、目的港、航线、开航日、航程、船队id，若否则发起人工填写请求。
26.进一步地，所述根据各家船东的始发港和目的港进行全部可能性的配对包括：
27.根据各家船东的始发港和目的港进行全部可能性的笛卡尔积配对。
28.进一步地，所述船东港口船期数据搜索和解析任务池的任务属性包括船东、始发港、目的港、是否完成、是否成功、重试次数、任务启动时间、任务完成时间其中的一种或多种。
29.进一步地，所述获取所述目标国家可提供服务的各家船东数据之后包括：建立始发港和目的港集合搜索引擎，通过所述搜索引擎进入所述船东船期访问地址搜索各家船东的始发港和目的港，并将各家船东的始发港和目的港记录在基础数据表中，定期通过所述搜索引擎更新所述基础数据表。
30.进一步提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种国际船期数据处理方法。
31.因此，本发明提供以下的效果和/或优点：
32.本技术通过收集所述目标国家的始发港口档案数据形成所述目标国家的港口档案表，再从船东数据中所包含的访问地址中搜索获取各种数据，再对始发港和目的港进行全部可能性的配对，最终通过分析数据、建立配对、筛选数据，可以根据船队输出所述月度原始船期表中的船期数据。解决了现有技术中无法收集船队数据的技术问题。采用上述数据处理方法和软件，用户可以获取全球各始发港的船东船期数据，并获得周班船期信息、船
东共舱信息、航程信息、挂港信息。
33.本技术采用探测算法获取船东有提供服务的港口组合，能够及时发现船东的新航线。并定期更新数据，获得各种相应的数据。
34.本技术通过现有的行业经验规则库，校验航程异常，可以得到更为准确的数据，减少人工干预。
35.应当明白，本发明的上文的概述和下面的详细说明是示例性和解释性的，并且意在提供对如要求保护的本发明的进一步的解释。
附图说明
36.图1为本发明的流程示意图。
具体实施方式
37.为了便于本领域技术人员理解，现将实施例结合附图对本发明作进一步详细描述：应了解到，在本实施例中所提及的步骤，除特别说明其顺序的，均可依实际需要调整其前后顺序，甚至可同时或部分同时执行。
38.参考图1，一种国际船期数据处理方法，包含以下步骤：
39.s1，获取用户选定的目标国家，收集所述目标国家的始发港口档案数据形成所述目标国家的港口档案表；
40.本步骤中，通过用户选定目标国家，通过调研航运业收集该国始发港口档案，得到不同格式的始发港、码头信息，统一成标准格式的数据写入国家港口档案表，便于后续的信息展示、检索及定期维护更新。
41.例如，用户选定具体国家：vietnam，通过人工或信息收集引擎收集该国的始发港口档案包括：danang,haiphong,hochiminh，得到其始发港、码头信息如下：
42.danang:tien sa terminal；
43.haiphong:green port,vip greenport,haiphong international container，terminal,tan vu terminal,nam hai dinh vu port；
44.hochiminh:cat lai terminal,sp-itc international container terminal；
45.然后，通过人工或信息处理引擎将该档案处理为统一标准格式数据，并将这些数据写入国家港口档案表，此时得到的国家港口档案表如表1所示：
46.国家港口vietnamdanangvietnamhaiphongvietnamhochiminh
47.表1
48.s2，获取所述目标国家可提供服务的各家船东数据，所述船东数据包含船东清单、船东航线service清单、船东船期访问地址；
49.本步骤配合步骤s1，整理在始发港口有提供服务的国家的船东清单，船东航线serive清单，船东船期公告网址，得到的结果如表2所示。
[0050][0051]
表2
[0052]
该公告地址包含了本技术所需要的各项数据。
[0053]
进一步地，所述获取所述目标国家可提供服务的各家船东数据之后，包括：
[0054]
s2.1，通过所述船东船期访问地址获取各家船东的始发港和目的港，将始发港和目的港记录在数据表中并建立始发港和目的港的搜索引擎。
[0055]
进一步地，所述获取所述目标国家可提供服务的各家船东数据之后包括：建立始发港和目的港集合搜索引擎，通过所述搜索引擎进入所述船东船期访问地址搜索各家船东的始发港和目的港，并将各家船东的始发港和目的港记录在基础数据表中，定期通过所述搜索引擎更新所述基础数据表。
[0056]
本步骤中，根据每家船东的船东船期公告网址，用python开发船东始发港和目的港集合搜索引擎。并且该搜索引擎被配置为：首次启动该引擎时，自动搜索该船东可能提供服务的始发港和目的港基础数据，记录在船东始发港和目的港基础数据表中；之后船东始发港和目的港集合搜索引擎每月自动启动一次，用更新的搜索数据更新船东港口基础数据，增加新的港口和删除失效的港口。通过该引擎可以收集得到大量的始发港和目的港基础数据，例如上述步骤s1中得到的数据，同时将其记录在数据表，从而通过该数据库建立搜索引擎，用于后续步骤的数据获取。
[0057]
船东始发港和目的港集合搜索引擎可以通过如下代码实现：
[0058][0059][0060]
进一步地，所述获取所述目标国家可提供服务的各家船东数据之后，包括：
[0061]
s2.2，建立http搜索下载引擎和http格式解析引擎；
[0062]
s2.3，所述通过所述船东船期访问地址下载http数据，搜索并判断所述http数据中是否包含船期数据包括：通过所述http搜索下载引擎访问所述船东船期访问地址并下载http数据，通过所述http格式解析引擎解析所述http数据，搜索并判断所述http数据是否包含船期数据。
[0063]
本步骤中，据每家船东的船东船期公告网址，用python开发http搜索下载引擎和http格式解析引擎，可以通过http搜索下载引擎搜索并下载船东船期公告网址页面中的http内容。然后，通过解析搜索结果的html格式，可以分离出船名、航次、service、航向、航线、开航日期、始发港、目的港、中转港、航程。
[0064]
并且，该http搜索下载引擎和http格式解析引擎可以根据船东官网的页面变动引起船期关键数据的变动而随时调整搜索和解析代码。
[0065]
http搜索下载引擎和http格式解析引擎可以通过如下代码实现：
[0066][0067]
[0068][0069]
s3，根据各家船东的始发港和目的港进行全部可能性的配对，定期根据每一条始发港和目的港的配对创建船东港口船期数据搜索和解析任务池；进一步地，所述船东港口船期数据搜索和解析任务池的任务属性包括船东、始发港、目的港、是否完成、是否成功、重试次数、任务启动时间、任务完成时间其中的一种或多种。
[0070]
进一步地，所述根据各家船东的始发港和目的港进行全部可能性的配对包括：
[0071]
根据各家船东的始发港和目的港进行全部可能性的笛卡尔积配对。
[0072]
本步骤中，根据船东的始发港口和目的港取进行全部可能性的笛卡尔积配对，笛卡尔乘积是指在数学中，两个集合x和y的笛卡尔积(cartesian product)，又称直积，表示为x
×
y，第一个对象是x的成员而第二个对象是y的所有可能有序对的其中一个成员。
[0073]
定期计算始发港和目的港进行全部可能性的配对。例如在每月1日按照船东始发港 目的港的配对，然后根据逐条配对创建月度船东港口船期数据搜索和解析任务池，任务属性包括船东、始发港、目的港、是否完成、是否成功、重试次数、任务启动时间、任务完成时间，任务创建后写入任务池数据表中等待执行。例如：2022年5月船期，船东是cma和msk，始发港是厦门和上海，目的港是新加坡和汉堡，则笛卡尔集合为:{(cma,上海，新加坡)，(cma，上海，汉堡),(msk,上海，新加坡)，(msk，上海，汉堡)，(cma,厦门，新加坡)，(cma，厦门，汉堡),(msk,厦门，新加坡)，(msk，厦门，汉堡)}，将自动8个5月份的船期数据搜索和解析任
务，放入任务池中。
[0074]
s4，对任务池中的每一个任务执行：通过所述船东船期访问地址下载http数据，搜索并判断所述http数据中是否包含船期数据，若是则解析所述船期数据，将所述船期数据写入月度原始船期表，所述船期数据包括船名、航次、service、航向、航线、开航日期、始发港、目的港、中转港、航程其中的一种或多种；
[0075]
本步骤中，对船期搜索虚拟机集群部署任务执行引擎，该引擎从任务池中随机摘取一个任务进行，利用s2.1步骤中的船东始发港和目的港集合搜索引擎和s2.2步骤中船东的http搜索下载引擎和http格式解析引擎开始工作。若搜索到合理的船期数据，则解析船期数据成分，若解析到船名、航次、service、航向、航线、开航日期、始发港、目的港、中转港、航程其中的内容，则写入原始船期表，若没有合理的下载数据则重试下载最多5次，若5次均无合理的搜索数据则判断该船东在该目的港未提供服务，不写入原始船期表。
[0076]
此时得到船期表可包含船名、航次、service、航向、航线、开航日期、始发港、目的港、中转港、航程，得到的原始船期表如表3所示。
[0077][0078]
表3
[0079]
s5，将所述月度原始船期表清洗去重，并删除无效数据；
[0080]
本步骤用于数据清洗，例如清洗去重船东 船名 航次 始发港 目的港都相同的原始船期数据，以及无数据的空行。
[0081]
s5.1，标签化数据表，根据开航日对应的星期几信息进行1-7的标签化处理，例如2022年1月1日的开航日对应为星期六，则标签化为“周六航班”。
[0082]
s6，对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队，根据船队输出所述月度原始船期表中的船期数据。
[0083]
进一步地，所述对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队包括：所述对所述月度原始船期表中的每一条所述船期数据执行：
[0084]
s6.1，获取已创建的船队清单；
[0085]
s6.2，若该船期数据所包括的船名和service记载于所述船队清单，则将该船期数据匹配为所述船队清单中对应的船队；
[0086]
s6.3，若该船期数据所包括的船名和service未记载于所述船队清单，则创建新的船队，并将新的船队写入所述船队清单中，将该船期数据匹配为所述船队清单中对应的新的船队。
[0087]
进一步地，所述对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队之后，所述根据船队输出所述月度原始船期表中的船期数据之前，包括：
[0088]
s6.4，根据所述月度原始船期表中的抵港日期计算航程，根据一个船队内航程由
小到大的顺序进行排列。
[0089]
进一步地，所述对所述月度原始船期表中的每一条所述船期数据建立或匹配对应的船队之后，所述根据船队输出所述月度原始船期表中的船期数据之前，包括：
[0090]
s6.5，校验船期数据的字段是否包含船东、始发港、起运码头、目的港、航线、开航日、航程、船队id，若否则发起人工填写请求。
[0091]
本步骤中，预先存放有船队清单，船队清单包括的船名和service等。并且船队清单是可建立、可增加的。
[0092]
通过在月度原始船期表中的取出每条信息，分析船队信息，若该记录的船东 船东service在已创建的船队清单中，则将该记录的船东 船东service关联到已创建的船队清单；若找不到对应的船队，则创建一个新的船队id，并将相同船名的其他船东判断为共舱船东，将船东和service放入船队的共舱船东集合中，相同船名的所有港口放入船队的挂港集合中；重复上述步骤直至所有原始船期数据都已处理。根据原始船期表中的抵港日期计算航程，并按照航程从小到大排列港口挂靠顺序。
[0093]
最后，检查船期字段必填，例如：船东、始发港、起运码头、目的港、航线、开航日、航程、船队id，这些项目都是必须有值的数据段，若缺少数据，则发起人工填写请求要求人工进行填写。
[0094]
根据表3记录或创建船队清单，以及按相应的顺序输出的信息如表4所示。
[0095]
船东：
[0096]
sealand、one、interasia、oocl、pil、cosco、emc。
[0097]
服务：
[0098]
船东服务sealandia9onevssinterasiakvsoocl、coscovsx,vtscoscoihxemcvsm
[0099]
表4
[0100]
进一步提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种国际船期数据处理方法。
[0101]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0102]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0103]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0104]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0105]
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0106]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0107]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
[0108]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0109]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。