基于大数据的机场报文数据智能处理方法、装置及介质与流程

1.本发明涉及机场报文数据技术领域，具体为基于大数据的机场报文数据智能处理方法、装置及介质。


背景技术：

2.机场报文数据是机场和航空公司实现信息交互的一种方式，是实现航班、旅客和货运保障的重要信息来原，也是双方结算的主要凭证。目前机场报文数据处理方式主要包括以下几种：手工录入：对于离港航班，大部分机场从航班配载部门拿到打印的飞机载重报文纸质文件并手工录入机场统计系统；对于进港航班，大部分机场从到达的航班接收飞机载重报文纸质文件并手工录入机场统计系统。
3.系统处理：通过单个系统下载数据文件，再导入到统计系统与运行部门的航班数据匹配通过程序匹配，需要人工导入导出基础数据，能基本实现报文数据和航班数据的匹配。
4.然而上述方式存在如下缺点：（1）数据源单一现有方法不管是手工处理还是系统处理，仅仅引入纸质舱单数据或者从报文系统导出的单一数据源，数据来源单一，无法进行多数据源互相核对。
5.（2）依赖人工处理现有方法依赖人工录入或者人工从报文系统导出数据，然后与航班基础数据作匹配，该方法存在耗时长、差错高、数据不及时等问题。
6.（3）数据处理速度慢现有方法使用人工录入时，数据处理速度极慢，依赖系统处理时，无法处理大量并发的实时数据，常常存在数据堆积，服务器负荷高的问题。
7.（4）无法监控后台服务运行情况现有方法没有对数据处理服务运行情况进行监控，当服务器宕机或者特殊情况下数据服务报错时，管理人员无法掌握实时情况。


技术实现要素：

8.本发明的目的在于提供一种能够提高工作效率的基于大数据的机场报文数据智能处理方法、装置及介质。
9.本发明所述的基于大数据的机场报文数据智能处理方法，包括以下步骤：s1、采集多种数据源报文数据，并对不同的数据源报文数据进行优先级排序，并存储至大数据集群之中；s2、在大数据集群之中的分别对多种数据源报文数据进行格式转换成文本格式或xml格式的报文，并对转换后的报文进行数据清洗；
s3、对清洗后的文本格式或xml格式的报文解析成结构化数据；s4、根据不同数据源的优先级进行结构化数据的优先级匹配，优先级高的结构化数据覆盖优先级低的结构化数据并实时进行融合处理，将融合处理后的数据进行自动审核、修改和确认。
10.本发明还提供一种基于大数据的机场报文数据智能处理装置，包括：多数据源报文数据采集模块，用于采集多种数据源报文数据，并对不同的数据源报文数据进行优先级排序，并存储至大数据集群之中；报文数据预处理模块，用于在大数据集群之中的分别对多种数据源报文数据进行格式转换成文本格式或xml格式的报文，并对转换后的报文进行数据清洗；报文自动解析模块，用于对清洗后的文本格式或xml格式的报文解析成结构化数据；多数据源自动核对模块，用于根据不同数据源的优先级进行结构化数据的优先级匹配，优先级高的结构化数据覆盖优先级低的结构化数据并实时进行融合处理，将融合处理后的数据进行自动审核、修改和确认。
11.本发明还提供一种基于大数据的机场报文数据智能计算机处理介质，所述计算机处理介质存储有计算机可执行指令，当所述计算机可执行指令被服务端执行时，使所述服务端执行如上述的方法。
12.本发明采用多数据源采集、数据清洗、数据优先级定义、数据自动匹配，实现了报文数据的实时自动智能处理，保证的财务结算数据的及时性、准确性以及权威性，解决了民航基金延迟报送以及财务报表滞后提供的问题。另一方面在大数据集群之中的分别对多种数据源报文数据进行格式转换成文本格式或xml格式的报文，并对转换后的报文进行数据清洗，以此为报文解析打下坚实的基础，提高了报文解析的质量，降低报文核对所需要的时间。通过不同数据源的优先级进行结构化数据的优先级匹配，优先级高的结构化数据覆盖优先级低的结构化数据并实时进行融合处理，将融合处理后的数据进行自动审核、修改和确认，使得机场报文数据能够自动智能处理率从原本的空白提升到95%以上，减少了人工收集报文数据和手工处理工作的时间，同时也减少了打印的成本，以达到提高工作效率、提升实时运用和智能决策水平的效果。
附图说明
13.图1为本发明的基于大数据的机场报文数据智能处理方法的流程示意图。
具体实施方式
14.如图1所示，基于大数据的机场报文数据智能处理方法，包括以下步骤：s1、采集多种数据源报文数据，并对不同的数据源报文数据进行优先级排序，并存储至大数据集群之中；s2、在大数据集群之中的分别对多种数据源报文数据进行格式转换成文本格式或xml格式的报文，并对转换后的报文进行数据清洗；s3、对清洗后的文本格式或xml格式的报文解析成结构化数据；s4、根据不同数据源的优先级进行结构化数据的优先级匹配，优先级高的结构化
数据覆盖优先级低的结构化数据并进行融合处理，将融合处理后的数据进行自动审核、修改和确认。
15.还包括：对多种数据源报文数据的采集和大数据集群进行实时监测。由于采集多种数据源报文数据和大数据集群，数据源存在断开、故障等问题，服务器存在宕机、停电、被黑客攻击等意外情况，为提高智能性，采用监测实时监测数据源的链接好坏以及服务器运行情况，以确保服务器安全稳定运行。
16.采集多种数据源报文数据包括航班基础信息、sita报文、中航信报文、邮件报文、邮政航空和国货航报文、南航报文、廊桥消息报文、行李消息报文、商业消息报文、宏观消息报文、航班季度计划消息报文、民航局aftn消息报文、空管消息报文。报文的格式有xml文本、txt文本、ftp文件、excel文件、web文本、邮件文本等。数据源报文数据进行优先级排序具体如下：ａ.将基于航班基础信息消息报文数据优先级设为第一；ｂ.将sita报文数据优先级设为第二；ｃ.将中航信报文数据优先级设为第三；ｄ.将邮件报文数据优先级设为第四；e.将邮政航空和国货航报文数据优先级设为第五；f.将南航报文数据优先级设为第六；g.将廊桥消息报文数据优先级设为第七；h.将行李消息报文数据优先级设为第八；i.将商业消息报文数据优先级设为第九；j.将宏观消息报文数据优先级第设为十；k.将航班季度计划消息报文数据优先级第十一；l.将民航局aftn消息报文数据优先级第设为设为十二；m.将空管消息报文数据优先级第设为十三。
17.后续就可根据上述的不同数据源的优先级进行结构化数据的优先级匹配，优先级高的结构化数据覆盖优先级低的结构化数据并进行融合处理，将融合处理后的数据进行自动审核、修改和确认。
18.步骤s2还包括s2-1、在大数据集群之中的分别对多种数据源报文数据进行格式转换成文本格式或xml格式的报文;s2-2、将转换后不完整的报文、明显错误的报文以及无法打开的报文进行清洗，以此为报文解析打下坚实的基础，提高了报文解析的质量，降低报文核对所需要的时间。其中，格式转换主要包括将web文本、邮件文本、ftp文件、excel文件转换成txt文本，方便后续的报文进行统一解析。
19.步骤s3包括以下步骤：s3-1、对清洗后的文本格式或xml格式的报文划分为特殊报文和普通报文；s3-2、对特殊报文对应的不同航空公司，不同航线，不同航班号，依据民航业报文规范，配载报文不同的行和不同的位置分别代表不同的数据字段解析成对应的结构化数据，例如配载报文通常将航班的机号通常放在第一行，而a航空公司格式异常的报文数据，会将“机号”放在第二行。s3-3、对普通报文统一设定规则自动智能循环进行处理，并调用大数据集群进行计算和分布式处理解析成对应的结构化数据。
20.步骤s3-3包括以下步骤：s3-3-1、对普通报文的解析任务进行分类，将可并行的任
务分为一类，串行的任务分为一类；s3-3-2、将可以并的任务数据量进行分级；s3-3-3、设计并行大数据集群任务分布式处理程序；s3-3-4、将并行任务数据量大的使用大数据集群分布式任务处理，将并行任务数据量小的使用多线程程序处理解析成对应的结构化数据。串行的任务分为一类按照普通程序处理。
21.本发明实施例提供的基于大数据的机场报文数据智能处理装置，包括：多数据源报文数据采集模块，用于采集多种数据源报文数据，并对不同的数据源报文数据进行优先级排序，并存储至大数据集群之中；报文数据预处理模块，用于在大数据集群之中的分别对多种数据源报文数据进行格式转换成文本格式或xml格式的报文，并对转换后的报文进行数据清洗；报文自动解析模块，用于对清洗后的文本格式或xml格式的报文解析成结构化数据；多数据源自动核对模块，用于根据不同数据源的优先级进行结构化数据的优先级匹配，优先级高的结构化数据覆盖优先级低的结构化数据并实时进行融合处理，将融合处理后的数据进行自动审核、修改和确认。
22.本发明实施例提供一种基于大数据的机场报文数据智能计算机处理介质所述计算机处理介质存储有计算机可执行指令，当所述计算机可执行指令被服务端执行时，使所述服务端执行如上述的方法。
23.以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。