支持多租户与多源接入的民航飞行大数据集约化服务系统的制作方法

本发明涉及民航飞行数据处理领域，具体涉及一种应用于民航领域对多航司、多源民航飞行运行数据（如qar数据）进行集约化储存、加工和使用的多租户服务系统。

背景技术：

1、目前市面上主流的飞机机型包含波音737-700、737-800、777-300er、787，空客320、320neo、330、350、380以及c919等诸多机型。这些飞机上均安装有快速存取记录仪（quick access recorder，以下简称qar）。qar设备的容量一般为128m，存储介质为mo（magneto optical）磁光盘或pcmcia卡，能够连续记录飞行员操作、飞机状态、天气等飞行参数，记录时间长达六百个小时。无线qar的出现进一步提升了获取数据的速度和便捷度，无线qar数据下载不受拆卸固态储存介质的限制；在飞机降落后，当满足发动机停车、舱门打开等条件，以及降落机场满足网络和硬件设施等外界条件时，无线qar数据会自动通过当地网络下传。

2、qar数据是以二进制方式排列并储存的，需要通过逻辑转换成直观的、可供工程师辨识的工程数据，这一过程称为qar数据的译码。目前国内普遍采用的商用译码软件包括airfase、ags和graf等。这些商用译码软件同时具有飞行数据分析的功能，主要通过分析参数对超限事件进行预警（如采用拍照方式记录行车过程中一次超速事件），而对于正常情况下的全过程qar数据不作处理。

3、随着民航业务对飞行数据深度利用需求的增加，现有的飞行数据处理方式和系统暴露出了以下突出的缺陷与问题：

4、1、多机型参数难以统一且匹配耗时耗力：由于不同机型、甚至同一机型不同生产年代的qar记录数据类型、采集频率和参数名称均存在较大差异，且译码数据与航班运行系统数据（如飞行员信息、起降机场、天气跑道等）分散在不同系统中，传统系统缺乏有效的智能化映射与归一化机制，导致将飞行具体数据与航班运行环境相结合时需要花费大量人工和时间进行数据匹配。

5、2、行业重复建设投入大、运维成本高：由于传统系统仅支持单一航司的单一数据源接入，缺乏多租户逻辑隔离机制，导致各家航空公司均需要独立搭建、运营和维护各自的qar数据储存与加工系统，使得民航行业内部出现了大量的重复建设，系统建设周期长、资金与硬件资源浪费严重。

6、3、系统扩展性差与资源利用率低下：由于传统系统无法适配多航司、多机型、多厂商的qar数据及第三方民航辅助数据源，各航司系统相互独立、形成数据孤岛，导致先进的数据分析模型无法在安全隔离的前提下进行复用或共享，严重制约了民航行业整体飞行数据分析能力的提升。

技术实现思路

1、以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。

2、本发明的目的在于解决上述问题，提供了支持多租户与多源接入的民航飞行大数据集约化服务系统，能够对多航司、多源的民航飞行运行qar数据进行有效的集约化储存和加工，形成能够满足各类业务需求的分析参数的数据库，同时实现多租户隔离、账号即开即用，支持多航司共用一套系统，减少行业重复建设成本，提高了飞行运行数据在使用上的便利性和资源利用率。

3、本发明的技术方案为：本发明揭示了一种支持多租户与多源接入的民航飞行大数据集约化服务系统，所述系统包括多源数据接入适配模块、数据处理模块、工程参数模块、分析参数模块、分析模块、多租户管理模块和流式计算模块，其中：

4、多源数据接入适配模块，用于接入不同航司、不同机型、不同传输方式的数据及民航辅助数据源，实现多源数据统一接入与初步校验；

5、数据处理模块，连接所述多源数据接入适配模块的输出端，用于实现多机型全量参数的译码解析、大数据写入及与航班运行系统的信息的匹配关联，导出包含全参数的文件，完成数据清洗、存储与航班运行系统信息的匹配关联；

6、工程参数模块，连接所述数据处理模块的输出端，用于对不同飞机机型的工程参数进行归一化处理，以支持后续建立分析参数库；

7、分析参数模块，连接所述工程参数模块输出端，包括标准分析参数库单元和分析参数编辑单元，所述标准分析参数库单元用于构建覆盖飞行全航段的关注统计参数体系，所述分析参数编辑单元用于提供用于计算飞行大数据指标分析参数的算法语法；

8、分析模块，连接所述分析参数模块输出端，用于建立基于分析参数与航班元素相结合的分析，支持按租户需求输出多维度多场景的分析；

9、多租户管理模块，与系统各个数据存储及处理模块连接，实现多航司租户逻辑隔离、账号即开即用，保障数据安全合规的同时支持数据共享。

10、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，系统还包括：

11、流式计算模块，连接所述分析参数模块和所述分析模块，用于实时航班数据的流式计算。

12、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，系统还包括：

13、版本库管理模块，与所述数据处理模块输出端和所述工程参数模块输入端连接，用于对工程参数库进行全生命周期管理，记录各版本库的参数新增、参数名称变更，避免历史参数数据被覆盖，保障历史参数可追溯。

14、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，系统还包括：

15、敏感航班管理模块，与所述分析模块连接，用于屏蔽敏感航班信息，对已设置的敏感航班的航班号、机尾号关键信息进行屏蔽处理。

16、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述数据处理模块进一步配置为：

17、自动接入每一航班的qar数据译码后的文件，生成日志文件，导出包含全参数的hdf5格式文件；备份qar数据文件和航班运行系统中的航班信息，确定数据主键，把译码后的飞行数据经过列式存储转换存储于hbase集群中，并对飞行数据进行压缩；再根据配置的清洗规则对飞行数据进行初步的清洗过滤。

18、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述清洗过滤后的数据在入库后自动生成日志文件，所述日志文件中记录有qar数据原始文件的名称、全参数文件的名称，判断全参数文件是否为正确译码后的结果，如果不是，则根据日志文件中的信息对相应的qar数据文件进行人工干预下的重新入库。

19、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述工程参数模块配置为根据所配置的清洗规则对飞行数据进行二次清洗过滤，获得机型参数库元数据。

20、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述工程参数模块的归一化处理是对不同机型参数库元数据与标准的工程参数进行映射和匹配，进一步包括：

21、通过名称正则匹配进行第一层自动匹配，找出名字相同或者相近的机型参数，同时验证数据输出范围；

22、在第一层自动匹配完成后，对于未匹配的机型参数通过语义相似匹配进行第二层的自动匹配；

23、对经过第一层和第二层的自动匹配的匹配结果计算可信度；

24、对剩余未匹配的机型参数进行人工验证，根据计算出的可信度采用人工方式进行调整和参数匹配；

25、设定标准频率，对于低于标准频率的参数自动以均值填充的方式进行频率增加，同时支持手动设置频率。

26、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述工程参数模块还配置为提供自定义函数、工程参数自定义脚本的接口，通过该接口使用自定义函数来编辑自定义新的工程参数，对机型参数库元数据进行处理以获得工程参数库，且工程参数库支持按租户需求进行个性化扩展，作为分析参数库的基础。

27、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述分析参数模块配置为：

28、根据民航业务逻辑，基于所述工程参数模块中的统一标准的工程参数，使用所述分析参数编辑单元中提供的算法语法中的系统函数，通过用户自定义脚本方式计算分析参数即归一化后的工程参数；同时支持按租户权限，为不同租户分配专属的分析参数编辑、查询权限，实现租户间分析参数的隔离与复用。

29、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述分析参数模块采用spark分布式计算引擎，分析参数的计算请求发送到基于yarn 资源调度的 spark 分布式计算环境中，spark分布式计算引擎以航班-分析参数为最小单位进行切割并进行并行计算，spark分布式计算引擎中的每个核心负责一个最小单位的计算，任意核心在计算完一个航班的一个分析参数后会被分配新的计算任务；计算资源按租户配额进行动态分配，保障多租户并发使用时的性能稳定性。

30、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述分析参数模块将spark运算的脚本计算结果存储于列式数据库中，在系统中建立所述分析参数库，所述分析参数库包括标准分析参数库和租户专属分析参数库，标准分析参数库中的多项分析参数覆盖飞行全过程的飞行指标，租户专属分析参数库用于存储该租户自定义的分析参数及计算结果，实现租户数据隔离。

31、根据本发明的支持多租户与多源接入的民航飞行大数据集约化服务系统的一实施例，所述分析模块配置为：

32、接收用户在查询页面上选择的航班或分析参数的筛选条件，在后台生成对应的sql语句并提交到数据库查询引擎，由数据库查询引擎执行sql语句，在分析处理中基于航班运行数据与所述分析参数模块的计算结果进行多维度多场景的聚合分析；同时支持按租户需求生成个性化分析报表，仅向租户展示其权限范围内的数据及分析结果。

33、本发明对比现有技术有如下的有益效果：

34、本发明的系统能够对海量的、多源的飞机运行数据进行有效存储，对不同机型或同一机型不同生产时间的飞机的工程参数建立标准工程参数库，在此基础上结合实际运行情况适当增加自定义的分析参数，建立起具有民航逻辑、可扩展性良好的分析参数库，分析参数库中的数据能够在后续的各种应用场景中得到广泛的使用。

35、同时，本发明的核心创新点在于解决了民航行业系统重复建设的痛点，通过新增多源数据接入适配模块和多租户管理模块，实现了多航司、多源数据的统一接入，以及多租户的逻辑隔离、账号即开即用，支持多航司共用一套系统，显著减少了各航司独立建设系统的投入，降低了行业运维成本，实现了资源集约化利用。

36、详细而言，本发明的系统提供了一套类似数据处理模型数据帧的方式来处理飞行过程大数据，同时融入多租户、多源接入、集约化设计理念，具体体现在以下几个方面：

37、1、类似于面向对象的理念，把飞行过程数据当作一个数据集（表）来处理：区别于传统译码软件面向过程的行级计算，即每译码一行飞行过程数据就处理一次的处理方式，本系统使用的是拿到所有结果集，对整个结果集的操作。这样做的好处在于，省去了传统译码软件中定义大量变量来记录上一行计算的结果。

38、2、通过系统函数对飞行过程数据处理进行完善：飞行过程数据复杂度很高，如碰到一秒多帧的参数，用户是否需要降频、降频如何取值、升频、两个不同频率的参数相加、跳帧、用户指定采样频率等复杂的情况。通过在所述分析参数编辑单元中提供的算法语法中的系统函数中对这些复杂情况进行了完善的处理，并与传统译码软件的计算结果比对验证了结果的正确性，从而简化了数据处理。

39、3、通过系统函数提供大量分析参数互相调用的接口：通过所述分析参数编辑单元中提供的算法语法中的系统函数融合了各种传统处理方式的优点，既使系统计算结果与传统译码软件的结果靠拢，又在参数复用灵活性上得到提升，同时支持通过用户自定义脚本方式按租户需求自定义分析参数，适配不同航司的个性化需求。

40、4、通过工程参数模块进行归一化处理：通过所述工程参数模块连接所述数据处理模块的输出端，用于通过工程参数映射实现工程参数与原始参数的检索匹配、绑定及验证的归一化处理，由于在工程参数层面已经完成了多机型飞行参数的归一化，因此设计不同机型的分析参数算法时，只需要运用归一化后的数据，无需针对每一种机型都设计一种算法，极大加快了飞行算法的效率。

41、5、通过多源数据接入适配模块实现多源数据统一接入与优化导出格式：通过所述多源数据接入适配模块，用于接入不同航司、不同机型、不同传输方式的数据及民航辅助数据源，实现多源数据统一接入与初步校验，支持第三方民航数据接口等多种传输方式，适配波音、空客、919等各机型的qar数据格式，同时兼容航班运行、气象、机务维修等多类型民航辅助数据源，实现了多源数据的统一接入与标准化处理，解决了现有系统数据源单一、扩展性差的问题；通过所述数据处理模块配置为导出包含全参数的hdf5格式文件，按航班维度组织全参数数据并支持块压缩和多格式转换，大幅提升了数据的高效读写能力和跨平台适配度，满足多航司、多场景的数据分析数据格式需求。

42、6、通过多租户管理模块实现多租户集约化部署：通过所述多租户管理模块与系统各个数据存储及处理模块连接，实现多航司租户逻辑隔离、账号即开即用，支持租户的新增、注销、状态管控、多账号创建、权限分配以及精细化控制，实现多航司共用一套系统，租户间数据不可见、操作不干扰，减少了重复建设成本，提升了资源利用率。

43、7、通过流式计算模块提升数据处理的实时性：通过所述流式计算模块连接所述分析参数模块和所述分析模块，用于实时航班数据的流式计算，将原有定期批量处理航班数据的方式优化为流式计算模式，以单个航班为最小处理单位，飞机降落后qar数据上传并完成校验即触发数据处理流程，实现“来一个航班处理一个航班”的实时性处理，大幅降低了数据处理延迟；结合多源数据统一接入能力，系统可高效承接多航司高并发的qar数据接入与处理需求，解决了现有系统批量处理模式下数据滞后、无法适配多航司数据量的问题，提升了飞行大数据处理的时效性。

44、8、通过版本库管理模块实现工程参数全生命周期追溯：通过所述版本库管理模块与所述数据处理模块输出端和所述工程参数模块输入端连接，用于对工程参数库进行全生命周期管理，记录各版本库的参数新增、参数名称变更，为每个租户建立专属的工程参数版本子库，记录参数新增、修改、删除等关键信息，避免历史参数数据被覆盖，保障历史参数可追溯，彻底解决了现有系统参数版本无追溯、易混乱的行业难题；参数操作与版本库实时联动，确保参数记录的准确性和及时性，为飞行数据译码、工程参数匹配、分析参数计算提供了精准的参数基础，保障了整个飞行大数据处理流程的准确性和可溯源性。

45、9、通过多租户管理模块强化数据安全与合规性：通过所述多租户管理模块实现了租户间的深度逻辑隔离，基于唯一租户标识对数据进行分区存储、精细化权限管控，确保不同租户账号无法跨租户访问数据，从底层实现航司间数据的完全隔离，确保租户间数据不可见、操作不干扰，为多航司共用一套系统筑牢跨航司数据安全基础，消除了航司对数据共享和平台共用的核心安全顾虑。

46、10、通过敏感航班管理模块实现敏感航班信息自主管控：通过设置所述敏感航班管理模块与所述分析模块连接，用于屏蔽敏感航班信息，对已设置的敏感航班的航班号、机尾号等关键信息进行脱敏替换、哈希加密等屏蔽处理，同时支持管理员自定义敏感信息类型及专属查看权限，实现航司内部航班敏感数据的精细化自主管控，进一步提升了航司数据隐私安全层级。

47、11、通过分析模块的模型发布功能实现优秀模型安全共享：通过所述分析模块建立基于分析参数与航班元素相结合的智能分析，并新增模型发布功能，在保障多租户数据隔离的前提下，搭建系统级模型共享库；租户发布优秀分析模型时，系统会自动剥离模型中的原始敏感数据，仅保留模型结构、算法参数、训练效果等可复用信息，其他租户可在共享库中查看、下载模型进行学习和使用，既实现了航司间优秀数据分析模型的互通共享，又避免了原始数据泄露，解决了现有系统模型孤立、资源利用率低的问题，推动了民航行业整体飞行数据分析能力的提升。

48、12、通过工程参数模块实现工程参数智能映射与匹配：通过所述工程参数模块根据所配置的清洗规则对飞行数据进行二次清洗过滤，获得机型参数库元数据作为用于检索匹配的原始参数，并通过名称正则匹配进行第一层自动匹配，通过语义相似匹配进行第二层自动匹配，对匹配结果计算可信度，对剩余未匹配参数进行人工验证和频率调整，构建关键词索引库和向量特征库；通过关键词检索与向量相似度计算实现工程参数与原始参数的快速匹配，匹配后自动完成数据范围和频率验证并实现参数绑定，大幅提升了参数匹配的效率和准确性；相较于现有技术的人工与基础自动匹配模式，大幅减少了人工干预环节，降低了人工成本，能够快速适配多航司、多机型的参数对接需求，为新航司快速接入系统提供了高效的参数适配支撑。

49、综上，本发明的技术方案兼具集约化、实时性、安全性、可溯源性、高扩展性等特点，不仅解决了现有飞行大数据处理系统的单一航司适配缺陷，更贴合民航行业的集约化发展趋势，为多航司提供了一套高效、经济、安全的飞行大数据储存、加工、使用解决方案，具有显著的技术进步性和行业应用价值。