基于大数据技术的航天器体系仿真基础数据存储交互系统和方法

本发明涉及数据存储交互领域，特别涉及一种基于大数据技术的航天器体系仿真基础数据存储交互系统和方法。

背景技术：

1、航天器体系的仿真任务需要使用模型、装备、环境等各类基础数据，如果不进行航天器体系仿真基础数据的存储、管理和分析，航天体系的仿真任务无法顺利进行；进行基础数据的存储、管理和分析，可对过程数据和结果数据进行数据挖掘，发现并提取有价值的数据，实现数据驱动业务，业务推进反哺数据，为教学、科研等业务提供辅助决策支撑。

2、现有技术中通过基于大数据的数据湖架构对数据进行处理，数据湖架构面向多数据源的信息存储，包括物联网在内。大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户。

3、然而，航天器体系仿真基础数据具有数据类型多、业务数据复杂难以管理，数据质量差等数据特点，除了对基础数据进行存储，还需要同时实现对各类基础数据的交互，即，对基础数据的访问、存储、管理和挖掘等功能的数据交互。

4、由于基于大数据的数据湖架构的存储方式着重在多元异构原始数据的存储，并不适用于航天器体系仿真基础数据的存储交互，因此，急需一种基于大数据技术的数据存储交互技术，满足航天体系的仿真任务的需求。

技术实现思路

1、为了解决上述技术问题，本发明提供了一种基于大数据技术的航天器体系仿真基础数据存储交互系统和方法，针对多源数据的统一存储管理技术，存储管理的数据直接转发至数据挖掘分析平台，并提供各类预设挖掘算法进行数据挖掘分析；本发明结合航天器体系仿真基础数据的数据特点，综合利用大数据相关技术实现对结构化数据、半结构化数据、非结构化数据、信息流数据等多源异构数据的快速存储和统一管理；实现用户可自行制定的数据挖掘分析流程，辅助用户对数据信息进行快速分析挖掘，发现数据价值。

2、为了解决上述技术问题，本发明提供的技术方案如下：

3、一种基于大数据技术的航天器体系仿真基础数据存储交互系统，由数据存储模块、数据管理模块和数据挖掘模块组成；其中，

4、数据存储模块，用于通过hadoop平台提供的数据结构类型分类接口分别接收与数据结构类型对应的航天器体系仿真基础数据，并基于数据结构类型对接收到的航天器体系仿真基础数据分类存储，形成基础数据层；和/或基于数据结构类型对数据管理模块输出的目标数据进行分类存储，形成目标数据层；

5、数据管理模块，用于获取数据存储模块中的基础数据层的基础数据，通过调用数据挖掘模块中的多元数据处理算法库中对应的算法对基础数据进行清洗、整合和转换，得到标准化数据，并形成存储标准化数据的数据仓库，数据仓库提供数据访问接口实现对标准化数据中的目标数据的访问或存储；

6、数据挖掘模块，用于通过数据访问接口实现与数据管理模块中的数据仓库之间的hadoop集群连接，为spark集群提供计算环境，对数据仓库存储的标准化数据中的目标数据通过调用数据挖掘模块中的多元数据挖掘算法库中对应的算法进行数据挖掘分析，形成可视化展示的挖掘分析结果，或将生成的挖掘分析结果存入数据管理模块的挖掘库中。

7、进一步的，数据存储模块中的数据结构类型包括：结构化数据、非结构化数据和/或半结构化数据；其中，

8、结构化数据由二维表结构来逻辑表达和实现的数据，严格地遵循数据格式与长度规范的行数据；

9、非结构化数据为字段长度可变，并且每个字段的记录又可以由重复或非重复的子字段构成的数据；

10、半结构化数据是介于结构化数据和非结构化数据之间的数据，半结构化数据中结构模式附着或相融于数据本身，数据自身就描述了其相应结构模式；

11、数据结构类型分类接口包括：结构化数据接口、非结构化数据接口和/或半结构化数据接口；

12、基于数据结构类型对接收到的航天器体系仿真基础数据分类存储，包括：采用hadoop平台提供的与数据结构类型对应的关系型数据库、hdfs和/或非关系型数据库实现对数据结构类型不同的各类数据的分类存储。

13、进一步的，数据存储模块接收到的航天器体系仿真基础数据的数据结构类型为结构化数据、非结构化数据或半结构化数据的实体属性数据和/或环境数据，通过hadoop平台提供的数据结构类型分类接口将接收到的航天器体系仿真基础数据自动存入对应的关系型数据库、hdfs和/或非关系型数据库中，形成基础数据层；其中，

14、实体属性数据包括感知类实体数据、执行类实体数据、平台框架类数据和/或通信类实体数据；

15、环境数据包括地图、海图、地形环境数据、太空环境数据和/或气象天文数据。

16、进一步的，数据存储模块接收到的航天器体系仿真基础数据的数据结构类型由模型描述信息的结构化数据和模型文件数据的非结构化数据组成的模型组件中，针对模型描述信息的结构化数据通过数据库抽取的方式将模型描述信息采集到hadoop平台对应的mysql中进行存储；针对模型文件数据采用模型上传接口进行数据采集，模型文件数据自动存入hadoop平台对应的hdfs中进行存储，用于为上层仿真业务提供资源访问服务支撑；其中，

17、模型组件包括仿真模型组件、组装好的实体模型、环境模型、评估指标模型和/或评估算子模型。

18、进一步的，数据存储模块接收到的航天器体系仿真基础数据的数据结构类型由半结构化和/或非结构化类型组成的文件资源，采用hadoop平台对应的hdfs分布式文件系统和/或全文搜索引擎数据库elasticsearch存储组件，对文件资源进行针对性存储，用于为用户提供快速搜索和访问提供支持；其中，

19、文件资源包括规划方案、行动计划、评估结果和/或评估报告。

20、进一步的，数据存储模块接收到的航天器体系仿真基础数据的数据结构类型以结构化数据为主的业务过程数据，利用hadoop平台对应的关系型数据库进行存储，对于数据结构类型以非结构化数据为辅的业务过程数据，使用hadoop平台对应的分布式文件系统等存储组件进行存储；其中，

21、业务过程数据为系统产生的业务过程数据是指仿真平台在运行过程中产生的事件和数据，包括仿真实体的状态变化、行动指令、控制指令和/或裁决结果。

22、进一步的，数据挖掘模块，通过数据访问接口实现与数据管理模块中的数据仓库之间的hadoop集群连接，为：

23、根据航天器体系仿真任务需求，运用集群大规模数据处理技术结合对应的机器学习、深度学习、nlp自然语言处理技术、统计学和/或数据可视化技术的多种数据挖掘技术进行实现。

24、进一步的，数据挖掘模块中的多元数据处理算法库，包括封装后的去重算法、属性选择算法、缺失值处理算法、归一化算法、映射算法、分箱算法、添加噪声算法、角色设置算法、合并算法、连接算法、排序算法、数据拆分算法、随机采样算法、截取数据算法、属性重排算法、类型转换算法、数值二值化算法、离散变量数值化算法、变量二值化算法、因子分析算法、统一属性名算法、聚合算法和/或文本向量化算法；

25、数据挖掘模块中的多元数据挖掘算法库，包括：

26、机器学习、深度学习模型算法库，包括封装后的apriori、fp-growth、线性回归、非线性回归、决策树、支持向量机svm、贝叶斯分类、knn、逻辑回归、神经网络、xgb、随机森林、k-means、c-means和/或dbscan开源算法；

27、模型评估算法库，包括封装后的mes、mae、准确度、precision、recall、confusionmatrix、roc和/或auc模型评估方法与指标；

28、多元数据处理算法库及多元数据挖掘算法库分别提供自定义算子接口，用户端自编译的算子接口与多元数据处理算法库及多元数据挖掘算法库提供的自定义算子接口进行连接；支持用户端通过python脚本的形式基于自定义算子接口进行编译。

29、进一步的，数据挖掘模块形成可视化展示的挖掘分析结果，通过数据挖掘模块集成的多元数据结构的可视化功能进行实现，包括二维数据表可视化、树状图、柱状图、饼状图、关联分析图和/或神经网络图，用于辅助用户端清晰快速理解数据信息并为决策提供依据。

30、本发明还提供了一种基于大数据技术的航天器体系仿真基础数据存储交互方法，包括：

31、数据存储模块通过hadoop平台提供的数据结构类型分类接口分别接收与数据结构类型对应的航天器体系仿真基础数据，并基于数据结构类型对接收到的航天器体系仿真基础数据分类存储，形成基础数据层；和/或基于数据结构类型对数据管理模块输出的目标数据进行分类存储，形成目标数据层；

32、数据管理模块获取数据存储模块中的基础数据层的基础数据，通过调用数据挖掘模块中的多元数据处理算法库中对应的算法对基础数据进行清洗、整合和转换，得到标准化数据，并形成存储标准化数据的数据仓库，数据仓库提供数据访问接口实现对标准化数据中的目标数据的访问或存储；

33、数据挖掘模块通过数据访问接口实现与数据管理模块中的数据仓库之间的hadoop集群连接，为spark集群提供计算环境，对数据仓库存储的标准化数据中的目标数据通过调用数据挖掘模块中的多元数据挖掘算法库中对应的算法进行数据挖掘分析，形成可视化展示的挖掘分析结果，或将生成的挖掘分析结果存入数据管理模块的挖掘库中。

34、有益效果：

35、本发明提供的一种基于大数据技术的航天器体系仿真基础数据存储交互系统和方法，由数据存储模块、数据管理模块和数据挖掘模块组成；三个模块互相关联，密不可分。

36、数据存储模块，用于通过hadoop平台提供的数据结构类型分类接口分别接收与数据结构类型对应的航天器体系仿真基础数据，并基于数据结构类型对接收到的航天器体系仿真基础数据分类存储，形成基础数据层；和/或基于数据结构类型对数据管理模块输出的目标数据进行分类存储，形成目标数据层；

37、数据管理模块，用于获取数据存储模块中的基础数据层的基础数据，通过调用数据挖掘模块中的多元数据处理算法库中对应的算法对基础数据进行清洗、整合和转换，得到标准化数据，并形成存储标准化数据的数据仓库，数据仓库提供数据访问接口实现对标准化数据中的目标数据的访问或存储；标准化数据解决数据的重复、缺失、异常等问题，数据仓库提供数据访问接口；

38、数据挖掘模块，用于通过数据访问接口实现与数据管理模块中的数据仓库之间的hadoop集群连接，为spark集群提供计算环境，对数据仓库存储的标准化数据中的目标数据通过调用数据挖掘模块中的多元数据挖掘算法库中对应的算法进行数据挖掘分析，避免spark集群技术的复杂性，极大提升了计算机对大数据的计算速度，降低了用户对大数据分析处理的难度。形成可视化展示的挖掘分析结果，包括二维数据表可视化、树状图、柱状图、饼状图、关联分析图、神经网络图等，辅助用户清晰快速理解数据信息并为决策提供依据。或将生成的挖掘分析结果存入数据管理模块的挖掘库中。研究集合数据分析、数据处理、数据统计、机器学习建模、深度学习建模、模型评估、数据可视化等多功能一体化的数据挖掘科学计算平台，提供高质量大数据挖掘平台，满足数据基础处理服务以及数据信息挖掘服务。

39、本发明结合航天器体系仿真数据类型多，业务数据复杂难以管理，数据质量差等数据特点，综合利用大数据相关技术实现对结构化数据、半结构化数据、非结构化数据、信息流数据等多源异构数据的快速存储和统一管理，存储管理的数据进行直接转发至数据挖掘分析，提供各类预设挖掘算法进行数据挖掘分析；实现用户端可自行制定的数据挖掘分析流程，如选择多元数据处理算法库、多元数据挖掘算法库或可视化功能，辅助用户端对数据信息进行快速分析挖掘，发现数据价值。