一种基于apache hadoop的分布式流体动力学计算方法
技术领域
1.本发明涉及流体动力学技术领域，尤其涉及一种基于apache hadoop的分布式流体动力学计算方法。
背景技术：
2.随着计算机技术及大规模并行计算技术的迅猛发展，计算流体力学已经成为一种常用的流体力学研究方法，在科学研究和工程应用领域具有非常广泛的应用。然而，流体数据异常情况影响计算过程，流体流动现象非常复杂，求解流体流动的控制方程难度较高，流体流场细节不足以满足相关的计算要求，计算效率不高。
技术实现要素：
3.基于背景技术存在的技术问题，本发明提出了一种基于apache hadoop的分布式流体动力学计算方法。
4.本发明提出的一种基于apache hadoop的分布式流体动力学计算方法，包括如下步骤：
5.s1接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于hadoop平台分布式文件系统；
6.s2对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于hbase分布式数据库；
7.s3基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；
8.s4基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；
9.s5基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；
10.s6构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；
11.s7对物理数学模型进行计算，以获得最终流体参数。
12.优选的，所述步骤s1接收特定流域节点所产生的流体数据，对接收特定流域节点所产生的流体数据进行汇总。
13.优选的，所述步骤s3预处理用于生成数据加工处理程序。
14.优选的，所述步骤s3异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据，节点数据分类采用bi-lstm attention模型。
15.优选的，所述步骤s5基于hadoop运行预设的分析报告编制算法生成对应的分析报告。
16.优选的，所述步骤s4根据数据结构进行数据类型划分，根据数据类型进行匿名化数据分组。
17.优选的，所述对结构化数据的匿名化数据组进行数据预处理，对数据的关键内容进行泛化处理。
18.优选的，所述步骤s7对物理数学模型进行计算包括：对物理数学模型进行迭代收敛计算，同时获得流体计算区域的流体参数及网格变化参数，并根据网格变化参数更新计算区域。
19.本发明中，所述一种基于apache hadoop的分布式流体动力学计算方法，基于hadoop实现了流域节点数据的分布式计算分析，可以及时发现流域数据计算中存在的异常情况，实时性好、准确率高，同时，对数据进行一定的处理，以保证数据在使用、传输和开放过程中的安全。
附图说明
20.图1为本发明提出的一种基于apache hadoop的分布式流体动力学计算方法的流程图。
具体实施方式
21.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
22.参照图1，一种基于apache hadoop的分布式流体动力学计算方法，包括如下步骤：
23.s1接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于hadoop平台分布式文件系统；
24.s2对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于hbase分布式数据库；
25.s3基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；
26.s4基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；
27.s5基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；
28.s6构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；
29.s7对物理数学模型进行计算，以获得最终流体参数。
30.本发明中，步骤s1接收特定流域节点所产生的流体数据，对接收特定流域节点所产生的流体数据进行汇总。
31.本发明中，步骤s3预处理用于生成数据加工处理程序。
32.本发明中，步骤s3异常数据滤除模型采用无限深度神经网络模型，异常数据为亢余数据、冲突数据，节点数据分类采用bi-lstm attention模型。
33.本发明中，步骤s5基于hadoop运行预设的分析报告编制算法生成对应的分析报告。
34.本发明中，步骤s4根据数据结构进行数据类型划分，根据数据类型进行匿名化数据分组。
35.本发明中，对结构化数据的匿名化数据组进行数据预处理，对数据的关键内容进行泛化处理。
36.本发明中，步骤s7对物理数学模型进行计算包括：对物理数学模型进行迭代收敛计算，同时获得流体计算区域的流体参数及网格变化参数，并根据网格变化参数更新计算区域。
37.本发明：接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于hadoop平台分布式文件系统；对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于hbase分布式数据库；基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；对物理数学模型进行计算，以获得最终流体参数。
38.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
技术特征：
1.一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，包括如下步骤：s1接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于hadoop平台分布式文件系统；s2对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于hbase分布式数据库；s3基于hadoop运行预设的异常数据滤除模型实现节点数据的预处理；s4基于hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集；s5基于hadoop运行预设的节点数据分析模型实现节点数据集的分析，并输出对应的分析结果；s6构建流体计算区域的物理数学模型，物理数学模型包括全耦合的流体力学控制方程、固体力学控制方程、网格移动方程及流固界面方程；s7对物理数学模型进行计算，以获得最终流体参数。2.根据权利要求1所述的一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，所述步骤s1接收特定流域节点所产生的流体数据，对接收特定流域节点所产生的流体数据进行汇总。3.根据权利要求1所述的一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，所述步骤s3预处理用于生成数据加工处理程序。4.根据权利要求1所述的一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，所述步骤s3异常数据滤除模型采用无限深度神经网络模型，所述异常数据为亢余数据、冲突数据，节点数据分类采用bi-lstm attention模型。5.根据权利要求1所述的一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，所述步骤s5基于hadoop运行预设的分析报告编制算法生成对应的分析报告。6.根据权利要求1所述的一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，所述步骤s4根据数据结构进行数据类型划分，根据数据类型进行匿名化数据分组。7.根据权利要求6所述的一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，所述对结构化数据的匿名化数据组进行数据预处理，对数据的关键内容进行泛化处理。8.根据权利要求1所述的一种基于apache hadoop的分布式流体动力学计算方法，其特征在于，所述步骤s7对物理数学模型进行计算包括：对物理数学模型进行迭代收敛计算，同时获得流体计算区域的流体参数及网格变化参数，并根据网格变化参数更新计算区域。
技术总结
本发明公开了一种基于Apache Hadoop的分布式流体动力学计算方法，包括如下步骤：接收特定流域节点所产生的流体数据，并利用信源编码为每一个节点数据配置独立的数据标识，以原格式存储于Hadoop平台分布式文件系统；对接收的流体数据进行聚类，得到聚类数据，将聚类数据存储于HBase分布式数据库；基于Hadoop运行预设的异常数据滤除模型实现节点数据的预处理；基于Hadoop运行预设的节点数据分类模型实现节点数据的分类，获取节点数据集。本发明基于Hadoop实现了流域节点数据的分布式计算分析，可以及时发现流域数据计算中存在的异常情况，实时性好、准确率高，同时，对数据进行一定的处理，以保证数据在使用、传输和开放过程中的安全。的安全。的安全。
技术研发人员：任南琪 王爱杰 王旭 路璐 冯骁驰
受保护的技术使用者：澜途集思生态科技集团有限公司
技术研发日：2022.01.11
技术公布日：2022/4/29
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
