基于大数据分析的数据处理优化方法、装置和存储介质与流程

本申请涉及大数据处理与分布式计算领域，特别涉及一种基于大数据分析的数据处理优化方法、装置和存储介质。

背景技术：

1、随着互联网、物联网及各类信息系统的快速发展，海量多源异构数据呈指数级增长，大数据分析已成为企业决策、科学研究和社会治理的重要支撑。在实际应用中，数据往往来源于不同业务系统、传感器设备或外部接口，这些数据在格式、粒度、时效性和语义上存在显著差异，且数据流通常具有动态变化、突发性强等特点。

2、传统的数据处理方法主要依赖静态批处理模式，例如通过预先设定的etl（抽取、转换、加载）流程对数据进行清洗和转换，再采用固定的统计模型或机器学习算法进行分析。然而，现有技术在面对大规模、高维、动态的大数据流时存在如下明显不足：1）静态预处理难以适应数据分布的实时变化，容易导致数据质量下降；2）传统的数据过滤和特征提取方法缺乏自适应性，无法有效区分高价值数据与低价值或噪声数据；3）在处理过程中缺乏高效的并行化迭代机制，计算资源利用率低，且难以在出现异常时快速回溯和纠正错误。

技术实现思路

1、本申请提供一种基于大数据分析的数据处理优化方法、装置和存储介质，实现了动态建模、自适应过滤、高效迭代及可回溯的数据优化处理。

2、一方面，本申请提供了一种基于大数据分析的数据处理优化方法，所述方法包括：

3、步骤s1：获取多源异构大数据集，并对所述多源异构大数据集进行数据清洗和标准化预处理，得到标准化初始数据；

4、步骤s2：基于所述标准化初始数据构建动态数据流拓扑图，以时间窗口为单位划分数据流片段，并根据事件间的语义相关性对数据节点进行聚类，再利用图神经网络提取各聚类的深层特征向量；

5、步骤s3：根据所述深层特征向量计算每个数据节点的权重值和置信度分数，并采用自适应阈值对低置信度数据进行过滤，生成优化后的数据子集；

6、步骤s4：对所述优化后的数据子集执行并行化分布式计算，通过增量式迭代算法更新全局模型参数，并在每次迭代中记录中间计算结果以供后续回溯校验；

7、步骤s5：将经过迭代后得到的最终优化数据处理结果输出并存储至分布式文件系统。

8、另一方面，本申请提供了一种基于大数据分析的数据处理优化装置，所述装置包括：

9、预处理模块，用于获取多源异构大数据集，并对所述多源异构大数据集进行数据清洗和标准化预处理，得到标准化初始数据；

10、提取模块，用于基于所述标准化初始数据构建动态数据流拓扑图，以时间窗口为单位划分数据流片段，并根据事件间的语义相关性对数据节点进行聚类，再利用图神经网络提取各聚类的深层特征向量；

11、生成模块，用于根据所述深层特征向量计算每个数据节点的权重值和置信度分数，并采用自适应阈值对低置信度数据进行过滤，生成优化后的数据子集；

12、优化模块，用于对所述优化后的数据子集执行并行化分布式计算，通过增量式迭代算法更新全局模型参数，并在每次迭代中记录中间计算结果以供后续回溯校验；

13、存储模块，用于将经过迭代后得到的最终优化数据处理结果输出并存储至分布式文件系统。

14、第三方面，本申请提供了一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述基于大数据分析的数据处理优化方法的技术方案的步骤。

15、第四方面，本申请提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述基于大数据分析的数据处理优化方法的技术方案的步骤。

16、从上述本申请提供的技术方案可知，一方面，通过获取多源异构大数据集并进行数据清洗和标准化预处理，能够消除原始数据中的不一致性和冗余，为后续分析奠定高质量的数据基础，而通过构建动态数据流拓扑图并以时间窗口划分数据流片段，结合事件间的语义相关性进行聚类，再利用图神经网络提取深层特征向量，实现了对动态数据流的实时结构化建模和深层特征挖掘，提高了特征表达的准确性和鲁棒性；另一方面，根据深层特征向量计算每个数据节点的权重值和置信度分数，并采用自适应阈值对低置信度数据进行过滤，能够智能识别并剔除低质量或干扰数据，减少无效计算开销，提升数据处理的纯净度和可靠性；第三方面，对优化后的数据子集执行并行化分布式计算，并采用增量式迭代算法更新全局模型参数，同时在每次迭代中记录中间计算结果以供后续回溯校验，显著提升了大规模数据的处理效率和计算资源的利用率，并能够在迭代过程中及时检测并修复异常，保证了模型收敛的稳定性与结果的准确性，而将经过迭代后得到的优化数据处理结果输出并存储至分布式文件系统，确保了数据的高可用性和持久化存储。综上，本申请的技术方案有效克服了现有技术中数据预处理静态化、特征提取浅层化、过滤机制缺乏自适应性以及迭代计算效率低下等缺陷，在大数据分析领域具有显著的技术进步。

1.一种基于大数据分析的数据处理优化方法，其特征在于，所述方法包括：

2.根据权利要求1所述基于大数据分析的数据处理优化方法，其特征在于，所述基于所述标准化初始数据构建动态数据流拓扑图，包括：

3.根据权利要求2所述基于大数据分析的数据处理优化方法，其特征在于，所述根据事件间的语义相关性对数据节点进行聚类，包括：

4.根据权利要求3所述基于大数据分析的数据处理优化方法，其特征在于，所述再利用图神经网络提取各聚类的深层特征向量，包括：

5.根据权利要求1所述基于大数据分析的数据处理优化方法，其特征在于，所述采用自适应阈值对低置信度数据进行过滤，包括：

6.根据权利要求1所述基于大数据分析的数据处理优化方法，其特征在于，所述对所述优化后的数据子集执行并行化分布式计算，包括：

7.根据权利要求1所述基于大数据分析的数据处理优化方法，其特征在于，所述在每次迭代中记录中间计算结果以供后续回溯校验，包括：

8.一种基于大数据分析的数据处理优化装置，其特征在于，所述装置包括：

9.一种电子设备，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。

10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。