基于云计算的多源数据融合处理方法、装置和存储介质与流程
本申请涉及大数据处理与分布式计算领域,特别涉及一种基于云计算的多源数据融合处理方法、装置和存储介质。
背景技术:
1、随着物联网、工业互联网和智能终端的快速发展,各类业务系统产生了海量、多源、异构的数据。这些数据来源广泛,包括传感器、日志文件、数据库记录、社交媒体等,其格式、精度、时效性和可信度差异巨大。如何高效、准确地融合这些多源异构数据,以支撑上层决策分析,已成为大数据处理领域的核心挑战。
2、现有的多源数据融合方法大多采用集中式架构,即将所有原始数据汇聚至单一服务器或集群后进行统一处理。这类方法在面对大规模、高并发数据流时,容易因单点瓶颈导致处理延迟过高,难以满足实时性要求。此外,传统融合算法通常采用固定的加权规则或简单的算术平均,未能充分考虑不同数据源在不同时刻的可信度和时效性差异,导致融合结果的准确性不稳定。更为关键的是,现有方案缺乏对融合过程的闭环反馈机制,一旦数据源质量发生漂移或环境发生变化,无法自动调整融合策略,从而造成决策偏差。
技术实现思路
1、本申请提供一种基于云计算的多源数据融合处理方法、装置和存储介质,过多源数据融合、时序特征提取与强化学习闭环,实现企业数据服务的智能自适应优化。
2、一方面,本申请提供了一种基于云计算的多源数据融合处理方法,所述方法包括:
3、步骤s1:接收来自多个异构数据源的原始数据,并对所述原始数据进行标准化预处理,得到具有统一格式的标准化数据;
4、步骤s2:在云计算环境中构建分布式数据融合引擎,所述分布式数据融合引擎通过虚拟化资源池动态分配计算节点,并根据各数据源的实时负载和数据量,采用基于遗传算法的任务调度策略将所述标准化数据划分为若干子任务,并将所述若干子任务分发至对应的计算节点进行并行处理;
5、步骤s3:针对每个计算节点上的子任务,利用预先训练的质量评估模型实时评估对应数据源的数据可信度与时效性,并基于评估结果动态生成自适应加权系数,再采用加权平均与卡尔曼滤波相结合的融合算法对所述子任务中的标准化数据进行局部融合,得到局部融合结果;
6、步骤s4:将所有计算节点输出的局部融合结果汇总至云端主节点,并通过基于贝叶斯网络的全局一致性校验模型对所述局部融合结果进行冲突检测与修正,生成全局融合数据;
7、步骤s5:将所述全局融合数据输入至预设的决策分析模型,输出用于指导业务决策的分析报告,同时根据所述分析报告的反馈结果反向调整所述质量评估模型和所述自适应加权系数的更新策略。
8、另一方面,本申请提供了一种基于云计算的多源数据融合处理装置,所述装置包括:
9、预处理模块,用于接收来自多个异构数据源的原始数据,并对所述原始数据进行标准化预处理,得到具有统一格式的标准化数据;
10、并行处理模块,用于在云计算环境中构建分布式数据融合引擎,所述分布式数据融合引擎通过虚拟化资源池动态分配计算节点,并根据各数据源的实时负载和数据量,采用基于遗传算法的任务调度策略将所述标准化数据划分为若干子任务,并将所述若干子任务分发至对应的计算节点进行并行处理;
11、融合模块,用于针对每个计算节点上的子任务,利用预先训练的质量评估模型实时评估对应数据源的数据可信度与时效性,并基于评估结果动态生成自适应加权系数,再采用加权平均与卡尔曼滤波相结合的融合算法对所述子任务中的标准化数据进行局部融合,得到局部融合结果;
12、生成模块,用于将所有计算节点输出的局部融合结果汇总至云端主节点,并通过基于贝叶斯网络的全局一致性校验模型对所述局部融合结果进行冲突检测与修正,生成全局融合数据;
13、调整模块,用于将所述全局融合数据输入至预设的决策分析模型,输出用于指导业务决策的分析报告,同时根据所述分析报告的反馈结果反向调整所述质量评估模型和所述自适应加权系数的更新策略。
14、第三方面,本申请提供了一种电子设备,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述基于云计算的多源数据融合处理方法的技术方案的步骤。
15、第四方面,本申请提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述基于云计算的多源数据融合处理方法的技术方案的步骤。
16、从上述本申请提供的技术方案可知,一方面,通过构建分布式数据融合引擎,利用虚拟化资源池动态分配计算节点,并结合基于遗传算法的任务调度策略,实现了对标准化数据的并行处理,这一方案能够根据各数据源的实时负载和数据量自适应划分子任务,有效避免了集中式处理中的性能瓶颈,显著提升了大规模多源数据融合的处理效率和实时响应能力;另一方面,在每个计算节点上引入预先训练的质量评估模型,实时评估对应数据源的数据可信度与时效性,并基于评估结果动态生成自适应加权系数,在此基础上,采用加权平均与卡尔曼滤波相结合的融合算法进行局部融合,由于加权系数能够随数据源质量的变化而动态调整,该方案克服了传统固定权重融合方法无法适应数据源质量波动的缺陷,提高了局部融合结果的准确性和鲁棒性;第三方面,通过云端主节点收集所有局部融合结果,并利用基于贝叶斯网络的全局一致性校验模型进行冲突检测与修正。该模型能够有效识别并纠正不同计算节点之间因数据源差异或噪声干扰导致的矛盾信息,从而生成高质量的全局融合数据,为后续决策分析提供了可靠的数据基础;第四方面,将生成的全局融合数据输入至预设的决策分析模型,输出分析报告,并依据分析报告的反馈结果反向调整质量评估模型和自适应加权系数的更新策略,这一闭环反馈机制使得融合系统能够持续自我优化,即使面对数据源质量的动态变化或业务需求调整,也能保持稳定的融合性能和决策准确性,实现了融合方法的长期自适应能力。综上,本申请的技术方案通过动态任务调度与闭环反馈优化,提升了多源数据融合的效率与准确性。
1.一种基于云计算的多源数据融合处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述基于云计算的多源数据融合处理方法,其特征在于,所述对所述原始数据进行标准化预处理,得到具有统一格式的标准化数据,包括:
3.根据权利要求2所述基于云计算的多源数据融合处理方法,其特征在于,所述步骤s12包括:
4.根据权利要求1所述基于云计算的多源数据融合处理方法,其特征在于,所述通过基于贝叶斯网络的全局一致性校验模型对所述局部融合结果进行冲突检测与修正,包括:
5.根据权利要求4所述基于云计算的多源数据融合处理方法,其特征在于,所述若所述状态差值超过预设阈值,则触发冲突事件,并利用所述条件概率表推断冲突源节点,包括:
6.根据权利要求1所述基于云计算的多源数据融合处理方法,其特征在于,所述根据所述分析报告的反馈结果反向调整所述质量评估模型和所述自适应加权系数的更新策略,包括:
7.根据权利要求6所述基于云计算的多源数据融合处理方法,其特征在于,所述响应于所述模型漂移警报,回溯所述自适应加权系数的历史变化曲线包括:
8.一种基于云计算的多源数据融合处理装置,其特征在于,所述装置包括:
9.一种电子设备,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述方法的步骤。
10.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com