一种电厂数据治理方法、装置、电子设备和程序产品与流程
本申请涉及数据治理,特别涉及一种电厂数据治理方法、装置、电子设备和程序产品。
背景技术:
1、在电厂数据治理领域,海量异构数据的统一管理与分类是一个关键问题。传统的治理方法多采用人工规整或基于初步特征的简单区分策略,难以应对多类型电厂复杂、动态的数据治理需求。现有技术方案在实际应用中仍面临明显不足:如数据孤岛现象严重,分类标准不一,人力成本投入大,且无法获取深层数据特征,导致分类准确性和效率低,模型训练易陷入局部最优,难以实现电厂数据的统一管理和高效利用。
2、因此,亟需一种能够高效、准确处理多源异构电厂数据,实现跨电厂、跨业务统一数据治理的电厂数据治理方法。
技术实现思路
1、本申请提供了一种电厂数据治理方法、装置、电子设备和程序产品。
2、第一方面,本申请实施例提供了一种电厂数据治理方法,包括:
3、获取历史电厂数据;
4、对历史电厂数据进行关键词提取,根据提取的关键词将历史电厂数据按电厂类型进行分类,得到按电厂类型划分的第一历史电厂数据集;
5、对第一历史电厂数据集进行聚类处理,得到每个电厂类型下按业务类型划分的第二历史电厂数据集;
6、对第二历史电厂数据集进行数据扩充,生成各业务类型的历史训练样本集;
7、基于历史训练样本集,利用深度学习模型构建电厂数据分类模型;其中,深度学习模型的初始网络参数通过灰狼优化算法进行寻优确定;
8、将实时电厂数据输入电厂数据分类模型,得到分类结果,并根据分类结果对实时电厂数据进行存储。
9、在一些实施例中,历史电厂数据包括音频数据、图像数据和字符数据中的至少一种。
10、在一些实施例中,对历史电厂数据进行关键词提取,包括:
11、基于词频-逆文本频率指数-离散因子算法,提取历史电厂数据中的特征词,并确定各特征词的权重;
12、根据权重对特征词进行排序,选取预设数量的特征词作为历史电厂数据的关键词。
13、在一些实施例中,聚类处理基于模糊c均值聚类算法,并根据自适应模糊度参数和特征加权距离度量进行聚类。
14、在一些实施例中,对第二历史电厂数据集进行的数据扩充包括:
15、根据聚类处理的结果,将第二历史电厂数据集中的样本划分为正样本和负样本;
16、对正样本基于正态分布规则进行数据扩充,得到扩充后的正样本;
17、对负样本基于随机分布规则进行数据扩充,得到扩充后的负样本;
18、将数据扩充后的正样本和负样本组合形成历史训练样本集。
19、在一些实施例中,深度学习模型采用长短期记忆网络;
20、灰狼优化算法将长短期记忆网络的初始连接权重和初始偏置作为优化目标;
21、其中,灰狼优化算法在迭代过程中,基于双曲正切函数构建非线性收敛因子,根据当前迭代次数动态调整非线性收敛因子的取值;
22、在更新种群个体位置时,确定适应度值最优的多个领导狼的当前位置,根据多个领导狼的当前位置与种群个体的当前位置计算距离向量,并基于距离向量和非线性收敛因子更新种群个体的位置。
23、第二方面,本申请实施例提供了一种电厂数据治理装置,包括:
24、数据获取模块,配置为获取历史电厂数据和实时电厂数据;
25、关键词提取模块,配置为对历史电厂数据进行关键词提取,并根据提取的关键词将历史电厂数据按电厂类型进行分类,得到按电厂类型划分的第一历史电厂数据集;
26、聚类处理模块,配置为对第一历史电厂数据集进行聚类处理,得到每个电厂类型下按业务类型划分的第二历史电厂数据集;
27、数据扩充模块,配置为对第二历史电厂数据集进行数据扩充,生成各业务类型的历史训练样本集;
28、模型构建模块,配置为基于历史训练样本集,利用深度学习模型构建电厂数据分类模型;其中,深度学习模型的初始网络参数通过灰狼优化算法进行寻优确定;
29、分类处理模块,配置为将实时电厂数据输入电厂数据分类模型,得到分类结果,并根据分类结果对实时电厂数据进行存储。
30、在一些实施例中,数据扩充模块包括:
31、样本划分子模块,配置为根据聚类处理的结果,将第二历史电厂数据集中的样本划分为正样本和负样本;
32、正样本扩充子模块,配置为对正样本基于正态分布规则进行数据扩充,得到扩充后的正样本;
33、负样本扩充子模块,配置为对负样本基于随机分布规则进行数据扩充,得到扩充后的负样本;
34、样本组合子模块,配置为将数据扩充后的正样本和负样本组合形成历史训练样本集。
35、第三方面,本申请实施例提供了一种电子设备,包括处理器和存储器,存储器存储有计算机程序,处理器执行计算机程序时实现任一项的电厂数据治理方法。
36、第四方面,本申请实施例提供了一种计算机程序产品,包括计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现任一项的电厂数据治理方法。
37、本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:通过关键词提取对历史电厂数据进行预分类,将历史电厂数据按电厂类型进行划分,实现了对多源异构电厂数据的层次化、精准化划分,有效打破了数据孤岛;采用基于词频-逆文本频率指数-离散因子算法的关键词提取和基于自适应模糊度参数、特征加权距离度量的改进模糊c均值聚类算法,充分挖掘了数据的深层特征,有效提升了对复杂电厂数据的分类准确性;通过对正负样本分别采用正态分布和随机分布规则进行数据扩充,解决了样本不平衡问题,增强了训练样本的多样性和模型泛化能力;利用灰狼优化算法对长短期记忆网络的初始网络参数进行寻优,通过非线性收敛因子和多领导狼协同引导机制,有效避免了模型训练陷入局部最优,提高了模型的收敛速度和分类精度。本申请的技术方案有效实现了对多类型、多模态电厂数据的高效统一治理。
38、要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。
1.一种电厂数据治理方法,其特征在于,包括:
2.根据权利要求1所述的电厂数据治理方法,其特征在于,所述历史电厂数据包括音频数据、图像数据和字符数据中的至少一种。
3.根据权利要求1所述的电厂数据治理方法,其特征在于,对所述历史电厂数据进行关键词提取,包括:
4.根据权利要求1所述的电厂数据治理方法,其特征在于,聚类处理基于模糊c均值聚类算法,并根据自适应模糊度参数和特征加权距离度量进行聚类。
5.根据权利要求1所述的电厂数据治理方法,其特征在于,对所述第二历史电厂数据集进行的数据扩充包括:
6.根据权利要求1所述的电厂数据治理方法,其特征在于,所述深度学习模型采用长短期记忆网络;
7.一种电厂数据治理装置,其特征在于,包括:
8.根据权利要求7所述的电厂数据治理装置,其特征在于,所述数据扩充模块包括:
9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的电厂数据治理方法。
10.一种计算机程序产品,包括计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的电厂数据治理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com