面向全链路跨域能源大数据的自适应清洗方法及系统与流程

本发明涉及数据清洗，尤其涉及一种面向全链路跨域能源大数据的自适应清洗方法及系统。

背景技术：

1、随着我国能源数字化转型的全面推进与“双碳”目标的深入实施，能源系统正加速向多能互补、源网荷储协同的新型能源体系演进。电力、石油、天然气等多能源品种深度融合，生产、传输、消费等全业务环节数据爆发式增长，能源大数据已成为驱动能源产业高质量发展的核心生产要素。多源异构能源数据的融合治理与质量提升，是打破能源行业跨领域、跨环节数据壁垒，实现数据资源统一管理与高效利用的核心基础，直接决定了能源系统智能调度、市场交易优化、需求侧响应、安全风险预警等上层应用的准确性与可靠性。

2、然而，当前能源领域数据呈现出显著的多源异构与全链路分布特征：电力、石油、天然气等不同能源品种的数据采集标准不一、格式差异巨大、存储系统相互独立；生产、传输、消费等不同业务环节的数据采集过程中设备故障、网络波动、人为操作失误等因素影响，数据噪声、缺失、不一致、冗余等质量问题普遍存在且形式复杂多样。这些问题导致跨域数据难以实现有效融合与共享，数据价值无法充分释放，严重制约了能源数字化转型的深入推进。因此，开展多源异构能源数据融合治理与质量提升技术研究，构建高效、智能、一体化的全链路数据处理体系，已成为当前能源领域亟待解决的关键技术课题。

3、目前，针对能源数据治理与质量提升的相关技术研究已取得一定进展，但仍存在诸多局限性。传统的数据清洗与预处理方法多基于人工定义的规则与统计阈值，仅能处理已知的、单一类型的数据质量问题，难以自适应不同能源品种、不同业务环节的数据特征差异。部分引入机器学习技术的数据处理方法，大多聚焦于单一能源系统或单一业务环节的局部数据质量修复，未深入分析多源异构能源数据的共性特征与差异规律。同时，现有技术普遍未构建面向能源全链路的协同清洗架构，异常数据识别、数据清洗、补全等环节相互割裂，处理效率低下，且缺乏自学习与自优化能力，难以应对能源系统动态变化带来的数据质量新挑战。

4、综上，现有技术无法实现电力、石油、天然气等多能源品种，以及生产、传输、消费全业务环节数据的一体化融合治理与智能化质量提升。难以保障数据的完整性、准确性和可用性，无法为后续能源数据价值解析与上层智能应用提供坚实可靠的数据基础支撑。

技术实现思路

1、本发明的目的在于提供一种面向全链路跨域能源大数据的自适应清洗方法及系统，旨在解决背景技术中的至少一种问题。

2、第一方面，本发明提供一种面向全链路跨域能源大数据的自适应清洗方法，所述方法包括：

3、采集面向全链路的跨域能源大数据，并对所述跨域能源大数据进行数据类别划分，并根据划分结果构建待处理数据集；

4、采用异常检测模型对所述待处理数据中的异常样本进行识别与剔除，得到正常样本集；

5、从所述正常样本集中提取数据特征描述因子，并根据所述数据特征描述因子为每个数据类别自适应构建超参数搜索空间，并采用贝叶斯优化算法进行自适应寻优，以获得与各数据类别相匹配的最优超参数组合；

6、根据所述最优超参数组合对正常样本集中各数据类别的数据的缺失值进行补全，得到清洗后的跨域能源大数据集。

7、第二方面，本发明提供一种面向全链路跨域能源大数据的自适应清洗系统，所述系统包括：

8、数据采集模块，用于采集面向全链路的跨域能源大数据，并对所述跨域能源大数据进行数据类别划分，并根据划分结果构建待处理数据集；

9、异常样本剔除模块，用于采用异常检测模型对所述待处理数据中的异常样本进行识别与剔除，得到正常样本集；

10、优化模块，用于从所述正常样本集中提取数据特征描述因子，并根据所述数据特征描述因子为每个数据类别自适应构建超参数搜索空间，并采用贝叶斯优化算法进行自适应寻优，以获得与各数据类别相匹配的最优超参数组合；

11、清洗执行模块，用于根据所述最优超参数组合对正常样本集中各数据类别的数据的缺失值进行补全，得到清洗后的跨域能源大数据集。

12、第三方面，本发明提供一种存储介质，所述存储介质存储一个或多个程序，该程序被处理器执行时实现上述的面向全链路跨域能源大数据的自适应清洗方法。

13、第四方面，本发明提供一种电子设备，所述电子设备包括存储器和处理器，其中：

14、所述存储器用于存放计算机程序；

15、所述处理器用于执行存储器上所存放的计算机程序时，实现上述的面向全链路跨域能源大数据的自适应清洗方法。

16、与现有技术相比，本发明具有如下优点：

17、本发明通过孤立森林异常检测、自适应超参数搜索与贝叶斯优化寻优，以及融合对角线掩码自注意力与双分支联合优化的saits迭代补全，实现多能源品种、全业务环节数据的一体化智能清洗，有效保障跨域能源数据的完整性、准确性与可用性，为上层智能应用提供可靠的数据基础。

1.一种面向全链路跨域能源大数据的自适应清洗方法，其特征在于，所述方法包括：

2.根据权利要求1所述的面向全链路跨域能源大数据的自适应清洗方法，其特征在于，所述采集面向全链路的跨域能源大数据，并对所述跨域能源大数据进行数据类别划分，并根据划分结果构建待处理数据集的步骤包括：

3.根据权利要求2所述的面向全链路跨域能源大数据的自适应清洗方法，其特征在于，所述采用异常检测模型对所述待处理数据中的异常样本进行识别与剔除，得到正常样本集的步骤包括：

4.根据权利要求3所述的面向全链路跨域能源大数据的自适应清洗方法，其特征在于，所述从所述正常样本集中提取数据特征描述因子，并根据所述数据特征描述因子为每个数据类别自适应构建超参数搜索空间，并采用贝叶斯优化算法进行自适应寻优，以获得与各数据类别相匹配的最优超参数组合的步骤包括：

5.根据权利要求4所述的面向全链路跨域能源大数据的自适应清洗方法，其特征在于，所述根据所述最优超参数组合对正常样本集中各数据类别的数据的缺失值进行补全，得到清洗后的跨域能源大数据集的步骤包括：

6.一种面向全链路跨域能源大数据的自适应清洗系统，其特征在于，所述系统包括：

7.一种存储介质，其特征在于，所述存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-5任一项所述的面向全链路跨域能源大数据的自适应清洗方法。

8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，其中：