基于大数据分析的电网数据协同优化方法与流程

摘要: 本发明涉及电网数据处理,具体为基于大数据分析的电网数据协同优化方法。背景技术:1、电网调度中心服务器需要汇聚并处理来自不同区域、不同设备采集终端上传的海量电网数...
基于大数据分析的电网数据协同优化方法与流程

本发明涉及电网数据处理,具体为基于大数据分析的电网数据协同优化方法。

背景技术:

1、电网调度中心服务器需要汇聚并处理来自不同区域、不同设备采集终端上传的海量电网数据,这些数据在通信协议、封装格式、时间尺度及数据类型上存在差异,构成多元异构数据源。针对此类数据的协同优化,现有方式多采用统一清洗规则对全部数据执行全量扫描,通过冗余删除、缺失填补和一致性校验等手段提升数据可用性。在大数据场景下,全量数据协同优化面临处理延迟高、计算资源消耗大的问题,难以满足实时调度对数据时效性的要求。

2、现有技术在处理电网数据协同优化时,通常忽略数据项之间因时序关联和联动变化形成的结构化依赖关系,将所有数据项视为彼此独立的优化对象。这种无差异优化方式无法识别对区域电网运行状态具有主导影响的关键数据集合,也无法感知因数据项之间的传播影响导致的数据异常扩散范围,使得优化操作平均分配于大量低价值数据上,造成资源浪费,且对深层耦合数据异常的纠正效果欠佳。

3、电网多元数据在连续调度周期内展现出不同的波动特性和更新频率,部分数据项虽然采样频繁但取值稳定,部分数据项偶发波动时却会沿依赖链路对下游关联数据产生连锁影响。识别出兼具高频变化和强传播能力的数据节点,并刻画以其为起点的协同影响范围,是进行针对性优化的前提。同时,不同影响范围内部的数据组织复杂程度各异,按照影响范围的复杂程度安排优化处理的先后顺序,能够在有限计算预算内优先解决信息结构最混乱、协同冲突最突出的数据子集。然而,现有方法缺乏从电网数据自身时序关联网络中定位核心驱动节点、度量其影响子图结构复杂性的有效手段,导致协同优化缺乏明确的作用目标和合理的执行次序。

技术实现思路

1、本发明提供一种基于大数据分析的电网数据协同优化方法,目的在于从海量电网数据构成的时序关联网络中,依据数据波动活跃度和更新频次定位核心数据节点,并以核心数据节点为起点沿时序依赖方向提取协同影响子图,利用图结构熵定量评价各协同影响子图的结构复杂度,按照复杂度高低确定协同优化的处理顺序,实现对大范围、强耦合电网数据的精准优化,降低处理开销,提升数据一致性和时效性。

2、为了实现上述目的,本发明提供如下技术方案:本发明提供一种基于大数据分析的电网数据协同优化方法,应用于电力调度中心服务器,所述方法包括:

3、获取目标电网区域内各数据采集终端在连续调度周期内上传的多元异构电网数据,并对所述多元异构电网数据进行数据格式统一化处理,得到标准电网数据集合。优选的,识别各数据采集终端上传的多元异构电网数据所携带的终端类型标识和通信协议版本号,据此确定各多元异构电网数据的原始数据封装格式;从预设的格式映射规则库中查询与各原始数据封装格式对应的标准封装格式,并对各多元异构电网数据进行数据字段重排和数据类型转换,使各多元异构电网数据转换为具有统一字段顺序和统一数据类型定义的标准电网数据条目;将转换得到的所有标准电网数据条目按照各自携带的采集时间戳的时间先后顺序进行排列,形成标准电网数据集合。通过上述处理,能够将不同终端、不同协议产生的多元异构数据融合为结构统一的时间序列数据,为后续时序关联分析提供一致的数据基础。

4、根据所述标准电网数据集合中各数据项的采集时间戳和数据项类型标识,构建所述目标电网区域的电网数据时序关联图谱,所述电网数据时序关联图谱中的节点对应于不同数据项类型,节点之间的有向边对应于不同数据项类型之间的时序依赖关系。作为本发明的一个技术方案,将所述标准电网数据集合中处于同一采集时间戳下且归属于不同数据项类型标识的各数据项确定为同时间片数据项组,并从每个所述同时间片数据项组中提取出各个数据项类型标识之间的同步共现关系;将每个数据项类型标识作为所述电网数据时序关联图谱的一个节点,并根据所述同步共现关系的时序连续出现次数确定两个节点之间的有向边的指向,若第一数据项类型标识与第二数据项类型标识在连续两个时间片中的同步共现出现次数大于预设次数阈值,则构建从第一数据项类型标识对应的节点指向第二数据项类型标识对应的节点的有向边。优选的,所述同步共现关系的时序连续出现次数是通过滑动时间窗口对所述同时间片数据项组中不同数据项类型标识的共现频次进行统计得到的,且所述预设次数阈值根据所述连续调度周期内的数据采集总帧数动态调整。这样构建出的时序关联图谱准确刻画了电网数据项之间在时间维度上的动态关联和传导关系。

5、确定所述电网数据时序关联图谱中各节点的数据波动活跃度和各节点的数据更新频次,并基于所述数据波动活跃度和所述数据更新频次,从所述电网数据时序关联图谱中提取出核心数据节点集合。作为优选实施方式,针对每个节点,获取该节点所对应的数据项类型在连续调度周期内的所有数据取值序列,计算每相邻两个数据取值的差值绝对值,并将所有差值绝对值的平均值作为该节点的数据波动活跃度;统计该节点所对应的数据项类型在连续调度周期内发生数据更新的总次数,将总次数与连续调度周期的总时长之间的比值作为该节点的数据更新频次;计算该节点的数据波动活跃度与数据更新频次的乘积值,按照乘积值从大到小的顺序对所有节点进行排序,将排在前n位的节点提取为核心数据节点集合,其中n为正整数。优选的,n的取值根据所述电网数据时序关联图谱的总节点数与预设核心节点比例系数的乘积确定,且所述预设核心节点比例系数与所述目标电网区域的负荷等级相关联。由此提取出的核心数据节点能够反映对电网运行状态影响最大、变化最活跃的关键数据项,为后续协同优化提供明确的起点。

6、以所述核心数据节点集合中的各个核心数据节点为起点,按照所述有向边的指向遍历所述电网数据时序关联图谱,得到各核心数据节点对应的协同影响子图。具体的,从核心数据节点集合中选取一个核心数据节点作为当前起始节点,初始化当前协同影响子图的节点列表和边列表;以当前起始节点为遍历起点,沿着有向边的指向方向执行深度优先遍历,在遍历过程中将每次访问到的节点加入到节点列表中,将每次访问所经过的有向边加入到边列表中;当以当前起始节点为起点的深度优先遍历无法访问到新节点时,将当前的节点列表和边列表所构成的子图作为一个核心数据节点对应的协同影响子图,然后选取下一个未处理的核心数据节点重复执行上述步骤。作为进一步改进,当在深度优先遍历过程中遇到已被访问过的节点时,标记该节点为重复访问节点,获取该重复访问节点在节点列表中的已有访问路径,将当前遍历路径与已有访问路径进行合并形成包含该重复访问节点的闭环路径,并将闭环路径中所有节点标记为强关联节点,继续从该重复访问节点的下一个邻接节点恢复深度优先遍历。这样得到的协同影响子图能够完整覆盖每个核心数据节点在时序依赖链路上的影响范围和反馈回路。

7、计算各协同影响子图的图结构熵,并根据所述图结构熵的大小对所有协同影响子图进行排序,按照排序结果依次对各协同影响子图进行数据协同优化处理。优选的,针对每个协同影响子图,获取该协同影响子图中所有节点的出度值,并根据所有节点的出度值确定该协同影响子图的出度分布概率序列;将出度分布概率序列中每个出度分布概率与其对数形式的乘积进行累加,并对累加结果取负值,得到该协同影响子图的图结构熵;按照图结构熵从大到小的顺序对所有协同影响子图进行排列,并按照排列顺序依次对每个协同影响子图所包含的各数据项进行数据冗余清洗和数据一致性校正。图结构熵越大表明子图内部关联结构越复杂、协同优化需求越紧迫,优先处理能够尽快消除电网数据中的不一致和冗余问题。在数据协同优化处理时,从当前待处理的协同影响子图的节点列表中提取出所有节点各自对应的数据项类型标识,并根据数据项类型标识从标准电网数据集合中读取对应的数据取值;判断同一数据项类型标识下存在多个相同时间戳的数据取值时,仅保留时间戳最早的一个数据取值,并将剩余相同时间戳的数据取值标记为冗余数据项删除;判断当前协同影响子图的有向边两端节点的数据取值之间是否满足预设的数值范围约束关系,若不满足则根据所述预设的数值范围约束关系对两端节点中指向终点对应的数据取值进行校正。通过面向协同影响子图的有序优化,能够系统性提升电网数据的质量和一致性,保障电力调度决策所依赖的数据基础具有高可靠性和高准确性。

8、本发明具有以下效果:

9、在获取标准电网数据集合并构建电网数据时序关联图谱的基础上,针对图谱中每一个节点,计算其在连续调度周期内数据取值序列的相邻差值绝对值的平均值,作为数据波动活跃度;统计该节点的数据更新总次数与连续调度周期总时长的比值,作为数据更新频次。将数据波动活跃度与数据更新频次的乘积作为节点的综合影响指标,选取乘积值最大的前n个节点构成核心数据节点集合。数据波动活跃度反映了数据项自身取值的震荡幅度,数据更新频次则反映其变化的密集程度,两者相乘能够识别出那些不仅取值变化剧烈而且频繁改变状态的关键数据节点。这类节点往往对应电网运行中负荷、电压等核心状态参数的采集指标,其波动和刷新特征会通过时序依赖关系向关联数据项扩散。以该乘积值筛选核心数据节点,避免了单一采用波动幅度或更新频率造成的误判,使得提取出的节点集合更贴合电网运行中实际具有强驱动效应的数据源头,为后续协同影响范围分析提供了精准的起点。

10、得到核心数据节点集合后,以每个核心数据节点为起点,沿着电网数据时序关联图谱中有向边的指向方向执行深度优先遍历,直至无法访问新节点,所经过的所有节点和有向边构成该核心数据节点对应的协同影响子图。该子图刻画了核心数据节点的波动和变化沿时序依赖路径所能传播到的完整影响范围。针对每个协同影响子图,获取所有节点的出度值并构建出度分布概率序列,将每个出度分布概率与其对数乘积累加后取负值,得到图结构熵。图结构熵量化了子图内部节点连接方式的不均一程度和结构复杂性:出度分布越不均匀、信息组织越混乱的协同影响子图,其图结构熵越大。按照图结构熵从大到小对所有协同影响子图进行排列,优先处理图结构熵最大的子图,意味着将有限的计算资源率先投入到内部依赖结构最复杂、数据协同冲突最严重的子图所对应的数据项集合。在协同优化操作中,对于子图内的数据,执行冗余清洗和基于有向边数值范围约束的一致性校正,能够有效消除核心数据节点引发的连锁数据异常,恢复数据集合内部的逻辑一致性。这种依据图结构熵排序驱动的处理策略,改变了传统全量无差别优化方式,以子图复杂程度为导向分配优化算力,能够在同样的处理时限内取得更显著的数据质量改善效果。

11、根据下文结合附图对本发明具体实施例的详细描述,本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。