一种潮流数据错误校验方法、系统、设备及介质与流程

摘要: 本发明涉及数据校验,尤其涉及一种潮流数据错误校验方法、系统、设备及介质。背景技术:1、现有的潮流计算主要侧重于计算方法等方面,针对潮流计算的数据相关的潮流计算方...
一种潮流数据错误校验方法、系统、设备及介质与流程

本发明涉及数据校验,尤其涉及一种潮流数据错误校验方法、系统、设备及介质。

背景技术:

1、现有的潮流计算主要侧重于计算方法等方面,针对潮流计算的数据相关的潮流计算方法没有相关校验功能,目前大多存在以下问题:

2、整体数据量大,缺乏智能查错的功能,存在数据移位、数据编写错误等导致潮流数据无法应用,进而导致潮流计算失败;新型电力系统的复杂特性,对计算数据、分析场景、软件支撑以及计算分析人员的理论认知和技术水平都提出了更高的要求,整个网区内的数据是由总调一直下沉至地调,数据量高达6万行,故需减少对数据校核的时间,提高工作效率。

技术实现思路

1、鉴于上述现有存在的问题,提出了本发明。因此,本发明提供了一种潮流数据错误校验方法解决上述问题。

2、为解决上述技术问题,本发明提供如下技术方案:

3、第一方面,本发明提供了一种潮流数据错误校验方法,包括:

4、构建结构化基准规范库,获取潮流计算数据,并将数据进行融合处理,生成统一结构化数据模型;

5、对所述统一结构化数据模型进行多级校验,获取数据校验结果,所述多级校验包括用于检测数据格式的语法层校验以及用于验证电网物理连接关系的拓扑层校验;

6、基于所述数据校验结果,对不同错误类型的校验数据进行差异化修复,获取数据修复结果;

7、基于所述数据校验结果及数据修复结果,按预设周期统计各错误类型的分析数据,生成多维度可视化分析报告,并自动推送至接收端。

8、作为本发明所述的一种潮流数据错误校验方法的一种优选方案,其中:构建结构化基准规范库,获取潮流计算数据,并将数据进行融合,生成统一结构化数据模型,包括:

9、基于数字仿真平台的标准步长规范,构建结构化基准规范库;

10、从多级调度系统中获取潮流计算基础数据,并通过知识图谱技术与语义识别技术,将数据与所述结构化基准规范库进行融合,生成统一结构化数据模型;

11、其中,所述融合包括从结构规范维度、关系特征维度及数值约束维度提取特征,构建多维度数据质量画像,并将非结构化文本数据经自然语言处理转化为结构化特征向量,与原始结构化数据进行字段级对齐。

12、作为本发明所述的一种潮流数据错误校验方法的一种优选方案,其中:对所述统一结构化数据模型进行多级校验包括:

13、所述语法层校验包括:基于正则表达式模板库对待校验数据行进行格式扫描,识别不同类型的数据错误,输出语法校验结果,所述语法校验结果包括错误类型编码、错误位置及结构化修改建议;

14、所述拓扑层校验包括:基于经过语法层校验后的数据,构建电网拓扑图,采用广度优先搜索算法进行连通性校验以检测孤立节点或孤立子图,采用深度优先搜索算法结合三色标记法进行环路检测与层级归属校验,并基于基尔霍夫电压定律进行功率平衡辅助校验,输出拓扑校验结果;

15、本优选方案的有益效果是通过语法校验中的正则表达式模板库和差异定位算法,能够自动识别并精确定位数据错误,通过拓扑层校验中的广度优先搜索连通性检测,能够准确识别孤立节点、孤立子图等连接错误,显著降低数据的人力投入,缩短电网分析计算周期。

16、作为本发明所述的一种潮流数据错误校验方法的一种优选方案,其中:基于所述数据校验结果,对不同错误类型的校验数据进行差异化修复,包括:

17、对于格式类错误且可自动修复置信度高于预设阈值的数据,进行格式错误自动修复,即基于包含预定义修复模板的修复模板库进行模板匹配修复或动态补全修复;

18、对于数值越界或功率不平衡异常,进行数值越界辅助修复,即基于历史同期同类数据的统计分布特征生成修正建议值,并通过交互式界面供运维人员确认;

19、对于其他数据异常,进行人工协同修复,即提供相似历史案例推荐、多维数据对比视图及可疑数据段自动标注,辅助运维人员完成修正,并将修正操作自动转化为新的修复规则加入所述修复模板库;

20、本优选方案的有益效果是通过预定义修复模板,能够自动清除多啧数据错误,基于历史同期同类数据的统计分布和相似工况检索,对超出合理范围的数值生成修正建议值及置信度评估,避免盲目修改或误判。

21、作为本发明所述的一种潮流数据错误校验方法的一种优选方案,其中:生成多维度可视化分析报告包括:

22、按周期统计错误分析数据、修复数据以及拓扑异常的地理空间分布,所述错误分析数据包括错误类型分布、数据来源质量、错误检出时间趋势、卡片类型错误率;

23、将统计的数据以多种图形形式进行可视化展示,自动汇总生成周期性数据质量分析报告,推送至接收端。

24、作为本发明所述的一种潮流数据错误校验方法的一种优选方案,其中:从结构规范维度、关系特征维度及数值约束维度提取特征,包括:

25、基于结构规范维度提取数据行的字段长度、分隔符类型、卡片类型、数值精度、空值分布、字符编码、行长度及字段排序特征;

26、基于关系特征维度,通过公共信息模型构建电网拓扑知识图谱,将电网设备作为节点,电气连接关系作为边,并设定设备属性与关系属性;

27、基于数值约束维度,通过标准步长参数表对数值字段进行步长合规性检测及范围越界检测。

28、作为本发明所述的一种潮流数据错误校验方法的一种优选方案,其中:所述语法层校验还包括:

29、构建正则表达式模板库,所述模板库按照校验对象和校验粒度划分为卡片级校验规则、字段级校验规则、通用格式异常检测规则和版本适配层规则;

30、进行数据校验时,按行读取潮流数据文件,对数据行依次进行通用格式检测、卡片类型识别、卡片级模板匹配及字段级规则匹配,当模板匹配失败时,通过差异定位算法确定错误信息,并采用编辑距离算法生成从当前数据行到模板期望格式的修改建议;

31、对检测到的错误建立结构化的错误类型编码体系,根据识别的错误类型生成差异化的处理策略。

32、第二方面,本发明提供了一种潮流数据错误校验系统,包括:

33、采集处理模块,用于构建结构化基准规范库,获取潮流计算数据,并将数据进行融合处理,生成统一结构化数据模型;

34、校验模块,用于对所述统一结构化数据模型进行多级校验,获取数据校验结果,所述多级校验包括用于检测数据格式的语法层校验以及用于验证电网物理连接关系的拓扑层校验;

35、修复模块,用于基于所述数据校验结果,对不同错误类型的校验数据进行差异化修复,获取数据修复结果;

36、可视化模块,用于基于所述数据校验结果及数据修复结果,按预设周期统计各错误类型的分析数据,生成多维度可视化分析报告,并自动推送至接收端。

37、第三方面,本发明提供了一种计算机设备,包括:

38、存储器和处理器;

39、所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现所述一种潮流数据错误校验方法的步骤。

40、第四方面,本发明提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现所述一种潮流数据错误校验方法的步骤。

41、与现有技术相比,本发明的有益效果:本发明基于标准步长构建基准规范库,利用正则表达式模板与知识图谱技术集成电网数据标准与dsp规范,形成结构化校验规则库;并基于基准规范库信息实现三级调度数据的时空对齐与冲突消解,利用自然语言处理与双向lstm注意力机制技术构建自动数据拼接模型;提出了多层校验分析功能,对于数据移位、多空格等重复性错误缺乏智能校核能力的问题,基于正则表达式语法校验和图搜索拓扑校验技术提出数据修改意见,对错误数据类型进行自动分析形成可视化图形;提出了智能修复功能,通过模板匹配修复和统计推断辅助修复技术进行数据自动修复,以及对统计数据进行可视化分析展示。