电力数据校验方法、系统及装置与流程
本技术涉及电力信息,特别是涉及一种电力数据校验方法、系统及装置。
背景技术:
1、随着电力现货市场不断发展,市场产生机组申报、负荷预测、出清结算等大量业务数据,现有数据校核多采用硬编码校验方式。
2、传统方案针对每类数据单独编写校验代码,依靠固定阈值完成基础核查,并且,有核查过程中还需人工区分数据匹配校验程序,智能化程度低,难以满足现货市场高频、实时的数据校核需求。
3、因此,如何在保证电力数据校验精准性的前提下,提高电力数据的校验效率,是亟需解决的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种电力数据校验方法、系统及装置,能够在保证电力数据校验精准性的前提下,提高电力数据的校验效率。
2、第一方面,本技术提供了一种电力数据校验方法,包括:
3、获取原始数据,通过数据预处理智能体,对原始数据进行数据预处理,得到待校验数据;
4、通过意图识别智能体,对待校验数据进行意图识别,确定待校验数据的数据类型,并根据数据类型,确定待校验数据对应的校验规则;
5、通过数据校验智能体,结合校验规则,对待校验数据进行数据校验,得到原始数据的数据校验结果。
6、在其中一个实施例中,数据校验智能体包括数据质量校验智能体、数据范围校验智能体和数据合理性校验智能体;相应的,通过数据校验智能体,结合校验规则,对待校验数据进行数据校验,得到原始数据的数据校验结果,包括:
7、通过数据质量校验智能体,结合校验规则中配置的数据质量判定规则,对待校验数据进行数据质量校验,得到第一校验结果;
8、通过数据范围校验智能体,结合校验规则中配置的数值阈值与区间设置规则,对待校验数据进行数据范围校验,得到第二校验结果;
9、通过数据合理性校验智能体,结合校验规则中配置的业务逻辑判断规则,对待校验数据进行逻辑推理校验,得到第三校验结果;
10、根据第一校验结果、第二校验结果和第三校验结果中的至少一种,确定原始数据的数据校验结果。
11、在其中一个实施例中,数据质量校验包括完整性校验、唯一性校验、一致性校验和时效性校验中的至少一种;数据范围校验包括取值范围校验和参数配比校验中的至少一种。
12、在其中一个实施例中,通过意图识别智能体,对待校验数据进行意图识别,确定待校验数据的数据类型,包括:
13、通过意图识别智能体,提取待校验数据的关键字段、数据取值特征和业务场景特征;
14、根据关键字段、数据取值特征和业务场景特征中的至少一种,构建待校验数据对应的数据特征向量;
15、将数据特征向量与预构建的各类电力类型特征模板库进行匹配比对,确定待校验数据的数据类型;
16、其中,数据类型包括机组申报数据、日前负荷预测数据、实时出清数据、交易结算数据和电网阻塞约束数据中的至少一种。
17、在其中一个实施例中,根据数据类型,确定待校验数据对应的校验规则,包括:
18、调取预存的各类电力数据与轻量化可配置业务skill校验规则的绑定关系;
19、将数据类型匹配到的skill校验规则,确定为待校验数据对应的校验规则。
20、在其中一个实施例中,电力数据校验系统还包括告警智能体;相应的,该方法还包括:
21、通过告警智能体,根据原始数据的数据校验结果和校验规则中配置的风险评级标准,对数据校验结果中的各类异常数据进行等级划分;
22、根据划分后的异常等级,生成原始数据对应的分级告警信息;分级告警信息包括标注异常字段、异常类型和异常产生原因中的至少一种。
23、在其中一个实施例中,该方法还包括:
24、根据分级告警信息,生成原始数据对应的数据校验报告;
25、将原始数据、原始数据对应的校核规则、原始数据的数据校核结果和数据校验报告进行关联存储,生成原始数据对应的数据校验日志。
26、第二方面,本技术还提供了一种电力数据校验系统,电力数据校验系统包括数据预处理智能体、意图识别智能体和数据校验智能体;
27、数据预处理智能体,用于对原始数据进行数据预处理,得到待校验数据;
28、意图识别智能体,用于对待校验数据进行意图识别,确定待校验数据的数据类型,并根据数据类型,确定待校验数据对应的校验规则;
29、数据校验智能体,用于结合校验规则,对待校验数据进行数据校验,得到原始数据的数据校验结果。
30、在其中一个实施例中,电力数据校验系统还包括告警智能体;
31、告警智能体,用于根据原始数据的数据校验结果和校验规则中配置的风险评级标准,对数据校验结果中的各类异常数据进行等级划分,并根据划分后的异常等级,生成原始数据对应的分级告警信息;分级告警信息包括标注异常字段、异常类型和异常产生原因中的至少一种。
32、第三方面,本技术还提供了一种电力数据校验装置,包括:
33、预处理模块,用于获取原始数据,通过数据预处理智能体,对原始数据进行数据预处理,得到待校验数据;
34、规则确定模块,用于通过意图识别智能体,对待校验数据进行意图识别,确定待校验数据的数据类型,并根据数据类型,确定待校验数据对应的校验规则;
35、校验模块,用于通过数据校验智能体,结合校验规则,对待校验数据进行数据校验,得到原始数据的数据校验结果。
36、第四方面,本技术还提供了一种计算机设备,包括存储器和处理器,该存储器存储有计算机程序,该处理器执行该计算机程序时实现以下步骤:
37、获取原始数据,通过数据预处理智能体,对原始数据进行数据预处理,得到待校验数据;
38、通过意图识别智能体,对待校验数据进行意图识别,确定待校验数据的数据类型,并根据数据类型,确定待校验数据对应的校验规则;
39、通过数据校验智能体,结合校验规则,对待校验数据进行数据校验,得到原始数据的数据校验结果。
40、第五方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下步骤:
41、获取原始数据,通过数据预处理智能体,对原始数据进行数据预处理,得到待校验数据;
42、通过意图识别智能体,对待校验数据进行意图识别,确定待校验数据的数据类型,并根据数据类型,确定待校验数据对应的校验规则;
43、通过数据校验智能体,结合校验规则,对待校验数据进行数据校验,得到原始数据的数据校验结果。
44、第六方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
45、获取原始数据,通过数据预处理智能体,对原始数据进行数据预处理,得到待校验数据;
46、通过意图识别智能体,对待校验数据进行意图识别,确定待校验数据的数据类型,并根据数据类型,确定待校验数据对应的校验规则;
47、通过数据校验智能体,结合校验规则,对待校验数据进行数据校验,得到原始数据的数据校验结果。
48、上述电力数据校验方法、系统及装置,通过数据预处理智能体自动清洗、标准化多源原始电力数据,无需人工整理异构数据,前置处理效率更高;再由意图识别智能体提取数据特征自动识别数据类型并匹配专属skill校验规则,省去人工区分数据、手动选配校验标准的步骤,避免人工操作失误;最后由数据校验智能体依据匹配好的校验规则完成质量、数值范围、业务合理性全维度校验,同步识别显性脏数据与隐性逻辑异常。整套流程全链路自动化运行,能够适配电力现货大批量高频数据校核场景,降低人工成本,提升数据校验实时性与全面性,保障电力市场交易、调度数据准确可靠。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com