一种网源数据合规校验方法、装置及系统与流程

1.本发明涉及一种网源数据合规校验方法、装置及系统，属于数据校验技术领域。


背景技术：

2.随着电网业务数据规模和数据质量监控规则复杂度的不断增大，目前现有的基于传统数据管理和计算平台的数据质量监控系统的处理能力出现严重的瓶颈，处理效率低下，难以快速完成数据质量的监控和校验，越来越难以满足日常的生产管理和经营决策的需求。
3.现有技术中，通过机器学习的方式进行数据校验，只能学习已有的一些知识，而网源数据中可能存在大量缺失的数据，通过机器学习的方式无法给出结果，因此现有的技术对网源数据处理的准确性以及效率均达不到预期的目标，并且网源协调设计三十多张数据库表结构，十几种文档数据，包括项目核准文件、项目备案文件、并网调度协议、工商营业执照(三证合一)、购售电合同、持证上岗证、发电业务许可证、励磁试验报告、pss试验报告、调速试验报告、进相试验报告、一次调频试验报告、agc试验报告、avc试验报告、标准制度、规章规范等，内容较为复杂，人工校核的方式无法很好的完成整个系统的运维。


技术实现要素：

4.本发明的目的在于克服现有技术中的不足，提供一种网源数据合规校验方法、装置及系统，能够快速定位出缺失数据与不合规数据，提供新的整改方案供客户选择使用。
5.为达到上述目的，本发明是采用下述技术方案实现的：
6.一方面，本发明提供了一种网源数据合规校验方法，包括：
7.获取预先从电厂录入或上传的相关文件，对所述相关文件进行ocr文本图像识别，提取网源数据信息存入数据库；
8.从所述数据库中抽取需要校验的网源数据信息；
9.对所述网源数据信息进行校验规则配置；
10.根据所述校验规则信息进行合规校验，筛选出不合规的数据；
11.将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。
12.进一步的，所述对所述网源数据信息进行校验规则配置，包括：
13.针对所述网源数据信息中不同的数据表，配置不同的校验规则，形成校验规则库，包括印章或签字缺失、不同数据的合格范围以及文件的有效期中的一种或多种。
14.进一步的，所述对所述网源数据信息进行校验规则配置，提供一种业务规则动态配置管理方法，包括：
15.基于规则引擎框架-drools，建立网源业务规则库，按不同的业务类别，配置对应的业务规则；
16.获取校验请求信息，根据请求信息，采用rete算法在规则引擎中进行规则匹配，获取一个或多个校验逻辑规则，当获取多个逻辑规则时，对所述多个逻辑规则进行优先级排
序，并选取最优的校验逻辑规则；
17.通过所述最优的业务逻辑规则，调用相应的服务并执行。
18.进一步的，所述根据所述校验规则信息进行合规校验时，根据不同的数据表进行多线程校验处理。
19.进一步的，还包括：对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。
20.进一步的，所述整改方案模型的构建包括：
21.使用基于卷积神经网络的深度学习方法，通过自顶向下的监督学习的方式，对以往数据不合规的整改方案进行模型训练得到整改方案模型。
22.进一步的，还包括：在生成整改方案时，按匹配程度排序返回多个整改方案供用户选择。
23.第二方面，本发明提供一种网源数据合规校验装置，包括：
24.网源数据信息存储单元，用于获取预先从电厂录入或上传的相关文件，对所述相关文件进行ocr文本图像识别，提取网源数据信息存入数据库；
25.网源数据信息获取单元，用于从所述数据库中抽取需要校验的网源数据信息；
26.校验规则配置单元，用于对所述网源数据信息进行校验规则配置；
27.合规校验单元，用于根据所述校验规则信息进行合规校验，筛选出不合规的数据；
28.整改方案生成单元，用于将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。
29.进一步的，还包括：数据验证单元，用于对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。
30.第三方面，本发明提供一种网源数据合规校验系统，包括：
31.网源数据导入、导出模块，用于提供接口可供用户将网源相关数据根据数据库表导成e文本格式文件或将相对应的e文本文件导入系统；
32.智能校验模块，用于配置数据校验规则，对于相似的功能参数，提供规则模版一键配置，结合规则查找算法进行网源数据智能校验；
33.不合规信息告警模块，用于对于不合规数据进行相应的告警信息展示；
34.整改方案推送模块，用于将不合规的信息输入至整改方案模型中，基于整改方案模型生成的整改方案并推送给对应的系统专责，督促进行系统整改；
35.整改方案自学习模块，用于提供历史的整改方案放入模型进行强化学习训练使得整改方案模型不断完善。
36.第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
37.与现有技术相比，本发明所达到的有益效果：
38.本发明提供一种网源数据合规校验方法、装置及系统，通过快速定位出缺失数据与不合规数据，提供新的整改方案供客户选择使用，能够很好的发现并解决网源协调运维中的各种数据合规问题。
附图说明
39.图1是本发明实施例提供的一种网源数据合规校验方法的方法流程图；
40.图2是本发明实施例提供的网源协调系统的结构示意图。
具体实施方式
41.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
42.实施例1
43.本实施例介绍一种网源数据合规校验方法，包括：
44.获取预先从电厂录入或上传的相关文件，对所述相关文件进行ocr文本图像识别，提取网源数据信息存入数据库；
45.从所述数据库中抽取需要校验的网源数据信息；
46.对所述网源数据信息进行校验规则配置；
47.根据所述校验规则信息进行合规校验，筛选出不合规的数据；
48.将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。
49.本实施例提供的网源数据合规校验方法，其应用过程具体涉及如下步骤：
50.步骤1:数据提取。从mysql或dm数据库中抽取需要校验的网源数据信息。
51.步骤2:校验规则信息配置。首先，针对不同的表数据，配置不同的校验规则，包括不同数据的合格范围以及文件的有效期等内容。
52.提供的业务规则动态配置管理方法，包括：
53.1.基于规则引擎框架-drools，建立网源业务规则库，按不同的业务类别，配置对应的业务规则；
54.2.获取校验请求信息，根据请求信息，采用rete算法在规则引擎中进行规则匹配，获取一个或多个校验逻辑规则，当获取多个逻辑规则时，对所述多个逻辑规则进行优先级排序，并选取最优的校验逻辑规则；
55.3.通过所述最优的业务逻辑规则，调用相应的服务并执行。
56.步骤3:根据校验规则信息进行合规校验。根据抽取的数据表数量进行多线程校验处理。
57.步骤4:数据验证。校验结束生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。
58.步骤5:整改方案生成。每项不合规数据，通过大数据分析结合设备型号、设备参数等信息生成正确的区间数值提供给用户，便于用户进行整改；
59.步骤6:并会将预警原因通过智能语音合成出语音信息。并通过电话的方式自动拨打给预警厂站的联系人，从而实现自动化的预警推送；
60.采用了卷积神经网络以及监督学习的方式对整改方案进行学习，获得最优的整改方案。
61.下面结合一个优选实施例，对上述实施例中设计到的内容进行说明。
62.(1)电厂上传了5份试验报告，填写了汽轮机参数表、燃气发电机组信息表等网源数据；
63.(2)系统自动提取试验文档所含的网源合规信息并入库；
64.(3)根据程序设定好的校验周期到指定时间对该电厂的数据进行合规校验；
65.(4)校验结果显示电厂缺失avc试验报告1份，汽轮机参数表汽轮机主汽压力字段数据异常，并提示可能的范围为(12
‑‑
14mpa)；
66.(5)电厂重新上传缺失的文件并按要求修改相应数据表；
67.(6)根据整改方案模型，智能生成整改方案。
68.a、使用基于卷积神经网络(cnn)的深度学习方法，通过自顶向下的监督学习的方式，对以往数据不合规的整改方案进行模型训练得到整改方案模型。
69.b、当上报网源数据存在不合规项时，将其送入上述训练得到的整改方案模型中，该整改方案模型可以根据不合规项从历史的整改方案中智能合成新的整改方案。
70.c、对于每一项不合规的数据或者几项不合规数据通过与该项的历史数据比对分析，生成不同的整改方案，对于生成的整改方案中，具有冲突或者作用类似的可以进行选择。
71.d、为了提高整改方案的准确性，在生成整改方案时，按匹配程度排序返回多个整改方案，用户可以选择更加合适的整改方案。用户选择合适的整改方案后会将选择方案放入模型进行强化学习训练使得整改方案模型不断完善。
72.实施例2
73.本实施例提供一种网源数据合规校验装置，包括：
74.网源数据信息存储单元，用于获取预先从电厂录入或上传的相关文件，对所述相关文件进行ocr文本图像识别，提取网源数据信息存入数据库；
75.网源数据信息获取单元，用于从所述数据库中抽取需要校验的网源数据信息；
76.校验规则配置单元，用于对所述网源数据信息进行校验规则配置；
77.合规校验单元，用于根据所述校验规则信息进行合规校验，筛选出不合规的数据；
78.整改方案生成单元，用于将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。
79.进一步的，还包括：数据验证单元，用于对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。
80.实施例3
81.本实施例提供一种网源数据合规校验系统，包括：
82.网源数据导入、导出模块，用于提供接口可供用户将网源相关数据根据数据库表导成e文本格式文件或将相对应的e文本文件导入系统；
83.智能校验模块，用于配置数据校验规则，对于相似的功能参数，提供规则模版一键配置，结合规则查找算法进行网源数据智能校验；
84.不合规信息告警模块，用于对于不合规数据进行相应的告警信息展示；
85.整改方案推送模块，用于将不合规的信息输入至整改方案模型中，基于整改方案模型生成的整改方案并通过语音合成音频，自动发送短信或拨打电话推送给对应的系统专责，督促进行系统整改；
86.整改方案自学习模块，用于提供历史的整改方案放入模型进行强化学习训练使得整改方案模型不断完善。
87.实施例4
88.本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例1中任一项所述方法的步骤。
89.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。