全链路生产数据质量智能诊断系统的制作方法

1.本发明属于计算机软件技术领域，具体为全链路生产数据质量智能诊断系统。


背景技术：

2.管理和诊断源系统数据质量：一般是从源系统数据录入界面施加更好的限制来杜绝数据质量问题，如在应用系统中，让用户需填写某项数据时，设置可选择的数据范围，让用户通过下拉框进行选择，而不是输入框进行数据录入。还有在不同系统之间的数据交换时，需制定符合数据质量标准的接口规范。调用第三方系统，使用双方约定好数据接口规范等；数据质量知识管理是将系统建设和数据开发整合到项目开发的生命周期中，并伴随系统演进对它进行管理与维护。如元数据管理、系统文档和培训教材在利益相关者之间共享，包括数据质量的检测结果等。数据管理者通过制定数据质量标准和数据管控考核，分析数据质量问题和数据质量迭代整改计划制定和推动，数据使用的管理。数据消费者仍有正确使用数据的责任，且负有了解数据知识的责任，必须知道他们使用的数据表示什么以及如何表示的，还有如何正确使用数据的责任。从数据管理者、数据生产者到下游数据消费者需要被连接起来，以便通过数据链来创建更好的数据。
3.对于数据整合应用，通常会面临多个源系统，以及不同的业务类型数据，就会存在数据模式相关性差异大,以及不同的数据模型和模式设计,命名冲突,结构冲突或不合理等问题，也存在数据实例相关的数据中有矛盾的或不一致的数据，以及不一致的数据聚集层次，和不一致的数据时间点等问题。由于数据传输层级、数据链路复杂，一般的数据etl工具无法诊断出传输过程中的数据异常，造成只看到异常结果，无法智能诊断异常的原因，最终导致数据延迟或者数据错误。


技术实现要素：

4.本发明的目的在于：为了解决上述提出的问题，提供全链路生产数据质量智能诊断系统。
5.本发明采用的技术方案如下：全链路生产数据质量智能诊断系统，所述全链路生产数据质量智能诊断系统包括：站控系统scada、区域中心rcc、调度中心dcc、实时数据库、节点上的信息；节点上的信息包括生产数据的点位号、描述、源地址、上位机地址、数据时间戳、数据频率
6.在一优选的实施方式中，所述全链路生产数据质量智能诊断系统运行时包括以下步骤：
7.s1:站控系统scada、区域中心rcc、调度中心dcc的生产数据，通过上位机数据采集程序，定时进行采集，实时数据库存储的生产实时数据，通过实时数据采集程序进行定时批量采集，数据统一入库存储；
8.s2:数据质量智能诊断程序，利用算法进行数据研判，能对数据中断节点、数据波动异常节点、以及业务规则校验异常节点数据异常情况进行智能判断；
9.s3:将异常情况以工作任务方式，通知各数据节点的管理人员进行处理，同时在数据平台进行预警提醒；
10.s4:将数据异常情况、处置结果及节点信息进行归档，自动纳入专家知识库，便于类似数据异常情况的核查和处理。
11.在一优选的实施方式中，所述步骤s4中，支持数据质量情况的统计分析。
12.在一优选的实施方式中，所述智能诊断系统的核心算法包括以下步骤：
13.s1:完成全链路数据节点的点表异常诊断，通过比较点表的历史数据，以及最新采集到的点表数据，进行智能比对；
14.s2:数据异常诊断，系统已经利用生产数据的历史数据进行了大数据建模，并完成数据特征训练和每个数据项的波动率范围，监测周期内的数据方差正常范围，以及数据连续性特征都可以实时研判；
15.s3:进行数据的业务逻辑校验，对生产数据的一致性、正确性及完整性进行校验，校验规则可动态的增减和配置；
16.s4:诊断程序完成运算后，将异常情况自动输入到“数据质量任务流程”，提醒数据管理人员进行处理。
17.在一优选的实施方式中，所述步骤s1中，包含的稽核规则有“总数稽核、异常增减记录”，异常增加记录，自动关联系统所有新增申请流程和删除申请流程，判断是否为人为操作，从而归入异常情况。
18.在一优选的实施方式中，所述步骤s2中，每次研判及人工干预确认后，还可以动态修正和调整模型的参数。算法采用首尾节点向中间节点逐级递进，将全链路数据质量进行完整的诊断。
19.综上所述，由于采用了上述技术方案，本发明的有益效果是：
20.本发明中，系统利用计算机软件技术，将生产数据全链路数据节点进行科学管理，对节点数据质量进行集中监测与诊断，诊断算法符合数据质量标准规定的“数据一致性、完整性、正确性”的要求，由于传输链路复杂等原因，系统创新采用首尾节点向中间节点逐级递进的方式，优先比对首位节点数据质量，有问题则向中间节点双向递进，逐级进行比对和校验，提高运算效率50％以上，更是利用大数据模型，将生产数据的变化趋势，数据频率及波动率进行了特征分析，用于异常数据的高效校验，结合生产数据的业务校验规则，进一步从数据逻辑合规性进行校验，对异常情况进行及时告警提醒，从而保障每日生产数据能及时准确的进行处理，系统运行以来，数据的自动生成率从90％提升到96％，数据准确率从85％提升到98％，基本做到了当日异常，当日处理。
附图说明
21.图1为本发明的系统框图；
22.图2为本发明中系统流程图。
具体实施方式
23.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不
用于限定本发明。
24.参照图1-2，
25.所述全链路生产数据质量智能诊断系统运行时包括以下步骤：
26.s1:站控系统scada、区域中心rcc、调度中心dcc的生产数据，通过上位机数据采集程序，定时进行采集，实时数据库存储的生产实时数据，通过实时数据采集程序进行定时批量采集，数据统一入库存储；
27.s2:数据质量智能诊断程序，利用算法进行数据研判，能对数据中断节点、数据波动异常节点、以及业务规则校验异常节点数据异常情况进行智能判断；
28.s3:将异常情况以工作任务方式，通知各数据节点的管理人员进行处理，同时在数据平台进行预警提醒；
29.s4:将数据异常情况、处置结果及节点信息进行归档，自动纳入专家知识库，便于类似数据异常情况的核查和处理。
30.所述智能诊断系统的核心算法包括以下步骤：
31.s1:完成全链路数据节点的点表异常诊断，通过比较点表的历史数据，以及最新采集到的点表数据，进行智能比对
32.s2:数据异常诊断，系统已经利用生产数据的历史数据进行了大数据建模，并完成数据特征训练和每个数据项的波动率范围，监测周期内的数据方差正常范围，以及数据连续性特征都可以实时研判
33.s3:进行数据的业务逻辑校验，对生产数据的一致性、正确性及完整性进行校验，校验规则可动态的增减和配置；
34.s4:诊断程序完成运算后，将异常情况自动输入到“数据质量任务流程”，提醒数据管理人员进行处理。
35.实施例：
36.针对生产数据中的油压、套压的传输异常中断，以及数据异常波动等情况，本软件实时监测和智能诊断，及时提醒用户处理异常，避免第二天日数据不准确或者缺失的情况发生。以上实例，程序处理步骤如下：
37.步骤一，判断某采气井油压(简称a)、套压(简称b)所在井站的站控系统，是否存在a和b的静态描述，以及点号是否发生变更，如果有变更，是否存在对应的申请流程。如果已被人为删除或者变更点号，直接写入异常处理流程，如无异常，进入下一步判断。
38.步骤二，获取某采气井油压(简称a)、套压(简称b)数据，数据已经通过采集程序存储到系统数据库，a和b当前监测时间点，分别有四组数据，依次是站控系统数据、区域中心rcc数据、调度中心dcc数据以及实时数据库数据。
39.步骤三，执行首尾节点向中间逐级递进方式的诊断算法，先比对站控系统与实时数据库，a和b数据的一致性、正确性及完整性，并且与a和b的大数据特征进行比对，具体规则如下:a和b在当前周期，应该产生600条数据，并且具有连续和规律的时间戳，单条数据的时间戳允许有差异，但数据的间隔应为一致；a和b是否在正常波动范围之内；a和b是否符合油压和套压的业务逻辑验证(套压大于油压、是否处于关井状态、是否处于开井状态、是否处于开井后两小时)；a和b当前数组，方差是否符合大数据模型中a和b的数据方差特征范围。以上判断任何一个判断出现异常，程序自动记录异常原因，异常的节点，如无异常，再比
较区域中心rcc与调度中心dcc上，a和b数据的一致性、正确性及完整性，以及大数据校验，业务逻辑校验。
40.步骤四，以上任一环节的校验结果，将存储到系统数据库，如有异常，自动调用数据质量任务流程接口，自动生成任务数据。
41.步骤五，如果人工判定异常数据为正常状态，系统自动修正大数据模型的相关参数，以便后续能更准确的进行研判系统利用计算机软件技术，将生产数据全链路数据节点进行科学管理，对节点数据质量进行集中监测与诊断，诊断算法符合数据质量标准规定的“数据一致性、完整性、正确性”的要求，由于传输链路复杂等原因，系统创新采用首尾节点向中间节点逐级递进的方式，优先比对首位节点数据质量，有问题则向中间节点双向递进，逐级进行比对和校验，提高运算效率50％以上，更是利用大数据模型，将生产数据的变化趋势，数据频率及波动率进行了特征分析，用于异常数据的高效校验，结合生产数据的业务校验规则，进一步从数据逻辑合规性进行校验，对异常情况进行及时告警提醒，从而保障每日生产数据能及时准确的进行处理，系统运行以来，数据的自动生成率从90％提升到96％，数据准确率从85％提升到98％，基本做到了当日异常，当日处理。
42.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
43.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。