基于密度算法的测点数据异常值的检测方法、系统及设备与流程

1.本发明属于dcs传输数据的处理，主要涉及异常值检测领域，具体为基于密度算法的测点数据异常值的检测方法、系统及设备。


背景技术：

2.在分散控制系统（dcs）运行中，控制器会将海量的测点数据上送至数据库中，数据库根据上送测点数据的控制器编号和测点类型在数据库中以数据表的形式存储。在分散控制系统（dcs）中，控制器根据测点类型以不同的周期将测点数据上送至数据库中，其中，开关量测点按照5分钟或者开关量测点数值改变存至对应的数据表中；模拟量按照1秒为周期存储至数据库中对应的数据表中。因此在数据库中会存储海量的测点数据。而随着数据挖掘技术的快速发展，人们在关注数据整体趋势的同时，开始越来越关注那些明显偏离数据整体趋势的离群数据点，也被称作异常值，因为这些数据点往往蕴含着更加重要的信息，而处理这些异常值要依赖于相应的数据值异常检测算法。
3.而在电厂实际运行过程中，在电数字数据处理下会有海量的测点来记录设备的运行情况，因此也会产生海量的数值；针对海量的测点数值分析，传统的方法往往是通过观察某段区间内测点的曲线走势去发现可能产生异常的情况。传统方法分析异常值的方法更多的是依靠电厂运行人员的工作经验去判断测点是否产生异常，并且仅依靠对测点曲线走势的观察，难以在短时间内快速准确定位到异常值产生的具体时间，且有可能会忽略某些异常值的产生。


技术实现要素：

4.针对现有技术中对分析异常值的方法通过运行人员的工作经验进行判断并且仅依靠对测点曲线走势的观测存在难以在短时间内快速准确定位到异常值产生的具体时间，且有可能会忽略某些异常值的产生问题，本发明提供基于密度算法的测点数据异常值的检测方法、系统及设备，采样基于密度的lof算法计算每一个测点的离群因子，通过离群因子判断测点在每一时刻的值是否为异常值，大大提高了对异常值检测的准确性。
5.本发明是通过以下技术方案来实现：一种基于密度算法的测点数据异常值的检测方法，包括如下步骤：设置测点信息，所述测点信息为分散控制系统测点数据信息，将测点信息输入至数据库访问代理中；数据库访问代理进行测点信息的查询，得到与测点信息相关的测点数据；建立测点导出模板，测点数据通过测点导出模板进行测点数据的导出；导出的测点数据通过密度算法计算得到测点数据的离群因子，并通过对离群因子来判断得出测点数据是否为正常值或异常值。
6.优选的，设置测点信息包括在测点自定义检索界面设置测点查询检索条件和在测点添加界面设定所需分析的测点名称。
7.进一步的，在测点自定义检索界面中设置测点查询检索条件包括起止时间、采样间隔和数据统计类型。
8.优选的，数据库访问代理根据测点信息依次从历史库中检索到与测点信息相关的测点数据。
9.优选的，在建立测点导出模板时，对所需导出的测点信息以及时间序列作为数据项加入到模板中，使得导出的测点原始数据符合时间序列数据格式。
10.优选的，密度算法采用lof算法，其中lof算法对每一个测点原始数据中的测点值进行计算得到每一个测点值的离群因子。
11.进一步的，lof算法计算数据集中每个时间序列值的离群因子，通过判断每个时间序列值的离群因子是否接近于1来检测出测点数据的离群值。
12.更进一步的，测点异常值的具体判断方法为：当离群因子大于1时，则在当前时间序列值的测点值可判断为异常值；当离群因子小于1时，则在当前时间序列值的测点值可判断为正常值。
13.一种基于密度算法的测点数据异常值的检测系统，包括数据输入模块、数据查询模块、处理器模块和数据判断模块；数据输入模块，用于设置测点信息，所述测点信息为分散控制系统测点数据信息，将测点信息输入至数据库访问代理中；数据查询模块，用于数据库访问代理进行测点信息的查询，得到与测点信息相关的测点数据；处理器模块，用于建立测点导出模板，测点数据通过测点导出模板进行测点数据的导出；数据判断模块，用于导出的测点数据通过密度算法计算得到测点数据的离群因子，并通过对离群因子来判断得出测点数据是否为正常值或异常值。
14.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述所述基于密度算法的测点数据异常值的检测方法的步骤。
15.与现有技术相比，本发明具有以下有益的技术效果：本发明提供了一种基于密度算法的测点数据异常值的检测方法，首先通过对测点信息进行设置，并将测点信息输入至数据库内，数据库访问代理对测点信息进行查询，并得到与测点信息相关的测点数据；通过对测点数据进行导出，并将导出的测点信息通过密度算法来检测测点数据是否为正常值或异常值；本发明采用借助lof算法可以快速定位出设备在运行过程中产生的异常值，由于lof算法会计算出每一个测点的离群因子，在对原始数据进行异常值定位分析时，仅需要浏览异常因子大于1的那一时刻的异常数据，大大提高了对异常数据的检测效率。通过本发明可以协助电厂相关运行人员快速、高效、准确的分析海量测点数据，避免了依靠运行人员经验对测点数据进行分析可能产生的分析不准确、效率低，且没有一套客观标准的问题。
附图说明
16.图1为本发明中基于密度算法的测点数据异常值的检测方法的流程示意图；
图2为本发明中基于lof密度算法对点o进行异常值检测的效果图；图3为本发明中基于密度算法的测点数据异常值的检测系统结构示意图。
具体实施方式
17.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
18.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
19.参见图1，本发明一个实施例中，提供了一种基于密度算法的测点数据异常值的检测方法，采样基于密度的lof算法计算每一个测点的离群因子，通过离群因子判断测点在每一时刻的值是否为异常值，大大提高了对异常值检测的准确性。
20.具体的，一种基于密度算法的测点数据异常值的检测方法包括如下步骤：设置测点信息，所述测点信息为分散控制系统测点数据信息，将测点信息输入至数据库访问代理中；具体的，设置测点信息包括在测点自定义检索界面设置测点查询检索条件和在测点添加界面设定所需分析的测点名称。
21.其中，在测点自定义检索界面中设置测点查询检索条件包括起止时间、采样间隔和数据统计类型。
22.数据库访问代理进行测点信息的查询，得到与测点信息相关的测点数据；具体的，数据库访问代理根据测点信息依次从历史库中检索到与测点信息相关的测点数据。
23.建立测点导出模板，测点数据通过测点导出模板进行测点数据的导出；具体的，在建立测点导出模板时，对所需导出的测点信息以及时间序列作为数据项加入到模板中，使得导出的测点原始数据符合时间序列数据格式。
24.导出的测点数据通过密度算法计算得到测点数据的离群因子，并通过对离群因子来判断得出测点数据是否为正常值或异常值。
25.具体的，密度算法采用lof算法，其中lof算法对每一个测点原始数据中的测点值进行计算得到每一个测点值的离群因子。
26.其中，lof算法计算数据集中每个时间序列值的离群因子，通过判断每个时间序列值的离群因子是否接近于1来检测出测点数据的离群值。
27.测点异常值的具体判断方法为：
当离群因子大于1时，则在当前时间序列值的测点值可判断为异常值；当离群因子小于1时，则在当前时间序列值的测点值可判断为正常值。
28.本发明中lof算法的计算异常值的具体流程如下，首先，根据测点数值特征定义一个第k距离，dk(o)，在距离数据点o最近的几个点中，第 k 个最近的点跟点o之间的距离。距离度量采用欧几里得距离度量方式进行计算。
29.然后，定义点o的第k距离邻域，即距离点o距离小于第k距离的点，具体表达式如下：其中，n
k
（o）为点o的第k距离邻域；d（o，p）为点o到点p的第k可达距离。
30.随后，定义以o为中心，点p到点o的第k可达距离：也就是，点o到点p的第k可达距离，至少是点o的第k距离，或者为o， p之间的真实距离。这也意味着，离点o最近的k个点，o到他们的可达距离被认为是相等，且都等于d
k
(o)。
31.定义局部可达密度；局部可达密度是对点p进行度量，而不是点o。它表示点 p 的第 k邻域内所有点到 o的平均可达距离。如果 p和周围邻域点是同一簇，那么可达距离越可能为较小的dk(o) ，导致可达距离之和越小，局部可达密度越大。如果 o和周围邻域点较远，那么可达距离可能会取较大值的d(o，p)，导致可达距离之和越大，局部可达密度越小。
32.局部可达密度公式为：其中，n
k
(p)为点p的第k距离邻域；p
k
（p）为点p的局部可达密度。
33.离群因子计算公式：表示点 p的邻域 n
k
(p)内其他点的局部可达密度与点 p的局部可达密度之比的平均数。
34.由上述公式可知，比值越接近1，说明 o的邻域点密度差不多，点o 可能和邻域同属一簇；如果这个比值小于1，说明o 的邻域点密度高于其邻域点密度，o 为密集点；如果这个比值大于1，说明o 的邻域点密度小于其邻域点密度，o可能是异常点，由图2所示，点o 的邻域点密度小于其邻域点密度，其密度因子大于1，由此可以判断点o为异常点。
35.综上所述，本发明提供了一种基于密度算法的测点数据异常值的检测方法，首先通过对测点信息进行设置，并将测点信息输入至数据库内，数据库访问代理对测点信息进行查询，并得到与测点信息相关的测点数据；通过对测点数据进行导出，并将导出的测点信息通过密度算法来检测测点数据是否为正常值或异常值；本发明采用借助lof算法可以快速定位出设备在运行过程中产生的异常值，由于lof算法会计算出每一个测点的离群因子，在对原始数据进行异常值定位分析时，仅需要浏览异常因子大于1的那一时刻的异常数据，
大大提高了对异常数据的检测效率。通过本方法可以协助电厂相关运行人员快速、高效、准确的分析海量测点数据，避免了依靠运行人员经验对测点数据进行分析可能产生的分析不准确、效率低，且没有一套客观标准的问题。
36.下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未披露的细节，请参照本发明方法实施例。
37.本发明再一个实施例中，提供一种基于密度算法的测点数据异常值的检测系统，如图3所示，能够用于实现上述实施例中的基于密度算法的测点数据异常值的检测方法，具体的，基于密度算法的测点数据异常值的检测系统，包括数据输入模块、数据查询模块、处理器模块、和数据判断模块；其中，数据输入模块，用于设置测点信息，所述测点信息为分散控制系统测点数据信息，将测点信息输入至数据库访问代理中；数据查询模块，用于数据库访问代理进行测点信息的查询，得到与测点信息相关的测点数据；处理器模块，用于建立测点导出模板，测点数据通过测点导出模板进行测点数据的导出；数据判断模块，用于导出的测点数据通过密度算法计算得到测点数据的离群因子，并通过对离群因子来判断得出测点数据是否为正常值或异常值。
38.本发明再一个实施例中，提供了一种计算机设备，该计算机设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor、dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field
‑
programmable gatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于密度算法的测点数据异常值的检测方法的操作。
39.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd
‑
rom、光学存储器等）上实施的计算机程序产品的形式。
40.本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
41.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
42.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
43.最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。