采集数据的处理方法及系统与流程

1.本发明涉及数据的处理技术领域，尤其涉及一种对采集数据的异常进行判定以及处理的方法及系统。


背景技术：

2.随着大数据时代的来临，数据的采集是所有设备的一个基础操作，而设备的任意参数的采集数据可能存在异常数据，在一些情况下，异常数据会导致采集数据的分析结果不准确，因而需要对采集数据当中的异常数据进行准确的判定和处理。
3.以现有的能源管理系统为例，数据扮演着十分重要的角色，采集上来的数据（即参数的采集数据）出现错误将会导致整个系统统计数据不准确，使用人员不能正确的了解到设备或者整个工厂的能源数据。
4.因而如何能够对异常数据进行快速有效以及准确的判定是业界亟待解决的技术问题。


技术实现要素：

5.为了解决现有技术中异常数据的判定方法要么导致判定不准确，要么导致判定不够快速的技术问题，本发明提出了采集数据的处理方法及系统。
6.本发明提出的采集数据的处理方法，包括：根据预先设置的判断规则对参数的采集数据进行初步异常判定；若初步异常判定为正常，则根据参数的采集数据的变化规律为参数配置对应的阈值；基于所述参数对应的阈值对参数的采集数据进行再次异常判定。
7.进一步，所述判断规则基于对所述参数的类型或者根据所述参数所属的设备的类型进行分类而预先设置，或者所述判断规则根据所述参数的特性或者所述参数所属的设备的特性而预先设置。
8.进一步，根据参数的采集数据的变化规律配置对应的阈值在数据无趋势性时，被配置为恒定阈值。
9.进一步，根据参数的采集数据的变化规律配置对应的阈值在所述采集数据有趋势性时，根据采集数据的趋势性动态配置对应的阈值。
10.进一步，还包括：若再次异常判定为正常，则对参数的采集数据进行相应的差分运算，如果得到的差分序列稳定，则更新参数对应的阈值；基于所述参数更新后的阈值对参数的采集数据进行升级异常判定。
11.进一步，所述差分运算为一阶差分运算。
12.进一步，还包括：将判定为异常的采集数据向用户进行提示，并在用户确定之后，将异常的采集数据进行删除。
13.本发明提出的采集数据的处理系统，采用上述技术方案所述的采集数据的处理方
法对参数的采集数据进行处理，包括：常规异常值判定模块，对参数的采集数据进行所述初步异常判定；特殊异常值判定模块，对参数的采集数据进行所述再次异常判定，或者对参数的采集数据进行所述的再次判定之后再进行其他异常判定。
14.进一步，所述其他异常判定包括升级异常判定。
15.进一步，还包括：异常数据处理模块，用于将判定为异常的采集数据向用户进行提示，并在用户确定之后，将异常的数据进行删除。
16.本发明将数据异常的检测分为多个阶段，通过初步异常判断来快速检测明显的异常数据，之后再通过再次异常判定以及其他异常判定来进一步确保采集数据的准确性。本发明能够快速准确检测到采集上来的异常数据，避免由于采集上来的异常数据导致数据统计以及数据分析出错，从而保障系统数据可信度，同时还能确保数据库表的干净度。
附图说明
17.下面结合实施例和附图对本发明进行详细说明，其中：图1是本发明一实施例的方法流程图。
18.图2是本发明初步异常判定的一实施例的流程图。
19.图3是本发明再次异常判定的一实施例的流程图。
20.图4是本发明系统的一实施例的结构框图。
具体实施方式
21.为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
22.由此，本说明书中所指出的一个特征将用于说明本发明的一个实施方式的其中一个特征，而不是暗示本发明的每个实施方式必须具有所说明的特征。此外，应当注意的是本说明书描述了许多特征。尽管某些特征可以组合在一起以示出可能的系统设计，但是这些特征也可用于其他的未明确说明的组合。由此，除非另有说明，所说明的组合并非旨在限制。
23.如图1至图3所示，本发明的采集数据的处理方法，通过分阶段进行递进式异常判定来快速判定异常，在快速判定之后在进行准确判定。
24.在一个实施例中，本发明先根据预先设置的判断规则对参数的采集数据进行初步异常判定。该判断规则可以是基于对参数的类型或者根据参数所属的设备的类型进行分类而预先设置，或者该判断规则根据参数的特性或者参数所属的设备的特性而预先设置。例如，参数为市电用电量时，则该参数的采集数据不可能为负数，此时可以预先设置一个判断规则，从而快速筛选出一些明显的异常数据，避免这些明显的异常数据增加后续的工作负担。
25.如果在上述步骤中，采集数据经过初步异常判定后，被判定为正常时，则根据参数的采集数据的变化规律为参数配置对应的阈值，基于参数对应的阈值对参数的采集数据进行再次异常判定。
26.在一个实施例中，参数的采集数据的变化规律配置对应的阈值在数据无趋势性时，被配置为恒定阈值，对于恒定阈值，例如时刻t配置的恒定阈值是对历史数据的恒定，在t 1时刻，这个恒定阈值会被新加入的数据更新。在另一个实施例中，根据参数的采集数据的变化规律配置对应的阈值在采集数据有趋势性时，根据采集数据的趋势性动态配置对应的阈值。对于动态阈值是基于固定的移动窗口计算移动平均值和移动标准差，基于两者给出监控的上下界，例如，在时间段t1-t2这个期间，采集数据呈一个快速上升的变化趋势，则可以将时间段t1-t2划分为多个区间，每个区间都有对应的阈值，这些阈值根据时间变化而变化。在时间段t3-t4之间，如果采集数据趋于稳定，则此时可以配置一个恒定阈值，恒定阈值可以是一个恒定取值，也可以是一个上下限取值恒定的阈值范围。
27.如果上述步骤中，采集数据被再次异常判定后仍为正常，则对参数的采集数据进行相应的差分运算，如果得到的差分序列稳定（如差分序列在一个稳定范围内），则为差分序列配置对应的差分阈值，在采集数据被判断正常后，计算差分序列，然后再基于差分阈值判断是否异常，以确保采集数据的准确性。
28.在一个实施例中，差分运算为一阶差分运算，如果差分序列稳定，可对差分序列配置恒定阈值，从而判定采集数据的异常情况。
29.在上述过程中，存在被判定为异常的采集数据时，向用户提示被判定为异常的采集数据，然后可以由用户进行最终确定，是否需要保留对应的异常数据，如果用户确定不需要保留对应的异常数据，则用户确定后，将异常的采集数据进行删除。
30.如图4所示，本发明采集数据的处理系统，至少包括：常规异常值判定模块，特殊异常值判定模块。本发明的采集数据的处理系统采用的就是上述技术方案中的采集数据的处理方法对参数的采集数据进行处理。
31.常规异常值判定模块用来对参数的采集数据进行上述初步异常判定。
32.特殊异常值判定模块用来对参数的采集数据进行上述再次异常判定，或者对参数的采集数据进行上述再次判定之后再进行其他异常判定。如升级异常判定等。
33.在一个进一步的实施例中，本发明的采集数据的处理系统还包括异常数据处理模块。异常数据处理模块用来将判定为异常的采集数据向用户进行提示，并在用户确定之后，将异常的数据进行删除。
34.图4所展示的实施例具体是应用在能源设备中，通过能源设备数据采集模块来获取采集数据。然后先由常规异常值判定模块进行快速的异常数据判定，之后再由特殊异常值进行准确地异常数据判定，两个模块（即常规异常值判定模块和特殊异常值判定模块）得到的异常数据均由异常数据处理模块进行相应的处理。
35.上述过程中能源设备数据采集模块采集底层设备的数据，可以把对应的采集数据上报到服务器，并存储到数据库。常规异常值判定模块中预先设置的判断规则可以形成一个知识库系统，通过该知识库系统来存储所有的判断规则。知识库动态添加判断规则，知识库可以由用户通过页面手动增加相应的规则，也可以根据历史的报警记录结论等其他信息而得到相应规则并动态添加到知识库里面。获得的采集数据优先匹配知识库，根据知识库中的判断规则来检测异常数据。每个被采集并上报上来的数据有相应的标识符如设备类型、设备网关、设备地址或者设备id，通过数据类型或者设备id能够选择知识库中相应的规则
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。