异常监控方法、装置、计算机可读介质及处理器与流程

1.本发明涉及监控领域，具体而言，涉及一种异常监控方法、装置、计算机可读介质及处理器。


背景技术：

2.作为联网在线旅游服务(ota)的公司，各业务条线bu基本都是在网上下单支付交易，例如：酒店、机票、火车票、度假、交通、门票等有对应的官网或app入口，会产生大量的订单数据和支付数据。
3.但是，现有技术方案对于各用户的订单数据和支付数据缺乏有效监控。
4.针对上述无法基于历史数据进行异常监控的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种异常监控方法、装置、计算机可读介质及处理器，以至少解决无法基于历史数据进行异常监控的技术问题。
6.根据本发明实施例的一个方面，提供了一种异常监控方法，包括：按照预定时间周期采集特征参数，其中，所述特征参数至少包括：多个监控项的特征值，所述预定时间周期包括：第一采集周期和第二采集周期，所述第一采集周期与所述第二采集周期为相邻的采集周期；获取同一所述监控项在所述第一采集周期和所述第二采集周期采集的特征值，其中，所述监控项在所述第一采集周期采集的特征值为第一特征值，所述监控项在所述第二采集周期采集的特征值为第二特征值；根据每个所述监控项的所述第一特征值和所述第二特征值，确定所述第二采集周期内出现异常的监控项。
7.可选地，根据每个所述监控项的所述第一特征值和所述第二特征值，确定所述第二采集周期内出现异常的监控项包括：确定所述第一特征值在所述第一采集周期内的平均值和方差；基于所述第一特征值的平均值和方差、以及所述第二特征值，确定所述第二采集周期出现异常的监控项。
8.可选地，在根据每个所述监控项的所述第一特征值和所述第二特征值，确定所述第二采集周期内出现异常的监控项之后，所述方法还包括：确定多个所述监控项中出现异常监控项的异常数量；判断所述异常数量是否超过预定阈值；在所述异常数量超过所述预定阈值的情况下，发出异常提示信息。
9.可选地，在根据每个所述监控项的所述第一特征值和所述第二特征值，确定所述第二采集周期内出现异常的监控项之后，所述方法还包括：确定出现异常的所述监控项的上游参数，其中，所述上游参数至少包括：与所述监控项关联的上游项，以及所述上游项的上游特征值；显示所述上游参数。
10.根据本发明实施例的另一方面，还提供了一种异常监控装置，包括：采集单元，用于按照预定时间周期采集特征参数，其中，所述特征参数至少包括：多个监控项的特征值，
所述预定时间周期包括：第一采集周期和第二采集周期，所述第一采集周期与所述第二采集周期为相邻的采集周期；获取单元，用于获取同一所述监控项在所述第一采集周期和所述第二采集周期采集的特征值，其中，所述监控项在所述第一采集周期采集的特征值为第一特征值，所述监控项在所述第二采集周期采集的特征值为第二特征值；第一确定单元，用于根据每个所述监控项的所述第一特征值和所述第二特征值，确定所述第二采集周期内出现异常的监控项。
11.可选地，所述确定单元包括：第一确定模块，用于确定所述第一特征值在所述第一采集周期内的平均值和方差；第二确定模块，用于基于所述第一特征值的平均值和方差、以及所述第二特征值，确定所述第二采集周期出现异常的监控项。
12.可选地，所述装置还包括：第二确定单元，用于在根据每个所述监控项的所述第一特征值和所述第二特征值，确定所述第二采集周期内出现异常的监控项之后，确定多个所述监控项中出现异常监控项的异常数量；判断单元，用于判断所述异常数量是否超过预定阈值；提示单元，用于在所述异常数量超过所述预定阈值的情况下，发出异常提示信息。
13.可选地，所述装置还包括：第三确定单元，用于在根据每个所述监控项的所述第一特征值和所述第二特征值，确定所述第二采集周期内出现异常的监控项之后，确定出现异常的所述监控项的上游参数，其中，所述上游参数至少包括：与所述监控项关联的上游项，以及所述上游项的上游特征值；显示单元，用于显示所述上游参数。
14.根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述所述异常监控方法。
15.根据本发明实施例的再一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述所述异常监控方法。
16.在本发明实施例中，按照预定时间周期采集特征参数，其中，特征参数至少包括：多个监控项的特征值，预定时间周期包括：第一采集周期和第二采集周期，第一采集周期与第二采集周期为相邻的采集周期；获取同一监控项在第一采集周期和第二采集周期采集的特征值，其中，监控项在第一采集周期采集的特征值为第一特征值，监控项在第二采集周期采集的特征值为第二特征值；根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项，可以基于预定时间周期内的数据特征进行异常监控，从而实现了基于历史数据进行异常监控的技术效果，进而解决了无法基于历史数据进行异常监控技术问题。
附图说明
17.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
18.图1是根据本发明实施例的一种异常监控方法的流程图；
19.图2是根据本发明实施例的一种自动化异常的特征监控系统流程的示意图；
20.图3是根据本发明实施例的一种异常监控示例的示意图；
21.图4是根据本发明实施例的一种异常监控装置的示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
23.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.根据本发明实施例，提供了一种异常监控方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
25.图1是根据本发明实施例的一种异常监控方法的流程图，如图1所示，该方法包括如下步骤：
26.步骤s102，按照预定时间周期采集特征参数，其中，特征参数至少包括：多个监控项的特征值，预定时间周期包括：第一采集周期和第二采集周期，第一采集周期与第二采集周期为相邻的采集周期；
27.步骤s104，获取同一监控项在第一采集周期和第二采集周期采集的特征值，其中，监控项在第一采集周期采集的特征值为第一特征值，监控项在第二采集周期采集的特征值为第二特征值；
28.步骤s106，根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项。
29.在本发明实施例中，按照预定时间周期采集特征参数，其中，特征参数至少包括：多个监控项的特征值，预定时间周期包括：第一采集周期和第二采集周期，第一采集周期与第二采集周期为相邻的采集周期；获取同一监控项在第一采集周期和第二采集周期采集的特征值，其中，监控项在第一采集周期采集的特征值为第一特征值，监控项在第二采集周期采集的特征值为第二特征值；根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项，可以基于预定时间周期内的数据特征进行异常监控，从而实现了基于历史数据进行异常监控的技术效果，进而解决了无法基于历史数据进行异常监控技术问题。
30.在上述步骤s102中，第一采集周期可第二采集周期的周期范围不同，第一采集周期在第二采集周期的采集时间之前，第一采集周期的时间范围可以大于第二采集周期。
31.例如，第二采集周期可以是一天，第一采集周期可以是一个月(如30天)。
32.可选地，第一特征值和第二特征值可以是同一时间长度的特征值，例如，第二采集
周期是一天，则第一特征值即为一天的特征值；第一采集周期是一个月(如30天)，第二特征值即为该月平均每一天的特征值(即该月中每天的平均特征值)。
33.在上述步骤s102中，按照预定时间周期采集特征参数包括：按照预定时间周期采集业务数据；提取所述业务数据的特征参数。
34.可选地，上述业务数据可以是多个业务项的业务数据，其中，每个业务项可以作为一个监控项，通过获取每个业务项对应的业务数据，并对业务数据进行特征提取，即可基于该业务项的特征参数对该业务项进行异常监控。
35.可选地，采集周期可以是一分钟，一小时，一天，一个月，或一年等，也可以是根据用户设定的任意时段。
36.在上述步骤s104中，特征值包括：特征数据总量，特征最大值，最小值，平均值，默认值量，空值数据量等，是对业务数据中特征的赋值。
37.在上述步骤s104中，多个健康项的特征值，即特征参数可以通过数据表表示。
38.在上述步骤s106中，可以基于每个监控项的第一特征值和第二特征值之间的差异，确定该监控项是否出现异常。
39.作为一种可选的实施例，根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项包括：确定第一特征值在第一采集周期内的平均值和方差；基于第一特征值的平均值和方差、以及第二特征值，确定第二采集周期出现异常的监控项。
40.本发明上述实施例，基于特征值可以确定对应监控项在每个预定采集周期内平均值和方差，基于第一特征值的平均值和方差、以及第二特征值可以确定该监控项在第二采集周期内是否出现异常。
41.可选地，y＝(第二特征值
‑
第一特征值的平均值)/第一特征值的方差，其中，当y大于等于3时定义对应特征项为异常。
42.作为一种可选的实施例，在根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项之后，方法还包括：确定多个监控项中出现异常监控项的异常数量；判断异常数量是否超过预定阈值；在异常数量超过预定阈值的情况下，发出异常提示信息。
43.可选地，可以统计出现异常的监控项的异常数量，在该异常数量超过预定阈值的情况下，确定出现异常的监控项过多，可以进一步说明该用户的业务数据出现异常，进而发出异常提示信息提示对该用户的业务数据进行核对分析。
44.可选地，异常提示信息可以通过不同颜色标识，或通过不同符号标识。
45.作为一种可选的实施例，在根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项之后，方法还包括：确定出现异常的监控项的上游参数，其中，上游参数至少包括：与监控项关联的上游项，以及上游项的上游特征值；显示上游参数。
46.可选地，同一用户的多个监控项之间可以相互关联，各监控项中的业务数据也会相互影响，在其中的某个监控项出现异常的情况下，可以分析与该监控项关联的其他监控项，即对该监控项的上游项进行分析，确定上游项的上游特征值，并显示与该监控项关联的多个上游项的上游参数，便于工作人员分析异常监控项产生的原因。
47.本发明还提供了一种优选实施例，该优选实施例提供了一种3sigma模型在ota行业中特征监控系统的应用。
48.本发明的目的是：针对联网在线旅游服务(ota)的特征数据，假设这些大数据属于正态分布，或可以通过数学算法转成近似正态分布。基于3sigma模型进行异常判断，实时把异常监控结果发给特征维护人，帮助维护人保证特征数据的准确性。
49.本发明提供的技术方案，基于积累的大量订单数据和支付数据，根据用户的历史表现加工一些特征，在风控环节中添加准入或拒绝的策略，不仅可以降低损失风险，还可以给营销推荐适当客群的推荐，从而增加收入。
50.可选地，数据组读取各bu业务数据，经过数仓分层etl处理，已经在用户uid和用户身份证粒度加工上完个特征。作为策略、模型建立、优化、程信分、营销等的应用基石，准确性的保证变得异常重要。
51.图2是根据本发明实施例的一种自动化异常的特征监控系统流程的示意图，如图2所示，包括步骤如下：
52.步骤s1，特征表加工。获取bu数据(即业务数据)，风控数据数仓处理，特征集市(即采集数据)。
53.步骤s2，信息收集。ods层信息收集，数仓分层信息收集，特征信息收集(即基于采集数据生成特征参数)。
54.步骤s3，3sigma判断。
55.步骤s4，异常判断。进行异常分类，对异常信息进行详细描述。
56.步骤s5，问题原因的分析与处理。
57.可选地，调度平台每天加工特征表，每天使用数据收集工具，例如：特征数据总量，特征最大值，最小值，平均值，默认值量，空值数据量等。
58.可选地，对特征表运行的前一天，批量统计监控字段的监控项的平均值和方差
59.可选地，调度平台加工完成特征表后，下游使用特征前，把数据的各种监控项统计出来与前一天的平均值和方差进行计算：
60.y＝(当天监控项真实值
‑
前一天监控项平均值)/前一天监控项方差。
61.可选地，根据3sigma模型理论，当y大于等于3时定义为异常
62.可选地，针对某个字段进行模型训练，当所有监控项超过一个阈值，邮件自动化发出提醒。
63.图3是根据本发明实施例的一种异常监控示例的示意图，如图3所示。
64.其中，张三当天表收集数据真实值(即第二特征值)为5619，近30天表收集数据平均值(即第一特征值对应的平均值)为694，30天监控项的方差(即第一特征值对应的方差)为1021，则计算的y值为4.82大于3，确定张三对应的监控项出现异常。
65.其中，李四当天表收集数据真实值(即第二特征值)为129，近30天表收集数据平均值(即第一特征值对应的平均值)为48，30天监控项的方差(即第一特征值对应的方差)为33，则计算的y值为2.42小于3，确定李四对应监控项未出现异常。
66.其中，王五当天表收集数据真实值(即第二特征值)为8135954，近30天表收集数据平均值(即第一特征值对应的平均值)为2344728，30天监控项的方差(即第一特征值对应的方差)为1727109，则计算的y值为3.35大于3，确定王五对应的监控项出现异常。
67.其中，赵六当天表收集数据真实值(即第二特征值)为433，近30天表收集数据平均值(即第一特征值对应的平均值)为199，30天监控项的方差(即第一特征值对应的方差)为
150，则计算的y值为1.56小于3，确定赵六对应监控项未出现异常。
68.本发明上述实施例，从繁琐到简单，由不同组不同人对监控内容重复开发重复监控，到监控项统一工具化。
69.本发明上述实施例，从不可控到可量化，在无监控前，特征加工etl只能从任务是否报错进行维护，若无报错，特征会正常加工完成，下游正常使用。加入特征监控后，当天特征数据的监控项系统自动算出，并自动带入监控系统中得出是否异常结论。
70.本发明上述实施例，特征异常可有效跟踪，当异常发生后，特征监控系统把上游相关表列出，并给出case，提高特征维护人找问题原因效率。
71.根据本发明实施例的又一方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述异常监控方法。
72.根据本发明实施例的再一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述异常监控方法。
73.根据本发明实施例，还提供了一种异常监控装置实施例，需要说明的是，该异常监控装置可以用于执行本发明实施例中的异常监控方法，本发明实施例中的异常监控方法可以在该异常监控装置中执行。
74.图4是根据本发明实施例的一种异常监控装置的示意图，如图4所示，该装置可以包括：采集单元42，用于按照预定时间周期采集特征参数，其中，特征参数至少包括：多个监控项的特征值，预定时间周期包括：第一采集周期和第二采集周期，第一采集周期与第二采集周期为相邻的采集周期；获取单元44，用于获取同一监控项在第一采集周期和第二采集周期采集的特征值，其中，监控项在第一采集周期采集的特征值为第一特征值，监控项在第二采集周期采集的特征值为第二特征值；第一确定单元46，用于根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项。
75.需要说明的是，该实施例中的采集单元42可以用于执行本技术实施例中的步骤s102，该实施例中的获取单元44可以用于执行本技术实施例中的步骤s104，该实施例中的第一确定单元46可以用于执行本技术实施例中的步骤s106。上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例所公开的内容。
76.在本发明实施例中，按照预定时间周期采集特征参数，其中，特征参数至少包括：多个监控项的特征值，预定时间周期包括：第一采集周期和第二采集周期，第一采集周期与第二采集周期为相邻的采集周期；获取同一监控项在第一采集周期和第二采集周期采集的特征值，其中，监控项在第一采集周期采集的特征值为第一特征值，监控项在第二采集周期采集的特征值为第二特征值；根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项，可以基于预定时间周期内的数据特征进行异常监控，从而实现了基于历史数据进行异常监控的技术效果，进而解决了无法基于历史数据进行异常监控技术问题。
77.作为一种可选的实施例，确定单元包括：第一确定模块，用于确定第一特征值在第一采集周期内的平均值和方差；第二确定模块，用于基于第一特征值的平均值和方差、以及第二特征值，确定第二采集周期出现异常的监控项。
78.作为一种可选的实施例，装置还包括：第二确定单元，用于在根据每个监控项的第
一特征值和第二特征值，确定第二采集周期内出现异常的监控项之后，确定多个监控项中出现异常监控项的异常数量；判断单元，用于判断异常数量是否超过预定阈值；提示单元，用于在异常数量超过预定阈值的情况下，发出异常提示信息。
79.作为一种可选的实施例，装置还包括：第三确定单元，用于在根据每个监控项的第一特征值和第二特征值，确定第二采集周期内出现异常的监控项之后，确定出现异常的监控项的上游参数，其中，上游参数至少包括：与监控项关联的上游项，以及上游项的上游特征值；显示单元，用于显示上游参数。
80.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
81.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
82.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
83.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
84.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
85.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
86.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。