一种线上活动数据多维监控方法及系统与流程

1.本发明涉及数据安全监控技术领域，尤其涉及一种线上活动数据多维监控方法及系统。


背景技术：

2.随着互联网技术的发展，人们愈发依赖网络线上渠道获取信息。对应的，商家为了能够更好的向潜在用户推荐自身服务，也更多的将宣传途径转移至线上，例如设计进行各种线上活动吸引用户参加，能够显著提升现有用户的活跃度，同时对增量用户的挖掘有非常大的帮助。
3.为了确保线上活动的顺利进行以及活动能够达到预期的宣传效果，需要大量数据提供支持。所使用的数据是否准确、可靠，直接决定了线上活动成功与否，不准确的数据不仅会影响活动举行效果，还有可能造成额外的业务风险，必须对活动涉及的数据做到及时监控、有效处理。
4.因此，为保障线上活动数据质量的准确可靠，急需一种自动化执行的活动数据监控体系，以实现每天批次运行过程中，自动对数据准确性进行多方位校验，并提前进行预警，从而降低业务风险，避免可能产生的损失。


技术实现要素：

5.为解决现有技术的不足，本发明提出一种线上活动数据多维监控方法及系统，通过预先配置的监控规则，在活动数据筛选出来之后对数据进行监控,及时阻断异常数据投产使用，并通过灵活的方式通知相关人员，从活动数据的准确性和数据量异常两个维度对线上活动数据进行准确、灵活的监控。
6.为实现以上目的，本发明所采用的技术方案包括：
7.一种线上活动数据多维监控方法，其特征在于，包括：
8.配置数据有效性监控规则；
9.设置当前批次阈值监控设定值；
10.使用数据有效性监控规则验证当前批次数据的有效性，使用当前批次阈值监控设定值验证当前批次数据的数据量；
11.根据有效性和数据量验证结果执行预设操作。
12.进一步地，所述根据有效性和数据量验证结果执行预设操作包括：
13.当前批次数据同时通过有效性和数据量验证时，正常下发当前批次数据；
14.当前批次数据不能通过有效性和/或数据量验证时，拦截当前批次数据并发送告警信息。
15.进一步地，所述告警信息包括当前批次数据不能通过的验证种类。
16.进一步地，所述执行拦截当前批次数据并发送告警信息后，还包括：
17.更新数据有效性监控规则和/或当前批次阈值监控设定值；
18.使用更新后的数据有效性监控规则和/或当前批次阈值监控设定值验证当前批次数据。
19.进一步地，所述配置数据有效性监控规则包括：
20.配置一条或多条同时执行的监控规则，所述监控规则包括规则名称、规则字段、采样方式、过滤条件、校验类型和校验方式；
21.针对每一条存在的监控规则配置对应的期望返回值。
22.进一步地，所述设置当前批次阈值监控设定值包括：
23.设置对应当前批次数据的最大阈值、预警阈值、同比阈值、环比阈值中的一种或多种组合；
24.或，设置当前批次阈值为空。
25.进一步地，所述使用当前批次阈值监控设定值验证当前批次数据的数据量包括：
26.当前批次阈值监控设定值包括最大阈值时，若当前批次数据的数据量验证超过最大阈值，反馈当前批次数据不通过数据量验证；
27.当前批次阈值监控设定值包括最大阈值以及预警阈值、同比阈值、环比阈值中的一种或多种时，若当前批次数据的数据量验证不超过最大阈值但超过预警阈值、同比阈值、环比阈值中的一种或多种，反馈当前批次数据通过数据量验证，同时发送告警信息；
28.当前批次阈值为空时，反馈当前批次数据通过数据量验证。
29.本发明还涉及一种线上活动数据多维监控系统，其特征在于，包括：
30.监控配置模块，用于配置数据有效性监控规则和设置当前批次阈值监控设定值；
31.有效性验证模块，使用数据有效性监控规则验证当前批次数据的有效性；
32.数据量验证模块，使用当前批次阈值监控设定值验证当前批次数据的数据量；
33.执行模块，根据有效性验证模块和数据量验证模块发送的有效性和数据量验证结果执行预设操作。
34.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的监控方法。
35.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
36.所述存储器，用于存储当前批次数据；
37.所述处理器，用于通过调用当前批次数据，执行上述的监控方法。
38.本发明的有益效果为：
39.采用本发明所述线上活动数据多维监控方法及系统，可以通过自定义预设的有效性监控规则对有关的活动数据进行自动化监控，同时结合设置阀值的方法对每一个活动数据进行高效的和数据量校验，灵活高效的分别处理不同类型的不合规数据，并通知数据、活动的相关负责人员及时进行处理，确保数据的准确、有效，及时可用。
附图说明
40.图1为本发明线上活动数据多维监控方法流程示意图。
41.图2为本发明线上活动数据多维监控系统结构示意图。
具体实施方式
42.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
43.如图1所示为本发明线上活动数据多维监控方法流程示意图，主要执行分为数据有效性监控和数据量监控两个相互联系的部分。其中，数据有效性监控部分包括配置数据有效性监控规则，特别是配置一条或多条同时执行的监控规则，所述监控规则包括规则名称、规则字段(例如表级规则、自定义表级规则等)、采样方式(例如计数、文本值等)、过滤条件、校验类型(例如数值型、波动率型、动态阈值型等)和校验方式(例如与固定值比较、与平均值比较等)，以及针对每一条存在的监控规则配置对应的期望返回值，再使用数据有效性监控规则验证当前批次数据的有效性。能够实现通过自定义有效性监控规则对使用到本规则的活动数据进行监控，如果活动数据不能通过监控规则的校验则将活动数据拦截下来，并短信或企业微信通知当前活动负责人，待活动负责人确认当前数据是否正常，如果确认不正常则数据不下发并查找原因，如果数据量正常可以手工将拦截的数据继续下发投产。数据量监控包括设置当前批次阈值监控设定值，特别是可以根据需要选择设置对应当前批次数据的最大阈值、预警阈值、同比阈值、环比阈值中的一种或多种组合，或，设置当前批次阈值为空，再使用当前批次阈值监控设定值验证当前批次数据的数据量。通过设置预警阀值和最大阀值对每一个活动筛选出来数据立即进行校验，如果数据量超过预警阀值则短信或企业微信通知当前活动负责人，但不会拦截活动数据，但活动负责人可以结合当前的活动情况对阀值进行适当的调整；如果数据量超过最大阀值则会将活动数据拦截下来，并短信或企业微信通知当前活动负责人，待活动负责人确认数据量是否正常，如果确认不正常则数据不下发并查找原因，如果数据量正常可以手工将拦截的数据继续下发投产，并对监控阀值进行适当的调整。
44.实际操作中，优选的结合数据有效性监控和数据量监控两个部分的验证结果执行预设操作，例如，对于当前批次数据同时通过有效性和数据量验证时，正常下发当前批次数据；当前批次数据不能通过有效性和/或数据量验证时，拦截当前批次数据并发送告警信息。同时，还可以对不能通过有效性和/或数据量验证的情况进行再次更新，根据负责人员选择，更新数据有效性监控规则和/或当前批次阈值监控设定值，并使用更新后的数据有效性监控规则和/或当前批次阈值监控设定值验证当前批次数据。当然，根据业务的实际需求，也可以采用其他灵活的设定使用数据有效性监控和数据量监控输出的验证结果以及其所对应的预设操作。
45.本发明还涉及一种如图2所示结构的线上活动数据多维监控系统，包括数据连接的监控配置模块、有效性验证模块、数据量验证模块和执行模块。其中，用户使用监控配置模块配置数据有效性监控规则和设置当前批次阈值监控设定值，优选的可以通过页面使用sql语句来自由配置监控规则，同时设置期望返回值，在进行数据有效性监控过程中，如果活动使用监控规则返回值与正常返回值不一致，则验证不通过。对于有效性验证模块和数据量验证模块，活动配置了数据有效性监控或阀值监控之后，在活动运行筛选出数据后此功能会根据活动使用的有效性监控规则和设置的阀值自动校验数据是否准确，并指示执行模块进行对应的操作，例如可以设定为如果有效性监控或阀值监控有一个不通过，活动数据将被拦截不下发，同时会以短信的方式通知活动负责人，短信内容会明确告知是哪个监控验证不通过。如果有效性监控或阀值监控全部通过，则数据正常下发投产。优选的，对于
没有通过验证的数据，可以进一步使用执行模块进行处理，如果经活动负责人确认该批数据正常只是因为监控阀值未及时更新导致被拦截，则可以在活动监控模块对该活动的数据进行手工下发，同时可以更新对应的监控阀值，避免后续再次被拦截。
46.以某品种信用卡用户活动为例，可以通过设定数据有效性监控筛选正常用户，并排除可疑的活动申请，同时使用数据量监控应对可能的高频恶意访问，避免活动过程受到威胁或活动系统出现问题。只对同时通过了数据有效性监控和数据量监控的部分下发执行，能够有效保护活动正常进行和活动效果最大化。
47.进一步地，本发明还涉及一种存储有执行上述性能测试执行方法的程序的可读存储介质，通过使用该可读存储介质能够执行该程序从而实现上述监控方法。
48.进一步地，本发明还涉及一种包括有存储器和处理器的电子设备，所述存储器用于存储执行上述监控方法所必要的数据，所述处理器用于执行监控方法。
49.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。