一种数据处理方法、装置、计算机设备及可读存储介质与流程

1.本发明涉及异常数据处理领域，尤其涉及一种数据处理方法、装置、计算机设备及可读存储介质。


背景技术：

2.随着信息化的不断发展和深入，信息技术(information technology，it)系统功能日益强大，涉及的信息种类也日益增多，这导致现有it系统也逐渐复杂。为及时发现it系统故障、识别潜在风险及安全隐患，通常需要对it系统中的数据进行监控，以检测异常行为。
3.相关技术采用基线比对的方式进行异常行为检测，具体为：通过将当天统计数据得出的待检上报数据，比对前n天的基准基线数据，确定出符合异常行为阈值的待检上报数据后进行告警。
4.但是，相关技术中存在大量误报警的问题。


技术实现要素：

5.有鉴于此，本发明提供一种数据处理方法、装置、计算机设备及可读存储介质，至少部分解决现有技术中存在的大量误报警的问题。
6.根据本公开实施例的第一方面，提供一种数据处理方法，包括：
7.获取异常上报数据；
8.确定所述异常上报数据对应的缺失数据类型和第一日期；
9.根据所述第一日期确定目标时间段；
10.根据所述缺失数据类型和所述目标时间段，获取至少一个目标基线数据，所述目标基线数据属于所述缺失数据类型；
11.根据至少一个目标基线数据确定补偿基线数据；
12.根据所述补偿基线数据对所述异常上报数据进行补偿。
13.作为本发明一种可能的实现方式，所述根据所述缺失数据类型和所述目标时间段，获取至少一个目标基线数据，包括：
14.确定所述目标时间段内包含的至少一个第二日期；
15.获取每一所述第二日期对应的上报数据中属于所述缺失数据类型的目标基线数据。
16.作为本发明一种可能的实现方式，所述目标时间段包括至少一个子时间段；
17.所述根据所述缺失数据类型和所述目标时间段，获取至少一个目标基线数据，包括：
18.根据所述缺失数据类型和至少一个所述子时间段，分别获取每一所述子时间段对应的所述目标基线数据。
19.作为本发明一种可能的实现方式，所述子时间段包括至少一个第三日期；
20.所述根据所述缺失数据类型和至少一个所述子时间段，分别获取每一所述子时间段对应的所述目标基线数据，包括：
21.确定每一所述子时间段对应的至少一个第三日期；
22.获取每一所述第三日期对应的上报数据中属于所述缺失数据类型的第一子目标基线数据；
23.根据每一所述子时间段对应的所述第一子目标基线数据，分别确定每一所述子时间段对应的所述目标基线数据。
24.作为本发明一种可能的实现方式，每一所述子时间段均包括多个第四日期，且所述第四日期的数量大于设定阈值；
25.所述根据所述缺失数据类型和至少一个所述子时间段，分别获取每一所述子时间段对应的所述目标基线数据，包括：
26.确定每一所述子时间段中对应的多个第四日期；
27.获取每一所述第四日期对应的上报数据中属于所述缺失数据类型且符合采集规则的第二子目标基线数据；
28.根据每一所述子时间段对应的所述第二子目标基线数据，分别确定每一所述子时间段对应的所述目标基线数据。
29.作为本发明一种可能的实现方式，多个所述第二子目标基线数据符合正态分布；
30.根据每一所述子时间段对应的所述第二子目标基线数据，分别确定每一所述子时间段对应的所述目标基线数据，包括：
31.根据每一所述子时间段对应的所述第二子目标基线数据，确定该子时间段对应的正态分布图；
32.获取每一所述子时间段对应的正态分布图中处于(μ-3σ,μ 3σ)区间内的至少一个所述第二子目标基线数据；
33.根据每一所述子时间段对应的所述第二子目标基线数据，确定每一所述子时间段对应的所述目标基线数据。
34.作为本发明一种可能的实现方式，在所述根据第一日期确定目标时间段之前，所述方法还包括：
35.确定所述第一日期是否具有设定属性；
36.若具有，则所述根据第一日期确定目标时间段，包括：
37.根据所述第一日期，确定第七日期和第八日期；
38.判断所述第七日期和所述第八日期是否具有设定属性，得到判断结果，所述第七日期早于所述第一日期，且与所述第一日期相邻，所述第八日期晚于所述第一日期，且与所述第一日期相邻；
39.根据所述判断结果确定所述目标时间段。
40.作为本发明一种可能的实现方式，所述根据至少一个目标基线数据确定补偿基线数据，包括：
41.根据采集时间特征，确定每一目标基线数据中的有效基线数据；
42.根据至少一个所述有效基线数据，确定补偿基线数据。
43.根据本公开实施例的第二方面，提供一种数据处理装置，包括：
44.第一获取模块，用于获取异常上报数据；
45.第一确定模块，用于确定所述异常上报数据对应的缺失数据类型和第一日期；
46.第二确定模块，用于根据第一日期确定目标时间段；
47.第二获取模块，用于根据所述缺失数据类型和所述目标时间段，获取至少一个与所述缺失数据类型对应的目标基线数据；
48.第三确定模块，用于根据至少一个目标基线数据确定补偿基线数据；
49.补偿模块，用于根据所述补偿基线数据对所述异常上报数据进行补偿。
50.根据本公开实施例的第三方面，提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的数据处理方法。
51.本公开的实施例提供的技术方案可以包括以下有益效果：
52.本技术通过至少一个目标基线数据来确定出补偿基线数据，将补偿基线数据预估推定为第一日期应该对应的正常的上报数据，并用对应的补偿基线数据对异常上报数据进行替换补偿。由此，可以将由于节假日、断电等正常情况导致的异常上报数据替换转变为正常的上报数据，进而，可以减少对由于非网络攻击导致的异常上报数据的告警次数，进而减少不准确告警的次数。
53.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
54.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
55.图1为本技术一实施例中一种数据处理方法的流程示意图；
56.图2为本技术一实施例中一种数据处理装置的结构示意图。
具体实施方式
57.下面结合附图对本发明实施例进行详细描述。
58.需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
59.需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
60.根据本发明的一个方面，如图1所示，提供了一种数据处理方法，包括：
61.步骤s10：获取异常上报数据。
62.具体的，上报数据可以从对应的网络系统中每天的上报日志信息中获得，具体的上报数据由对应的防火墙数据每天上报日志信息中获得。通常由于节假日或长时间断电会导致网络中的活动有明显的下降，所以对应日期的上报数据变动较大，与正常日期的上报数据相比有较大的差异。所以，异常上报数据也即节假日或长时间断电对应的日期的上报数据。
63.在获取异常上报数据之前，可按照如下方法判定出异常上报数据。
64.步骤s101：获取待测日期对应的待检上报数据。
65.通常为在每天的固定时间对当天的上报日志信息中的上报数据进行统计，统计完成后就可以得到当天的待检上报数据，也可以为对指定的待测日期的上报数据进行统计，以生成对应的待检上报数据。
66.步骤s102：获取在待测日期前n天对应的历史上报数据。
67.通常获取待测日期前n天每一天对应的上报数据作为历史上报数据，通过多个历史上报数据来确定出对比的基准也即基准基线数据，n取大于等于一的自然数，如前两天或前三天。
68.步骤s103：根据历史上报数据，确定上报数据的正常变化范围。
69.以前三天的历史上报数据为例，可以通过获得到的多组历史上报数据中每一的子项上报数据的最大值及最小值来确定出，每一子项上报数据对应的正常数据范围。其中，上报数据由多个子项上报数据组成，子项上报数据为一个子项对应的上报数据，如：一个子项为a网站的访问次数，则对应的子项上报数据可以为：a网站的访问50次。由此，以前三天的历史上报数据(a网站的访问次数)可以确定出该子项上报数据对应的正常变化范围，如45-60次。
70.步骤s104：根据上报数据的正常变化范围，确定待检上报数据是否为异常上报数据。
71.具体的，用待检上报数据中的每一子项上报数据与得到的上报数据的正常变化范围中对应的子项上报数据的正常数据范围进行对比，如果待检上报数据中的至少一个子项上报数据没有处于对应的子项上报数据的正常数据范围内，则该子项上报数据为异常子项上报数据，对应的待检上报数据为异常上报数据。
72.步骤s20：确定异常上报数据对应的缺失数据类型和第一日期。
73.通常会为每一个子项上报数据提前设置对应的类型标签，通过确定出异常上报数据中所有异常子项上报数据对应的类型标签，可以确定出异常上报数据对应的缺失数据类型，通过缺失数据类型来确定出后期要进行补偿替换的数据对象。
74.另外，待检上报数据可能是由多天的上报数据组成的集合，在进行异常检测时，可能只有其中的某一天的上报数据存在异常，存在异常的这一天对应的日期也即第一日期。例如：待检上报数据是由2021年3月9日至2021年3月11日这3天的上报数据组成的集合，其中，只有2021年3月10日的上报数据存在异常，则2021年3月10日为第一日期。
75.当待检上报数据是由一天的上报数据组成的，当该天的上报数据存在异常时，则该天对应的日期也即第一日期。
76.步骤s30：根据第一日期确定目标时间段。
77.具体的，根据第一日期的情况来确定目标时段，通过目标时段内产生的上报数据来确定补偿基线数据。通常目标时段可以为单独的某一天或者某几天，也可以是连续的几天，并且尽量保证该目标时间段内对应的上报数据均为正常的上报数据。
78.步骤s40：根据缺失数据类型和目标时间段，获取至少一个与缺失数据类型对应的目标基线数据。
79.根据确定的缺失数据类型和目标时间段即可获取到对应的目标基线数据，目标基线数据中可以为仅含有缺失数据类型所对应的数据，由此可以减少数据的处理量。
80.步骤s50：根据至少一个目标基线数据确定补偿基线数据。
81.若只获取到一个目标基线数据，则将该目标基线数据确定为补偿基线数据。
82.若获取到两个或更多的目标基线数据，则可以求取多个目标基线数据的平均数来确定补偿基线数据。当然也可以求取多个目标基线数据的众数、中位数、最大值或最小值等特征值来确定补偿基线数据
83.步骤s60：根据补偿基线数据对异常上报数据进行补偿。
84.将补偿基线数据中的子项上报数据补充至异常上报数据对应的异常子项上报数据中。或者，
85.用补偿基线数据中的子项上报数据替换异常上报数据对应的异常子项上报数据。
86.可以根据具体的数据的缺失情况选择补充或者替换的方式进行补偿。
87.本实施例通过至少一个目标基线数据来确定出补偿基线数据，将补偿基线数据预估推定为第一日期应该对应的正常的上报数据，并用对应的补偿基线数据对异常上报数据进行替换补偿。由此，可以将由于节假日、断电等正常情况导致的异常上报数据替换转变为正常的上报数据，进而，可以减少对由于非网络攻击导致的异常上报数据的告警次数，进而减少不准确告警的次数。
88.作为本发明一种可能的实施方式，步骤s40：根据缺失数据类型和目标时间段，获取至少一个目标基线数据，包括：
89.步骤s410：确定目标时间段内包含的至少一个第二日期。
90.步骤s411：获取每一第二日期对应的上报数据中属于缺失数据类型的目标基线数据。
91.具体地，目标时间段可以包含一个或多个第二日期。由此，来获得对应的目标基线数据。
92.当第一日期为单独的某一天时，可以直接选取至少一个正常的日期对应的目标基线数据，作为确定补偿基线数据的依据。本实施例中目标基线数据的获取方式简单灵活，数据处理量小，可以适用于大部分对异常上报数据的处理情况中。
93.作为本发明一种可能的实施方式，目标时间段包括至少一个子时间段。
94.步骤s40：根据缺失数据类型和目标时间段，获取至少一个目标基线数据，包括：
95.步骤s420：根据缺失数据类型和至少一个子时间段，分别获取每一子时间段对应的目标基线数据。
96.具体地，目标时间段包括至少一个子时间段，通过具有更多日期的子时间段来确定目标基线数据，可以增加获取到的目标基线数据的数据量，可以提高通过目标基线数据最后确定的补偿基线数据的准确性。
97.一方面：通过在每个子时间段内选取多个日期来提高补偿基线数据的准确性。由于在获取到的目标基线数据中可能会存在异常的数据，所以，通过多个目标基线数据进行均值计算或者取众数时，可以减小异常数据对最终结果的影响，由此可以提高补偿基线数据的准确性。
98.另一方面，还通过设置多个子时间段，来进一步提高补偿基线数据的准确性。也即，即使有某一个子时间段对应的目标基线数据存在异常的情况，也可以在后续计算中通过其他几个正常的子时间段对应的目标基线数据来降低异常的目标基线数据对最终结果的影响，进而可以进一步提高补偿基线数据的准确性。
99.作为本发明一种可能的实施方式，子时间段包括至少一个第三日期。
100.步骤s420：根据缺失数据类型和至少一个子时间段，分别获取每一子时间段对应的目标基线数据，包括：
101.步骤s4201：确定每一子时间段对应的至少一个第三日期。
102.步骤s4202：获取每一第三日期对应的上报数据中属于缺失数据类型的第一子目标基线数据。
103.步骤s4203：根据每一子时间段对应的第一子目标基线数据，分别确定每一子时间段对应的目标基线数据。
104.在确定每一子时间段中的第三日期时，可以对所选的子时间段中的所有的日期进行随机选取或者以固定间隔进行选取。由此，可以根据所选定的子时间段所包括的时间特点以及对应的缺失的子项上报数据的特点，对第三日期进行适应性的挑选。如某一缺失的子项上报数据具有偶数日期和奇数日期有不同的表现，所以在进行第三日期的挑选时，需要按照奇数日期或者偶数日期进行选取。
105.本实施例中第三日期的选取可以根据子时间段所包括的时间特点以及对应的缺失的子项上报数据的特点来按照预定规则进行第三日期的选取，由此，可以使得选取的目标基线数据更加贴合异常上报数据的特点，由此，可以提高补偿基线数据的准确性。
106.作为本发明一种可能的实施方式，每一子时间段均包括多个第四日期，且第四日期的数量大于设定阈值。
107.步骤s420：根据缺失数据类型和至少一个子时间段，分别获取每一子时间段对应的目标基线数据，包括：
108.步骤s4204：确定每一子时间段中对应的多个第四日期。
109.步骤s4205：获取每一第四日期对应的上报数据中属于缺失数据类型且符合采集规则的第二子目标基线数据。
110.步骤s4206：根据每一子时间段对应的第二子目标基线数据，分别确定每一子时间段对应的目标基线数据。
111.本实施例中每一子时间段中包括超过设定阈值数量的第四日期，该多个第四日期可以为随机获取的，也可以为连续的日期，如取连续一个星期对应的日期或者取连续一个月对应的日期。
112.由此，通过增加第四日期数据量，来得到更多的第二子目标基线数据，再通过对多个第二子目标基线数据进行处理，如取平均数，来得到每一子时间段对应的目标基线数据。由此，可以减小在取到异常的第二子目标基线数据后，对计算最终目标基线数据结果的影
响，由此可以使得到的每一子时间段对应的目标基线数据更加准确，进而提高由目标基线数据确定出来的补偿基线数据准确性。
113.作为本发明一种可能的实施方式，多个第二子目标基线数据符合正态分布。
114.步骤s4206：根据每一子时间段对应的第二子目标基线数据，分别确定每一子时间段对应的目标基线数据，包括：
115.步骤s42061：根据每一子时间段对应的第二子目标基线数据，确定该子时间段对应的正态分布图。
116.步骤s42062：获取每一子时间段对应的正态分布图中处于(μ-3σ,μ 3σ)区间内的至少一个第二子目标基线数据。
117.步骤s42063：根据每一子时间段对应的第二子目标基线数据，确定每一子时间段对应的目标基线数据。
118.本实施例中，当多个第二子目标基线数据符合正态分布时，会在对应的正态分布图中处于(μ-3σ,μ 3σ)区间内选取第二子目标基线数据，由此，可以进一步保证选取的第二子目标基线数据的随机性。由此使得每个第二子目标基线数据有相等的机会被抽取，在此基础上，有相当大的可能性使得样本数据保持与总体数据有相同的结构，或者说具有最大的可能使得总体数据的某些特征在样本数据中得以表现。所以它能够在最大可能性上减少随机误差。由此可以使得到的每一子时间段对应的目标基线数据更加准确，进而提高由目标基线数据确定出来的补偿基线数据准确性。
119.作为本发明一种可能的实施方式，目标时间段包括第一子时间段和第二子时间段。
120.步骤s40：根据缺失数据类型和目标时间段，获取至少一个目标基线数据，包括：
121.步骤s430：确定第一子时间段对应的至少一个第五日期。
122.步骤s431：获取每一第五日期对应的上报数据中属于缺失数据类型且符合采集规则的第三子目标基线数据。
123.步骤s432：根据每一第五日期对应的第三子目标基线数据，确定第一子时间段对应的目标基线数据。
124.步骤s433：确定第二子时间段对应的至少一个第六日期。
125.步骤s434：获取每一第六日期对应的上报数据中属于缺失数据类型且符合采集规则的的第四子目标基线数据。
126.步骤s435：根据每一第六日期对应的第四子目标基线数据，确定第二子时间段对应的目标基线数据。
127.本实施例通过第一子时间段及第二子时间段分别确定出的两个目标基线数据，再通过两个目标基线数据来确定补偿基线数据。通常第一子时间段及第二子时间段与第一日期前后相邻，当发现存在一个日期的对应的上报数据存在异常要对其进行补偿时，如果在第一日期前后均存在正常的上报数据，则可以通过分别获取第一日期前后相邻的第一子时间段及第二子时间段的上报数据来对第一日期的上报数据进行补偿。由此，可以通过获取分别在第一日期前后的第一子时间段及第二子时间段的目标基线数据来确定补偿基线数据，可以提高获得的补偿基线数据的准确性。
128.另外，在第一子时间段及第二子时间段分别与第一日期前后相邻的情况下，也可
以根据异常上报数据的具体分布情况来选择子时间段。如仅在第一日期前的日期中存在正常的上报数据，则仅使用早于第一日期的第一子时间段的上报数据对第一日期的异常上报数据进行补偿。
129.如仅在第一日期后的日期中存在正常的上报数据，则仅使用晚于第一日期的第二子时间段的上报数据对第一日期的异常上报数据进行补偿。
130.作为本发明一种可能的实施方式，在步骤s30：根据第一日期确定目标时间段之前，方法还包括：
131.步骤s301：确定第一日期是否具有设定属性。
132.若具有，则步骤s30：根据第一日期确定目标时间段，包括：
133.步骤s31：根据第一日期，确定第七日期和第八日期。
134.步骤s32：判断第七日期和第八日期是否具有设定属性，得到判断结果，第七日期早于第一日期，且与第一日期相邻，第八日期晚于第一日期，且与第一日期相邻。
135.步骤s33：根据判断结果确定目标时间段。
136.在第七日期具有设定属性，设定属性可以为节日属性，且第八日期不具有设定属性的情况下，将第八日期及晚于第八日期的时间确定为目标时间段。如第七日期为周六，第一日期为周日，第八日期为周一，则在第七日期具有设定属性，且第八日期不具有设定属性，所以可以将周一或周一以后的周二、周三或周四确定为目标时间段。
137.在第七日期及第八日期均具有设定属性的情况下，重新确定新的第七日期及第八日期，并再次执行步骤s32及步骤s33。
138.在第七日期不具有设定属性，且第八日期具有设定属性的情况下，将第七日期或第七日期之前的时间确定为目标时间段。如第七日期为周五，第一日期为周六，第八日期为周日，则在第七日期不具有设定属性，且第八日期具有设定属性，所以可以将前一周的周五或周五之前的周四、周三或周二确定为目标时间段。
139.在第七日期与第八日期均不具有设定属性的情况下，将第七日期或第七日期之前的时间和/或第八日期及晚于第八日期的时间确定为目标时间段。
140.节假日的上报数据通常存在更高的可能性为异常上报数据。通过本实施例的方式来确定目标时间段，可以避开节假日的上报数据，由此，可以提高获得的补偿基线数据的准确性。
141.作为本发明一种可能的实施方式，步骤s50：根据至少一个目标基线数据确定补偿基线数据，包括：
142.步骤s501：根据采集时间特征，确定每一目标基线数据中的有效基线数据；
143.具体的，在实际的使用过程中，通常将每天的固定时间设置为采集时间，由此每次到达采集时间后会将当天的上报日志信息上传至对应的统计模块中，通过统计模块对相应的上报日志信息中的上报数据进行统计，可以得到目标基线数据。但是，由于网络传输过程中存在延时和数据丢失的情况，所以在某一个对应的采集时间可能会存在多个上传的上报日志信息，其中只有一个上报日志信息是该采集时间对应的，其他的均为误传的信息。但是，由于不同的上报日志信息会对应不同的采集时间，由此，可以通过采集时间特征来区分当前采集时间对应的上报日志信息为哪一个，也即有效基线数据。
144.步骤s502：根据至少一个有效基线数据，确定补偿基线数据。
145.本实施例可以通过采集时间特征来去除获得的目标基线数据中噪音数据，由此，可以进一步的提高确定出来的补偿基线数据的准确性。
146.根据本发明的第二个方面，如图2所示，提供了一种数据处理装置40，包括：
147.第一获取模块401，用于获取异常上报数据。
148.第一确定模块402，用于确定异常上报数据对应的缺失数据类型和第一日期。
149.第二确定模块403，用于根据第一日期确定目标时间段。
150.第二获取模块404，用于根据所述缺失数据类型和所述目标时间段，获取至少一个与所述缺失数据类型对应的目标基线数据。
151.第三确定模块405，用于根据至少一个目标基线数据确定补偿基线数据。
152.补偿模块406，用于根据补偿基线数据对异常上报数据进行补偿。
153.根据本发明的第三个方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如上述任一项的数据处理方法。
154.根据本发明的第四个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上述任一项的数据处理方法。
155.本发明通过至少一个目标基线数据来确定出补偿基线数据，将补偿基线数据预估推定为第一日期应该对应的正常的上报数据，并用对应的补偿基线数据对异常上报数据进行替换补偿。由此，可以将由于节假日、断电等正常情况导致的异常上报数据替换转变为正常的上报数据，进而，可以减少对由于非网络攻击导致的异常上报数据的告警次数，进而减少不准确告警的次数。
156.同时，第三日期的选取可以根据子时间段所包括的时间特点以及对应的缺失的子项上报数据的特点来按照预定规则进行第三日期的选取，由此，可以使得选取的目标基线数据更加贴合异常上报数据的特点，由此，可以提高补偿基线数据的准确性。
157.另外，通过采集时间特征来去除获得的目标基线数据中噪音数据，由此，可以进一步的提高确定出来的补偿基线数据的准确性。
158.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。