一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

异常对象集合的识别方法、装置、电子设备和存储介质与流程

2022-02-20 14:30:18 来源:中国专利 TAG:


1.本公开涉及数据处理技术领域,尤其涉及异常对象集合的识别方法、装置、电子设备和存储介质。


背景技术:

2.近年来,短视频用户增长显著,短视频市场也越发庞大,同时也出现了恶意点击、刷量刷粉的流量假象。
3.目前对异常对象的识别能力,大多集中于对单个对象的判定。相关技术中通过将正常对象的特征和异常用户的特征进行比对,从而识别出单个的异常对象,识别到异常对象的效率低,且对单个的异常对象仅存在黑或白的判断,导致异常对象可以通过重新进行账号注册等方式转化为正常对象,造成异常对象识别的有效性低的问题。


技术实现要素:

4.本公开提供一种异常对象集合的识别方法、装置、电子设备和存储介质,以至少解决相关技术中识别异常对象的效率低且有效性低的问题。本公开的技术方案如下:
5.根据本公开实施例的第一方面,提供一种异常对象集合的识别方法,所述方法包括:
6.获取预设数量个异常对象对应的操作结构信息,所述操作结构信息为以所述预设数量个异常对象为节点,所述预设数量个异常对象中两两异常对象间共同执行的相同目标操作为边的图谱,所述预设数量个异常对象各自对应的目标操作数大于等于预设操作数,且所述两两异常对象对应的相同目标操作数大于等于预设共同操作数;
7.基于所述操作结构信息,对所述预设数量个异常对象进行集合划分,得到至少一个异常对象集合。
8.作为一个可选的实施例,在所述基于所述操作结构信息,对所述预设数量个异常对象进行集合划分,得到至少一个异常对象集合之后,所述方法还包括:
9.基于所述操作结构信息,确定每个异常对象集合中的核心异常对象,所述核心异常对象为每个所述异常对象集合中异常执行所述目标操作的核心对象,所述核心异常对象用于标识对应的异常对象集合。
10.作为一个可选的实施例,所述基于所述操作结构信息,确定每个异常对象集合中的核心异常对象包括:
11.基于所述操作结构信息,确定所述每个异常对象集合中的每个异常对象和对应的关联异常对象间的关联信息,所述关联信息用于衡量每个所述异常对象与所述对应的关联异常对象间关联的紧密程度,所述关联异常对象为在所述操作结构信息中与每个当前异常对象相连的异常对象;
12.基于所述关联信息,确定所述每个异常对象集合中每个异常对象对应的异常指标数据;
13.将异常指标数据满足预设阈值的异常对象作为所述核心异常对象。
14.作为一个可选的实施例,所述关联信息包括关联对象总数和目标关联权重,所述基于所述操作结构信息,确定所述每个异常对象集合中的每个异常对象和对应的关联异常对象间的关联信息包括:
15.基于所述操作结构信息,获取每个所述异常对象对应的关联异常对象的关联对象总数和每个所述异常对象对应的目标关联权重,所述目标关联权重为每个所述异常对象与对应的关联异常对象间的关联权重的和值;
16.所述基于所述关联信息,确定所述异常对象集合中每个异常对象对应的异常指标数据包括:
17.基于所述关联对象总数、所述目标关联权重、异常对象总数和累计关联权重,确定每个所述异常对象对应的异常指标数据,所述异常对象总数为每个所述异常对象集合中异常对象的数量值,所述累计关联权重表征每个所述异常对象集合中两两异常对象间的关联权重的和值。
18.作为一个可选的实施例,所述方法还包括:
19.获取基于预设分组信息划分的多个初始操作数据集,所述初始操作数据集表征初始对象对应的共同操作数据的集合,所述初始对象对应的共同操作数据为两两初始对象和所述两两初始对象间共同执行的相同目标操作数,所述初始对象为对应的目标操作数大于等于所述预设操作数的对象;
20.对每个初始操作数据集分别进行过滤处理,得到过滤操作数据集,所述过滤操作数据集表征待识别对象对应的共同操作数据的集合,所述待识别对象对应的共同操作数据为两两待识别对象和所述两两待识别对象间共同执行的相同目标操作数,所述待识别对象为相同目标操作数大于等于所述预设共同操作数的初始对象;
21.对所述过滤操作数据集进行合并,得到目标操作数据集;
22.基于所述目标操作数据集,生成所述操作结构信息。
23.作为一个可选的实施例,所述过滤操作数据集为按序排列的多个过滤操作数据集,所述对所述多个过滤操作数据集进行合并,得到目标操作数据集包括:
24.将所述按序排列的多个过滤操作数据集中的第一个过滤操作数据集和第二个过滤操作数据集合并,并依次合并所述第二个过滤操作数据集之后的过滤操作数据集,直到合并到最后一个过滤操作数据集,得到所述目标操作数据集。
25.作为一个可选的实施例,所述基于所述操作结构信息,对所述预设数量个异常对象进行集合划分,得到至少一个异常对象集合包括:
26.基于所述操作结构信息中各个节点间的连接关系,确定每个异常对象对应的连通图结构;
27.将节点数满足预设数目阈值的连通图结构中各个节点对应的异常对象划分为同一异常对象集合。
28.作为一个可选的实施例,其特征在于,所述方法还包括:
29.基于更新异常对象,对所述操作结构信息进行更新,得到更新操作结构信息;
30.基于所述更新操作结构信息中的连通图结构,对所述操作结构信息中的连通图结构对应的异常对象集合进行更新,得到更新异常对象集合;
31.基于所述核心异常对象,对所述更新异常对象集合进行操作数据监控。
32.根据本公开实施例的第二方面,提供一种异常对象集合的识别装置,所述装置包括:
33.操作结构信息获取模块,被配置为执行获取预设数量个异常对象对应的操作结构信息,所述操作结构信息为以所述预设数量个异常对象为节点,所述预设数量个异常对象中两两异常对象间共同执行的相同目标操作为边的图谱,所述预设数量个异常对象各自对应的目标操作数大于等于预设操作数,且所述两两异常对象对应的相同目标操作数大于等于预设共同操作数;
34.异常对象集合获取模块,被配置为执行基于所述操作结构信息,对所述预设数量个异常对象进行集合划分,得到至少一个异常对象集合。
35.作为一个可选的实施例,其特征在于,所述装置还包括:
36.核心异常对象确定模块,被配置为执行基于所述操作结构信息,确定每个异常对象集合中的核心异常对象,所述核心异常对象为每个所述异常对象集合中异常执行所述目标操作的核心对象,所述核心异常对象用于标识对应的异常对象集合。
37.作为一个可选的实施例,所述核心异常对象确定模块包括:
38.关联信息确定单元,被配置为执行基于所述操作结构信息,确定所述每个异常对象集合中的每个异常对象和对应的关联异常对象间的关联信息,所述关联信息用于衡量每个所述异常对象与所述对应的关联异常对象间关联的紧密程度,所述关联异常对象为在所述操作结构信息中与每个当前异常对象相连的异常对象;
39.异常指标数据确定单元,被配置为执行基于所述关联信息,确定所述每个异常对象集合中每个异常对象对应的异常指标数据;
40.核心异常对象确定单元,被配置为执行将异常指标数据满足预设阈值的异常对象作为所述核心异常对象。
41.作为一个可选的实施例,所述关联信息包括关联对象总数和目标关联权重,所述关联信息确定单元包括:
42.关联信息获取单元,被配置为执行基于所述操作结构信息,获取每个所述异常对象对应的关联异常对象的关联对象总数和每个所述异常对象对应的目标关联权重,所述目标关联权重为每个所述异常对象与对应的关联异常对象间的关联权重的和值;
43.所述异常指标数据确定单元包括:
44.异常指标计算单元,被配置为执行基于所述关联对象总数、所述目标关联权重、异常对象总数和累计关联权重,确定每个所述异常对象对应的异常指标数据,所述异常对象总数为每个所述异常对象集合中异常对象的数量值,所述累计关联权重表征每个所述异常对象集合中两两异常对象间的关联权重的和值。
45.作为一个可选的实施例,所述装置还包括:
46.初始操作数据集获取模块,被配置为执行获取基于预设分组信息划分的多个初始操作数据集,所述初始操作数据集表征初始对象对应的共同操作数据的集合,所述初始对象对应的共同操作数据为两两初始对象和所述两两初始对象间共同执行的相同目标操作数,所述初始对象为对应的目标操作数大于等于所述预设操作数的对象;
47.过滤处理模块,被配置为执行对每个初始操作数据集分别进行过滤处理,得到过
滤操作数据集,所述过滤操作数据集表征待识别对象对应的共同操作数据的集合,所述待识别对象对应的共同操作数据为两两待识别对象和所述两两待识别对象间共同执行的相同目标操作数,所述待识别对象为相同目标操作数大于等于所述预设共同操作数的初始对象;
48.目标操作数据集生成模块,被配置为执行对所述过滤操作数据集进行合并,得到目标操作数据集;
49.操作结构信息生成模块,被配置为执行基于所述目标操作数据集,生成所述操作结构信息。
50.作为一个可选的实施例,所述过滤操作数据集为按序排列的多个过滤操作数据集,所述目标操作数据集生成模块包括:
51.数据集合并单元,被配置为执行将所述按序排列的多个过滤操作数据集中的第一个过滤操作数据集和第二个过滤操作数据集合并,并依次合并所述第二个过滤操作数据集之后的过滤操作数据集,直到合并到最后一个过滤操作数据集,得到所述目标操作数据集。
52.作为一个可选的实施例,所述异常对象集合获取模块包括:
53.连通图结构获取单元,被配置为执行基于所述操作结构信息中各个节点间的连接关系,确定每个异常对象对应的连通图结构;
54.集合过滤单元,被配置为执行将节点数满足预设数目阈值的连通图结构中各个节点对应的异常对象划分为同一异常对象集合。
55.作为一个可选的实施例,其特征在于,所述装置还包括:
56.操作结构信息更新模块,被配置为执行基于更新异常对象,对所述操作结构信息进行更新,得到更新操作结构信息;
57.异常对象集合更新模块,被配置为执行基于所述更新操作结构信息中的连通图结构,对所述操作结构信息中的连通图结构对应的异常对象集合进行更新,得到更新异常对象集合;
58.操作数据监控模块,被配置为执行基于所述核心异常对象,对所述更新异常对象集合进行操作数据监控。
59.根据本公开实施例的第三方面,提供一种电子设备,包括:
60.处理器;
61.用于存储所述处理器可执行指令的存储器;
62.其中,所述处理器被配置为执行所述指令,以实现如上述所述的异常对象集合的识别方法。
63.根据本公开实施例的第四方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述所述的异常对象集合的识别方法。
64.根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述所述的异常对象集合的识别方法。
65.本公开的实施例提供的技术方案至少带来以下有益效果:
66.获取预设数量个异常对象对应的操作结构信息,操作结构信息为以预设数量个异常对象为节点,预设数量个异常对象中两两异常对象间共同执行的相同目标操作数为边的
图谱。基于操作结构信息中的边,对预设数量个异常对象进行集合划分,得到至少一个异常对象集合。该方法可以根据操作结构信息,获取异常对象间的连接关系,从而基于异常对象间的连接关系,识别出异常对象对应的异常对象集合,提高了识别异常对象识别的效率,且异常对象集合中各个异常对象对应的目标操作的相似度高,通过整体的相似目标操作,识别得到异常对象集合,可以起到发现一而牵出百的作用,从而提高识别异常对象集合的有效性,并在后续步骤中对具有整体相似操作的异常对象集合进行监控,可以提高监控异常对象集合的有效性。该方法不仅可以发掘“假人假机”的异常对象集合,同时也可以发掘“真人真机”的异常对象集合,从而提高了识别异常对象集合的准确性。
67.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
68.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
69.图1是根据一示例性实施例示出的一种异常对象集合的识别方法的应用场景示意图。
70.图2是根据一示例性实施例示出的一种异常对象集合的识别方法的流程图。
71.图3是根据一示例性实施例示出的一种异常对象集合的识别方法中生成操作结构信息的流程图。
72.图4是根据一示例性实施例示出的一种异常对象集合的识别方法中生成初始操作数据集的示意图。
73.图5是根据一示例性实施例示出的一种异常对象集合的识别方法中合并过滤操作数据集的示意图。
74.图6是根据一示例性实施例示出的一种异常对象集合的识别方法中获取异常对象集合的流程图。
75.图7是根据一示例性实施例示出的一种异常对象集合的识别方法中连通图结构的示意图。
76.图8是根据一示例性实施例示出的一种异常对象集合的识别方法中确定核心异常对象的流程图。
77.图9是根据一示例性实施例示出的一种异常对象集合的识别方法中确定关联信息的流程图。
78.图10是根据一示例性实施例示出的一种异常对象集合的识别方法中对异常对象集合进行监控的流程图。
79.图11是根据一示例性实施例示出的一种异常对象集合的识别方法应用在点赞刷量的应用场景的示意图。
80.图12是根据一示例性实施例示出的一种异常对象集合的识别装置的框图。
81.图13是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
82.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
83.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
84.需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
85.图1是根据一示例性实施例示出的一种异常对象集合的识别方法的应用场景示意图,如图1所示,该应用场景包括服务器110和客户端120。服务器110获取预设数量个异常对象对应的操作结构信息,异常对象与客户端120相对应。服务器110基于该操作结构信息,对异常对象进行划分,得到至少一个异常对象集合,并确定每个异常对象集合中的核心异常对象,服务器110可以基于该核心异常对象对异常对象集合的操作数据进行监控。
86.在本公开实施例中,服务器110可以包括一个独立运行的服务器,或者分布式服务器,或者由多个服务器组成的服务器集群。服务器110可以包括有网络通信单元、处理器和存储器等等。具体的,服务器110可以基于异常对象对应的操作结构信息,对异常对象进行划分,得到至少一个异常对象集合,并确定每个异常对象集合中的核心异常对象,服务器110还可以基于该核心异常对象对异常对象集合的操作数据进行监控。
87.在本公开实施例中,客户端120包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备,也可以包括运行于实体设备中的软体,例如应用程序等。本技术实施例中实体设备上运行的操作系统可以包括但不限于安卓系统、ios系统、linux、unix、windows等。
88.图2是根据一示例性实施例示出的一种异常对象集合的识别方法的流程图,如图2所示,该方法用于服务器中,包括以下步骤。
89.s210.获取预设数量个异常对象对应的操作结构信息,操作结构信息为以预设数量个异常对象为节点,预设数量个异常对象中两两异常对象间共同执行的相同目标操作为边的图谱,预设数量个异常对象各自对应的目标操作数大于等于预设操作数,且两两异常对象对应的相同目标操作数大于等于预设共同操作数;
90.作为一个可选的实施例,操作结构信息为预设时间段内的获取到的异常对象和两两异常对象间的相同目标操作构成的,操作结构信息中的边上的权重为两两异常对象间的相同目标操作数,例如在一天内获取到的异常对象和两两异常对象间的共同操作,操作结构信息可以持续进行更新。
91.作为一个可选的实施例,请参见图3,该方法还包括:
92.s310.获取基于预设分组信息划分的多个初始操作数据集,初始操作数据集表征初始对象对应的共同操作数据的集合,初始对象对应的共同操作数据为两两初始对象和两
两初始对象间共同执行的相同目标操作数,初始对象为对应的目标操作数大于等于预设操作数的对象;
93.s320.对每个初始操作数据集分别进行过滤处理,得到过滤操作数据集,过滤操作数据集表征待识别对象对应的共同操作数据的集合,待识别对象对应的共同操作数据为两两待识别对象和两两待识别对象间共同执行的相同目标操作数,待识别对象为相同目标操作数大于等于预设共同操作数的初始对象;
94.s330.对过滤操作数据集进行合并,得到目标操作数据集;
95.s340.基于目标操作数据集,生成操作结构信息。
96.作为一个可选的实施例,初始对象和初始对象对应的目标操作可以从对象操作日志中获取,从对象操作日志中筛选出目标操作数大于等于预设操作数的对象作为初始对象,目标操作可以为服务器需要检测是否存在异常操作的操作信息,例如点赞操作,可能会出现刷点赞量的异常操作情况,从而需要对刷点赞量的用户,也就是异常对象进行识别。初始对象为可能存在异常操作的对象,在识别异常对象时,需要基于初始对象进行数据处理以及过滤处理等,才能得到异常对象。
97.作为一个可选的实施例,如图4所示,基于初始对象和初始对象对应的目标操作,确定两两初始对象间共同执行的相同目标操作数,得到初始对象对应的多个初始操作数据集,初始操作数据集中初始对象对应的共同操作数据包括两两初始对象组成的初始组合对,以及该初始组合对对应的相同目标操作数。预设分组信息可以为预设时间段对应的多个时间分区,多个初始操作数据集可以为每个时间分区对应的初始操作数据集,时间分区为对预设时间段进行等分得到的时间区间,例如将一天分为6个时间分区,每个时间分区对应4小时的操作数据。对应每个时间分区内的初始对象和初始对象对应的目标操作,确定两两初始对象间的共同执行的相同目标操作数,得到该时间分区对应的初始操作数据集。预设分组信息也可以为预设区域内对应的多个地理分区,地理分区可以通过ip地址进行确定,多个初始操作数据集可以为每个地理分区对应的初始操作数据集。
98.基于初始操作数据集确定两两初始对象对应的相同目标操作数,获取相同目标操作数大于等于预设共同操作数的初始对象,并删除相同目标操作数小于预设共同操作数的初始对象,得到过滤操作数据集。其中,相同目标操作数大于等于预设共同操作数的初始对象即为异常对象,因此过滤操作数据集中待识别对象对应的共同操作数据包括两两异常对象组成的目标组合对,以及该目标组合对对应的相同目标操作数。每个初始操作数据集对应一个过滤操作数据集,因此过滤操作数据集也有多个。在初始操作数据集对应时间分区的情况下,过滤操作数据集也对应同一时间分区。
99.对多个过滤操作数据集进行合并处理,可以得到预设数量个异常对象的目标操作数据集。目标操作数据集为预设时间段内的异常对象对应的共同操作数据的合集,目标操作数据集中的异常对象还没有进行集合筛选,因此此时在目标操作数据集中的异常对象的数目并不是预设数量个异常对象对应的数目,在目标操作数据集中的异常对象的数目一般会大于预设数量个异常对象对应的数目。基于目标操作数据集确定两两异常对象间的共同操作。将预设数量个异常对象作为节点,根据两两异常对象间共同执行的相同目标操作连接两两异常对象,并将相同目标操作数设置为两两异常对象间边的权重,可以生成操作结构信息。
100.作为一个可选的实施例,基于预设的图结构生成算法,对目标操作数据集进行处理,可以生成操作结构信息。基于预设的图结构生成算法,目标操作数据集中异常对象对应的共同操作数据可以表示为三个字段,分别为user_1_id,user_2_id和count,其中user_1_id和user_2_id表示两两异常对象的标识,count为两两异常对象间的相同目标操作数,根据这三个字段即可生成操作结构信息对应的图的三元组,即【节点1、节点2、权重(边)】。依此对目标操作数据集中的每组数据进行处理,得到一系列节点和边构成的三元组,并将得到的三元组进行存储,再基于图结构生成算法,调用存储的三元组生成对应的图对象,得到操作结构信息。
101.其中,图结构生成算法可以为graphx算法,异常对象和相同目标操作数对应的三个字段可以为dataframe对象,dataframe是一种表格型数据结构,它含有一组有序的列,每列可以是不同的值。存储三元组时,可以采用弹性分布式数据集(resilient distributed datasets,rdd)进行存储。此外,基于graphx算法,也可以将节点和边分别存储在不同的rdd分区中,基于操作结构信息对应的路由数据,从不同的rdd分区中依次获取不同的节点和边,生成操作结构信息。
102.先获取目标操作大于预设操作数的初始对象,可减少计算初始对象对应的共同操作数据的计算量,之后再基于预设共同操作数,对初始对象进行筛选,可以过滤掉正常用户,避免误伤正常用户。且基于时间分区,获取多个初始操作数据集,进而获取多个过滤操作数据集,可以缩小操作数据集以在每个时间分区内减少计算量,从而提高得到获取过滤操作数据集的效率。
103.作为一个可选的实施例,过滤操作数据集为按序排列的多个过滤操作数据集,对过滤操作数据集进行合并,得到目标操作数据集包括:
104.将按序排列的多个过滤操作数据集中的第一个过滤操作数据集和第二个过滤操作数据集合并,并依次合并第二个过滤操作数据集之后的过滤操作数据集,直到合并到最后一个过滤操作数据集,得到目标操作数据集。
105.作为一个可选的实施例,过滤操作数据集与初始操作数据集对应的时间分区对应,因此,按序排列的多个过滤操作数据集可以为按照时间分区的先后顺序进行排序。在当前过滤操作数据集为第一个过滤操作数据集的情况下,对第一个过滤操作数据集,和第二个过滤操作数据集间进行合并处理,得到第一个合并操作数据集。在当前过滤操作数据集为非第一个过滤操作数据集,且当前过滤操作数据集为非第二个过滤操作数据集的情况下,对当前过滤操作数据集和当前过滤操作数据集对应的上一个合并操作数据集进行合并处理,得到当前过滤操作数据集对应的合并操作数据集。在得到最后一个过滤操作数据集对应的合并操作数据集的情况下,将最后一个过滤操作数据集对应的合并操作数据集作为目标操作数据集。
106.在当前过滤操作数据集为第一个过滤操作数据集的情况下,对第一个过滤操作数据集和第二个过滤操作数据集进行合并处理,确定第一个过滤操作数据集和第二个过滤操作数据集间的交集,并确定该交集与第一个过滤操作数据集间的差集,以及该交集与第二个过滤操作数据集间的差集,将该交集与这两个差集合并,得到第一个合并操作数据集。例如,如图5所示,将过滤操作数据集a和过滤操作数据集b进行合并处理,通过集合运算得到过滤操作数据集a和过滤操作数据集b间的交集ab,并得到交集ab与过滤操作数据集a间的
差集a1,交集ab与过滤操作数据集ab间的差集b1,将交集ab、差集a1和差集b1合并,得到合并操作数据集。
107.在得到第一个合并操作数据集后,将第三个过滤操作数据集作为当前过滤操作数据集,该第一个合并操作数据集即为当前过滤操作数据集对应的上一个合并操作数据集。对第一个合并操作数据集和第三个过滤操作数据集进行合并处理,确定第一个合并操作数据集和第三个过滤操作数据集间的交集,并确定该交集与第一个合并操作数据集间的差集,以及该交集与第三个过滤操作数据集间的差集,将该交集与这两个差集合并,得到第二个合并操作数据集。该第二个合并操作数据集为第三个过滤操作数据集对应的合并操作数据集。以此类推,再对第四个过滤操作数据集和第二个合并操作数据集进行合并处理等,直到将最后一个过滤操作数据集和倒数第二个合并操作数据集合并处理,得到最后一个过滤操作数据集对应的合并操作数据集,即得到最后一个合并操作数据集,将最后一个合并操作数据集作为目标操作数据集。
108.其中,合并过滤操作数据集时,交集中的数据是当前进行合并处理的操作数据集中相同的可识别对象间的相同目标操作数的和值。在当前进行合并处理的操作数据集为第一个过滤操作数据集与第二个过滤操作数据集时,交集就是第一个过滤操作数据集与第二个过滤操作数据集中相同的可识别对象间的相同目标操作数的和值,同理,在当前进行合并处理的操作数据集为上一个合并操作数据集与当前过滤操作数据集时,交集中的数据是上一个合并操作数据集与当前过滤操作数据集中相同的可识别对象间的相同目标操作数的和值。例如,过滤操作数据集a中包括可识别对象1和可识别对象2,以及可识别对象1和可识别对象2间的相同目标操作数,可识别对象1和可识别对象2间的相同目标操作数为50,过滤操作数据集b中也包括可识别对象1和可识别对象2,以及可识别对象1和可识别对象2间的相同目标操作数为30,则在合并后的交集中,可识别对象1和可识别对象2间的相同目标操作数为80。
109.通过计算当前过滤操作数据集与上一个合并操作数据集间的一个交集和两个补集,按照顺序合并过滤操作数据集,得到目标操作数据集,可以避免获取重复的数据,从而提高目标操作数据集的准确性,简化了生成操作结构信息的步骤。
110.s220.基于操作结构信息,对预设数量个异常对象进行集合划分,得到至少一个异常对象集合;
111.作为一个可选的实施例,操作结构信息中的各个节点通过边进行连接,且节点与异常对象相对应,则基于操作结构信息中的边,可以确定异常对象与异常对象间的相似性,对相连接的异常对象进行归类划分,得到至少一个异常对象集合。每个异常对象集合中的异常对象对应的操作数据相似,不同的异常对象集合中的异常对象对应的操作数据弱相关且不具有聚集性,不具有聚集性指不同的异常对象集合中的异常对象对应的操作行数据不归为一类。
112.作为一个可选的实施例,请参见图6,基于操作结构信息的边,对异常对象进行集合划分,得到至少一个异常对象集合包括:
113.s610.基于操作结构信息中各个节点间的连接关系,确定每个异常对象对应的连通图结构;
114.s620.将节点数满足预设数目阈值的连通图结构中各个节点对应的异常对象划分
为同一异常对象集合。
115.作为一个可选的实施例,连通图结构为任意两个节点间存在路径的图结构,该路径可以包括直接连接和间接连接,如图7所示,例如节点2和节点3、以及节点4连接,节点5和节点3、以及节点4连接,节点2和节点5连接,其中节点3和节点4间没有直接连接,但是节点3和节点4间可以通过节点2或节点5间接连接,因此节点3和节点4间也存在路径,而节点6与节点7连接,且节点6与节点2、节点3、节点4和节点5均不连接,节点7与节点2、节点3、节点4和节点5均不连接,因此,节点6和节点7构成一个连通图结构,节点2、节点3、节点4和节点5构成一个连通图结构。
116.基于操作结构信息中各个节点间的连接关系,确定两两节点间存在的路径,从而得到多个连通图结构。每个连通图结构中的节点与异常对象对应,因此,这些异常对象与该连通图结构间具有对应关系。例如,连通图结构1中包括节点x、节点y和节点z,因此节点x对应的异常对象对应的连通图结构、节点y对应的异常对象对应的连通图结构、以及节点z对应的异常对象对应的连通图结构均为连通图结构1。
117.作为一个可选的实施例,连通图结构与异常对象集合间存在对应关系,每个连通图结构对应一个异常对象集合,可以先对连通图结构进行筛选,获取连通图结构对应的节点数,过滤掉节点数数小于预设数目阈值的连通图结构,将节点数大于等于预设数目阈值的连通图结构中各个节点对应的异常对象划分为同一异常对象集合。
118.基于预设的算法,对连通图结构中的节点进行编号,用于标识每个连通图结构中的目标标识节点可以为该连通图结构中序号最小的节点,该节点对应的身份标识(identity document,id)即为该连通图结构的标识。将该id标识可以作为与连通图结构对应的异常对象集合的集合分类标识,同一集合分类标识的异常对象可以划分为同一异常对象集合。该预设的算法可以为图对象调用算法,例如connectedcomponents算法等,将操作结构信息中的节点归类划分到不同的连通图结构中。connectedcomponents算法最终输出的为graph[vertexid,long]对象,其中vertexid为节点标识,long为目标节点标识,例如,在对图7所示的两个连通图结构进行归类划分时,可以得到(2,2)、(3,2)、(4,2)、(5,2)、(6,6)(7,6)。根据该输出结果可以确定,节点2、节点3、节点4和节点5属于用节点2进行标识的连通图结构,节点6和节点7属于用节点6进行标识的连通图结构。可以将graph[vertexid,long]对象转换为dataframe对象。
[0119]
通过连通图结构确定异常对象集合,可以使得异常对象集合中两两异常对象间存在关联,且不同的异常对象集合中的异常对象不关联,提高了异常对象集合划分的准确性,同时在得到初始异常对象集合后,基于预设数目阈值,对初始异常对象集合进行筛选,去除异常对象数小于预设数目阈值的初始异常对象集合,可以进一步过滤正常用户和量级较小的初始异常对象集合,避免误伤正常用户。
[0120]
作为一个可选的实施例,在基于操作结构信息,对预设数量个异常对象进行集合划分,得到至少一个异常对象集合之后,该方法还包括:
[0121]
基于操作结构信息,确定每个异常对象集合中的核心异常对象,核心异常对象为每个异常对象集合中异常执行目标操作的核心对象,核心异常对象用于标识对应的异常对象集合。
[0122]
作为一个可选的实施例,基于操作结构信息,可以确定每个异常对象集合中的核
心异常对象,核心异常对象的数目至少为一个,也可以为多个,核心异常对象与对应的异常对象集合中的其他异常对象连接较为紧密,也就是说核心异常对象在对应的异常对象集合中连接的其他异常对象的数目较多,且与其他异常对象间的相同目标操作数较多,可以通过预设的阈值信息对连接的其他异常对象的数目和相同目标操作数进行判断,其他异常对象为异常对象集合中除核心异常对象外的异常对象。因此,可以基于核心异常对象对异常对象集合进行标识。
[0123]
基于核心异常对象,标识异常对象集合,使得异常对象集合中组织结构和成员数量的变动不会影响到该异常对象集合的标识,便于通过核心异常对象对异常对象集合进行长期监控,从而提高了异常对象集合标识的稳定性和有效性。
[0124]
作为一个可选的实施例,请参见图8,基于操作结构信息,确定每个异常对象集合中的核心异常对象包括:
[0125]
s810.基于操作结构信息,确定每个异常对象集合中的每个异常对象和对应的关联异常对象间的关联信息,关联信息用于衡量每个异常对象与对应的关联异常对象间关联的紧密程度,关联异常对象为在操作结构信息中与每个当前异常对象相连的对应的异常对象;
[0126]
s820.基于关联信息,确定每个异常对象集合中每个异常对象对应的异常指标数据;
[0127]
s830.将异常指标数据满足预设阈值的异常对象作为核心异常对象。
[0128]
作为一个可选的实施例,基于操作结构信息中的节点和边,可以确定每个异常对象集合中的每个异常对象和每个异常对象对应的关联异常对象间的关联信息,关联信息用于衡量每个异常对象与对应的关联异常对象间关联的紧密程度,关联异常对象为在操作结构信息中与每个当前异常对象相连的对应的异常对象。基于关联信息,可以计算每个异常对象集合中每个异常对象对应的异常指标数据。并将异常指标数据大于等于预设阈值的异常对象作为核心异常对象。该核心异常对象可以表示异常对象集合的基础组织结构和异常执行操作的特征,例如可以确定该异常对象集合中组织异常执行该目标操作的异常对象,或者确定该异常对象集合偏向于对哪一类的视频异常执行该目标操作,从而可以基于核心异常对象,对异常对象集合进行标识。
[0129]
基于操作结构信息,确定每个异常对象的关联信息,从而可以基于关联信息得到每个异常对象对应的异常指标数据,筛选出异常数据集合中与其他异常对象间的连接最为紧密的核心异常对象,从而可以提高核心异常对象筛选的准确性。
[0130]
作为一个可选的实施例,请参见图9,关联信息包括关联对象总数和目标关联权重,基于操作结构信息,确定每个异常对象集合中的每个异常对象和对应的关联异常对象间的关联信息包括:
[0131]
s910.基于操作结构信息,获取每个异常对象对应的关联异常对象的关联对象总数和每个异常对象对应的目标关联权重,目标关联权重为每个异常对象与对应的关联异常对象间的关联权重的和值;
[0132]
基于关联信息,确定每个异常对象集合中每个异常对象对应的异常指标数据包括:
[0133]
s920.基于关联对象总数、目标关联权重、异常对象总数和累计关联权重,确定每
个异常对象对应的异常指标数据,异常对象总数为每个异常对象集合中异常对象的数量值,累计关联权重表征每个异常对象集合中两两异常对象间的关联权重的和值。
[0134]
作为一个可选的实施例,基于操作结构信息中的节点和边,可以获取每个异常对象集合中每个异常对象对应的关联异常对象的关联对象总数和每个异常对象对应的目标关联权重。关联对象总数为每个异常对象集合中与当前异常对象相连的异常对象的总数,在对应的连通图结构中为当前节点相连的节点的总数目,当前节点即为与当前异常对象对应的节点。目标关联权重为每个异常对象与对应的关联异常对象间的关联权重,也就是每个异常对象集合对应的连通图结构中,每个异常对象对应的节点相连的边权重的和值。
[0135]
作为一个可选的实施例,对关联对象总数和目标关联权重可以进行初筛,获取关联对象总数大于等于预设的节点数目阈值,且目标关联权重大于等于预设的关联权重阈值的异常对象。若该异常对象同时满足上述节点数目阈值和关联权重阈值对应的条件,则可以进一步计算该异常对象对应的异常数据指标。若该异常对象不满足节点数目阈值和关联权重阈值中任一个条件,例如该异常对象的关联对象总数小于节点数目阈值,但是目标关联权重大于等于关联权重阈值,或者,该异常对象的关联对象总数大于等于节点数目阈值,但是目标关联权重小于关联权重阈值,此时可以将该异常对象直接排除。若该异常对象既不满足节点数目阈值的条件,也不满足关联权重阈值的条件,则也可以将该异常对象排除。
[0136]
作为一个可选的实施例,异常对象对应的关联对象总数越多,则说明该异常对象在该异常对象集合中与除该异常对象以外的其他异常对象间的联系越紧密。异常对象间是通过共同操作相连的,其中边的权重为相同目标操作数,因此异常对象对应的目标关联权重越大,说明异常对象间的相同的目标操作越多,也就是操作相似度越高,从而说明该异常对象与同一异常对象集合的其他异常对象间的联系越紧密。通过关联对象总数和目标关联权重,可以计算每个异常对象的异常指标数据。
[0137]
作为一个可选的实施例,由于关联对象总数和目标关联权重为表示不同信息的数据,可以将关联对象总数和目标关联权重进行归一化处理,将关联对象总数和目标关联权重转化为表示相同信息的数据。例如计算关联对象总数与异常对象集合中的异常对象总数的比值,并计算目标关联权重和累计关联权重间的比值,从而进行归一化处理。
[0138]
基于操作结构信息中的节点和边,可以获取每个异常对象集合中异常对象总数和异常对象间的累计关联权重,异常对象总数即为操作结构信息中与异常对象集合对应的连通图结构中的节点总数目,累计关联权重表征每个异常对象集合中异常对象在操作结构信息中对应的边的权重的和值。
[0139]
计算关联对象总数和异常对象总数间的比值,并计算目标关联权重和累计关联权重的比值。将比值之和作为异常指标数据。如下公式所示,每个异常对象对应的异常指标数据为:
[0140][0141]
其中,l为异常指标数据,n为该异常对象对应的关联对象总数,n为该异常对象对应的异常对象集合中异常对象总数,w为该异常对象对应的目标关联权重,w为该异常对象对应的异常对象集合的累计关联权重。
[0142]
作为一个可选的实施例,按照异常指标数据的大小,可以对每个异常对象集合中的异常对象进行排序,将序列中异常指标数据大于等于预设阈值的异常对象作为核心异常对象。或者在从大到小进行排序时,获取前预设数目个异常对象作为核心异常对象。在从小到大进行排序时,获取后预设数目个异常对象作为核心异常对象。
[0143]
通过关联对象总数和目标关联权重,确定异常对象集合中异常对象与其他异常对象间的关联的紧密程度,从而确定异常对象集合中的核心异常对象,可以提高确定核心异常对象的准确性和有效性,使得确定出的核心异常对象能够准确标识对应的异常对象集合。
[0144]
作为一个可选的实施例,请参见图10,该方法还包括:
[0145]
s1010.基于更新异常对象,对操作结构信息进行更新,得到更新操作结构信息;
[0146]
s1020.基于更新操作结构信息中的连通图结构,对操作结构信息中的连通图结构对应的异常对象集合进行更新,得到更新异常对象集合;
[0147]
s1030.基于核心异常对象,对异常对象集合进行操作数据监控。
[0148]
作为一个可选的实施例,更新异常对象可以为当前预设时间段之后的时间段中的异常对象。异常对象集合中的部分异常对象不一定在每个预设时间段内都会异常进行目标操作,使得更新异常对象和预设数量个异常对象间存在差异。基于更新异常对象,可以对预设数量个异常对象对应的操作结构信息进行更新,得到更新操作结构信息。在更新操作结构信息中的连通图结构也会发生变化,可能存在删除某一连通图结构中的部分节点或新增某一连通图结构中的部分节点的情况。由于操作结构信息中的连通图结构与异常对象集合具有对应关系,从而导致异常对象集合中的异常对象可能会随着操作结构信息的更新而发生变化,也就是说异常对象集合也可能新增部分异常对象或删除部分异常对象。而核心异常对象可以反映对应的异常对象集合的核心组织结构。因此,可以通过异常对象集合中的核心异常对象,对异常对象集合的规模和组织结构的变化进行监控。核心异常对象可以为一个或多个异常对象。
[0149]
基于核心异常对象,可以对异常对象集合的操作数据进行长期监控,同时还可以监控到异常对象集合的组织结构变化和规模变化,从而提高了对异常对象集合的识别的稳定性和对异常对象集合进行监控的有效性。
[0150]
作为一个可选的实施例,该异常对象集合的识别方法可以应用于确定点赞刷量的异常用户的场景中。请参见图11,在进行异常对象集合的识别之前可以先生成操作结构信息。预设时间段为一天,目标操作为点赞操作,对象操作日志为点赞日志。从点赞日志中筛选出一天内点赞操作数大于等于预设操作数的初始对象,该预设操作数可以为150次。将一天划分为6个时间分区,确定每个时间分区对应的初始对象和两两初始对象的相同目标操作数,得到每个时间分区内初始对象对应的共同操作数据,生成每个时间分区对应的初始操作数据集。基于预设共同操作数,对初始操作数据集中的初始对象进行过滤,得到过滤操作数据集,并对每个时间分区对应过滤操作数据集进行合并,得到目标操作数据集。基于目标操作数据集中的异常对象和两两异常对象对应的相同目标操作数,分别作为节点和边,构建得到操作结构信息。该操作结构信息可以基于预设时间段之后的时间段对应的更新异常对象进行更新。例如,根据第一天对应的目标操作数据集得到操作结构信息后,在第二天得到新的目标操作数据集后,可以基于新的目标操作数据集,对第一天对应的操作结构信
息进行更新。
[0151]
在生成操作结构信息之后,可以进行异常对象集合的识别。获取操作结构信息中的连通图结构,并获取连通图结构中的目标节点标识,也就是序号最小的顶点的id,将该目标节点标识作为集合标识信息。基于该集合标识信息,将每个连通图结构中节点对应的异常对象,划分到同一初始异常对象集合中。获取每个初始异常对象集合中的异常对象数,将异常对象数大于等于预设数目阈值的初始异常对象集合作为异常对象集合。在点赞刷量的应用场景中,该方法不仅可以发掘通过“假人假机”进行刷量操作的异常对象集合,同时也可以发掘通过“真人真机”进行刷量操作的异常对象集合。
[0152]
计算每个异常对象集合中每个异常对象与其他异常对象间的关联信息,基于该关联信息确定每个异常对象集合中每个异常对象的异常指标数据,获取异常指标数据大于等于预设阈值的异常对象,将这些异常对象作为核心异常对象。基于核心异常对象,可以对每个异常对象集合的点赞刷量的操作进行监控。
[0153]
本实施例提出了一种异常对象集合的识别方法,该方法包括:获取预设数量个异常对象对应的操作结构信息,操作结构信息为以预设数量个异常对象为节点,预设数量个异常对象中两两异常对象间共同执行的相同目标操作数为边的图谱。基于操作结构信息,对预设数量个异常对象进行集合划分,得到至少一个异常对象集合。该方法可以根据操作结构信息,获取异常对象间的连接关系,从而基于异常对象间的连接关系,识别出异常对象对应的异常对象集合,提高了识别异常对象识别的效率,且异常对象集合中各个异常对象对应的目标操作的相似度高,通过整体的相似目标操作,识别得到异常对象集合,可以起到发现一而牵出百的作用,从而提高识别异常对象集合的有效性,并在后续步骤中对具有整体相似操作的异常对象集合进行监控,可以提高监控异常对象集合的有效性。该方法不仅可以发掘“假人假机”的异常对象集合,同时也可以发掘“真人真机”的异常对象集合,从而提高了识别异常对象集合的准确性。
[0154]
该方法还可以通过核心异常对象,对异常对象集合进行标识,使得异常对象集合的标识不会因此异常对象集合中的结构和成员而发生变化,从而提高了异常对象集合的识别的稳定性和对异常对象集合进行监控的有效性。
[0155]
图12是根据一示例性实施例示出的一种异常对象集合的识别装置框图。参照图12,该装置包括:
[0156]
操作结构信息获取模块1210,被配置为执行获取预设数量个异常对象对应的操作结构信息,操作结构信息为以预设数量个异常对象为节点,预设数量个异常对象中两两异常对象间共同执行的相同目标操作为边的图谱,预设数量个异常对象各自对应的目标操作数大于等于预设操作数,且两两异常对象对应的相同目标操作数大于等于预设共同操作数;
[0157]
异常对象集合获取模块1220,被配置为执行基于操作结构信息,对预设数量个异常对象进行集合划分,得到至少一个异常对象集合。
[0158]
作为一个可选的实施例,其特征在于,该装置还包括:
[0159]
核心异常对象确定模块,被配置为执行基于操作结构信息,确定每个异常对象集合中的核心异常对象,核心异常对象为每个异常对象集合中异常执行目标操作的核心对象,核心异常对象用于标识对应的异常对象集合。
[0160]
作为一个可选的实施例,核心异常对象确定模块包括:
[0161]
关联信息确定单元,被配置为执行基于操作结构信息,确定每个异常对象集合中的每个异常对象和对应的关联异常对象间的关联信息,关联信息用于衡量每个异常对象与对应的关联异常对象间关联的紧密程度,关联异常对象为在操作结构信息中与每个当前异常对象相连的异常对象;
[0162]
异常指标数据确定单元,被配置为执行基于关联信息,确定每个异常对象集合中每个异常对象对应的异常指标数据;
[0163]
核心异常对象确定单元,被配置为执行将异常指标数据满足预设阈值的异常对象作为核心异常对象。
[0164]
作为一个可选的实施例,关联信息包括关联对象总数和目标关联权重,关联信息确定单元包括:
[0165]
关联信息获取单元,被配置为执行基于操作结构信息,获取每个异常对象对应的关联异常对象的关联对象总数和每个异常对象对应的目标关联权重,目标关联权重为每个异常对象与对应的关联异常对象间的关联权重的和值;
[0166]
异常指标数据确定单元包括:
[0167]
异常指标计算单元,被配置为执行基于关联对象总数、目标关联权重、异常对象总数和累计关联权重,确定每个异常对象对应的异常指标数据,异常对象总数为每个异常对象集合中异常对象的数量值,累计关联权重表征每个异常对象集合中两两异常对象间的关联权重的和值。
[0168]
作为一个可选的实施例,该装置还包括:
[0169]
初始操作数据集获取模块,被配置为执行获取基于预设分组信息划分的多个初始操作数据集,初始操作数据集表征初始对象对应的共同操作数据的集合,初始对象对应的共同操作数据为两两初始对象和两两初始对象间共同执行的相同目标操作数,初始对象为对应的目标操作数大于等于预设操作数的对象;
[0170]
过滤处理模块,被配置为执行对每个初始操作数据集分别进行过滤处理,得到过滤操作数据集,过滤操作数据集表征待识别对象对应的共同操作数据的集合,待识别对象对应的共同操作数据为两两待识别对象和两两待识别对象间共同执行的相同目标操作数,待识别对象为相同目标操作数大于等于预设共同操作数的初始对象;
[0171]
目标操作数据集生成模块,被配置为执行对过滤操作数据集进行合并,得到目标操作数据集;
[0172]
操作结构信息生成模块,被配置为执行基于目标操作数据集,生成操作结构信息。
[0173]
作为一个可选的实施例,过滤操作数据集为按序排列的多个过滤操作数据集,目标操作数据集生成模块包括:
[0174]
数据集合并单元,被配置为执行将按序排列的多个过滤操作数据集中的第一个过滤操作数据集和第二个过滤操作数据集合并,并依次合并第二个过滤操作数据集之后的过滤操作数据集,直到合并到最后一个过滤操作数据集,得到目标操作数据集。
[0175]
作为一个可选的实施例,异常对象集合获取模块包括:
[0176]
连通图结构获取单元,被配置为执行基于操作结构信息中各个节点间的连接关系,确定每个异常对象对应的连通图结构;
[0177]
集合过滤单元,被配置为执行将节点数满足预设数目阈值的连通图结构中各个节点对应的异常对象划分为同一异常对象集合。
[0178]
作为一个可选的实施例,其特征在于,该装置还包括:
[0179]
操作结构信息更新模块,被配置为执行基于更新异常对象,对操作结构信息进行更新,得到更新操作结构信息;
[0180]
异常对象集合更新模块,被配置为执行基于更新操作结构信息中的连通图结构,对操作结构信息中的连通图结构对应的异常对象集合进行更新,得到更新异常对象集合;
[0181]
操作数据监控模块,被配置为执行基于核心异常对象,对更新异常对象集合进行操作数据监控。
[0182]
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
[0183]
图13是根据一示例性实施例示出的一种用于异常对象集合的识别的电子设备的框图,该电子设备可以是服务器,其内部结构图可以如图13所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种异常对象集合的识别方法。
[0184]
本领域技术人员可以理解,图13中示出的结构,仅仅是与本公开方案相关的部分结构的框图,并不构成对本公开方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0185]
在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1304,上述指令可由电子设备1300的处理器1320执行以完成上述方法。可选地,计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0186]
在示例性实施例中,还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述的异常对象集合的识别方法。
[0187]
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
[0188]
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献