海量请求的去重方法、装置、设备及存储介质与流程

1.本发明涉及计算机技术领域，特别涉及一种海量请求的去重方法、装置、设备及存储介质。


背景技术：

2.随着互联网业务的日益增长，各个平台开始搭建微服务架构以支撑庞大的业务量，而随着业务量的增长，去除重复的用户请求成为了降低平台维护成本的关键技术手段。
3.在相关技术中，通常采用去重模型对海量用户请求进行去重处理。然而，去重模型容易忽略表层信息(如，用户请求的参数、用户请求的响应结果)与实际业务含义之间的关联关系，导致包含了相同表层信息，但实际业务含义不同的用户请求被滤除；其次，若以包含了相同的请求参数，作为重复的用户请求的评判标准，去重模型会保留参数组合不同，但请求响应结果相同的用户请求，反而降低了去重准确率。而且，随着表层信息的含义、数量发生变化，需要适应性调整去重模型的模型架构、模型参数，进一步提高了平台维护成本。
4.有鉴于此，需要设计一种新的海量请求的去重方法、装置、设备及存储介质，以克服上述缺陷。


技术实现要素：

5.本技术实施例提供一种海量请求的去重方法、装置、设备及存储介质，用以解决去重准确率低的问题。
6.本技术实施例提供的具体技术方案如下：
7.第一方面，本技术实施例提供了一种海量请求的去重方法，包括：
8.获取初始用户请求集合中每个初始用户请求的链路消息，每个链路消息是基于为同一初始用户请求提供服务的链路节点生成的；
9.分别对各个链路消息进行转换处理，获得对应的链路标记；
10.基于获得的各个链路标记，剔除所述初始用户请求集合中重复的用户请求，获得目标用户请求集合。
11.可选的，一个链路消息包含至少一个关联信息组；
12.其中，通过执行以下操作，生成一个关联信息组：
13.响应于监听到任意一个链路节点为一个初始用户请求提供服务的操作，至少获取所述一个初始用户请求的请求标识、所述任意一个链路节点的节点标识，以及预设在所述任意一个链路节点上的探针的探针标识；
14.将所述一个初始用户请求的请求标识、所述任意一个链路节点的节点标识，以及预设在所述任意一个链路节点上的探针的探针标识进行关联存储，生成对应的关联信息组。
15.可选的，所述分别对各个链路消息进行转换处理，获得对应的链路标记，其中，通过执行以下操作，获得一个链路标记：
16.对所述一个链路消息包含的至少一个关联信息组进行聚合处理，获得至少一个聚合子信息；
17.对所述至少一个聚合子信息进行拼接处理，获得目标聚合信息；
18.对所述目标聚合信息进行映射处理，获得对应的链路标记。
19.可选的，所述对所述一个链路消息包含的至少一个关联信息组进行聚合处理，获得至少一个聚合子信息，包括：
20.对所述一个链路消息中包含相同节点标识的关联信息组进行聚合，获得所述至少一个聚合子信息；
21.其中，每个聚合子信息包括节点标识和至少一个探针标识。
22.可选的，若一个聚合子信息包含多个探针标识，则按照探针标识的大小顺序，对所述一个聚合子信息中的各个探针标识进行排序。
23.可选的，所述基于获得的各个链路标记，剔除所述初始用户请求集合中重复的用户请求，获得目标用户请求集合，包括：
24.采用循环方式，针对当前一轮的候选用户请求集合执行以下操作，直至下一轮的候选用户请求集合中不存在重复的候选用户请求，获得所述目标用户请求集合：
25.对所述当前一轮的候选用户请求集合进行排列组合，获得多个用户请求对，每个用户请求对包含两个候选用户请求；
26.针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定所述两个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
27.将当前一轮去重后的候选用户请求集合，作为下一轮的候选用户请求集合。
28.可选的，通过执行以下操作，确定当前一轮的候选用户请求集合：
29.若为首轮循环，则将所述初始用户请求集合作为当前一轮的候选用户请求集合；
30.若为非首轮循环，则将上一轮去重后的候选用户请求集合，作为当前一轮的候选用户请求集合。
31.可选的，所述基于获得的各个链路标记，剔除所述初始用户请求集合中重复的用户请求，获得目标用户请求集合，包括：
32.采用循环方式，分别针对不同类型的候选用户请求集合执行以下操作，直至下一轮各个类型的候选用户请求集合中均不存在重复的候选用户请求，获得对应的目标用户请求集合：
33.对当前一轮的一个候选用户请求集合进行排列组合，获得多个用户请求对，每个用户请求对包含两个候选用户请求；
34.针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定所述两个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
35.将当前一轮去重后的一个候选用户请求集合，作为下一轮的候选用户请求集合。
36.可选的，通过执行以下操作，确定当前一轮的一个候选用户请求集合：
37.若为首轮循环，则将一个类型的初始用户请求集合作为当前一轮的一个候选用户请求集合；
38.若为非首轮循环，则将上一轮去重后的一个候选用户请求集合，作为当前一轮的一个候选用户请求集合。
39.可选的，通过执行以下操作，获得所述两个链路标记之间的链路标记相似度：
40.采用字符去重算法，逐一比较所述两个链路标记上同一位置的字符，获得所述链路标记相似度；或者，
41.采用哈希算法，分别获得所述两个链路标记的哈希值，并对两个哈希值进行汉明距离处理，获得所述链路标记相似度。
42.第二方面，本技术实施例还提供了一种海量请求的去重装置，包括：
43.获取单元，用于获取初始用户请求集合中每个初始用户请求的链路消息，每个链路消息是基于为同一初始用户请求提供服务的链路节点生成的；
44.去重单元，用于分别对各个链路消息进行转换处理，获得对应的链路标记；
45.基于获得的各个链路标记，剔除所述初始用户请求集合中重复的用户请求，获得目标用户请求集合。
46.可选的，一个链路消息包含至少一个关联信息组，其中，所述装置还包括生成单元，所述生成单元通过执行以下操作，生成一个关联信息组：
47.响应于监听到任意一个链路节点为一个初始用户请求提供服务的操作，至少获取所述一个初始用户请求的请求标识、所述任意一个链路节点的节点标识，以及预设在所述任意一个链路节点上的探针的探针标识；
48.将所述一个初始用户请求的请求标识、所述任意一个链路节点的节点标识，以及预设在所述任意一个链路节点上的探针的探针标识进行关联存储，生成对应的关联信息组。
49.可选的，所述去重单元通过执行以下操作，获得一个链路标记：
50.对所述一个链路消息包含的至少一个关联信息组进行聚合处理，获得至少一个聚合子信息；
51.对所述至少一个聚合子信息进行拼接处理，获得目标聚合信息；
52.对所述目标聚合信息进行映射处理，获得对应的链路标记。
53.可选的，所述去重单元用于：
54.对所述一个链路消息中包含相同节点标识的关联信息组进行聚合，获得所述至少一个聚合子信息；
55.其中，每个聚合子信息包括节点标识和至少一个探针标识。
56.可选的，若一个聚合子信息包含多个探针标识，则按照探针标识的大小顺序，对所述一个聚合子信息中的各个探针标识进行排序。
57.可选的，所述去重单元用于：
58.采用循环方式，针对当前一轮的候选用户请求集合执行以下操作，直至下一轮的候选用户请求集合中不存在重复的候选用户请求，获得所述目标用户请求集合：
59.对所述当前一轮的候选用户请求集合进行排列组合，获得多个用户请求对，每个用户请求对包含两个候选用户请求；
60.针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定所述两
个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
61.将当前一轮去重后的候选用户请求集合，作为下一轮的候选用户请求集合。
62.可选的，所述去重单元通过执行以下操作，确定当前一轮的候选用户请求集合：
63.若为首轮循环，则将所述初始用户请求集合作为当前一轮的候选用户请求集合；
64.若为非首轮循环，则将上一轮去重后的候选用户请求集合，作为当前一轮的候选用户请求集合。
65.可选的，所述去重单元用于：
66.采用循环方式，分别针对不同类型的候选用户请求集合执行以下操作，直至下一轮各个类型的候选用户请求集合中均不存在重复的候选用户请求，获得对应的目标用户请求集合：
67.对当前一轮的一个候选用户请求集合进行排列组合，获得多个用户请求对，每个用户请求对包含两个候选用户请求；
68.针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定所述两个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
69.将当前一轮去重后的一个候选用户请求集合，作为下一轮的候选用户请求集合。
70.可选的，所述去重单元通过执行以下操作，确定当前一轮的一个候选用户请求集合：
71.若为首轮循环，则将一个类型的初始用户请求集合作为当前一轮的一个候选用户请求集合；
72.若为非首轮循环，则将上一轮去重后的一个候选用户请求集合，作为当前一轮的一个候选用户请求集合。
73.可选的，所述去重单元通过执行以下操作，获得所述两个链路标记之间的链路标记相似度：
74.采用字符去重算法，逐一比较所述两个链路标记上同一位置的字符，获得所述链路标记相似度；或者，
75.采用哈希算法，分别获得所述两个链路标记的哈希值，并对两个哈希值进行汉明距离处理，获得所述链路标记相似度。
76.第三方面，本技术实施例还提供了一种计算机设备，包括处理器和存储器，其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行上述任意一种海量请求的去重方法的步骤。
77.第四方面，本技术实施例还提供了一种计算机可读存储介质，包括程序代码，当所述程序代码在计算机设备上运行时，所述程序代码用于使所述计算机设备执行上述任意一种海量请求的去重方法的步骤。
78.本技术有益效果如下：
79.本技术实施例中，获取初始用户请求集合中每个初始用户请求的链路消息，每个链路消息是基于为同一个初始用户请求提供服务的链路节点生成的；再分别对各个链路消息进行转换处理，获得对应的链路标记，基于获得的各个链路标记，剔除初始用户请求集合中重复的用户请求，获得目标用户请求集合。在本技术实施例提供的海量请求的去重方法
中，每个链路消息是基于为同一初始用户请求提供服务的链路节点生成的，因此，每个链路消息体现了在为对应的初始用户请求提供服务的过程中的链路节点追踪信息，而各个链路消息的链路标记，融合了不同链路节点之间的跳转信息以及每个链路节点的实际描述信息，更加真实地反映了用户请求的实际业务逻辑。以获得的各个链路标记，作为重复的用户请求的评判标准，达到了克服去重模型的技术缺陷，提高去重准确率与通用性的目的。
附图说明
80.图1a为本技术实施例提供的海量请求的去重方法的流程示意图；
81.图1b为本技术实施例提供的生成链路消息的逻辑示意图；
82.图1c为本技术实施例提供的生成一个链路标记的流程示意图；
83.图2为本技术实施例提供的第一种去重方式的流程示意图；
84.图3为本技术实施例提供的第二种去重方式的流程示意图；
85.图4为本技术实施例提供的识别关键词的装置的结构示意图；
86.图5为本技术实施例提供的一种计算机设备的结构示意图；
87.图6为应用本技术实施例提供的计算装置的一个硬件组成结构示意图。
具体实施方式
88.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术的技术方案进行清楚、完整地描述。显然，所描述的实施例是本技术技术方案的一部分实施例，而不是全部的实施例。基于本技术文件中记载的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术技术方案保护的范围。
89.随着互联网业务的日益增长，各个平台开始搭建微服务架构以支撑庞大的业务量，而随着业务量的增长，去除重复的用户请求成为了降低平台维护成本的关键技术手段。
90.在相关技术中，通常采用去重模型对海量用户请求进行去重处理。
91.例如，以包含相同的参数，作为重复的用户请求的评判标准，对表1示出的一组用户请求进行去重处理，获得如表2所示的目标用户请求集合。
92.在表1示出的一组用户请求中包含了数字类型的参数a，针对数字类型的参数，采用边界分析法设置最小值、最大值、空值、正负值(从非最大值的多个正数中，任取一个正数作为一端的边界值，再从非最小值的多个负数中，任取一个负数作为另一端的边界值)等多个边界条件，将参数满足各个边界条件的用户请求判定为不同类型的用户请求，将参数不满足任意一个边界条件的用户请求判定为重复的用户请求。
93.表1
94.95.表2
[0096][0097]
又例如，以包含至少一个相同字段，作为重复的用户请求的评判标准，对表3示出的一组用户请求进行去重处理，获得如表4所示的目标用户请求集合。
[0098]
在表3示出的一组用户请求中包含了js对象简谱(javascript object notation，json)字符串格式的响应结果，每个响应结果至少包含代码(code)字段、信息(message，msg)字段、数据(data)字段，部分响应结果还包括计算(count)字段。其中，code字段表示响应码，msg字段表示错误信息，data字段表示响应数据，count字段则表示数字类型的响应数据。
[0099]
表3
[0100]
用户请求id响应结果用户请求0{"code":301,"msg":"redirect","data":{}}用户请求1{"code":200,"msg":"","data":{}用户请求2{"code":500,"msg":"inner error","data":{}}用户请求3{"code":200,"msg":"","data":{"count":0}}用户请求4{"code":500,"msg":"inner exception","data":{}}用户请求5{"code":200,"msg":"","data":{"count":1}}用户请求6{"code":200,"msg":"","data":{"count":5}}用户请求7{"code":200,"msg":"","data":{"count":100}}
[0101]
表4
[0102][0103][0104]
然而，去重模型容易忽略表层信息与实际业务含义之间的关联关系，导致包含了相同表层信息，但实际业务含义不同的用户请求被滤除；其次，若以包含了相同的请求参数，作为重复的用户请求的评判标准，去重模型会保留参数组合不同，但请求响应结果相同的用户请求，反而降低了去重准确率。而且，随着表层信息的含义、数量发生变化，需要适应性调整去重模型的模型架构、模型参数，进一步提高了平台维护成本。
[0105]
为了解决去重准确率低的问题，本技术实施例提出了一种海量请求的去重方法。该方法可应用于自动化测试场景、反向自动化测试场景等多种应用场景下，对每个应用场景下的海量用户请求进行去重处理，以保证测试工作的正常运行。
[0106]
参阅图1a示出的流程示意图，该方法包括：
[0107]
s101：获取初始用户请求集合中每个初始用户请求的链路消息，每个链路消息是基于为同一个初始用户请求提供服务的链路节点生成的。
[0108]
在微服务架构中，将为一个初始用户请求提供服务的过程称之为请求链路。在请求链路中，包括响应于该初始用户请求调用的多个分布式服务，以及执行每个分布式服务时调用的多个代码算法。
[0109]
为了达到追踪请求链路的目的，在调用的分布式服务、代码算法之间层层透传初始用户请求唯一的请求标识，生成相应的链路消息。其中，一个链路消息包含至少一个关联信息组，通过执行以下操作，生成该链路消息中的一个关联信息组：
[0110]
响应于监听到任意一个链路节点为一个初始用户请求提供服务的操作，至少获取该初始用户请求的请求标识、该链路节点的节点标识，以及预设在该链路节点上的探针的探针标识；
[0111]
再将该初始用户请求的请求标识、该链路节点的节点标识，以及预设在该链路节点上的探针的探针标识进行关联存储，生成对应的关联信息组。
[0112]
在为一个初始用户请求提供服务时，若调用了多个链路节点，则该链路消息中会包含多个关联信息组，且每个关联信息组存储了相同的请求标识。其中，链路节点指的是为了向该初始用户请求提供服务所调用的代码算法，为了监听代码算法中的入口语句、退出语句、判断语句等特殊语句的执行情况，在每个特殊语句上还预设了相应的探针进行监听。
[0113]
表5示出了部分特殊语句，在执行if/else判断语句时，若执行if的代码段，则触发探针1；若执行else的代码段，则触发探针2。
[0114]
表5
[0115]
特殊语句的语句类型特殊语句的描述信息入口语句代码算法的入口判断语句if/else、switch、goto等判断语句退出语句return、throw exception等退出语句
[0116]
如图1b所示的逻辑示意图，在为初始用户请求1提供服务的过程中，依次调用了链路节点a～c，生成链路消息1{[1,a,1],[1,a,2],[1,b,2],[1,c,2]}；在为初始用户请求2提供服务的过程中，依次调用了链路节点a～c，生成链路消息2{[2,a,4],[2,b,3],[2,b,4],[2,c,2],[2,c,3]}。
[0117]
假设初始用户请求的数量为n，每个请求调用的链路节点的数量为m，则所有初始用户请求的链路消息的数据量为m*n，链路消息的数据量远远超过初始用户请求的数量，尤其是在请求链路较为复杂的场景下，初始用户请求的数量会更多。因此，为了防止影响为每个初始用户请求提供服务，本技术实施例采用异步日志、异步消息队列等异步方式，输出相应的链路消息。
[0118]
s102：分别对各个链路消息进行转换处理，获得对应的链路标记。
[0119]
如图1c所示，以一个链路消息为例，针对该链路消息执行以下操作，可获得对应的链路标记：
[0120]
s1021：对该链路消息包含的至少一个关联信息组进行聚合处理，获得至少一个聚合子信息。
[0121]
对该链路消息中包含相同节点标识的关联信息组进行聚合，获得至少一个聚合子
信息；其中，每个聚合子信息包括节点标识和至少一个探针标识。
[0122]
若一个聚合子信息包含多个探针标识，则按照探针标识的大小顺序，对该聚合子信息中的各个探针标识进行排序。
[0123]
s1022：对至少一个聚合子信息进行拼接处理，获得目标聚合信息。
[0124]
s1023：对目标聚合信息进行映射处理，获得对应的链路标记。
[0125]
例如，针对链路消息3{[3,a,1],[3,a,2],[3,b,4],[3,b,2],[3,c,3]}进行聚合处理，获得3个聚合子信息([a,1],[a,2])、([b,2],[b,4])和([c,3])；对各个聚合子信息进行拼接处理，获得目标聚合信息{(a-1,2)(b-2,4)(c-3)}，对目标聚合信息执行信息摘要算法(message-digest algorithm 5，md5)，获得链路标记fbd2dc72528299e7e9a107312a86ee75。
[0126]
s103：基于获得的各个链路标记，剔除初始用户请求集合中重复的用户请求，获得目标用户请求集合。
[0127]
可选的，本技术实施例提供了以下两种去重方式：
[0128]
去重方式1：对一个初始用户请求集合进行去重处理。
[0129]
参阅图2示出的流程示意图，第一种去重方式的执行过程如下：
[0130]
s201：对当前一轮的候选用户请求集合进行排列组合，获得多个用户请求对，每个用户请求对包含两个候选用户请求；
[0131]
s202：针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定两个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
[0132]
s203：将当前一轮去重后的候选用户请求集合，作为下一轮的候选用户请求集合；
[0133]
s204：判断下一轮的候选用户请求集合中是否存在重复的用户请求，若是，返回步骤201；否则，将下一轮的候选用户请求集合作为目标用户请求集合输出。
[0134]
其中，在执行步骤201时，若为首轮循环，则将初始用户请求集合作为当前一轮的候选用户请求集合；若为非首轮循环，则将上一轮去重后的候选用户请求集合，作为当前一轮的候选用户请求集合。
[0135]
去重方式2：对不同类型的初始用户请求集合进行去重处理。
[0136]
例如，在分组场景下采用第二种去重方式，分别分析不同地域的用户请求。参阅图3示出的流程示意图，第二种去重方式的执行过程如下：
[0137]
s301：对当前一轮的一个候选用户请求集合进行排列组合，获得多个用户请求对，每个用户请求对包含两个候选用户请求；
[0138]
s302：针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定两个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
[0139]
s303：将当前一轮去重后的候选用户请求集合，作为下一轮的候选用户请求集合；
[0140]
s304：判断是否获得了下一轮各个类型的候选用户请求集合，若是，执行步骤305；否则，返回步骤301；
[0141]
s305：判断下一轮各个类型的候选用户请求集合中是否均不存在重复的用户请求，若是，将下一轮各个类型的候选用户请求集合作为对应的目标用户请求集合输出；否
则，返回步骤301。
[0142]
其中，在执行步骤301时，若为首轮循环，则将一个类型的初始用户请求集合作为当前一轮的一个候选用户请求集合；若为非首轮循环，则将上一轮去重后的一个候选用户请求集合，作为当前一轮的一个候选用户请求集合。
[0143]
无论是采用上述哪种去重方式，均可通过执行以下操作，获得两个链路标记之间的链路标记相似度：
[0144]
操作1：采用字符去重算法，逐一比较两个链路标记上同一位置的字符，获得链路标记相似度。
[0145]
例如，采用字符去重算法，对表6示出的3个链路标记进行字符比较，其中链路标记1、3完全一致，因此，剔除初始用户请求1或者初始用户请求3，去重后的目标用户请求集合如表7所示。
[0146]
表6
[0147]
初始用户请求id链路标记初始用户请求1fbd2dc72528299e7e9a107312a86ee75初始用户请求2692a16cdc9b343d4700bae3aae2364d6初始用户请求3fbd2dc72528299e7e9a107312a86ee75
[0148]
表7
[0149]
初始用户请求id链路标记初始用户请求1fbd2dc72528299e7e9a107312a86ee75初始用户请求2692a16cdc9b343d4700bae3aae2364d6
[0150]
或者，操作2：采用哈希算法，分别获得两个链路标记的哈希值，并对两个哈希值进行汉明距离处理，获得链路标记相似度。
[0151]
例如，采用哈希算法，对表6示出的3个链路标记进行哈希计算，获得相应的哈希值，再分别计算任意两个哈希值之间的汉明距离，其中链路标记1、3之间的汉明距离小于2，判定初始用户请求1与初始用户请求3是重复的用户请求。因此，剔除初始用户请求1或者初始用户请求3，去重后的目标用户请求集合如表7所示。
[0152]
在本技术实施例提供的海量请求的去重方法中，每个链路消息是基于为同一初始用户请求提供服务的链路节点生成的，因此，每个链路消息体现了在为对应的初始用户请求提供服务的过程中的链路节点追踪信息，而各个链路消息的链路标记，融合了不同链路节点之间的跳转信息以及每个链路节点的实际描述信息，更加真实地反映了用户请求的实际业务逻辑。以获得的各个链路标记，作为重复的用户请求的评判标准，达到了克服去重模型的技术缺陷，提高去重准确率与通用性的目的。
[0153]
与上述方法实施例基于同一发明构思，本发明实施例中，提供一种海量请求的去重装置，参阅图4所示，该装置400至少包括获取单元401、去重单元402和生成单元403，其中，
[0154]
获取单元401，用于获取初始用户请求集合中每个初始用户请求的链路消息，每个链路消息是基于为同一初始用户请求提供服务的链路节点生成的；
[0155]
去重单元402，用于分别对各个链路消息进行转换处理，获得对应的链路标记；
[0156]
基于获得的各个链路标记，剔除所述初始用户请求集合中重复的用户请求，获得
目标用户请求集合。
[0157]
可选的，一个链路消息包含至少一个关联信息组，其中，所述装置400还包括生成单元403，所述生成单元通过执行以下操作，生成一个关联信息组：
[0158]
响应于监听到任意一个链路节点为一个初始用户请求提供服务的操作，至少获取所述一个初始用户请求的请求标识、所述任意一个链路节点的节点标识，以及预设在所述任意一个链路节点上的探针的探针标识；
[0159]
将所述一个初始用户请求的请求标识、所述任意一个链路节点的节点标识，以及预设在所述任意一个链路节点上的探针的探针标识进行关联存储，生成对应的关联信息组。
[0160]
可选的，所述去重单元402通过执行以下操作，获得一个链路标记：
[0161]
对所述一个链路消息包含的至少一个关联信息组进行聚合处理，获得至少一个聚合子信息；
[0162]
对所述至少一个聚合子信息进行拼接处理，获得目标聚合信息；
[0163]
对所述目标聚合信息进行映射处理，获得对应的链路标记。
[0164]
可选的，所述去重单元402用于：
[0165]
对所述一个链路消息中包含相同节点标识的关联信息组进行聚合，获得所述至少一个聚合子信息；
[0166]
其中，每个聚合子信息包括节点标识和至少一个探针标识。
[0167]
可选的，若一个聚合子信息包含多个探针标识，则按照探针标识的大小顺序，对所述一个聚合子信息中的各个探针标识进行排序。
[0168]
可选的，所述去重单元402用于：
[0169]
采用循环方式，针对当前一轮的候选用户请求集合执行以下操作，直至下一轮的候选用户请求集合中不存在重复的候选用户请求，获得所述目标用户请求集合：
[0170]
对所述当前一轮的候选用户请求集合进行排列组合，获得多个用户请求对，每个用户请求对包含两个候选用户请求；
[0171]
针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定所述两个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
[0172]
将当前一轮去重后的候选用户请求集合，作为下一轮的候选用户请求集合。
[0173]
可选的，所述去重单元402通过执行以下操作，确定当前一轮的候选用户请求集合：
[0174]
若为首轮循环，则将所述初始用户请求集合作为当前一轮的候选用户请求集合；
[0175]
若为非首轮循环，则将上一轮去重后的候选用户请求集合，作为当前一轮的候选用户请求集合。
[0176]
可选的，所述去重单元402用于：
[0177]
采用循环方式，分别针对不同类型的候选用户请求集合执行以下操作，直至下一轮各个类型的候选用户请求集合中均不存在重复的候选用户请求，获得对应的目标用户请求集合：
[0178]
对当前一轮的一个候选用户请求集合进行排列组合，获得多个用户请求对，每个
用户请求对包含两个候选用户请求；
[0179]
针对每个用户请求对分别执行以下操作：获取一个用户请求对中两个候选用户请求各自的链路标记，若两个链路标记之间的链路标记相似度超过设定阈值，则判定所述两个候选用户请求为重复的用户请求，并剔除任意一个候选用户请求；
[0180]
将当前一轮去重后的一个候选用户请求集合，作为下一轮的候选用户请求集合。
[0181]
可选的，所述去重单元402通过执行以下操作，确定当前一轮的一个候选用户请求集合：
[0182]
若为首轮循环，则将一个类型的初始用户请求集合作为当前一轮的一个候选用户请求集合；
[0183]
若为非首轮循环，则将上一轮去重后的一个候选用户请求集合，作为当前一轮的一个候选用户请求集合。
[0184]
可选的，所述去重单元402通过执行以下操作，获得所述两个链路标记之间的链路标记相似度：
[0185]
采用字符去重算法，逐一比较所述两个链路标记上同一位置的字符，获得所述链路标记相似度；或者，
[0186]
采用哈希算法，分别获得所述两个链路标记的哈希值，并对两个哈希值进行汉明距离处理，获得所述链路标记相似度。
[0187]
与上述方法实施例基于同一发明构思，本发明实施例还提供了一种计算机设备，参阅图5示出的结构示意图，计算机设备可以至少包括至少一个处理器501、以及至少一个存储器502。其中，存储器502存储有程序代码，当程序代码被处理器501执行时，使得处器501执行本说明书上述描述的海量请求的去重方法中的步骤。例如，处理器501可以执行如图1a中所示的步骤。
[0188]
下面参照图6来描述根据本技术的这种实施方式的计算装置600。图6的计算装置600仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0189]
如图6所示，计算装置600以通用计算装置的形式表现。计算装置600的组件可以包括但不限于：上述至少一个处理单元601、上述至少一个存储单元602、连接不同系统组件(包括存储单元602和处理单元601)的总线603。
[0190]
总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0191]
存储单元602可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)6021和/或高速缓存存储单元6022，还可以进一步包括只读存储器(rom)6023。
[0192]
存储单元602还可以包括具有一组(至少一个)程序模块6024的程序/实用工具6025，这样的程序模块6024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0193]
计算装置600也可以与一个或多个外部设备6904(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置600交互的设备通信，和/或与使得该计算装置600能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口605进行。并且，计算装置600还可以通过网络适配器606与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特
网)通信。如图6所示，网络适配器606通过总线603与用于计算装置600的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0194]
与上述方法实施例基于同一发明构思，本技术提供的海量请求的去重方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序代码在计算机设备上运行时，程序代码用于使计算机设备执行本说明书上述描述的海量请求的去重方法中的步骤，例如，计算机设备可以执行如图1a中所示的步骤。
[0195]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0196]
本技术的实施方式的用于业务控制的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在计算装置上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
[0197]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
[0198]
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等，或者上述的任意合适的组合。
[0199]
可以以一种或多种程序设计语言的任意组合来编写用于执行本技术操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算装置上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算装置上部分在远程计算装置上执行、或者完全在远程计算装置或服务器上执行。在涉及远程计算装置的情形中，远程计算装置可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算装置，或者，可以连接到外部计算装置(例如利用因特网服务提供商来通过因特网连接)。
[0200]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0201]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。