用户识别方法、系统、设备、介质及产品与流程

摘要: 本公开涉及网络数据处理的,具体而言,涉及一种用户识别方法、系统、设备、介质及产品。背景技术:1、点对点内容分发网络(peertopeercontentdeliv...
用户识别方法、系统、设备、介质及产品与流程

本公开涉及网络数据处理的,具体而言,涉及一种用户识别方法、系统、设备、介质及产品。

背景技术:

1、点对点内容分发网络(peer to peer content delivery network,pcdn)是利用运营商网络用户闲置资源,构建低成本内容分发网络服务,应用场景覆盖视频点播、直播和大文件下载等。pcdn以点对点(peer to peer,p2p)技术为基础,与传统的内容分发网络(content delivery network,cdn)相结合,将内容传输任务分配给多个用户设备,从而共享带宽和资源,提高内容传输效率。

2、相关技术中,通常依赖认证授权计费(authentication authorization andaccounting,aaa)流量获取带宽数据并进行分析,但正常的业务应用也可能导致带宽的短暂增加,致使通过aaa流量进行用户识别的方式存在大量的误报和漏报,导致用户识别的准确性不足。

技术实现思路

1、鉴于上述问题而提出了本公开。本公开提供一种用户识别方法、系统、设备、介质及产品。

2、在第一方面,本公开实施例提供了一种用户识别方法,包括:

3、获取日志数据;其中,日志数据包括以下至少之一:应用层数据、网络层流量传输数据、网络路径数据、流量使用数据。从日志数据中提取用户和点对点内容分发网络服务之间的交互数据。基于流量使用数据和交互数据,识别出疑似使用点对点内容分发网络的候选用户。从日志数据中提取候选用户的行为特征,并基于行为特征计算目标得分;其中,目标得分用于指示候选用户实际使用点对点内容分发网络的置信度。在目标得分满足得分要求的情况下,确定候选用户为实际使用点对点内容分发网络的用户。

4、在第一方面的一种实施例中,基于行为特征计算目标得分,包括:

5、确定各行为特征的初始得分;其中,初始得分用于指示行为特征偏离正常用户行为基准的程度。基于日志数据和行为特征,对初始得分进行调整,得到各行为特征的调整后得分。将各行为特征对应的调整后得分进行加权求和处理,得到目标得分。

6、在第一方面的一种实施例中,基于日志数据和行为特征,对初始得分进行调整,得到各行为特征的调整后得分,包括:

7、基于日志数据构建有向加权图;其中,有向加权图的节点为网络节点标识,有向加权图的有向边用于指示节点间的流量传输关系,有向加权图的边权重用于指示节点间的流量传输占比,网络节点标识包括以下至少之一:用户网络地址、自治系统号。基于行为特征构建因果关系矩阵;其中,因果关系矩阵的行和列分别对应行为特征,因果关系矩阵中的元素值用于指示该元素所在行对应的行为特征和所在列对应的行为特征之间是否存在因果关系。基于有向加权图计算异常传播路径的路径得分,并基于因果关系矩阵确定行为特征之间的特征影响强度;其中,特征影响强度通过因果关系矩阵中的元素值表示。基于路径得分和特征影响强度对初始得分进行调整,得到各行为特征的调整后得分。

8、在第一方面的一种实施例中,基于有向加权图计算异常传播路径的路径得分,包括:

9、确定有向加权图中流量行为异常的节点为异常节点。采用洪水传播算法从异常节点出发,沿有向加权图的边方向追踪异常传播路径。确定异常传播路径中节点的异常程度、相邻节点间的权重和路径深度。基于异常程度、相邻节点间的权重和路径深度计算路径得分。

10、在第一方面的一种实施例中,基于行为特征构建因果关系矩阵,包括:

11、在时间窗口内提取任意两个行为特征的时序数据。对时序数据进行格兰杰因果检验,得到检验结果;其中,检验结果用于指示一个行为特征的历史数据是否对另一个行为特征的当前数据具有预测作用。基于检验结果判断行为特征之间是否存在因果关系,并基于得到的判断结果构建因果关系矩阵。

12、在第一方面的一种实施例中,基于路径得分和特征影响强度对初始得分进行调整,得到各行为特征的调整后得分,包括:

13、针对任一行为特征,确定与该行为特征相关联的路径得分的均值。基于因果关系矩阵确定其他行为特征对该行为特征的特征影响强度,并计算该特征影响强度和其他行为特征的初始得分之间的乘积。对均值和乘积进行加权求和处理,得到处理结果。对该行为特征的初始得分和处理结果进行求和处理,得到该行为特征的调整后得分。

14、在第一方面的一种实施例中,将各行为特征对应的调整后得分进行加权求和处理,得到目标得分,包括:

15、基于各行为特征对应的历史数据动态确定权重系数。将各行为特征对应的调整后得分和对应的权重系数进行加权求和,得到目标得分。

16、在第一方面的一种实施例中,历史数据包括行为特征的历史误报率和行为特征的初始得分在路径得分中的占比;

17、基于各行为特征对应的历史数据动态确定权重系数,包括:

18、若历史误报率超过误判阈值,降低该行为特征的权重系数。若占比超过占比阈值,提高该行为特征的权重系数。

19、在第一方面的一种实施例中,基于流量使用数据和交互数据,识别出疑似使用点对点内容分发网络的候选用户,包括:

20、若基于流量使用数据,确定用户的上行流量使用量大于下行流量使用量,对该用户进行第一标记。若基于交互数据,确定用户和点对点内容分发网络服务之间存在交互行为,对该用户进行第二标记。确定具有第一标记和第二标记的用户为候选用户。

21、在第一方面的一种实施例中,若基于交互数据,确定用户和点对点内容分发网络服务之间存在交互行为,对该用户进行第二标记,包括:

22、从交互数据中提取用户请求的域名信息。若域名信息和预设的点对点内容分发网络服务域名库之间匹配成功,确定用户和点对点内容分发网络服务之间存在交互行为,并对该用户进行第二标记。

23、在第一方面的一种实施例中,若基于交互数据,确定用户和点对点内容分发网络服务之间存在交互行为,对该用户进行第二标记,包括:

24、从交互数据中提取用户请求域名对应的解析返回地址和用户实际访问的目标地址。若解析返回地址和目标地址之间匹配成功,确定用户和点对点内容分发网络服务之间存在交互行为,并对该用户进行第二标记。

25、在第一方面的一种实施例中,行为特征包括以下至少之一:反映用户带宽使用规模的流量规模特征、反映用户访问端口行为的端口特征、反映用户使用协议类型的协议特征、反映用户和点对点内容分发网络服务之间的预设交互特征、反映用户流量时间分布规律的活跃度特征、反映用户实际访问地址与域名解析结果一致性的地址关联特征、反映用户流量是否跨域流动的流量流向特征。

26、在第一方面的一种实施例中,在获取日志数据之后,方法还包括:

27、将来源于深度包检测系统的应用层数据作为应用层日志进行存储。将来源于认证授权与计费系统的流量使用数据作为流量计量日志进行存储。将来源于网络流分析系统的网络层流量传输数据,以及来源于边界网关协议系统的网络路径数据,作为流量传输日志进行存储。

28、在第二方面,本公开实施例提供了一种用户识别系统,包括:

29、日志获取模块,用于获取日志数据;其中,日志数据包括以下至少之一:应用层数据、网络层流量传输数据、网络路径数据、流量使用数据;数据提取模块,用于从日志数据中提取用户和点对点内容分发网络服务之间的交互数据;用户识别模块,用于基于流量使用数据和交互数据,识别出疑似使用点对点内容分发网络的候选用户;计算模块,用于从日志数据中提取候选用户的行为特征,并基于行为特征计算目标得分;其中,目标得分用于指示候选用户实际使用点对点内容分发网络的置信度;用户确定模块,用于在目标得分满足得分要求的情况下,确定候选用户为实际使用点对点内容分发网络的用户。

30、在第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述用户识别方法中的步骤。

31、在第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述用户识别方法中的步骤。

32、在第五方面,本公开实施例提供了一种计算机程序产品,所述计算机程序产品被存储在存储介质中,所述程序产品被至少一个处理器执行以实现上述用户识别方法中的步骤。

33、如以下将详细描述的,根据本公开实施例的用户识别方法、系统、设备、介质及产品。在本公开实施例中,首先获取日志数据;其中,日志数据包括以下至少之一:应用层数据、网络层流量传输数据、网络路径数据、流量使用数据,并从日志数据中提取用户和点对点内容分发网络服务之间的交互数据。然后基于流量使用数据和交互数据,识别出疑似使用点对点内容分发网络的候选用户。以及从日志数据中提取候选用户的行为特征,并基于行为特征计算目标得分;其中,目标得分用于指示候选用户实际使用点对点内容分发网络的置信度。最后在目标得分满足得分要求的情况下,确定候选用户为实际使用点对点内容分发网络的用户。通过上述处理方式,本公开通过日志数据从多个维度获取与pcdn用户行为相关的信息,并通过流量使用数据和交互数据识别候选用户,实现流量维度和行为维度的联合判定,有效降低了将正常用户误判为pcdn用户的概率。以及通过计算出的目标得分衡量用户具备pcdn用户行为特征的可能性,最终当目标得分满足预设的得分要求时,确定该用户为实际使用pcdn服务的用户,从而确保判定过程的可靠性,进一步提高了用户识别的准确性。

34、要理解的是,前面的一般描述和下面的详细描述两者都是示例性的,并且意图在于提供要求保护的技术的进一步说明。