一种PCDN业务识别方法与流程
本发明涉及计算机网络安全与大数据处理分析领域,特别是一种pcdn业务识别方法。
背景技术:
1、在内容分发网络技术向网络边缘延伸的过程中,家庭宽带用户的终端设备被广泛用作内容分发的边缘节点,由此形成的pcdn业务以持续在线、长期占用上行带宽的方式运行,改变了家庭宽带上行流量的业务构成。此类业务对运营商接入网与城域网的资源规划、用户业务质量及网络管理秩序构成影响,运营商在宽带网关侧对pcdn业务进行识别与分类的需求日益迫切。
2、在运营商网络管理实践中,网关侧部署的深度包检测系统能够记录下挂设备的应用流明细,流量采集系统能够获得网关广域网口与局域网口的流量数据。基于上述数据,现有识别方式通常从两个层面展开:其一,依据上行流量、应用标识、目的端口、域名访问记录等设定阈值或规则,对网关或账号进行筛选与标记;其二,以历史标注样本训练分类模型,对网关的流量统计特征进行二分类预测。此外,从下挂设备标识关联得到的终端厂商、型号与类别等信息,在现有流程中一般用于结果展示或辅助统计。
3、上述识别方式在实际部署中受到以下问题的制约:
4、其一,筛选与标记动作直接作用于参与统计计算的样本集合。对误判对象采取剔除、置零或豁免等处置时,用于计算业务特征分布与模型输入数据的样本总体被处置口径修改,统计口径与处置口径在同一数据集合上叠加,形成策略动作与统计结果相互影响的反馈回路,导致后续业务日的判定依据发生偏移。
5、其二,排除动作不产生可追溯的判别依据。直播、点对点下载、摄像头回传等业务与pcdn业务在上行流量形态上相近,现有方式对上述业务的排除仅给出结论,未记录排除结论赖以成立的判别依据,排除结论无法复核,也无法在后续条件变化时获得纠正。
6、其三,表征下挂设备所属类别的终端信息与表征下挂设备网络行为的应用数据在判定链路中互不参与,同一网关内不同类别设备承担的行为差异无法进入判别过程。
7、其四,各行为维度的重要性以固定权重或人工经验确定,无法随区域、时段样本分布的变化调整,判定结果在业务分布漂移时稳定性下降。
技术实现思路
1、鉴于上述问题,提出了以便提供克服上述问题或者至少部分地解决上述问题的一种pcdn业务识别方法,包括:
2、获取网关下挂设备的终端设备类别、终端厂商、终端类型偏置分值以及下挂设备的数值类行为特征;
3、计算数值类行为特征与每个pcdn行为锚点相关系数的绝对值之和得到原始权重,归一化每个原始权重得到与每个数值类行为特征对应的当日自适应权重;
4、将每个数值类行为特征的参与分值与对应的当日自适应权重加权求和后,叠加终端类型偏置分值得到下挂设备当日行为得分;
5、依据数值类行为特征计算下挂设备的非pcdn综合分位得分,对综合分位得分达到否决分位阈值的下挂设备生成带证据非pcdn解释标签且保持当日行为得分;
6、将数值类行为特征与模型输入信息输入梯度提升树得到网关pcdn预测标志,模型输入信息含终端厂商与终端设备类别构成的类别型特征;
7、清除强规则校验不通过的网关pcdn预测标志;
8、读取终端设备类别中的主设备类别,对主设备类别处于预设豁免类别集合外的下挂设备,清除直播类非pcdn解释标签;
9、综合网关内上行流量最大的下挂设备的非pcdn解释标签与pcdn预测标志得到网关pcdn业务识别结果。
10、可选的,获取数值类行为特征包括:
11、加载指定业务日的深度包检测应用流明细;采用哈希函数将网关标识映射至若干并行计算分桶;在每个分桶中,从深度包检测应用流明细获取每个下挂设备的应用标识、目的ip、目的端口与流次数;依据应用标识、目的ip、目的端口与流次数计算每个下挂设备的数值类行为特征;
12、其中,数值类行为特征包括应用侧行为特征、目的ip侧行为特征与端口侧行为特征;
13、应用侧行为特征包括应用流量占比的最高值、流量占比最高的三个应用的流量占比之和、应用分布熵、pcdn特征应用占比与负向应用占比;负向应用占比包括直播类应用集合流量占比、点对点下载类应用集合流量占比与摄像头类应用集合流量占比;
14、目的ip侧行为特征包括目的ip流量占比的最高值、流量占比最高的三个目的ip的流量占比之和、目的ip分布熵与目的ip集中度指数;
15、端口侧行为特征包括目的端口流量占比的最高值、直播类端口集合流量占比与通用web类端口集合流量占比;应用流量占比为单个应用的流量与下挂设备总流量的比值;目的ip流量占比为单个目的ip的流量与下挂设备总流量的比值;目的端口流量占比为单个目的端口的流量与下挂设备总流量的比值。
16、可选的,获取终端设备类别、终端厂商与终端类型偏置分值包括:从深度包检测应用流明细选取下挂设备的设备标识,将设备标识与终端指纹库关联,得到终端设备类别与终端厂商;终端类型偏置分值按照终端设备类别赋值,对倾向运行pcdn业务的终端设备类别赋予正向偏置分值,对摄像头类终端设备类别赋予负向偏置分值,对剩余终端设备类别赋予零值偏置分值。
17、可选的,计算当日自适应权重包括:
18、定义计算窗口为预设历史回溯天数构成的时间窗口;取每个数值类行为特征在计算窗口内的取值序列;取每个pcdn行为锚点在计算窗口内的取值序列;当日自适应权重通过如下公式计算:
19、wi=|r(fi,a1)|+|r(fi,a2)|+|r(fi,a3)|
20、wi=wi÷σwi
21、式中,fi为第i个数值类行为特征,r(fi,a1)为数值类行为特征fi的取值序列与锚点a1的取值序列的相关系数,r(fi,a2)为数值类行为特征fi的取值序列与锚点a2的取值序列的相关系数,r(fi,a3)为数值类行为特征fi的取值序列与锚点a3的取值序列的相关系数,wi为数值类行为特征fi的原始权重,wi为数值类行为特征fi的当日自适应权重,σwi为全部数值类行为特征的原始权重之和;锚点a1为pcdn特征应用占比,锚点a2为应用单一化程度,锚点a3为目的ip流量占比的最高值,应用单一化程度等于1减去应用分布熵,应用分布熵为应用分布的归一化信息熵。
22、可选的,下挂设备的当日行为得分通过如下公式计算:
23、s=σ[wi×s(fi)]+b,
24、当数值类行为特征fi为熵类行为特征与负向应用占比类行为特征时,
25、s(fi)=1-pi,
26、当数值类行为特征fi为除熵类行为特征与负向应用占比类行为特征以外的数值类行为特征时,
27、s(fi)=pi,
28、式中,s为下挂设备的当日行为得分,wi为数值类行为特征fi的当日自适应权重,pi为数值类行为特征fi的当日分位,s(fi)为数值类行为特征fi的参与分值,b为终端类型偏置分值,σ[wi×s(fi)]为全部数值类行为特征的加权参与分值之和;
29、当日分位为数值类行为特征在当日全体样本中的相对排序位置;当日全体样本为当日全部下挂设备的数值类行为特征;熵类行为特征包括应用分布熵与目的ip分布熵;负向应用占比类行为特征包括直播类应用集合流量占比、点对点下载类应用集合流量占比与摄像头类应用集合流量占比。
30、可选的,生成带证据非pcdn解释标签包括:
31、依据直播类应用集合流量占比计算直播类综合分位得分;依据点对点下载类应用集合流量占比计算点对点下载类综合分位得分;依据摄像头类应用集合流量占比计算摄像头类综合分位得分;当三类综合分位得分中的最高值达到否决分位阈值时生成非pcdn解释标签;
32、获取候选证据,候选证据包括应用证据、终端证据与端口证据,应用证据为下挂设备的应用标识,终端证据为下挂设备的终端设备类别,端口证据为下挂设备的目的端口;在候选证据中按应用证据、终端证据、端口证据的先后次序选取主证据,选取次序为先取应用证据,应用证据缺失时取终端证据,终端证据缺失时取端口证据;将主证据关联至非pcdn解释标签,得到带证据非pcdn解释标签。
33、可选的,得到网关pcdn预测标志包括:
34、加载网关广域网口流量数据与局域网口流量数据;从网关广域网口流量数据与局域网口流量数据提取网关日流量序列;
35、将网关相邻业务日的日流量序列的日际相关系数、网关相邻业务日的日流量序列的均方根误差、网关日流量序列的变异系数与网关日流量序列的突发度作为提取所得特征;
36、从深度包检测应用流明细统计网关的家宽访问占比、网关的应用流识别率、网关的特定域名访问次数与种类数、网关的端口流量分布与网关的预设应用集合流量汇总,将网关的家宽访问占比、网关的应用流识别率、网关的特定域名访问次数与种类数、网关的端口流量分布与网关的预设应用集合流量汇总作为统计所得特征;
37、将提取所得特征与统计所得特征计入模型输入信息;将模型输入信息与数值类行为特征输入梯度提升树,输出网关pcdn预测标志。
38、可选的,清除强规则校验不通过的网关pcdn预测标志包括:
39、对携带pcdn预测标志的网关依次校验通过条件,通过条件为:网关当日上行流量高于预设当日上行阈值;网关近若干日平均上行流量高于预设平均上行阈值;网关处于突发特征网关名单之外;网关家宽访问占比高于预设家宽占比阈值;对通过条件全部满足的网关保留pcdn预测标志;对存在不满足的通过条件的网关清除pcdn预测标志。
40、可选的,清除直播类非pcdn解释标签包括:
41、对家宽访问占比与应用流识别率满足误识别过滤条件的直播类非pcdn解释标签予以清除。
42、可选的,综合网关内上行流量最大的下挂设备的非pcdn解释标签与pcdn预测标志得到网关pcdn业务识别结果包括:
43、依据上行流量,选取网关内上行流量最大的下挂设备;
44、计算网关内终端设备类别为摄像头类的下挂设备的上行流量占网关上行流量比例;
45、对上行流量占网关上行流量比例达到预设阈值的网关,归类为大流量非pcdn用户;对下挂设备的终端厂商属于预设摄像头判定厂商集合的网关,归类为大流量非pcdn用户;读取网关内上行流量最大的下挂设备的带证据非pcdn解释标签,对携带非pcdn解释标签的网关归类为大流量非pcdn用户;对不属于大流量非pcdn用户且携带pcdn预测标志的网关归类为pcdn用户;对不属于大流量非pcdn用户且未携带pcdn预测标志的网关归类为正常用户,得到网关pcdn业务识别结果。
46、本发明以网关下挂设备为判别单元,将终端设备类别与终端厂商以两种方式纳入判定链路:终端类型偏置分值叠加于当日行为得分之中,终端厂商与终端设备类别构成类别型特征进入梯度提升树模型的模型输入信息。由此,表征设备属性的信息与表征网络行为的数据在同一判定过程中共同作用,同一网关内不同类别设备承担的行为差异得以进入判别过程,设备类别层面的误判来源受到约束。
47、本发明中,对非pcdn业务的排除动作以带证据非pcdn解释标签的形式表达,生成标签时保持当日行为得分不变。当日自适应权重由数值类行为特征与每个pcdn行为锚点的相关系数及归一化计算得到,依赖参与统计计算的样本集合;排除动作以标签形式旁路表达,不改变参与统计计算的样本集合,统计口径与处置口径相互独立,策略动作不再通过样本分布反作用于后续业务日的判定依据,判定依据随处置动作累积偏移的问题得以避免。同时,解释标签携带判别依据,排除结论可追溯、可复核;对主设备类别处于预设豁免类别集合之外的下挂设备清除直播类非pcdn解释标签,排除结论在条件变化时能够获得纠正,排除动作造成的误伤不随业务日累积。
48、各数值类行为特征的当日自适应权重由该特征与每个pcdn行为锚点的相关系数绝对值之和归一化得到,权重随样本分布调整。与固定权重方式相比,行为得分能够跟随区域与时段样本分布的变化调整,在业务分布漂移时维持判定依据的有效性。
49、在上述机制的基础上,梯度提升树模型以数值类行为特征与模型输入信息给出网关pcdn预测标志,对未通过强规则校验的网关pcdn预测标志予以清除,最后综合网关内上行流量最大的下挂设备的非pcdn解释标签与pcdn预测标志得到网关pcdn业务识别结果。各环节以可追溯的依据相互衔接,识别过程具备可解释性,能够为运营商宽带网关侧的pcdn业务识别与分类提供依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com