一种网站集合识别方法、电子设备及介质
本发明属于信息,提供一种网站集合识别方法、电子设备及介质。
背景技术:
1、多标签页网站指纹识别技术,旨在从用户同时访问多个网站所产生的混合加密网络流量当中,恢复识别出当前被访问的网站集合。在该技术发展早期,主流实现思路一般为先对混合流量执行分割或者定位不同标签页对应的流量边界,再对分割得到的流量片段逐一完成网站识别。随着深度学习技术的发展,现有研究逐步采用卷积神经网络、滑动窗口、注意力机制以及多标签分类等端到端技术方案开展多标签页网站指纹识别。还有部分研究工作通过单标签页流量样本合成多标签页训练数据,以此缓解真实样本获取困难的问题,但该类方案大多采用预先生成的固定合成数据集,或是仍然需要少量真实多标签页流量参与模型微调。
2、现有多标签页网站指纹识别技术仍然存在若干技术缺陷。
3、(1)真实多标签页训练流量采集成本高,而且并发网站组合呈组合爆炸,固定采集或固定离线合成的数据只能覆盖有限共现模式,模型容易学习特定组合关系,对未见网站组合和子页访问的泛化能力不足。
4、(2)当仅利用单标签页主页/子页轨迹动态构造训练样本时,需要同时约束“具体轨迹是否已被使用、某网站主页主类是否已出现、某子页子类是否已出现”等不同粒度状态;若缺少该类约束,可能产生重复轨迹或不符合预定组合规则的训练样本。
5、(3)在线拼接会引入人工片段边界,定长输入又会产生补零区域。若直接对整个长序列进行全局自注意力,计算成本较高;若窗口化处理时不区分有效流量与补零位置,无效位置会改变局部描述符。因而需要把重叠窗口与填充掩码(paddingmask)结合:前者降低对固定切分点和人工拼接边界的敏感性,后者在窗口汇聚时排除补零位置的贡献。
技术实现思路
1、有鉴于上述情况,本发明的目的在于提供一种网站集合识别方法。
2、为达到上述目的,本发明提供了如下技术方案:
3、一种网站集合识别方法,包括在线训练和单阶段推理;
4、所述在线训练包括:
5、基于单标签页主页、子页流量轨迹,在多粒度已使用状态集合约束下在线动态合成多标签页训练样本,生成定长组合轨迹及网站级多热标签;
6、对定长组合轨迹时序卷积编码并生成填充掩码;
7、对编码特征划分重叠局部窗口,结合填充掩码执行掩码均值池化;
8、经窗口投影、引入可学习分类标记token后transformer全局聚合,输出候选网站存在概率,依据网站级多热标签更新模型参数;
9、所述单阶段推理包括:
10、将预处理后的真实多标签页加密流量直接输入训练完成的模型,不执行样本合成且无需获知活动标签页数量,经训练所得模型的时序编码、窗口汇聚、全局聚合及多标签输出链路进行单次前向计算,依据输出的网站存在概率得到被访问网站集合。
11、进一步地,所述多粒度已使用状态集合包括轨迹身份集合、主页网站主类集合、子页页面子类集合;
12、在线合成训练样本时采样目标片段数k,以预设概率选择主页或子页轨迹;
13、主页轨迹校验轨迹身份、网站主类未被使用,子页轨迹校验轨迹身份、页面子类未被使用,校验通过后更新对应状态集合。
14、进一步地,设置候选片段最大尝试次数为max(20,12k);
15、候选片段集合为空时,随机选取一条子页轨迹作为回退样本。
16、进一步地,所述生成定长组合轨迹包括将候选片段打乱后写入定长序列,超长片段随机截取子片段,剩余位置补零;
17、所述网站级多热标签由选中片段的网站主类按或运算得到,表征选中网站集合而非逐时间位置标签。
18、进一步地,所述时序卷积编码采用多级一维卷积块提取局部流量模式;
19、填充掩码为二值掩码,区分真实流量与补零区域,依据定长组合轨迹中的有效数据位置形成位置有效性信息,并将所述位置有效性信息变换至与编码特征对应的时间尺度。
20、进一步地,所述重叠局部窗口降低对拼接边界、固定切分点的敏感度;
21、掩码均值池化利用填充掩码屏蔽补零位置,设置稳定项避免分母为零。
22、进一步地,窗口描述符投影后拼接可学习[cls]token送入transformer编码器,取[cls]输出作为全局表征,经线性分类头与sigmoid激活得到各网站独立存在概率。
23、进一步地,训练阶段采用非对称损失asl监督模型更新;
24、推理阶段依据可配置判定阈值判别存在概率,输出识别的网站集合。
25、一种网站集合识别的电子设备,实现上述任一项所述方法,包括:
26、样本在线合成模块,用于在多粒度已使用状态集合约束下,由单标签页轨迹生成定长组合轨迹及网站级多热标签;
27、特征编码与掩码生成模块,用于时序卷积编码并生成对齐的填充掩码;
28、窗口汇聚模块,用于划分重叠局部窗口并执行掩码均值池化;
29、全局聚合与多标签输出模块,用于窗口投影、token拼接、transformer全局聚合,输出候选网站存在概率;
30、模型训练模块,用于依据网站级多热标签完成参数更新;
31、推理执行模块,用于输入真实多标签页加密流量,单次前向计算输出被访问网站集合,无需获知活动标签页数量。
32、一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述的网站集合识别方法。
33、本发明的有益效果是:
34、1、本发明的技术构思中,训练样本在每次迭代中直接从单标签页主页/子页记录在线随机组合,相对于现有技术避免了大规模采集真实并发流量,并持续扩展训练组合分布,无需真实多标签页训练流量和后续微调。
35、2、本发明的技术构思中组合规则同时覆盖主页、子页和轨迹身份;通过轨迹身份集合、主页网站主类集合和子页页面子类集合分别限制具体轨迹、主页网站主类和子页页面子类,既避免同源重复,又允许同一网站以主页和不同子页形式共同出现,更接近实际浏览行为。
36、3、paddingmask通过maskedmeanpooling排除零填充位置对窗口描述符的贡献;重叠窗口降低人工组合边界和固定窗口切分点带来的敏感性;paddingmask与重叠窗口分别解决不同问题。
37、4、轻量transformer汇聚各窗口证据,分类头直接输出各候选网站独立存在概率,无需先估计活动标签页数量或使用辅助决策模块,单阶段多标签推理不依赖标签页数量。
38、5、模型结构轻量,在保持多标签页识别能力的同时降低存储和部署开销。
1.一种网站集合识别方法,其特征在于,包括在线训练和单阶段推理;
2.根据权利要求1所述的网站集合识别方法,其特征在于,所述多粒度已使用状态集合包括轨迹身份集合、主页网站主类集合、子页页面子类集合;
3.根据权利要求2所述的网站集合识别方法,其特征在于,设置候选片段最大尝试次数为max(20,12k);
4.根据权利要求1所述的网站集合识别方法,其特征在于,所述生成定长组合轨迹包括将候选片段打乱后写入定长序列,超长片段随机截取子片段,剩余位置补零;
5.根据权利要求1所述的网站集合识别方法,其特征在于,所述时序卷积编码采用多级一维卷积块提取局部流量模式;
6.根据权利要求1所述的网站集合识别方法,其特征在于,所述重叠局部窗口降低对拼接边界、固定切分点的敏感度;
7.根据权利要求1所述的网站集合识别方法,其特征在于,窗口描述符投影后拼接可学习[cls]token送入transformer编码器,取[cls]输出作为全局表征,经线性分类头与sigmoid激活得到各网站独立存在概率。
8.根据权利要求1所述的网站集合识别方法,其特征在于,训练阶段采用非对称损失asl监督模型更新;
9.一种网站集合识别的电子设备,其特征在于,实现权利要求1-8任一项所述方法,包括:
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1-8任一项所述的网站集合识别方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com