状态绑定证据与数值交叉验证的流量标注选择方法及系统
本发明涉及人工智能辅助标注,具体涉及一种状态绑定证据与数值交叉验证的流量标注选择方法及系统。
背景技术:
1、随着人工智能与物联网深度融合,智能家居终端、工业物联网设备、移动应用和网络攻击行为持续变化,网络中不断产生新的流量模式。网络流量分类模型通常依赖历史带标签样本进行训练,当设备型号、应用版本、协议实现或攻击策略发生变化时,历史训练数据与当前流量分布之间出现偏移,导致分类准确性降低。对新流量持续进行人工标注并更新分类模型,是保持网络流量识别能力的重要手段。
2、网络流量标注需要分析包长、到达时间间隔、传输方向、突发结构、会话统计及协议行为,并结合网络安全和设备行为知识确认真实类别。未标注网络流量池的规模通常远大于可承担的人工标注数量,因此需要从大量未标注流量中优先选择对分类器更新更有价值的样本。现有主动学习方法多依据预测熵、置信度间隔、嵌入空间距离、聚类覆盖度或样本密度进行选择。单一高不确定性可能同时对应真实边界样本、未知新模式、孤立异常点或噪声点,仅依据数值排序难以解释其具体标注价值。
3、大语言模型具有基于结构化上下文进行综合判断和生成解释的能力。已有方案尝试让大语言模型选择样本、生成标签或将结构化字段序列化为文本。然而,原始网络流量主要由数值序列和统计特征构成,直接将长包序列和大量浮点数写入提示语会增加输入长度,并且字段长度和位置随样本变化,不利于稳定推理。更重要的是,网络流量样本的分类概率、类别原型距离和局部邻域关系分别依赖当前分类器、当前编码空间和当前未标注网络流量池。当分类器或未标注网络流量池已经更新而仍使用旧证据时,同一证据中的多个字段可能来自不同系统状态,导致大语言模型依据失效信息作出判断。
4、此外,大语言模型可能输出与数值证据不一致的样本类型,或者在解释中引用并不存在、已经失效或不足以支持结论的字段。仅限制输出格式或采用多次投票,只能提高输出可解析性或统计稳定性,不能验证大语言模型是否确实依据当前网络技术状态作出判断。若将大语言模型直接生成的类别标签写入训练集,还可能造成错误标签污染,损害后续分类模型的准确性和可靠性。
5、因此,需要一种面向动态网络流量分类的样本选择技术,将同一系统状态下的流量行为、分类器状态、类别原型状态和未标注网络流量池邻域状态形成固定、可追踪的证据对象;要求大语言模型返回支撑判断的字段编号;再使用生成证据对象前保留的量化前原始数值和当前版本对所述判断进行确定性验证,从而可靠控制候选流量进入人工标注、专家复核、证据重新生成或缓存路径。
技术实现思路
1、本发明所要解决的技术问题是:在网络流量分布持续变化且人工标注预算有限的条件下,如何把候选流量的多源技术状态转换为长度和字段位置稳定、与当前分类器及当前未标注网络流量池同步的标注价值证据对象;如何防止大语言模型依据失效字段、虚构字段或不满足数值条件的字段作出样本价值判断;以及如何在不让大语言模型生成的类别标签进入训练集的前提下,将通过验证的高价值流量交由人工标注并形成分类模型更新闭环。
2、为解决上述技术问题,本发明提供一种基于状态绑定证据对象和数值交叉验证的网络流量标注样本选择方法,包括以下步骤。
3、步骤s1,计算候选网络流量的多源数值状态。获取已标注网络流量集和未标注网络流量池,从所述未标注网络流量池中获得候选网络流量;利用当前流量分类器获得候选网络流量的归一化嵌入、类别概率和分类不确定性;基于归一化嵌入获得候选网络流量相对于当前类别原型集合的原型状态,以及候选网络流量在当前未标注网络流量池中的邻域状态。
4、步骤s2,生成状态绑定的定槽标注价值证据对象。对当前候选网络流量集合中的连续数值字段,基于所述当前候选网络流量集合中该连续数值字段的经验分布,将其编码为预设数量的分位等级;按照预设字段编号和固定字段槽位生成标注价值证据对象,并在所述标注价值证据对象中写入当前分类器版本、当前类别原型版本和当前未标注网络流量池快照版本。
5、步骤s3,执行大语言模型判断、字段引用验证和冲突路由。将标注价值证据对象输入大语言模型,获得不包含网络流量真实类别标签的标注价值、样本类型、建议动作和证据字段编号集合。根据样本类型确定对应的必要字段集合和必要数值条件;检查标注价值证据对象的版本与当前系统状态是否一致、必要字段集合是否包含于证据字段编号集合,并使用生成标注价值证据对象前保留的量化前原始数值检查必要数值条件,获得确定性验证结果;根据确定性验证结果,将候选网络流量路由至高价值候选池、专家复核路径、证据重新生成路径、缓存路径或丢弃路径。
6、步骤s4,在人工标注预算内形成最终样本集合。在人工标注预算内从高价值候选池形成待人工标注样本集合;若通过验证的高价值候选数量超过预算,先选择综合价值最高的候选网络流量,再按最大最小嵌入距离选取其余候选网络流量,以减少最终标注集合中的重复模式。
7、步骤s5,人工标注并同步更新系统状态。获取待人工标注样本集合的人工真实标签,更新已标注网络流量集和流量分类器,使用更新后的流量分类器重新计算类别原型,并更新分类器版本、类别原型版本和未标注网络流量池快照版本,使旧版本标注价值证据对象失效。
8、进一步地,当前流量分类器包括流量编码器,候选网络流量的归一化嵌入表示为:
9、;
10、其中,为第i个候选网络流量,为第t轮使用的流量编码器,为候选网络流量的归一化嵌入;当前流量分类器针对c个已知类别输出类别概率,候选网络流量的归一化预测熵表示为:
11、;
12、其中,c为已知类别编号,ε为防止对数输入为零的正数。
13、进一步地,针对已知类别c,将当前已标注网络流量集中属于类别c的个样本的归一化嵌入求均值,得到类别原型:
14、;
15、其中,表示已知类别的类别原型,表示已知类别编号,表示当前已标注网络流量集中真实类别为的样本数量,表示已标注网络流量样本的索引,表示第个已标注网络流量样本的人工真实类别,表示第个已标注网络流量样本经当前分类器版本对应的流量编码器得到的归一化嵌入;上述求和仅对满足的已标注网络流量样本执行,并且用于计算同一类别原型的各归一化嵌入均由当前分类器版本对应的同一流量编码器生成,以使所述各归一化嵌入处于相同的嵌入空间;
16、候选网络流量到类别原型的余弦距离为:
17、;
18、将候选网络流量到各类别原型的距离由小到大排序,第一小距离和第二小距离分别记为和,新颖度和原型间隔分别为:
19、;
20、其中,新颖度用于表示候选网络流量偏离全部已知类别原型的程度,原型间隔用于表示候选网络流量位于多个已知类别原型之间的程度。
21、进一步地,在当前未标注网络流量池中确定候选网络流量的k个最近邻组成的集合(i),以当前未标注网络流量池中各样本第k近邻距离的中位数作为尺度,候选网络流量的局部代表性表示为:
22、;
23、其中,为第j个近邻样本的归一化嵌入;当大于或等于预设新颖度阈值且大于或等于预设局部代表性阈值时,将相应数值关系作为新模式样本的必要数值条件,当大于或等于预设新颖度阈值且小于预设的局部代表性阈值时,将相应数值关系作为噪声样本的必要数值条件。
24、进一步地,当前系统状态版本元组表示为:
25、;
26、其中,、和分别为第t轮的分类器版本、类别原型版本和未标注网络流量池快照版本;对于当前候选网络流量集合中第j个连续字段,定义经验分布函数:
27、;
28、其中,n为当前候选网络流量数量,为第r个候选网络流量的第j个连续字段原始值,i(·)为指示函数;将第i个候选网络流量的第j个连续字段编码为l个等级中的一个:
29、;
30、所述标注价值证据对象按照固定槽位表示为:
31、;
32、其中,为候选网络流量标识,、、和分别为流量行为区块、分类器状态区块、原型状态区块和邻域状态区块的定长字段向量。
33、进一步地,大语言模型的输出表示为:
34、;
35、其中,为标注价值,为样本类型,为建议动作,为大语言模型引用的证据字段编号集合;所述大语言模型的输出结构不设置网络流量真实类别标签字段。
36、根据标注价值证据对象中记录的版本确定证据有效标志:
37、;
38、其中,state()为从标注价值证据对象读取的版本元组,为当前系统状态版本元组。
39、进一步地,在当前候选网络流量集合上分别确定不确定性阈值、原型间隔阈值、新颖度阈值和局部代表性阈值:
40、;
41、其中,表示经验β分位数;边界样本、新模式样本、代表性样本和噪声样本的数值支持指示量分别为:
42、;
43、;
44、;
45、;
46、根据大语言模型输出的样本类型,从、、和中选择对应的数值支持指示量;将样本类型对应的必要字段集合记为,确定性验证结果为:
47、;
48、其中,当等于1时表示版本一致、原始数值满足所述样本类型的必要数值条件且大语言模型实际引用了对应必要字段。
49、进一步地,当证据有效标志为0时,将候选网络流量路由至证据重新生成路径;当为1但为0时,将候选网络流量路由至专家复核路径;当为1、标注价值为高且样本类型为边界样本、新模式样本或代表性样本时,将候选网络流量加入高价值候选池:
50、;
51、当高价值候选池中的候选网络流量数量超过人工标注预算b时,根据证据对象中不确定性、原型间隔、新颖度和局部代表性的量化等级确定综合价值:
52、;
53、其中,、、和分别为相应字段的量化等级;先选择综合价值最高的候选网络流量,再按照下式选择与已选样本集合具有最大最小嵌入距离的候选网络流量:
54、;
55、其中,为高价值候选池,为当前已选择样本集合,直至中的样本数量达到人工标注预算b。
56、进一步地,本发明还提供一种基于状态绑定证据对象和数值交叉验证的网络流量标注样本选择系统,包括:候选状态计算模块,用于获得候选网络流量的流量行为字段、分类器状态字段、类别原型状态字段和邻域状态字段;证据对象生成模块,用于执行分位等级编码,按照固定字段编号和固定字段槽位形成携带分类器版本、类别原型版本和未标注网络流量池快照版本的标注价值证据对象;大语言模型判断模块,用于输出不包含真实类别标签的标注价值、样本类型、建议动作和证据字段编号集合;确定性验证与路由模块,用于根据当前版本、必要字段集合和量化前原始数值检查大语言模型输出,并控制候选网络流量进入高价值候选池、专家复核、证据重新生成、缓存或丢弃路径;预算选择与更新模块,用于形成待人工标注样本集合,并利用人工真实标签更新流量分类器、类别原型和版本。
57、本发明还提供一种电子设备,包括处理器和存储器,存储器中存储有计算机程序,计算机程序被处理器执行时实现上述方法。本发明还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法。
58、有益效果是:与现有技术相比,本发明具有如下显著优点:
59、(1)由于在标注价值证据对象中写入了分类器版本、类别原型版本和未标注网络流量池快照版本,并且确定性验证器严格比较证据对象记录的版本元组与当前系统状态版本元组,当分类器、类别原型或未标注网络流量池中任一项更新后,旧版本标注价值证据对象被识别为失效并进入证据重新生成路径,从而避免了旧分类概率、旧编码空间原型和新未标注池邻域数据被混合写入同一证据对象,避免了多源状态不同步导致大语言模型基于失效信息判断的问题。
60、(2)由于将连续数值字段基于当前候选网络流量集合的经验分布编码为预设数量的分位等级,并按照固定字段编号和固定字段槽位组织为流量行为、分类器状态、原型状态和邻域状态四个区块,不同候选流量具有相同的区块顺序和字段位置,从而避免了字段长度和位置随样本变化的问题,减少长浮点数和重复自然语言字段名称造成的输入开销,使大语言模型输入结构稳定。
61、(3)本发明将分类器状态、类别原型状态和邻域状态分别绑定至明确版本,避免旧分类概率、旧编码空间原型和新未标注池邻域被混合写入同一证据对象;采用固定字段编号、固定区块和固定槽位,并将连续数值编码为候选集合内的分位等级,使不同候选流量具有统一输入结构,减少长浮点数和重复自然语言字段名称造成的输入开销;要求大语言模型输出所引用的证据字段编号,并由确定性验证器利用量化前原始数值检查样本类型必要条件,使大语言模型判断从仅有自然语言理由转化为可追踪、可复核的网络技术证据;不允许大语言模型输出的类别标签写入训练集;大语言模型只控制标注优先级和流转路径,最终类别由人工专家或可信真实标签提供,从而隔离大语言模型幻觉对训练标签的污染;将版本失效、数值冲突和必要字段缺失区分为不同处理路径,能够针对不同异常执行证据重建、专家复核或缓存,而不是简单接受或丢弃全部冲突样本。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com