一种基于证据事件驱动状态演化的暗网供应商画像增量更新方法
本发明属于网络空间安全与互联网信息处理领域,涉及暗网环境下供应商画像的构建与动态维护。具体而言,本发明面向暗网市场和相关匿名网络场景中供应商信息来源复杂、内容变化频繁、证据可信程度不一致的问题,通过对观测信息变化过程进行建模,实现供应商画像的持续更新、状态演化和历史追溯,从而为暗网情报分析和风险研判提供技术支持。
背景技术:
1、随着网络空间安全治理和暗网情报分析需求的增加,面向暗网供应商的画像技术逐渐成为识别风险主体、理解交易行为和支撑后续研判的重要手段。暗网市场和匿名论坛中的供应商信息通常分散在商品页面、账号主页、交易说明、评论记录及关系网络中,且受站点迁移、页面失效、镜像转载和内容伪装等因素影响,原始信息具有来源复杂、结构不稳定和变化频繁的特点。因此,如何从持续变化的观测信息中形成可信、可维护的供应商画像,是暗网情报处理领域需要解决的重要问题。
2、现有画像方法多侧重于一次性抽取和融合,通常将新发现的信息直接写入画像字段,或通过相似度、出现频次和特征加权形成综合结果。这类方法在普通网络场景中具有一定适用性,但在暗网场景下容易受到重复页面、公共联系方式、模板化商品描述和过期交易信息的干扰,导致证据强度被误判,画像字段被错误确认或长期保留。同时,供应商的联系方式、支付地址、价格策略和信誉状态会随时间演化,若每次更新均重建全部画像,则计算成本较高,也难以保留字段变化原因和历史轨迹。因此,有必要建立一种能够反映证据变化过程、支持局部更新并保留演化记录的画像维护机制。
技术实现思路
1、本发明提出一种基于证据事件驱动状态演化的画像增量更新方法,通过将多源观测信息的变化统一建模为证据事件,并以画像字段状态为更新对象,实现画像的局部重计算、动态状态转换和历史版本维护,从而提升画像更新的可信性、时效性和可解释性。
2、为了实现上述目的,本发明的技术方案如下
3、s1. 目标暗网供应商的文本观测信息进行证据特征提取,获取身份描述文本、交易描述文本、信誉反馈文本及对应的时间、价格、联系方式辅助属性;将所述文本与辅助属性合并为整体模型输入序列,并输入暗网供应商文本证据抽取模型,通过证据值抽取头定位候选证据区间,通过文本语义特征头和证据值抽取头输出候选证据特征集合;
4、s2. 对所述候选证据特征集合执行字段影响定位与局部置信计算,根据候选证据特征和上一时间窗口的画像字段状态集合,解码候选字段值,并通过字段匹配评分函数确定受影响画像字段、字段影响动作和关键证据引用;对受影响画像字段的触发证据进行来源独立性分组,计算字段支持度和字段冲突度;再通过字段置信度融合模型得到字段局部置信度,形成包含字段影响动作、候选字段值、局部置信度和关键证据引用的字段局部判断结果;
5、s3. 对所述字段局部判断结果执行状态更新与结果写回,根据字段影响动作、候选字段值、局部置信度及当前字段状态,确定字段下一状态并更新字段值;当字段值、状态或置信度发生变化时,生成字段版本记录和证据追溯索引,输出当前有效画像、候选字段、争议字段和失效字段。
6、步骤s1具体包括:
7、s11. 构建整体模型输入序列,获取目标暗网供应商在当前时间窗口的文本输入和辅助属性,其中:
8、
9、其中,表示表示与供应商身份相关的描述文本;表示与交易行为相关的描述文本;表示与信誉状态相关的反馈文本;表示时间属性;表示价格属性;表示联系方式属性,系统对辅助属性进行最小标准化,生成包含时间标签、价格标签和联系方式标签的辅助提示文本,并将文本输入和辅助提示文本按照固定标签合并为整体模型输入序列:
10、,
11、s12. 对整体模型输入序列进行多头特征抽取,将整体模型输入序列输入暗网供应商文本证据抽取模型,暗网供应商文本证据抽取模型以基于transformer的通用预训练语言模型为初始模型,经暗网供应商文本语料领域继续预训练得到领域适配编码器,领域适配编码器对整体模型输入序列进行编码,得到上下文隐藏表示:,
12、证据值抽取头根据 计算候选证据区间的起止概率:
13、
14、其中,、、、为证据值抽取头的可训练参数,根据起止概率选择候选证据区间:,其中,和分别为第i个候选证据在整体模型输入序列中的起始位置和结束位置,m为候选证据数量,
15、对于第i个候选证据区间,系统对区间的隐藏表示进行池化,得到证据值特征向量;并以该区间的邻近上下文窗口 为语义输入进行池化,得到语义特征向量,其中r为上下文窗口半径,由证据值特征向量、语义特征向量和区间引用组成候选证据特征集合:
16、
17、其中,表示第i个候选证据在整体模型输入序列中的区间引用,用于后续字段匹配、候选字段值回读和证据追溯。
18、其中,所述暗网供应商文本证据抽取模型通过领域继续预训练和多任务微调得到,
19、领域继续预训练用于使领域适配编码器学习暗网交易中的隐语、缩写语义,其损失表示为:
20、
21、其中,表示被遮蔽的暗网领域词片段,表示上下文,表示领域适配编码器的参数,多任务微调包括候选证据区间抽取任务和候选证据语义识别任务,其中候选证据区间抽取任务根据起止位置标签训练证据值抽取头,其损失表示为:
22、
23、其中,和分别为候选证据区间的起始位置标签和结束位置标签,和 来自证据值抽取头,候选证据语义识别任务根据语义特征向量计算语义类别概率:,其中,和为文本语义特征头的可训练参数,语义类别包括身份说明、交易描述、等规则说明;该任务的损失表示为:
24、
25、其中,为第i个候选证据的语义类别监督标签,暗网供应商文本证据抽取模型的总训练目标表示为:
26、
27、其中,、和表示各损失项权重;当领域继续预训练已单独完成时,多任务微调使用和 进行训练,使所述暗网供应商文本证据抽取模型同时学习候选证据位置、候选证据语义和关键证据取值。
28、其中,步骤s2具体包括:
29、s21. 执行字段匹配,接收候选证据特征集合和当前画像字段状态集合,其中,单个画像字段状态对象表示为,fid 为画像字段标识,value 为字段当前值,state 为字段当前状态,conf 为字段当前置信度,系统根据候选证据区间引用从整体模型输入序列中回读原文片段,并结合候选证据的证据值特征向量和语义特征向量判断候选值类型;随后按照候选值类型对原文片段进行最小归一化,得到候选字段值:
30、
31、其中,为候选证据区间对应的原文片段,为候选值类型概率,用于将候选值类型进行归一化处理。对于候选证据和画像字段f,系统构建候选证据特征向量以及字段状态特征向量,并计算字段匹配评分,
32、
33、
34、其中,为候选证据与画像字段之间的匹配表示,为字段状态投影向量,系统同时根据匹配表示计算候选证据对画像字段的影响权重;当大于或等于字段匹配阈值时,判定候选证据影响画像字段 f,受影响字段集合表示为:
35、
36、s22. 执行动作和值聚合,对于影响画像字段 f 的候选证据,系统根据候选字段值、字段当前值和字段当前状态判定其作用方向,作用方向包括新增、修订、冲突和失效,字段f的触发证据集合记为trigger(f),单条触发证据的贡献值为:
37、
38、系统按照失效优先、冲突次之、新增与修订按贡献值择优的规则聚合字段影响动作:
39、
40、其中,表示字段动作优先级聚合函数,用于输出字段f的最终字段影响动作,
41、s23. 执行证据计算,对于同一画像字段下的触发证据,系统先计算候选证据之间的来源独立性相似度:
42、
43、其中,和分别为语义特征相似度和证据值特征相似度,a和b为相似度权重,若大于或等于重复证据阈值,则将对应候选证据归入同一独立证据组,以避免重复页面或相近转载内容被重复计入字段支持度,
44、系统将包含新增或修订动作的独立证据组作为支持证据组,将包含冲突动作的触发证据作为冲突证据,并分别计算字段支持度和字段冲突度:
45、
46、
47、其中,为支持证据组集合,为冲突证据集合,表示字段当前值与候选字段值之间的差异程度,
48、s24. 执行置信融合,系统将字段支持度、字段冲突度和字段原置信度输入字段置信度融合模型,得到字段局部置信度:
49、
50、其中,σ为sigmoid 函数,、和为字段级权重,分别控制支持度、冲突度和原置信度对字段局部置信度的影响。最后,系统将字段影响动作、候选字段值、字段局部置信度和关键证据引用组合为字段局部判断结果:
51、
52、并将所有受影响字段的字段局部判断结果组成模块二输出:
53、。
54、其中,步骤s3具体包括:
55、s31. 执行状态判定,针对模块二确定的受影响字段f,从字段局部判断结果 中读取字段影响动作和字段局部置信度,并从当前画像字段状态集合中读取字段当前状态;通过状态更新函数确定字段下一状态:
56、
57、其中,状态更新函数 u(·) 根据字段当前状态、字段影响动作、字段局部置信度以及字段级阈值执行状态迁移;所述字段级阈值包括候选阈值、确认阈值和失效阈值,当字段当前状态为空状态且字段影响动作为新增时,若达到候选阈值,则字段进入候选状态;当候选状态字段获得新增或修订动作且达到确认阈值时,字段进入确认状态;当确认状态字段获得修订动作且候选字段值与当前字段值不存在冲突时,字段保持确认状态并执行字段值修订;当确认状态字段获得冲突动作时,字段进入争议状态;当任一状态字段获得失效动作且达到失效阈值时,字段进入失效状态,
58、s32. 执行字段写回,根据字段下一状态决定是否采用候选字段值;当字段下一状态为确认状态时写入候选字段值,当字段下一状态为争议状态时保留原字段值并记录争议候选值,当字段下一状态为失效状态时将字段移出当前有效画像并保留历史值,当字段下一状态为候选状态时仅保存候选字段值,
59、s33. 执行版本记录与结果输出,当字段值、字段状态或字段置信度发生变化时,生成字段版本记录:
60、
61、其中,由更新前字段对象和更新后字段对象对比得到,用于记录字段值变化和字段状态变化;与来自字段局部判断结果,分别表示本次更新后的局部置信度和关键证据引用。系统基于所述字段版本记录建立证据追溯关系,并输出当前有效画像字段、候选字段、争议字段和失效字段。
62、相对于现有技术,本发明的优点如下:
63、1.降低画像更新成本。本方案以证据事件为驱动,只对新增观测信息实际影响的画像字段进行更新,而不是每次重新构建完整画像。通过候选证据特征集合与字段状态集合之间的匹配关系,系统能够快速定位受影响字段,并仅对这些字段执行动作判断、置信计算和状态写回,从而减少无关字段的重复计算。该机制适合暗网信息持续变化、字段数量较多且更新频繁的场景。
64、2.提高证据判断可信度。本方案针对暗网页面镜像、转载、模板复用和重复评论较多的问题,引入来源独立性分组,并将字段支持度和字段冲突度分开计算。同一来源或高度相似来源的重复证据不会被反复累加,从而避免重复页面造成字段置信度虚高。同时,冲突证据会在置信融合中产生抑制作用,使画像字段的确认不只依赖支持数量,也考虑反向证据。
65、3.增强画像可解释性和可追溯性。本方案将画像字段建模为可演化的状态对象,使字段能够在候选、确认、争议和失效等状态之间转换,而不是简单覆盖旧值。每次字段值、状态或置信度发生变化时,系统都会生成版本记录,并建立字段变化与关键证据之间的追溯关系。因此,画像结果不仅能显示当前字段值,还能说明字段为何变化、由哪些证据触发以及历史演化过程。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com