一种基于证据血缘图的开源情报反污染方法及系统与流程
本发明涉及开源情报反污染,尤其涉及一种基于证据血缘图的开源情报反污染方法及系统。
背景技术:
1、随着互联网及社交媒体的迅猛发展,开源情报已成为国家安全、军事研判、舆情分析和商业决策等领域的重要信息来源。然而,开源信息环境亦充斥着大量的虚假信息、重复转载、同源改写、语义放大及图文错配等现象,导致情报证据的可靠性与独立性受到严重“污染”。目前,围绕开源情报的分析与治理,业界已发展出多种技术方案,但均存在一定的局限性。
2、现有开源信息分析技术通常通过关键词、实体名称、地理位置、发布时间等条件,对公开网页、新闻、社交平台、论坛、报告和数据库进行采集,再利用规则、知识图谱或统计模型对数据进行处理。例如,公开号为cn111897947a的发明申请,公开了一种基于开源信息的数据分析处理方法及系统,其通过获取用户提供的关键词,在预设知识图谱中遍历关键词获得知识扩展信息,并根据知识规则从开源信息数据中获取分析结果。该方案能够利用关键词扩展和知识规则提高开源信息检索及分析效率,但其重点在于关键词扩展和规则化分析,并没有针对多源证据之间的转载、派生、改写和污染传播关系构建证据血缘结构。该类技术的不足在于:其通常将不同来源的信息作为独立输入处理,即便进行了去重,也多停留在文本相似度或实体匹配层面,难以识别“同一原始开源材料经多次改写后形成多个表面独立证据”的问题。
3、现有技术方案多基于多源异构数据融合和知识图谱构建。例如,公开号为cn110489395a的发明申请,公开了一种自动获取多源异构数据知识的方法,其通过定义概念、实体、属性、关系和标签,形成知识模型,并通过爬虫、ocr等方式获取数据,完成异构数据源到知识源的转换。又例如,cn115640406a的发明申请,公开了一种基于多源异构大数据分析处理与知识图谱构建方法,其通过结构化、半结构化和非结构化数据获取,形成知识图谱数据混合库,再进行实体数据、语义关系和重点特性条件抽取筛选,进而构建领域本体库和全局本体库。上述方案的核心价值在于解决多源异构数据的汇聚、抽取、融合和结构化表达问题。但是,在开源情报证据治理场景中,仅仅将不同来源的信息融合为知识图谱并不足够。因为多个看似不同的事实节点,可能来自同一原始报道、同一图片、同一视频片段或同一二次解读。如果不识别其血缘关系,系统可能错误地把同源转载当成独立证据。
4、现有技术多采用基于话题溯源和传播路径分析的方法。例如,cn104636324a的发明申请,公开了一种话题溯源方法和系统,其通过抽取新闻中的时间戳、专有名词和关键词,发现重复新闻,并以时间戳最早的新闻代表重复新闻,再通过类簇和话题树生成话题溯源路径。该类话题溯源技术能够在一定程度上找到新闻话题的早期节点和传播层次,但其主要对象是“话题”或“新闻类簇”,而不是“情报证据”。在开源情报分析中,一条新闻可能包含多个证据片段,不同证据片段可能具有不同血缘关系。例如,同一篇报道中的图片说明、地点描述、时间表达和装备判断,可能分别来自不同来源。因此,仅以新闻为单位进行话题溯源,难以精细到证据片段级别进行污染识别。
5、现有技术基于多维度数据关联进行信息安全溯源和关联分析。例如,cn112905996a的发明申请公开了一种基于多维度数据关联分析的信息安全溯源系统及方法,其通过融合网络流量、告警信息、设备日志、威胁情报等多源攻击痕迹数据,建立维度模型,计算维度可信度和来源可信度,并根据关联度形成关联网络,以输出溯源结果。该方案说明多维度数据关联和可信度判定可以用于溯源分析,但其应用对象是网络攻击痕迹、网络流量和安全日志,并非开源情报中的新闻、社交内容、图像说明、视频摘要、公开报告等证据材料。网络安全溯源通常关注攻击者、攻击路径和攻击行为,而开源情报反污染更关注证据之间的转载、派生、改写、引用、时间错配、语义放大和独立性衰减。因此,信息安全溯源方法不能直接解决开源情报中的伪多源证据污染问题。
6、现有基于大模型和开源情报分析的公开研究,已经开始关注大语言模型和多模态模型在开源情报中的应用。例如,cosint-agent相关研究提出将多模态大模型用于osint任务,并指出动态osint任务仍面临幻觉、缺少最新领域知识和可靠性不足等挑战。另有关于osint与数字证据的研究指出,冲突记录和开源证据可能受到刻意虚假信息污染,伪造视频、stagedscenes和协调发布的虚假信息会污染证据记录。该类研究表明,开源情报的可靠性不仅取决于单条材料是否真实,还取决于证据记录是否被系统性污染。此外,关于恐怖主义相关开源情报抽取的综述研究指出,在生成可信结果之前,需要重视去除错误信息和虚假信息。该结论也说明,在知识推理或情报研判之前进行证据污染处理具有必要性。
7、综合上述现有技术,现有技术至少存在以下不足:一是缺少以证据片段为粒度的血缘建模机制。现有多源数据融合、知识图谱和话题溯源方法通常以文档、新闻、账号、话题或实体作为主要处理对象,较少以“证据片段”为最小分析单元。在开源情报中,一篇报道可能同时包含时间证据、地点证据、装备证据、行为证据和判断性描述。不同证据片段可能来源不同、可信度不同、污染路径不同。如果只在文档级别进行去重或溯源,会遗漏证据片段之间的真实继承关系。二是缺少对伪多源证据污染的识别和量化。现有系统容易将多个不同来源的信息视为独立证据,但在真实传播环境中,多个来源可能只是同一原始开源材料的转载、摘要、翻译、标题改写或二次解读。这种情况会造成“伪多源确认”。例如,同一张图片被不同平台反复发布,不同标题将“疑似出现”改写为“已经部署”,多个账号再引用这些内容,就会形成表面上的多源证据。现有技术缺少对该类污染链条进行识别、聚类和降权的机制。三是缺少面向情报结论的证据独立性重加权方法。现有可信度评估通常关注来源权威性、文本相似度、发布时间、账号等级或内容一致性,但较少将证据血缘关系纳入最终证据权重计算。在情报研判中,证据数量并不等同于证据强度。十条同源转载证据不能等价于十条独立证据。现有系统缺少一种根据证据血缘图自动计算独立性衰减、污染风险和去污染证据权重的方法。
8、因此,现有技术存在无法有效识别同源转载造成的信息污染、无法准确基于证据独立性计算权重的技术缺陷,需要一种基于证据血缘图的开源情报反污染方法。
技术实现思路
1、针对上述存在的问题,本发明的目的在于提供一种基于证据血缘图的开源情报反污染方法及系统,解决现有技术无法有效识别同源转载造成的信息污染、无法准确基于证据独立性计算权重的技术缺陷。
2、第一方面:一种基于证据血缘图的开源情报反污染方法,包括:
3、s1,接入多份开源材料,整理形成开源材料集合;
4、s2,将每份所述开源材料切分为若干证据片段,整理形成证据片段集合;
5、s3,对每个所述证据片段进行结构化处理,生成结构化证据;
6、s4,为每个所述结构化证据生成多维证据指纹,并计算证据指纹相似度;
7、s5,基于任意两个所述证据片段之间的指纹相似度、发布时间、引用链接、语义变化和媒体复用情况,识别两个所述证据片段之间的血缘关系,并计算血缘关系强度;
8、s6,以所述证据片段为节点,以所述血缘关系为血缘边,以所述血缘关系强度为血缘边权重,构建证据血缘图;
9、s7,在所述证据血缘图中进行污染簇评分,识别污染簇;
10、s8,根据所述证据血缘图和污染簇识别,对每个所述证据片段进行独立性重加权,计算去污染后的证据权重;
11、s9,根据所述去污染后的证据权重,从所述证据血缘图中选取高独立性、低污染风险的所述证据片段,生成去污染证据链;
12、s10,输出反污染结果,所述反污染结果至少包括所述证据血缘图、所述污染簇、所述去污染后的证据权重和所述去污染证据链。
13、在本发明的一个实施例中,所述原始开源材料集合表示为:
14、
15、其中:为原始开源材料集合,为第份开源材料,每份开源材料记录以下字段:
16、
17、其中:为材料内容,为材料来源,为发布时间,为链接或来源标识,为发布主体,为材料模态;
18、所述证据片段表示为:
19、
20、其中:为第个证据片段,为证据内容,为来源标识,为发布时间或事件时间,为地理指向,为发布主体或传播主体,为证据模态,为原始链接、引用链接或传播路径;
21、证据片段集合表示为:
22、
23、其中:为证据片段集合;为第个证据片段。
24、在本发明的一个实施例中,所述结构化证据表示为:
25、
26、其中:为证据原始内容,为主体实体,为事件动作,为时间要素,为地点要素,为模态类型,为情态强度,为引用关系;
27、其中,情态强度用于区分确认、声称、疑似、推测和评论的不同表达;
28、所述证据指纹表示为:
29、
30、其中:为第个证据片段的综合证据指纹集合,为文本语义指纹,为实体指纹,为时间指纹,为地理指纹,为图像或视频指纹,为来源指纹;
31、指纹相似度表示为:
32、
33、其中:为证据片段与的综合指纹相似度,为文本语义相似度,为实体相似度,为时间相似度,为地理相似度,为媒体相似度,为来源相似度,为权重参数。
34、在本发明的一个实施例中,所述血缘关系强度表示为:
35、
36、
37、其中:为证据片段与的血缘关系强度,为综合指纹相似度,为发布时间得分,为引用链接得分,为媒体复用得分,为语义变化得分,为权重参数。
38、在本发明的一个实施例中,所述证据血缘图表示为:
39、
40、其中:为证据片段节点集合,为节点间血缘边集合,为节点间血缘边集合权重集合。
41、其中,血缘边表示为:
42、
43、其中:为证据片段与证据片段之间的血缘关系;为血缘关系类型;为血缘关系强度。
44、在本发明的一个实施例中,所述污染簇评分表示为:
45、
46、
47、其中:为污染簇的污染评分,为源头集中度,为血缘边密度,为语义放大程度,为媒体复用程度,为时间错配程度,为权重参数;
48、证据污染簇表示为:
49、
50、其中:为第个污染簇;
51、在本发明的一个实施例中,所述独立性重加权表示为:
52、
53、其中:为证据的重加权独立性,为证据初始独立性,为证据污染风险,为证据对其他节点的依赖程度,为证据语义放大程度,为调节参数。
54、证据权重表示为:
55、
56、其中:为去污染后的证据权重,为证据可信度,为证据与情报任务的相关度,为重加权独立性。
57、在本发明的一个实施例中,所述去污染证据链表示为:
58、
59、其中:为去污染证据链;为被选入证据链的第个证据片段节点。
60、证据节点选择条件表示为:
61、
62、其中:为是否选入去污染证据链,为去污染后的证据权重,为污染风险,为权重阈值,为污染阈值。
63、在本发明的一个实施例中,所述反污染结果表示为:
64、
65、其中:为反污染结果,为证据血缘图,为污染簇集合,为重加权证据权重集合,为去污染证据链,为风险说明集合。
66、第二方面:一种基于证据血缘图的开源情报反污染系统,应用于上述的方法,包括:
67、开源证据接入模块,用于接入多份开源材料;
68、证据片段切分模块,用于将每份所述开源材料切分为一个或多个证据片段;
69、证据要素结构化模块,用于对每个所述证据片段进行结构化处理,生成结构化证据;
70、证据指纹生成模块,用于为每个所述结构化证据生成多维证据指纹,并计算指纹相似度;
71、血缘关系识别模块,用于基于所述指纹相似度、发布时间、引用链接、语义变化和媒体复用情况,识别两个所述证据片段之间的血缘关系,并计算血缘关系强度;
72、证据血缘图构建模块,用于以所述证据片段为节点,以所述血缘关系为血缘边,以所述血缘关系强度为血缘边权重,构建证据血缘图;
73、污染簇识别模块,用于在所述证据血缘图中识别污染簇;
74、证据独立性重加权模块,用于根据所述证据血缘图和污染簇识别,对每个所述证据片段进行独立性重加权,计算去污染后的证据权重;
75、去污染证据链生成模块,用于根据所述去污染后的证据权重,从所述证据血缘图中选取高独立性、低污染风险的所述证据片段,生成去污染证据链;
76、反污染结果输出模块,用于结合去污染证据链,输出反污染结果。
77、本发明的有益效果:
78、1. 本发明将开源材料切分为以事件动作、时间描述、地点描述、主体对象、判断性表达、图像描述、视频描述或引用来源为边界的证据片段,并构建以证据片段为节点、以转载、引用、改写、翻译、摘要、语义增强、媒体复用、时间错配、地点错配等关系为有向边的证据血缘图。相较于现有技术中以文档、新闻或话题为单位的处理方式,本发明能够在更细粒度上追踪每个证据片段的来源、派生和传播路径,有效识别“同一原始开源材料经多次改写后形成多个表面独立证据”的伪多源污染问题,显著提升开源情报证据治理的精细化水平,实现证据片段级血缘建模,精准识别伪多源污染。
79、2. 本发明为每个证据片段生成包含文本语义指纹、实体指纹、时间指纹、地理指纹、媒体指纹和来源指纹的多维证据指纹,并基于六个维度的子相似度加权融合得到综合指纹相似度。该机制不仅能识别文本层面的同义改写和抄袭,还能跨模态检测图像、视频的重复使用,并结合时间先后、引用关系、语义派生等多维线索综合判断血缘关系强度。相较于仅依赖文本相似度或实体匹配的传统方法,本发明大幅降低了同源转载、跨平台搬运、图文错配等复杂污染场景下的漏检率和误检率,血缘关系识别更加全面和可靠,通过多维证据指纹与加权融合机制,提高血缘关系识别的准确率。
80、3. 本发明在证据血缘图中识别污染簇,通过源头集中度、血缘边密度、语义放大程度、媒体复用程度和时间错配程度五个维度计算污染簇评分,并据此对每条证据进行独立性重加权。重加权过程综合考虑证据初始独立性、污染风险、依赖程度和语义放大程度,使得同源转载证据、语义增强证据和高依赖证据的独立性权重被合理降低。与现有技术中简单删除重复证据或仅依据来源权威性打分的方式相比,本发明既保留了真实原始证据的价值,又避免了多条派生证据被错误累加为独立强证据,实现了证据强度的科学校准,量化证据污染强度与独立性衰减,提供科学的证据权重修正方案。
81、4. 本发明输出包括证据血缘图、污染簇列表、源头证据、传播路径、降权原因、去污染证据链和风险提示在内的完整反污染结果。人工分析员或下游情报系统能够清晰了解哪些证据被保留、哪些被降权以及降权的具体依据,从而对情报结论的可信度做出理性判断。相较于现有技术中仅输出单一可信度分数的黑盒方案,本发明提供了全流程可追溯、可审计的反污染证据链,显著增强了开源情报分析结果的可解释性和决策透明度,输出可解释的反污染结果,支撑情报研判的可信决策。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com