基于大模型驱动的网络威胁语义生成知识图谱方法及系统
本发明涉及网络安全与人工智能,具体为一种基于大模型驱动的网络威胁语义生成知识图谱方法及系统。
背景技术:
1、随着信息技术的快速发展与网络基础设施的不断扩展,网络环境呈现出高度复杂化与数据驱动化的特征。各类业务系统在运行过程中持续产生大量网络流量数据、系统日志及安全事件记录,这些数据成为分析网络行为与识别潜在威胁的重要基础。然而,随着数据规模的指数级增长以及攻击手段的不断演进,传统基于单一数据源或固定规则的分析方法已难以满足复杂网络环境下的安全需求。
2、在实际网络运行过程中,攻击行为通常以多源数据的形式呈现,包括网络流量记录、系统行为日志以及文本化威胁情报报告等。这些数据在结构上存在明显差异,既包含结构化字段信息,也包含半结构化或非结构化描述内容。同时,攻击行为往往跨越多个时间阶段和多个系统节点,表现为分散、隐蔽且关联复杂的特征,使得单一数据源难以完整反映攻击过程。
3、在现有网络安全分析体系中,安全运营中心通常依赖多源日志与流量数据进行分析。然而,这些原始数据普遍存在以下问题:一是数据规模庞大且噪声较多,正常行为与异常行为高度混杂,难以直接区分;二是不同数据源之间缺乏统一的语义表达,字段定义不一致,导致数据难以直接关联;三是原始数据主要停留在数值或字段层面,缺乏对攻击行为语义的抽象表达,难以支持高层次的安全分析。
4、现有技术主要包括基于规则与特征匹配的方法、基于统计分析与机器学习的方法以及基于知识图谱的关联分析方法。基于规则与特征匹配的方法对已知特征依赖较强,对于未知攻击或变种攻击缺乏有效识别能力。基于统计分析与机器学习的方法主要关注数据分布层面的变化,缺乏对攻击行为语义的理解能力。基于知识图谱的关联分析方法在图谱构建阶段仍主要依赖规则或模板进行信息抽取,难以从原始数据中自动生成高质量语义信息。
5、此外,随着大语言模型在文本理解与生成领域的快速发展,其在安全领域的应用逐渐受到关注。然而,现有方法多集中于对已有文本的处理,缺乏将原始结构化数据转化为统一语义表示的有效机制,导致大语言模型难以直接参与知识图谱构建过程。同时,现有方法缺乏将语义生成与图谱构建进行统一设计的系统性框架。
6、因此,亟需一种能够将多源异构网络数据自动转化为统一威胁语义表示,并在此基础上实现知识图谱自动构建与结构优化的方法及系统。
技术实现思路
1、针对现有技术中存在的问题,本发明提供一种基于大模型驱动的网络威胁语义生成知识图谱方法及系统,通过引入语义转换机制,将多源异构网络数据自动转化为统一的威胁情报描述,并在此基础上实现知识图谱的自动构建、质量评估与结构优化,形成从原始数据到高质量知识图谱输出的端到端处理链路。
2、本发明是通过以下技术方案来实现:
3、第一方面,本技术提供的一种基于大模型驱动的网络威胁语义生成知识图谱方法,包括以下步骤:
4、步骤1、对多源网络数据进行字段标准化和统计摘要提取,结合提示模板利用大语言模型生成统一语义表示的威胁情报文本集合;
5、步骤2、对所述威胁情报文本集合进行实体识别和关系抽取,生成三元组集合,经实体对齐与去重后构建初始网络威胁知识图谱;
6、步骤3、对所述初始网络威胁知识图谱进行质量评估,所述质量评估包括基于预定义结构规则的结构完整性评估和基于大语言模型语义分析的语义合理性评估;根据评估结果调用大语言模型对图谱进行关系补全、实体规范化、关系重构和冗余清理,得到优化后的知识图谱;
7、步骤4、对所述优化后的知识图谱进行连通性分析,识别孤立子图和锚点节点,基于节点语义特征和预定义关系类型约束自动构建桥接关系,将孤立子图连接至主图,经结构优化后输出最终知识图谱。
8、优选的,步骤1中所述多源网络数据包括结构化数据、半结构化数据和非结构化数据;
9、所述字段标准化具体为:通过预定义字段别名映射机制,将不同来源数据中的同含义字段进行统一对齐,并执行字段格式统一、无效字段过滤与异常数据剔除处理,得到标准化输入数据。
10、优选的,步骤1中所述统计摘要提取包括对标准化输入数据提取通信对分布、传输协议分布、端口分布及行为标签分布的统计特征;结合预设提示模板封装统计特征与上下文信息后输入大语言模型,生成包含通信关系描述、协议与行为类型、行为攻击标签及威胁语义解释的标准化威胁情报文本集合。
11、优选的,步骤2中所述实体识别具体为:
12、从威胁情报文本集合中识别三类实体,分别为包含网络地址、域名、端口、传输协议的基础实体,包含攻击行为类型的行为实体,以及包含时间信息、行为标签的上下文实体;所述关系抽取具体为:提取实体间的语义关联关系,以头实体、关系、尾实体的三元组形式构建三元组集合。
13、优选的,步骤2中所述实体对齐与去重具体为:通过语义相似度计算与预定义规则约束相结合的方式,对指向同一对象的重复实体进行合并归一,对表述不一致的实体进行规范化处理,对重复三元组进行删除清理,得到结构一致的初始网络威胁知识图谱。
14、优选的,步骤3中所述结构完整性评估包括关系完整性评估与实体类型一致性评估:
15、所述关系完整性评估用于检测实体间关系的缺失与表达不完整问题,实体类型一致性评估用于校验实体类型标注的混用与错误问题;所述语义合理性评估用于审查三元组关系的方向正确性与语义逻辑冲突问题。
16、优选的,步骤3中还包括迭代优化步骤:对修复完成的知识图谱再次执行质量评估,若质量评分未达到预设阈值,则重复执行质量评估与修复操作,直至图谱质量满足预设标准或达到最大迭代次数,输出优化后的知识图谱。
17、优选的,步骤4中所述连通性分析具体为:识别优化后知识图谱中的多个连通子图与孤立节点集合,标记规模小于预设阈值的分散子图;所述锚点节点的选择依据包括节点类型优先级、文本语义特征及图结构特征,构建桥接关系时遵循预定义关系类型约束,规避自环连接与无效关联。
18、优选的,步骤4中所述结构优化包括去除冗余连边、合并重复节点与压缩弱关联连接;经结构优化后得到最终知识图谱,所述最终知识图谱包括节点集合、关系集合及对应属性信息。
19、第二方面,本技术提供的一种基于大模型驱动的网络威胁语义生成知识图谱系统,包括:
20、语义生成模块,用于对多源网络数据进行字段标准化和统计摘要提取,结合提示模板利用大语言模型生成统一语义表示的威胁情报文本集合;
21、图谱构建模块,用于对所述威胁情报文本集合进行实体识别和关系抽取,生成三元组集合,经实体对齐与去重后构建初始网络威胁知识图谱;
22、质量评估与修复模块,用于对所述初始网络威胁知识图谱进行质量评估,所述质量评估包括基于预定义结构规则的结构完整性评估和基于大语言模型语义分析的语义合理性评估;根据评估结果调用大语言模型对图谱进行关系补全、实体规范化、关系重构和冗余清理,得到优化后的知识图谱;
23、结构优化模块,用于对所述优化后的知识图谱进行连通性分析,识别孤立子图和锚点节点,基于节点语义特征和预定义关系类型约束自动构建桥接关系,将孤立子图连接至主图,经结构优化后输出最终知识图谱。
24、与现有技术相比,本发明具有以下有益的技术效果:
25、本技术的基于大模型驱动的网络威胁语义生成知识图谱方法,先通过字段标准化与统计摘要提取对多源异构网络数据进行规整,再借助大语言模型将结构化、半结构化及非结构化数据统一映射为标准化威胁情报语义文本,从根源上消除不同数据源的格式差异与语义壁垒;在此基础上通过实体识别与关系抽取完成三元组建模,经实体对齐去重生成初始图谱,再采用结构规则校验与大模型语义分析结合的双维度评估机制识别图谱缺陷并自动修复,最终通过连通性分析与桥接关系构建解决图谱结构割裂问题。该方案突破了传统知识图谱构建依赖人工规则、泛化能力弱的局限,既实现了多源数据的语义层统一建模,又保障了图谱的结构完整性与语义一致性,可有效适配复杂动态网络环境下的威胁分析需求。
26、本技术还提出了一种基于大模型驱动的网络威胁语义生成知识图谱系统、一种电子设备和一种计算机存储介质,具备上述基于大模型驱动的网络威胁语义生成知识图谱方法的全部优势。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com