基于大模型的平台海量安全数据分析方法及系统与流程

摘要: 本发明涉及安全数据分析,具体为基于大模型的平台海量安全数据分析方法及系统。背景技术:1、源于以gpt-4、gemini等为代表的千亿级参数大模型在自然语言处理和...
基于大模型的平台海量安全数据分析方法及系统与流程

本发明涉及安全数据分析,具体为基于大模型的平台海量安全数据分析方法及系统。

背景技术:

1、源于以gpt-4、gemini等为代表的千亿级参数大模型在自然语言处理和跨模态理解方面的突破性进展,这些模型通过大规模预训练和精调技术,显著提升了对复杂语义关系的理解能力;与此同时,现代安全平台需要处理来自网络流量、终端日志、威胁情报等多源异构的海量安全数据,这些数据具有规模大、维度高、实时性强等特点,而传统分析方法主要采用基于规则的特征匹配,输出风险概率值作为分析结果。

2、但是在目前的技术中,仅输出一个抽象的风险概率值,缺乏对攻击路径、关联实体和因果逻辑的可解释性分析,导致件分析的完整性降低的问题。

技术实现思路

1、针对现有技术的不足,本发明提供了基于大模型的平台海量安全数据分析方法及系统,解决缺乏对攻击路径、关联实体和因果逻辑的可解释性分析,导致件分析的完整性降低的问题。

2、为实现以上目的,本发明通过以下技术方案予以实现:基于大模型的平台海量安全数据分析方法,包括:

3、s1、数据采集与语义表示,采集来自多个领域的安全数据,并对数据进行格式标准化与特征提取,输入大模型嵌入算法,映射至统一语义向量空间进行语义压缩;

4、s2、风险分层与分级处理,对语义向量化后的多领域安全数据进行分层与分级处理,区分不同风险等级或类别的数据,并确定相应的后续分析路径;

5、s3、跨领域安全知识图谱构建,基于多领域安全数据构建跨领域安全知识图谱,存储安全相关实体及其因果关系;

6、s4、安全事件因果链生成与解释输出,结合大模型推理与知识图谱,生成安全事件因果链,并输出解释结果;

7、s5、增量学习与在线学习更新,通过增量学习与在线学习机制更新大模型与知识图谱,其中采用知识蒸馏保持已有知识,并结合人工反馈更新模型参数;

8、s6、多领域数据并行与流式处理,采用并行计算、流式处理以及缓存与调度机制,对多领域安全数据进行处理;

9、s7、解释一致性校验与异常反馈,对因果链及解释结果进行一致性校验与合理性验证,识别异常输入,并将结果反馈至s5中。

10、优选的,所述数据采集与语义表示包括:

11、通过日志采集接口、网络流量采集探针及行为监测组件采集来自不同领域的安全数据;

12、采用数据解析规则对所述数据进行格式转换,并提取用于表征安全事件特征的字段信息;

13、将字段信息输入嵌入算法,将异构数据映射至统一语义向量空间,并通过向量压缩方法降低表示维度。

14、优选的,所述风险分层与分级处理包括:

15、基于风险评估模型为所述语义向量化后的多领域安全数据计算风险值;

16、当所述风险值低于预设阈值范围时,采用轻量化分析方式;

17、当所述风险值高于预设阈值范围时,采用基于大模型推理的分析方式。

18、优选的,所述跨领域安全知识图谱构建包括:

19、对多领域安全数据进行实体识别,实体为与安全事件相关的对象;

20、基于关系抽取方法识别所述实体之间的关联关系;

21、将实体及其关系存储至跨领域安全知识图谱。

22、优选的,所述安全事件因果链生成与解释输出包括:

23、基于大模型生成安全事件之间的因果关系链;

24、将因果关系链与跨领域安全知识图谱进行对齐和补全;

25、输出解释结果,包括不同层次的解释信息,其中解释信息能够通过自然语言或可视化方式进行呈现。

26、优选的,所述增量学习与在线学习更新包括:

27、对新增安全数据进行实时处理并生成语义表示;

28、基于知识蒸馏方法在保持已有知识的前提下更新模型参数;

29、基于人工标注或运维反馈信息对模型进行优化。

30、优选的,所述多领域数据并行与流式处理包括:

31、将多领域安全数据分片并在多个计算单元中并行处理;

32、对新增安全数据进行实时处理;

33、按照风险等级分配处理任务,并调用历史数据模式进行比对。

34、优选的,所述一致性校验包括:

35、基于多种解释生成方法获得解释信息,包括基于特征重要性的方法和基于因果推理的方法;

36、对不同解释方法得到的结果进行比对,并将比对结果与预设安全知识库进行合理性验证。

37、优选的,所述异常反馈包括:

38、当因果链或解释结果不满足一致性或合理性条件时,将输入标记为异常样本;

39、将异常样本反馈至增量学习与在线学习中,用于后续训练更新,基于模型更新与知识图谱修正。

40、基于大模型的平台海量安全数据分析系统,所述系统包括:

41、数据采集与语义表示模块,用于采集来自多个领域的安全数据,对数据进行格式标准化与特征提取,并通过嵌入算法将数据映射至统一语义向量空间;

42、风险分层与分级处理模块,用于对语义向量化后的多领域安全数据进行风险评估,并基于评估结果将数据划分为不同等级以确定处理方式;

43、跨领域安全知识图谱构建模块,用于对多领域安全数据进行实体识别和关系抽取,并将得到的安全相关实体及其关系存储为跨领域安全知识图谱;

44、安全事件因果链生成与解释模块,用于结合大模型推理与知识图谱生成安全事件因果链,并输出多层次解释信息;

45、增量学习与在线学习更新模块,用于基于增量学习和在线学习机制对大模型与知识图谱进行更新;

46、多领域数据并行与流式处理模块,用于通过并行计算、流式计算以及缓存调度对多领域安全数据进行处理;

47、解释一致性校验与异常反馈模块,用于对因果链及解释结果进行一致性校验与合理性验证,识别异常输入,并将异常输入反馈至增量学习与在线学习更新模块。

48、本发明提供了基于大模型的平台海量安全数据分析方法及系统。具备以下有益效果:

49、1、本发明通过实体识别与关系抽取构建跨领域安全知识图谱,并与大模型推理结果对齐和补全,形成安全事件因果链,输出特征级、因果级和决策级解释,实现多领域知识与因果推理的结合,增强安全事件分析的完整性与可解释性。

50、2、本发明引入风险评估模型对语义向量化后的多领域安全数据计算风险值,根据风险等级自动选择轻量化分析或大模型推理,实现计算资源的动态分配,高危事件获得深度分析,低风险事件快速处理,提高系统整体效率与威胁识别的准确性。

51、3、本发明通过采集多领域安全数据,经解析和标准化处理后输入嵌入算法,实现跨领域数据的语义向量化与压缩,保证异构数据在统一语义空间下的融合与高效处理,为后续分析提供一致性基础。

52、4、本发明结合增量学习、在线学习与知识蒸馏机制,实时吸收新增数据并保持已有知识,同时引入人工反馈优化模型。对不一致或不合理解释结果标记为异常并反馈至学习模块,形成闭环更新。