一种基于最小充分证据子图的安全事件研判方法
本发明属于网络安全检测分析,尤其涉及一种基于最小充分证据子图的安全事件研判方法。
背景技术:
1、网络攻击的复杂度和隐蔽性持续上升。高级持续性威胁(apt)与勒索软件攻击通常有侦察、初始访问、权限提升、横向移动、数据外渗等多个阶段,攻击行为在端点、网络、身份和应用等多个层面留下分散的日志痕迹。安全运营中心(soc)每天接收来自入侵检测系统、端点检测与响应(edr)、主机审计、身份认证、web服务和网络流量等多个系统的海量告警与数据,分析师需要在碎片化的多源数据中还原完整攻击链,才能判断告警是否构成真实威胁并确定处置范围。告警疲劳与分析效率不足已成为制约安全运营效能的核心问题。
2、目前采用的告警聚合方法,基于时间窗口、网络地址、主机标识等简单条件将告警和日志归并到一起。时间邻近或共享地址并不等于攻击因果关系,容易把互不相关的活动错误合并,产生大量误关联,且无法说明记录之间的行为先后顺序,处理负担未实质降低。另一种方案将日志构造成大规模事件图,使用图搜索或图神经网络识别异常。但候选关系随数据规模快速增长,图中包含大量重复事务和无关关系,关键行为容易被淹没;输出大而全的完整图,运营人员难以直接看出攻击起点、关键操作和影响对象,也不便于将图中关系回查到原始日志。
3、还有方案将检索到的日志平铺后交由规则引擎、统计模型或语言模型自动研判。平铺输入缺少实体切换、事务延续和跨数据源关系等结构化信息,长上下文中关键证据容易被普通记录淹没;模型输出与原始日志之间缺乏可核对的对应关系,结论难以审计和复核。在缺乏自动化手段时,运营人员只能手工跨日志源检索研判,还原一次攻击过程往往需要翻阅大量原始记录,周期长、对经验依赖高,输出不统一、不直观,难以满足告警量大、上下文分散场景下的时效要求。
技术实现思路
1、本发明的目的在于提供一种基于最小充分证据子图的安全事件研判方法,解决多源告警碎片化、候选证据图规模过大导致关键行为被淹没、弱上下文误关联以及模型研判结论与原始记录脱节不可审计的问题。
2、为实现上述目的,本发明提供了一种基于最小充分证据子图的安全事件研判方法,包括以下过程:
3、s1、获取待研判安全事件涉及的多源日志与告警,统一表示为附加原始记录引用的统一事件节点集合,利用显式连接键进行上下文扩展并召回候选事件,得到扩展事件集合;
4、s2、对扩展事件集合执行分层关系生成规则,生成包含直接操作层、完整事务层、多事件行为层和弱上下文层的分层关系集合,以事件节点为顶点、分层关系为边构造候选证据图;
5、s3、从候选证据图中提取覆盖关键行为、关系可回查且路径闭合的最小充分证据子图,为最小充分证据子图的节点和关系分配唯一编号,生成证据凭据并形成允许引用的证据编号集合;
6、s4、将最小充分证据子图、其引用的原始记录及允许引用的证据编号集合输入约束研判模块,采用通用大模型进行约束研判生成研判结果,对研判结果执行独立证据校验,校验通过后直接输出研判结果,校验未通过时返回约束研判模块二次推理,若仍未通过输出证据不足。
7、优选的,所述s1中,从待研判告警提取告警事件节点,从多源日志解析上下文日志并归一化为统一事件结构,构建上下文日志事件节点,为每个事件节点附加包括日志来源、记录位置、发生时间和原始内容摘要的原始记录引用,得到所述统一事件节点集合;所述显式连接键包括会话编号、请求编号、网络流编号、进程编号、父子进程标识、账号切换记录、网络五元组以及进程-套接字映射。
8、优选的,所述s2中,分层关系生成规则为:对扩展事件集合中的单条事件记录、事件记录对及事件记录序列,先判断在时间、主体、客体、动作及数据源字段上是否满足所匹配关系规则的取值要求,再判断在连接键、会话、事务及行为序列上是否满足所匹配关系规则的关联要求,最后判断事件对是否具有支撑事件编号及原始记录引用,三项判断均通过时,将所匹配关系规则的规则编号及参与判定的字段写入关系记录并按对应语义层级生成关系,任一判断不通过时仅生成弱上下文层关系。
9、优选的,所述s2中,直接操作层关系表示单条记录能够直接核验的操作;完整事务层关系表示由请求与响应、连接起点与连接终点以及认证操作与认证结果构成的闭合事务;多事件行为层关系表示由直接操作层关系及完整事务层关系连接形成的行为序列;弱上下文层关系表示共享地址、共享主机或时间邻近形成的候选联系。
10、优选的,所述s2中构造候选证据图,具体为:以扩展事件集合中的事件节点为顶点,以分层关系集合中的关系为边,按数据源视图组织为候选证据图;同一数据源视图内的关系形成视图内子图,跨数据源视图的关系用于连接视图内子图。
11、优选的,所述数据源视图包括四类:主机与认证视图根据进程编号、父子进程标识、会话编号、账号切换记录和命令执行记录生成关系;web视图以请求编号、连接标识、客户端地址、服务标识和资源路径闭合同一请求事务;网络视图以网络流编号或网络五元组闭合连接,以事务编号闭合域名解析请求和响应;跨视图关联使用能够同时出现在两个视图中的请求编号、跟踪编号、网络流编号、会话编号或进程-套接字映射。
12、优选的,所述s3中最小充分证据子图提取流程为:确定待研判事件对应的有序关键路径,所述有序关键路径从事件种子出发、经关键行为到达影响对象,路径上的关键关系属于直接操作层关系、完整事务层关系及多事件行为层关系中的一类或多类,且每个关键关系均记录有支撑事件编号与原始记录引用,完全由弱上下文层关系构成的路径不满足路径闭合;在保持关键行为覆盖、关系可回查和证据闭合的条件下,从所述候选证据图中删除非必要关系,得到最小充分证据子图;为所述最小充分证据子图中的每个节点和每条关系分配唯一编号,生成包括子图编号、节点编号、关系编号、有序关键路径、支撑事件编号及原始记录引用的证据凭据,并从所述证据凭据中提取节点编号与关系编号,形成所述允许引用的证据编号集合。
13、优选的,按以下目标函数从所述候选证据图中选择最小充分证据子图:;
14、;
15、;
16、;
17、其中g为候选证据图,h为提取到的关键路径子图,g*为最小充分证据子图;coverage(h)为关键行为覆盖率,表示子图h覆盖的关键行为类型数量占规则模板规定的关键行为类型数量的比例;trace(h)为关系可回查率,表示子图h中具有原始记录引用或支撑事件引用的节点与关系数量占子图h中节点与关系总数的比例;redundancy(h)为冗余关系比例,表示子图h中重复事务关系及删除后不影响证据闭合性的关系数量占子图h中关系总数的比例;ncover(h)为子图h覆盖的关键行为类型数量,nrequired为待研判事件对应规则模板规定的关键行为类型数量,ntrace(h)为子图h中具有原始记录引用或支撑事件引用的节点与关系数量,nredundant(h)为子图h中重复事务关系及删除后不影响证据闭合性的关系数量,|v(h)|与|e(h)|分别为子图h的节点数量与关系数量,λ为关系数量惩罚系数;对于目标值相同的候选子图,选择关系编号排序在前的子图。
18、优选的,所述约束研判模块数据处理流程为:
19、将所述最小充分证据子图、其引用的原始记录片段及允许引用的证据编号集合输入所述约束研判模块,利用通用大语言模型生成研判结果,通过提示词中的证据编号白名单、结构化输出模式、json schema约束、语法引导解码、输出标记掩码及概率偏置中的一种或多种方式,限制研判过程中引用的证据编号范围,生成包括研判结论、置信度、理由、所引用证据编号及缺失证据的结构化研判结果。
20、优选的,所述对研判结果执行独立证据校验的具体过程为:
21、逐项核对所引用证据编号是否均属于所述允许引用的证据编号集合,读取每个编号对应关系的语义层级、规则编号与支撑事件编号,判断所引用关系能否支撑研判理由行为,并核对有序关键路径是否从事件种子出发、经关键行为到达影响对象且路径上的关键关系均带有支撑事件与原始记录引用;校验通过时,将结构化研判结果作为最终研判结论输出;校验未通过时,将无效引用及缺失证据返回所述约束研判模块执行二次推理,所述二次推理所引用的证据编号仍仅限于所述允许引用的证据编号集合,二次推理后再次执行独立证据校验,仍未通过时,将结论修正为证据不足后输出,并连同关键路径、有效证据与原始记录引用一并输出。
22、与现有技术相比,本发明具有如下有益效果:
23、1. 最小证据子图直接作为大语言模型的研判输入,替代全量日志平铺输入,去除重复事务和无关上下文,避免无关记录干扰模型判断,减少模型引用与告警无关或不存在内容的幻觉,同时显著降低输入长度与token消耗;
24、2. 通过显式连接键和分层关系组织多源记录,将弱上下文限制在候选召回阶段,避免仅凭同一地址、主机或时间窗口形成闭合攻击结论,降低误关联;
25、3. 保留有序关键路径及其直接支撑,使模型聚焦关键行为,提升研判准确率;
26、4. 最小证据子图以图形式呈现攻击起点、关键行为和影响对象,比平铺日志更直观,运营人员无需逐条翻阅原始记录即可理解事件全貌,辅助快速研判,缩短研判周期;
27、5. 研判结论的每条依据通过证据编号回查原始日志,并输出缺失证据提示,结论有据可查,运营人员可逐条核对,缓解大语言模型结论黑盒化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com