融合序列文本和溯源图的APT检测方法、装置、设备及介质与流程

摘要: 本技术涉及网络安全,尤其涉及一种融合序列文本和溯源图的apt检测方法、装置、设备及介质。背景技术:1、当前网络空间中,网络攻击威胁呈现出高度复杂化和持续增长的趋...
融合序列文本和溯源图的APT检测方法、装置、设备及介质与流程

本技术涉及网络安全,尤其涉及一种融合序列文本和溯源图的apt检测方法、装置、设备及介质。

背景技术:

1、当前网络空间中,网络攻击威胁呈现出高度复杂化和持续增长的趋势,攻击者更倾向于使用高级的混合型攻击方式,且攻击手段中融入了人工智能和机器学习技术,进一步提升了攻击的精准性和隐蔽性,给安全防御人员带来了极高的防御挑战。其中,高级持续性威胁(apt)作为典型的隐蔽性攻击,具有攻击周期长、手段隐蔽、针对性强等特点,其攻击行为往往隐藏在海量正常系统操作中,难以被传统检测方法识别,对网络空间安全构成严重威胁。

2、溯源图(provenance graph)是一种具备强大语义表达能力和攻击行为刻画能力的威胁建模方法,能够有效呈现系统在一段时间内的完整操作行为。该方法将系统中所有实体(包括主体和客体)视为图的顶点,将实体之间的各类操作视为有向边,通过有向图的形式清晰展示系统中主体(如进程、线程)与客体(如文件、注册表、网络套接字)之间的控制流和数据流关系,为apt攻击检测提供了重要的技术支撑。

3、一个理想的apt威胁检测系统,需同时满足快速响应、高效率、高精度三大核心属性。目前,基于溯源图的apt检测方法根据检测设计思路主要分为三类:基于图匹配的检测、基于异常的检测和标签传播检测。其中,基于图匹配的检测方法,需通过对已知攻击行为建模构建攻击模式库,将攻击行为抽象为子图模式作为匹配模板,但其严重依赖大量标注完整的攻击样本数据,难以适配未知apt攻击和零日漏洞攻击场景;基于标签传播的检测方法,通常分为标签初始化和标签传播两个阶段,标签在初始化时分配给节点,并根据预设规则沿图中边传递,该方法对初始标签的依赖性强,且标签传播过程易出现偏差,影响检测精度;基于异常的攻击检测方法,通过挖掘系统行为中的异常模式发现潜在攻击,能够减轻对攻击样本数据的依赖,更适用于探索未知apt攻击,是当前apt检测的主流研究方向。

4、然而,现有基于溯源图的apt检测方法仍存在诸多技术缺陷,难以满足实际应用需求:首先,系统运行产生的溯源图规模异常庞大,包含海量节点和边,无法直接应用于异常检测,需对溯源图进行剪枝缩减处理,而当前大多数研究均直接在原始溯源图上对节点或边进行缩减操作,该方式计算复杂度高,会带来较大的时间开销,严重影响检测效率,无法实现快速响应;其次,当前网络环境中缺乏大量高质量的apt攻击标注样本数据,且攻击者越来越倾向于利用零日漏洞发起攻击,这就要求apt检测模型能够摆脱对标注数据的依赖,具备较强的泛化能力,而现有检测方法要么依赖攻击标注数据,要么泛化能力不足,难以精准识别未知apt攻击;最后,现有方法大多仅关注溯源图的结构特征,未充分挖掘系统日志序列的文本语义特征,导致特征利用不充分,检测精度难以进一步提升。

技术实现思路

1、本技术实施例提供了一种融合序列文本和溯源图的apt检测方法、装置、设备及介质,旨在解决相关技术中存在的apt检测效率低、难以精准识别,检测精度低等技术问题。

2、第一方面,本技术实施例提供了一种融合序列文本和溯源图的apt检测方法,所述方法包括:

3、对系统日志进行解析与聚合,生成以进程为中心的进程序列;

4、利用经无监督预训练的bert(bidirectional encoder representations fromtransformers,基于 transformer 的双向编码器表征)模型对所述进程序列进行语义嵌入,并基于正常进程序列训练的单分类模型,从海量所述系统日志中分类出疑似异常进程序列;

5、根据所述疑似异常进程序列对应的日志条目,构建待检测的溯源图;

6、将所述待检测的溯源图输入至自监督预训练的图注意力网络模型,以输出所述溯源图中每个节点对应的apt检测异常分数;

7、将apt检测异常分数超过预设阈值的目标节点确定为异常节点。

8、在一个实施例中,可选的,所述对系统日志进行解析与聚合,生成以进程为中心的进程序列,包括:

9、对所述系统日志进行结构化解析,提取每条进程行为对应的进程标识、操作类型和操作对象;

10、基于预设时间间隔阈值和最大序列长度阈值,对同一进程标识对应的连续操作行为进行聚合,按照时间顺序拼接成以进程为中心的进程序列,其中,所述进程序列包括进程标识以及至少一组操作类型和操作对象。

11、在一个实施例中,可选的,所述经无监督预训练的bert模型,其训练过程包括:

12、获取无标签的系统日志进程序列作为预训练语料;

13、对所述预训练语料中的操作类型和操作对象进行随机掩码,生成掩码序列;

14、将所述掩码序列输入bert模型,通过最小化掩码部分预测的交叉熵损失,训练模型还原被掩码的原始操作信息。

15、在一个实施例中,可选的,所述基于正常进程序列训练的单分类模型,其训练过程包括:

16、获取系统正常运行状态下生成的正常进程序列;

17、将所述正常进程序列输入至经无监督预训练的bert模型,以获取各正常进程序列的语义嵌入向量;

18、以所述语义嵌入向量为输入,训练单分类模型,构建正常进程序列的特征边界,用于区分正常进程序列与疑似异常进程序列,其中,所述单分类模块包括单分类支持向量机模型或单分类神经网络模型。

19、在一个实施例中,可选的,根据所述疑似异常进程序列对应的日志条目,构建待检测的溯源图,包括:

20、从所述日志条目中提取实体和实体间的关系,其中,实体包括进程、文件、网络套接字中至少一项,关系包括读、写、连接和执行中至少一项;

21、以所述实体为节点,以所述实体间的关系为有向边,构建有向图,其中,每条有向边记录有操作的时间戳与类型;

22、计算所述有向图中各节点的初始特征向量,所述初始特征向量由节点名称的语义特征和基于边类型的节点行为统计特征拼接而成。

23、在一个实施例中,可选的,所述节点名称的语义特征通过词向量模型训练生成,所述词向量模型通过系统日志语料训练得到;

24、所述节点行为统计特征为节点不同类型操作的出入度特征,所述出入度特征向量长度为所述溯源图边类型数量的2倍,分别对应节点各类型操作的入度数量和出度数量。

25、在一个实施例中,可选的,所述自监督预训练的图注意力网络模型,其训练过程包括:

26、获取由正常系统行为日志构建的溯源图子图,作为训练图集;

27、为所述训练图集中的每个节点构造初始特征向量;

28、基于所述训练图集,通过包含以下两个自监督任务的损失函数联合优化所述图注意力网络模型:

29、节点类型分类任务,基于节点的特征向量预测其所属的实体类型;

30、邻居相似性计算任务,使所述溯源图子图中通过边直接相连的节点对的特征表示在向量空间中的距离小于预设距离。

31、在一个实施例中,可选的,所述自监督预训练的图注意力网络模型的损失函数包括所述节点类型分类任务的交叉熵损失与所述邻居相似性计算任务的均方误差损失的加权和。

32、在一个实施例中,可选的,所述 apt 检测异常分数包括所述节点通过图注意力网络模型计算得到的对应类型的分类概率,其中,所述分类概率经取对数后取负数得到;异常分数与节点偏离正常行为模式的程度和apt 攻击相关的可能性成正相关。

33、第二方面,本技术实施例提供了一种融合序列文本和溯源图的apt检测装置,所述装置包括:

34、生成模块,用于对系统日志进行解析与聚合,生成以进程为中心的进程序列;

35、分类模块,用于利用经无监督预训练的bert模型对所述进程序列进行语义嵌入,并基于正常进程序列训练的单分类模型,从海量所述系统日志中分类出疑似异常进程序列;

36、构建模块,用于根据所述疑似异常进程序列对应的日志条目,构建待检测的溯源图;

37、检测模块,用于将所述待检测的溯源图输入至自监督预训练的图注意力网络模型,以输出所述溯源图中每个节点对应的apt检测异常分数;

38、异常确定模块,用于将apt检测异常分数超过预设阈值的目标节点确定为异常节点。

39、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述融合序列文本和溯源图的apt检测方法的步骤。

40、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述融合序列文本和溯源图的apt检测方法的步骤。

41、本发明中,对系统日志进行解析与聚合,生成以进程为中心的进程序列;利用经无监督预训练的bert模型对所述进程序列进行语义嵌入,并基于正常进程序列训练的单分类模型,从海量所述系统日志中分类出疑似异常进程序列;根据所述疑似异常进程序列对应的日志条目,构建待检测的溯源图;将所述待检测的溯源图输入至自监督预训练的图注意力网络模型,以输出所述溯源图中每个节点对应的apt检测异常分数;将apt检测异常分数超过预设阈值的目标节点确定为异常节点。通过该技术方案,通过对系统日志进行解析与聚合生成以进程为中心的进程序列,实现了系统进程行为的时序化、结构化表征,为后续异常检测提供了标准化、针对性强的数据基础;利用经无监督预训练的bert模型对进程序列进行语义嵌入,能够充分挖掘系统日志序列的深层文本语义特征,结合基于正常进程序列训练的单分类模型,可快速从海量系统日志中精准筛选出疑似异常进程序列,有效减少后续溯源图构建的数据量,降低计算开销,实现apt攻击的快速响应与高效初步筛选;基于疑似异常进程序列对应的日志条目构建待检测的溯源图,避免了对大规模原始溯源图的直接处理,进一步提升检测效率,同时聚焦疑似异常数据,提升检测针对性;将待检测溯源图输入自监督预训练的图注意力网络模型,能够充分利用溯源图的结构特征与节点关联规律,精准输出每个节点的apt检测异常分数,通过预设阈值判定异常节点,实现apt攻击的精准定位;整个方法无需依赖大量apt攻击标注样本数据,通过无监督预训练与自监督预训练相结合的方式,提升了模型的泛化能力,能够有效识别未知apt攻击和零日漏洞攻击,最终实现兼顾快速响应、高效率与高精度的apt检测,解决了现有技术中溯源图处理效率低、检测精度不足、泛化能力弱、依赖标注数据的技术问题,为网络空间apt攻击防御提供了可靠的技术支撑。