基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法与流程

基于lstm-attention用户和实体行为分析技术的内部威胁检测方法
技术领域
1.本发明属于网络安全技术领域，具体涉及一种基于lstm-attention用户和实体行为分析技术的内部威胁检测方法。


背景技术：

2.随着云计算和大数据的飞速发展，上网单位和网络基础应用也日益增多，网络系统已经成为构成国家发展和人民生活中不可分割的一部分。
3.内部威胁是现代企业面临的重要问题，内部攻击具备高危性、隐蔽性、多元性等特点，不仅会带来巨大的财务损失，而且严重威胁了企业和个人的信息安全。
4.相关领域的专家学者针对内部威胁提出了不同的技术方法和解决方案，现有方法主要分为以下两种：
5.一是基于规则匹配的威胁检测方法，它通过挖掘行为的关联规则来建立正常的行为画像；然后，通过分析传入的实例和现有的规则来执行异常检测。其具有过程简单和响应迅速的优点，而缺点是需要大量的专家知识来建立规则数据库，效果取决于行为库的更新，无法识别未知模式的威胁。
6.二是基于异常的威胁检测方法，其建立用户的正常行为基线，当用户行为与正常行为发生偏离时被认定为异常行为，其可以有效检测未知模式的威胁。但是，现有的内部威胁算法仅为用户自己建立行为基线，没有考虑用户所对应角色的行为基线，导致现有的方法的auc分数并不高。
7.现有技术中，申请号201510888587.9公开了一种面向内部威胁检测的用户跨域行为模式挖掘方法，该专利为各个检测域构建归一化的用户单域行为特征，并基于时间窗口通过集成各域域内行为特征构建用户多域行为描述，从用户多域行为描述中提取基模式，并生成用户行为特征，使用高斯混和模型分析用户行为的多元模式。其实则为基于时序分析方法来检测用户行为模式的异常变化，没有从多个角度分析用户行为模式，实现合理的容错，因此该方法具有较高的假阴性率。其次，它是完全数据驱动的用户行为多元模式分析，不依赖任何领域知识和用户背景，导致用户的误报率较高，因为有时用户的行为模式出现异常并不是真正的异常，可能是工作的调动等原因引起的异常。
8.申请号为202010550586.4的专利公开了一种基于vae和bpnn的内部威胁检测方法，该专利利用生成模型vae训练用户行为数据，充分考虑非恶意的异常用户行为，构建正常用户行为模型并得到最优vae模型，进而结合bp神经网络检测用户行为数据的异常状态，从而实现异常用户行为的检测。但是bp神经网络在识别前后有关联的数据时，无法挖掘到数据产生的模式。而时间序列是反映内部威胁的一个重要特征，挖掘基于时间序列数据内部威胁bp神经网络具有较高的误报率，准确率低的问题，且存在局部收敛的问题。


技术实现要素：

9.为了克服上述现有技术的不足，本发明提供了基于lstm-attention用户和实体行为分析技术的内部威胁检测方法，本发明的auc分数达到0.964，其具有优秀的异常检测能力。
10.本发明采用的技术方案是：其包括以下步骤，(1)数据预处理；(2)基于lstm-attention的用户和实体行为分析。
11.所述步骤(1)对原始数据集cert内部威胁数据集进行预处理，其包括以下步骤，1.1对每个日志文件进行数据清理；1.2根据用户名将所有活动的日志行从日志文件中抽取出来，然后将其进行合并并按照时间进行排序；1.3统计用来表示用户在每个时间段的日常活动的计数作为行为特征，同一角色下所有用户的行为特征的均值作为角色特征，并对类别型数据进行编码；
12.所述步骤(2)包括以下步骤，2.1利用lstm算法分别对所述行为特征和所述角色特征进行建模；2.2利用加入注意力机制的神经网络对用户的行为序列进行建模；2.3利用mlp对步骤2.1和2.2的模型产生的结果进行综合决策，从而实现内部威胁检测。
13.进一步地，步骤1.1中，所述数据清理包括删除多余的字段和缺失值的填充。
14.进一步地，当日志文件中每一列数据的缺失率小于阈值60％时对其采用众数进行填充，否则将其删除；
15.进一步地，步骤2.1的建模方法包括以下过程，首先，利用步骤(1)得到的行为特征和角色特征的上一时刻的外部状态h
t
和当前时刻的输入x
t
，计算出三个门，以及候选状态然后，结合遗忘门f
t
和输入门i
t
通过lstm循环单元更新记忆单元c
t
；最后，结合输出门o
t
将内部状态的信息传递给外部状态h
t
。
16.进一步地，步骤2.1中，所述三个门的计算公式(2)～(4)所示；
17.i
t
＝σ(wixi u
iht-1
bi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
18.f
t
＝σ(wfx
t
ufh
t-1
bf)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
19.o
t
＝σ(wox
t
u
oht-1
bo)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
20.其中σ(
·
)为logistic函数，其输出区间为(0,1)，x
t
为当前时刻的输入，h
t-1
为上一时刻的外部状态。
21.进一步地，步骤2.1，更新记忆单元c
t
是通过lstm循环单元，整个网络建立时序依赖关系，如公式(5)～(7)所示；
[0022][0023][0024]ht
＝o
t e tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0025]
其中为当前时刻的输入，和为网络参数。
[0026]
进一步地，步骤2.2的建模过程包括三个阶段，第一阶段为引入点积，根据公式如(8)中的q和k，计算两者的相似性和相关性：
[0027]
点积：similarity(q,k)＝q
·kꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)。
[0028]
进一步地，第二阶段为用softmax的计算方式对第一阶段计算的similarity值进行数值转换；具体方法为一方面进行归一化，计算所有元素权重之和为1，另一方面通过softmax突出元素的权重，
[0029][0030]
进一步地，第三阶段为：通过计算结果a和v对应的权重系数，然后加权求和得到attention数值：
[0031][0031][0032]
进一步地，步骤2.3中，利用mlp神经网络进行综合决策，mlp整个模型为f(x)＝g(b
(2)
w
(2)
(s(b
(1)
w
(1)
x)))，其中g为softmax函数，首先随机初始化所有参数，然后迭代地训练，不断地计算梯度和更新参数；最后，mlp神经网络根据行为序列、行为特征和角色特征的偏差判断是否存在异常行为。
[0033]
本发明的有益效果是：
[0034]
本发明基于lstm-attention用户和实体行为分析的内部威胁检测方法，不仅为用户自己建立行为基线，还考虑到用户所对应角色的行为基线，可以更好地为异常行为进行溯源；其次，本发明采用了lstm、注意力机制和多层感知机的新组合建立内部威胁检测的深度学习模型，提高了模型的auc分数，本发明具有优秀的的异常检测能力。
附图说明
[0035]
图1为本发明方法的工作流程；
[0036]
图2为本发明lstm网络的循环单元结构；
[0037]
图3为本发明含注意力机制的全连接网络模型；
[0038]
图4为本发明行为特征的wdd；
[0039]
图5为本发明行为序列的wdd；
[0040]
图6为本发明正常和异常数据的偏差分布；
[0041]
图7为本发明与其他技术的auc曲线。
具体实施方式
[0042]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0043]
实施例1
[0044]
本发明提供了一种基于lstm-attention用户和实体行为分析技术的内部威胁检测方法，旨在解决内部威胁检测误报率高、准确率低的问题。该方法包括以下步骤，(1)数据预处理；(2)基于lstm-attention的用户和实体行为分析。其中，步骤(2)基于lstm-attention的用户和实体行为分析包含了以下四个模型：行为特征模型、角色特征模型、行为序列模型和综合决策模型。值得注意的是，由于角色特征采用的是同一角色下所有成员的行为特征的均值，故角色特征和行为特征采用同一模型进行建模。该内部威胁检测方法的整个工作流程如图1所示。
[0045]
实施例2
[0046]
下面对本发明方法进行具体说明。
[0047]
(1)数据预处理。
[0048]
对原始数据集cert内部威胁数据集进行预处理，首先对每个日志文件进行数据清理，包括错误信息的修改、多余字段的删除和缺失值的填充。其次，将多个日志文件进行数据集成，数据集中的每个日志文件都是所有用户的操作，需按照用户将进行信息提取后集成，并按照时间先后顺序进行排序。最后，从中提取模型所需的行为特征、角色特征、行为序列和心理数据并将其进行编码使其成为适合深度学习的输入。因为数值型变量可以直接作为深度学习的输入，而类别型数据不能直接作为深度学习算法的输入，因此需要对类别数据进行编码如{'logon':1,'connect':2,'disconnect':3,'http':4,'email':5,'logoff':6}。所述步骤(1)对原始数据集cert内部威胁数据集进行预处理，其包括以下步骤，
[0049]
步骤1：数据预处理。具体处理步骤如下：
[0050]
步骤1.1：当日志文件中每一列数据的缺失率小于阈值60％时对其采用众数进行填充，否则将其删除；
[0051]
步骤1.2：根据用户名将所有活动的日志行从日志文件中抽取出来，然后将其进行合并并按照时间进行排序；
[0052]
步骤1.3：统计用来表示用户在每个时间段的日常活动的计数作为行为特征，同一角色下所有用户的行为特征的均值作为角色特征，并对类别型数据进行编码。
[0053]
(2)基于lstm-attention的用户和实体行为分析。
[0054]
经过数据预处理后，将得到的特征输入到用户和实体行为分析模块中从而实现内部威胁检测。首先，利用lstm算法对用户的行为特征和角色特征进行建模；其次，采用加入了注意力机制的全连接网络对用户的行为序列特征进行建模，并计算得到预测行为与真实行为之间的偏差。最后，采用多层感知机(mlp)对上述深度学习模型的结果进行综合决策，从而实现内部威胁检测。
[0055]
所述步骤(2)包括以下步骤，
[0056]
步骤2.1：利用lstm算法分别对行为特征和角色特征进行建模，行为特征和角色特征为本步骤lstm模型的输入数据。lstm循环单元是一个循环结构，如图2所示，是一个循环单元的展开图。
[0057]
lstm的任务是预测序列中的下一个向量，使用前四天的行为特征或角色特征作为输入来预测第五天的特征，并用加权偏差度(weighted deviation degree,wdd)衡量真实数据和预测数据之间的偏差。wdd的计算公式如(1)所示。
[0058][0059]
其中v是真实特征中所有特征的集合，y是属于v的单个特征，是与y相同的特征，但属于预测的特征，w是根据特征y专门设计的值。
[0060]
将预处理后的数据集7:3分为训练集和验证集，训练集用来训练模型结构，验证集用来更新优化模型参数。本发明采用的lstm模型由两个lstm层组成，分别有100个和120个单元，每个lstm层后有一个“tanh”激活层，一个37个单元的dense层和一个“relu”激活层。具体来说，lstm的任务是预测序列中的下一个向量，使用前四天的行为特征来预测第五天的特征。
[0061]
首先，利用上一时刻的外部状态h
t
和当前时刻的输入x
t
，计算出三个门，以及计算记忆单元用来更新记忆单元的候选状态然后，结合遗忘门f
t
和输入门i
t
来更新记忆单元c
t
；最后，结合输出门o
t
将内部状态的信息传递给外部状态h
t
。三个门的计算公式(2)～(4)所示。内部状态是上一时刻的长期记忆c
t-1
，外部状态是ht是指的隐藏状态。
[0062]it
＝σ(wixi u
iht-1
bi)
ꢀꢀꢀꢀꢀꢀꢀ
(16)
[0063]ft
＝σ(wfx
t
ufh
t-1
bf)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(17)
[0064]ot
＝σ(wox
t
u
oht-1
bo)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0065]
其中σ(
·
)为logistic函数，其输出区间为(0,1)，x
t
为当前时刻的输入，h
t-1
为上一时刻的外部状态，w、u、b分别是系数。
[0066]
通过lstm循环单元如图2所示，整个网络可以建立较长距离的时序依赖关系，此处，由于lstm为rnn的改进，所以此处的“较长”为与rnn比较而言的相对较长。如公式(5)～(7)所示。
[0067][0068][0069]ht
＝o
t e tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(21)
[0070]
其中为当前时刻的输入，和为网络参数。
[0071]
lstm可以有效解决简单循环神经网络的梯度爆炸或消失问题。
[0072]
步骤2.2：利用加入注意力机制的神经网络对用户的行为序列进行建模。本发明的行为序列特征模型训练加入注意力机制的全连接网络学习用户正常的行为序列，并根据历史记录预测下一个状态的动作序列，attention模型是在全连接网络上搭建的注意力机制，注意力层由一个dense层、multiply操作和一个“softmax”激活层组成。含注意力机制的全连接网络模型如图3所示。其计算过程如下：第一个阶段，引入点积这一计算机制，具体为在这一阶段引入不同的函数和计算机制，本文采用的点积计算q和k的相似性，点积的值越大，相似度越大。
[0073]
根据q和k，计算两者的相似性和相关性，公式如(8)所示。
[0074]
点积：similarity(q,k)＝q
·kꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(22)
[0075]
第二阶段引入softmax的计算方式对第一阶段计算的similarity值进行数值转换，所述得分为相似性得分及similarity(q,k)。在第二阶段对计算出的similarity用softmax函数进行转换。一方面可以进行归一化，计算所有元素权重之和为1，另一方面可以通过softmax突出元素的权重。softmax函数将将各个输出节点的输出值范围映射到[0,1]，并且约束各个输出节点的输出值的和为1的函数，通过占比大小即ai大小突出元素的权重。所述“元素”指的就是ai指代的就是行为序列中的一个个行为，例如自然语言处理中的一个个词向量。
[0076][0077]
第三阶段，通过计算结果a和v对应的权重系数，然后加权求和得到attention数值：在注意力机制中，q为query，k为key，v为value，其均为输入矩阵线性变化得来的。a是第二阶段通过softmax计算出来的权重。
[0078][0079]
在本发明中，使用n天的动作序列来预测下一个状态的动作序列，每个用户的动作序列长度是不同的。用户的操作为{登录，网页,网页,网页，驱动器连接，驱动器断开，
…
，电子邮件，注销}，将其进行编码并输入到模型中。
[0080]
步骤2.3：利用mlp对上述模型产生的结果进行综合决策，从而实现内部威胁检测。mlp是由输入层、隐藏层和输出层组成的神经网络。输入层用向量x表示，则隐藏层的输出就是f(w1x b1)，w1是权重(也叫连接系数)，b1是偏置，函数f是常用的sigmoid函数，输出层的输出就是softmax(w2x1 b2)，x1表示隐藏层的输出f(w1x b1)。mlp整个模型为f(x)＝g(b
(2)
w
(2)
(s(b
(1)
w
(1)
x)))，其中g为softmax函数。对于各个连接权重和偏置的确定采用的是梯度下降法(sgd)。首先随机初始化所有参数，然后迭代地训练，不断地计算梯度和更新参数，直到满足误差足够小为止。在本发明中，需要使用历史数据来训练mlp来学习这些特征之间的关系。然后，mlp根据行为序列、行为特征和角色特征的偏差判断是否存在异常行为，类似于执行分类任务。当偏差和训练时的偏差出现明显变化的时候则表明用户出现异常行为，如图7则是根据这三个维度进行判断的结果。内部威胁检测就是检测内部用户是否存在异常行为。
[0081]
实施例3
[0082]
对实施例1和实施例2的方法进行验证，本发明基于lstm-attention的用户和实体行为分析，不仅为用户自己建立行为基线，还考虑到用户所对应角色的行为基线，可以更好地为异常行为进行溯源；其次，本发明采用了lstm、注意力机制和多层感知机的新组合建立内部威胁检测的深度学习模型，提高了模型的auc分数，与其他技术相比，本发明的异常检测能力优于单一机器学习模型和绝大多数的融合模型。
[0083]
a.lstm模型对用户的行为特征进行建模的结果分析
[0084]
用户行为特征是多样的，并且这些不同的特征之间有潜在的联系。本发明利用每五天正常的用户行为特征训练lstm。前四天的特征用于预测第五天的数据，真实的第五天数据与来自lstm的预测数据之间的误差在训练阶段进行计算和优化。需要注意的是，同一角色下所有用户定义的特征是相同的，lstm模型也是相同的，所有用户共享同一个lstm模型，不同用户保存自己的参数。如图4所示，前200天的偏差基本在0-2之间，200天之后偏差大幅增加，与之前的偏差显著不同。在图中，可以看到200天后有很多异常偏差，与实际情况相对应，这说明lstm网络具有较强的学习用户行为模式的能力。
[0085]
b.attention对用户行为序列建模的结果分析
[0086]
加入attention的全连接网络被用来训练学习用户行为序列的正常模式，由于时间和数据的限制，同样，使用以5天为一个时间单位的行为序列训练attention网络模型，前4天作为已知数据来预测第5天的数据,然后和真正的第5天数据进行比较，并对attention网络模型进行误差计算和优化。如图5所示，可以看出前40天的测试数据与前160天的训练数据具有相似的分布，损失范围在0-4，说明attention网络模型已经很好地学习到了用户的行为序列。从图中发现用户在200天附近有一些异常行为，导致预测与实际序列之间的异常偏差变大。
[0087]
c.mlp的综合决策的结果分析
[0088]
模型从行为序列、行为特征和角色特征三个角度获得真实与预测之间的偏差，并在图6中得到体现。如图6所示，可以发现正常点和异常点是可分离的，虽然存在一定的假阳性和假阴性，但这三个特征在很大程度上可以反映用户的异常行为。为了在异常行为发生时更准确地发出警报，本发明使用mlp学习三个偏差之间的关系，来确定用户在某一天是否有异常行为发生。
[0089]
本发明基于lstm-attention用户和实体行为分析技术的内部威胁检测模型，其准确率高达98％，并实现了0.964的auc分数，如图7所示，其与baseline中的模型(有监督与无监督结合的检测方法)相比，虽然其roc曲线轨迹相似，但是本发明的auc分数明显优于baseline，这说明本发明具有更强的学习用户活动模式和检测异常行为的能力。
[0090]
目前，本发明的技术方案已经进行了中试，即产品在大规模量产前的较小规模试验；中试完成后，在小范围内开展了用户使用调研，调研结果表明用户满意度较高；现在已开始着手准备正式投产进行产业化(包括知识产权风险预警调研)。
[0091]
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。