一种网络异常流量检测方法、系统及可存储介质

技术特征：
1.一种网络异常流量检测方法，其特征在于，包括以下步骤：s100：获取网络流量数据，并将所述网络流量数据划分为训练样本和测试样本；s200：建立多目标深度强化学习模型，所述多目标深度强化学习模型包括i个actor-critic网络，其中所述actor-critic网络包括actor网络及critic网络，利用所述训练样本对所述多目标深度强化学习模型中的i个actor-critic网络模型进行训练，保存经验数据；s300：根据所述经验数据对所述i个actor-critic网络模型参数进行更新，保存更新后的多目标深度强化学习模型；s400：输入测试样本，加载更新后的多目标深度强化学习模型进行检测，输出网络异常流量检测结果。2.根据权利要求1所述的一种网络异常流量检测方法，其特征在于，所述s100包括：所述训练样本包括：当前时刻流量特征集合s＝(s
t
,
…
,s
t i
,
…
,s
t n
)、当前时刻流量特征标签值集合a＝(a
t
,
…
,a
t i
,
…
,a
t n
)以及下一时刻流量特征集合s'＝(s
t 1
,
…
,s
t 1 i
,
…
,s
t n 1
)。3.根据权利要求2所述的一种网络异常流量检测方法，其特征在于，所述s200包括：s210：所述actor网络包括actor预测网络及actor训练网络，所述critic网络包括critic预测网络及critic训练网络，所述actor预测网络接收当前时刻流量特征s
t
,
…
,s
t i
，并通过其估计该时刻流量特征下的真实标签值a
t
,
…
,a
t i
，然后采用策略π
θ
提供在给定流量特征下标签值的概率分布，并进行采样选择，在采样过程中首选最佳标签值s220：通过对比最佳标签值和真实标签值a
t
,
…
,a
t i
来获得奖励值r
t
,
…
,r
t i
；s230：所述critic预测网络接收下一时刻流量特征s
t 1
,
…
,s
t 1 i
，并预测下一时刻的流量特征值v
t 1
,
…
,v
t 1 i
；s240：通过下一时刻的流量特征值v
t 1
,
…
,v
t 1 i
、奖励值r
t
,
…
,r
t i
和衰减因子γ来计算值函数r
t
,
…
,r
t i
，所述值函数r
t i
的计算方法如下：r
t i
＝r
t i
γ*v
t 1 i
；s250：当前时刻的流量特征s
t
,
…
,s
t i
通过所述critic预测网络计算当前时刻流量特征值v
t
,
…
,v
t i
，并与值函数r
t
,
…
,r
t i
之间的差异来计算优势值a
t
,
…
,a
t i
，所述优势值a
t i
的计算方式如下：a
t i
＝r
t i-v
t i
；s260：将当前时刻的流量特征s
t
,
…
,s
t i
输入到所述actor训练网络中进行训练，并采用策略网络来提供给定流量特征下标签值的概率分布π
θ
(a
t
),
…
,π
θ
(a
t i
)；s270：通过概率分布π
θ
(a
t
),
…
,π
θ
(a
t i
)与最佳流量标签值计算该标签值的概率分布4.根据权利要求3所述的一种网络异常流量检测方法，其特征在于，所述s300包括：s310：采用策略梯度对所述actor网络进行参数更新，并通过损失函数对所述critic网络进行参数更新；s320：保存更新后的模型。5.根据权利要求3所述的一种网络异常流量检测方法，其特征在于，所述s310中，利用策略梯度更新actor训练网络，并定期将网络参数复制给actor预测网络，具体过程使用下
列公式：其中，l
actor
为actor训练网络的损失函数，n为样本数量，θ为actor训练网络参数，π
θ
为随机策略，α为学习率。6.根据权利要求3所述的一种网络异常流量检测方法，其特征在于，所述s310中，利用损失函数更新critic训练网络，并定期将网络参数复制给critic预测网络，具体过程使用下列公式：下列公式：其中，l
critic
为critic训练网络的损失函数，n为样本数量，ω为critic预测网络参数，α为学习率。7.一种网络异常流量检测系统，其特征在于，包括：获取模块，用于获取网络流量数据，并将所述网络流量数据划分为训练样本和测试样本；建立模块，与所述获取模块连接，用于建立多目标深度强化学习模型，所述多目标深度强化学习模型包括i个actor-critic网络，利用所述训练样本对所述多目标深度强化学习模型中的i个actor-critic网络模型进行训练，保存经验数据；更新模块，与所述建立模块连接，用于根据所述经验数据对所述i个actor-critic网络模型参数进行更新，保存更新后的多目标深度强化学习模型；检测模块，与所述获取模块与所述更新模块连接，用于将测试样本输入至更新后的多目标深度强化学习模型中进行检测，输出网络异常流量检测结果。8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任意一项所述的网络异常流量检测方法。

技术总结
本发明公开了一种网络异常流量检测方法、系统及可存储介质，涉及计算机网络安全技术领域。获取待检测网络流量数据，将其分为训练样本和测试样本；将训练样本输入多目标深度强化学习模型中对多个Actor-Critic网络模型进行训练；分别采用策略梯度和损失函数对Actor网络和Critic网络参数进行更新，保存更新模型；通过该模型对网络流量测试样本进行测试，输出异常流量检测结果。本发明不依赖于高性能GPU，只需在CPU上就能快速训练预测，能够显著降低计算机资源。此外，本发明所构建的多目标深度强化学习模型不仅具有更好的收敛性，还能在高维度和连续动作空间上更有效的学习，提高网络异常流量检测效率以及准确率。异常流量检测效率以及准确率。异常流量检测效率以及准确率。


技术研发人员：董仕 夏元俊 丁新慧 张锦华 于来行
受保护的技术使用者：周口师范学院
技术研发日：2022.02.24
技术公布日：2022/5/20