基于两阶段学习模型的网络攻击检测系统及方法与流程

技术特征：
1.一种基于两阶段学习模型的网络攻击检测方法，其特征是按如下步骤进行：步骤1：将网络数据集的特征子集被作为不可分单元进行特征组合的评估，实现网络数据集的特征维度约简；步骤2：将缩减后的网络数据集作为训练数据利用深度学习技术实现网络攻击实时检测模型。2.如权利要求1所述基于两阶段学习模型的网络攻击检测方法，其特征是：步骤1具体如下：步骤1.1，海量网络数据的预处理；首先对于超过特征缺失阈值限定的数据实例进行剔除初筛，进而在初筛后的网络数据集中将低信息量的特征予以删除，最后对网络数据集内非数值类型的特征进行one
‑
hot编码映射为二进制向量；步骤1.2，构建网络数据集的特征子集评估函数；基于网络数据特征和网络攻击类别的互信息构建一个可度量的多元网络入侵检测分析模型f；其中，具有n维特征的网络数据样本的具体数据并不作为输入，而是计算每一维网络数据特征与每一类网络攻击类别的互信息i
ij
作为输入，i(f
i
，c
j
)＝h(f
i
) h(c
j
)
‑
h(f
i
，c
j
)表示第i维特征与第j个类别的互信息，其中h(f
i
，c
j
)＝
‑
∑p((f
i
，c
j
))log2p((f
i
，c
j
))；将矩阵f中心化并标准化以后，由r＝p
t
p计算得到关联矩阵rel；再由和计算得到关联信息熵h
rel
和引入平均互信息表示平均有用信息大小，基于最大h
rel
和加权得到最后的评估函数k1和k2是用于控制关联信息熵与平均互信息对所选特征影响大小的非负常数；步骤1.3，使用二元粒子群进化搜索策略确定特征子集；粒子h是一串0与1组成的bit串，是n维特征的映射，当对应bit为1时则代表该维特征被选择；二元粒子群算法中，每一粒子在特征子集的解空间中移动，记录自身最优解和群体最优解来更新自身位置；自身最优解是指个体搜索到的，包括曾经搜索到的适应度值最优的位置，而群体最优解是指整个粒子群内所有粒子经历过的位置里计算适应度为最优的位置；粒子的更新如下：子群内所有粒子经历过的位置里计算适应度为最优的位置；粒子的更新如下：子群内所有粒子经历过的位置里计算适应度为最优的位置；粒子的更新如下：二元粒子群算法通过sigmoid函数将连续速度值转为0或1的二进制向量，因此粒子的位置也由0或1的二进制向量表示；重复上述过程，对二元粒子群进化搜索进行进化代数和最优收敛的限制，直到最终的网络数据特征子集确定。3.如权利要求2所述基于两阶段学习模型的网络攻击检测方法，其特征是：步骤2具体如下：步骤2.1，深度网络攻击检测模型的训练；步骤1结束后得到网络数据最佳特征子集，将最佳子集作为步骤2深度学习模型的输入；输入的网络特征子集数据由输入层x输入，经过
隐藏层h计算，最后由输出层y输出；通过预训练使同一特征向量在不同的特征空间中映射时能更多地保留特征信息；通过微调对整体以监督的方式训练得到一个分类器；深度学习模型输出层激活函数设置为线性函数，隐藏层神经元激活函数设置为sigmoid函数；神经元层数及每层数目则根据网络特征子集数据规模进行具体设置；步骤2.2，深度网络攻击检测模型的实时检测；检测模型首先收集网络数据，根据特征预处理和最优特征子集将网络数据缩减，将该数据输入已经训练好的深度学习网络模型，模型得出网络攻击类型或当前无攻击；步骤2.3，离线模型优化；根据网络攻击检测的实时监测数据进行人工复核，当检测错误实例超过限定阈值δ时，则将错误实例进行人工纠错标记，将所有网络增量数据和原有网络数据融合重新进入步骤1和步骤2进行网络攻击检测模型的离线优化。4.一种基于两阶段学习模型的网络攻击检测系统，其特征是包含如下模块：网络数据集的特征维度约简模块：将网络数据集的特征子集被作为不可分单元进行特征组合的评估，实现网络数据集的特征维度约简；深度模型网络攻击检测模块：将网络数据集的特征维度约简模块缩减后的网络数据集作为训练数据利用深度学习技术实现网络攻击实时检测模型。5.如权利要求4所述基于两阶段学习模型的网络攻击检测系统，其特征是：网络数据集的特征维度约简模块具体包括如下子模块：海量网络数据的预处理模块：海量网络数据的预处理；首先对于超过特征缺失阈值限定的数据实例进行剔除初筛，进而在初筛后的网络数据集中将低信息量的特征予以删除，最后对网络数据集内非数值类型的特征进行one
‑
hot编码映射为二进制向量；网络数据集的特征子集评估函数构建模块：构建网络数据集的特征子集评估函数；基于网络数据特征和网络攻击类别的互信息构建一个可度量的多元网络入侵检测分析模型f；其中，具有n维特征的网络数据样本的具体数据并不作为输入，而是计算每一维网络数据特征与每一类网络攻击类别的互信息i
ij
作为输入，i(f
i
，c
j
)＝h(f
i
) h(c
j
)
‑
h(f
i
，c
j
)表示第i维特征与第j个类别的互信息，其中h(f
i
，c
j
)＝
‑
∑p((f
i
，c
j
))log2p((f
i
，c
j
))；将矩阵f中心化并标准化以后，由r＝p
t
p计算得到关联矩阵rel；再由和计算得到关联信息熵h
rel
和引入平均互信息表示平均有用信息大小，基于最大h
rel
和加权得到最后的评估函数k1和k2是用于控制关联信息熵与平均互信息对所选特征影响大小的非负常数；使用二元粒子群进化搜索策略确定特征子集模块：使用二元粒子群进化搜索策略确定特征子集；粒子h是一串0与1组成的bit串，是n维特征的映射，当对应bit为1时则代表该维特征被选择；二元粒子群算法中，每一粒子在特征子集的解空间中移动，记录自身最优解和
群体最优解来更新自身位置；自身最优解是指个体搜索到的，包括曾经搜索到的适应度值最优的位置，而群体最优解是指整个粒子群内所有粒子经历过的位置里计算适应度为最优的位置；粒子的更新如下：的位置；粒子的更新如下：二元粒子群算法通过sigmoid函数将连续速度值转为0或1的二进制向量，因此粒子的位置也由0或1的二进制向量表示；重复上述过程，对二元粒子群进化搜索进行进化代数和最优收敛的限制，直到最终的网络数据特征子集确定。6.如权利要求5所述基于两阶段学习模型的网络攻击检测系统，其特征是：深度模型网络攻击检测模块具体包括如下子模块：深度网络攻击检测模型的训练模块：深度网络攻击检测模型的训练；网络数据集的特征维度约简模块结束后得到网络数据最佳特征子集，将最佳子集作为深度模型网络攻击检测模块深度学习模型的输入；输入的网络特征子集数据由输入层x输入，经过隐藏层h计算，最后由输出层y输出；通过预训练使同一特征向量在不同的特征空间中映射时能更多地保留特征信息；通过微调对整体以监督的方式训练得到一个分类器；深度学习模型输出层激活函数设置为线性函数，隐藏层神经元激活函数设置为sigmoid函数；神经元层数及每层数目则根据网络特征子集数据规模进行具体设置；深度网络攻击检测模型的实时检测模块：深度网络攻击检测模型的实时检测；检测模型首先收集网络数据，根据特征预处理和最优特征子集将网络数据缩减，将该数据输入已经训练好的深度学习网络模型，模型得出网络攻击类型或当前无攻击；离线模型优化模块：离线模型优化；根据网络攻击检测的实时监测数据进行人工复核，当检测错误实例超过限定阈值δ时，则将错误实例进行人工纠错标记，将所有网络增量数据和原有网络数据融合重新进入网络数据集的特征维度约简模块和深度模型网络攻击检测模块进行网络攻击检测模型的离线优化。

技术总结
本发明公开了一种基于两阶段学习模型的网络攻击检测系统及方法，本发明方法按如下步骤进行：步骤1：将网络数据集的特征子集被作为不可分单元进行特征组合的评估，实现网络数据集的特征维度约简；步骤2：将缩减后的网络数据集作为训练数据利用深度学习技术实现网络攻击实时检测模型。本发明两阶段网络攻击检测技术方案，充分考虑了网络高危数据的特征组合效应，针对网络攻击检测需要保证的精确性和时效性，使用特征选择技术、进化搜索技术和深度学习模型结合，以提升网络攻击检测的识别精度并大夫缩减模型训练时间。大夫缩减模型训练时间。大夫缩减模型训练时间。


技术研发人员：滕旭阳 张云啸 何美霖 毕美华 仇兆炀
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.08.16
技术公布日：2021/12/2