1.本发明属于深度学习和网络安全相结合的
技术领域：
：，尤其涉及容器云平台下基于深度学习的入侵检测方法。
背景技术：
：：2.2020年国家互联网应急中心监测发现，我国境内云遭受大流量ddos攻击次数占境内目标遭受大流量攻击次数的74.0％；被植入后门数占境内被植入后门数的88.1％；被篡改网站数占境内被篡改网站数的88.6％；由于云上承载的业务和数据越来越多，发生在云平台上的各类网络安全事件数量占比较高。云平台包括基于虚拟化的云平台和容器云平台，而基于虚拟化的云平台满足不了云原生时代业务快速创新的需求。容器技术拥有比传统虚拟化方法更高的性能和效率，利用docker、kubernetes(k8s)等项目构建私有云或混合云的容器云平台正在成为业界的主流选择。因此容器云平台的安全问题也变得越发重要。使用入侵检测方法对云平台的网络流量进行监控，可以及时发现并阻止恶意网络入侵，保障云平台的安全。3.入侵检测技术通常是通过分析网络流量来检测攻击行为，现有技术中流量分析通常使用机器学习算法完成。随着计算机的计算能力的发展，深度学习也开始被用于入侵检测，相较于传统的机器学习算法，深度学习方法不需要进行复杂的特征工程，并且可以自动发现不同网络流量之间的相关性。4.容器云发展迅速，使用越来越广泛，但是目前没有很好地针对容器云的网络入侵检测方案。容器云和传统云平台网络结构的不同导致传统检测方法不再那么有效。已有的使用深度学习模型的网络入侵检测方法更多的没有考虑时序特征或者空间特征，不够全面；已有考虑时序和空间特征的网络入侵检测办法在训练前需要经过特征提取，将网络流量向量化，增加时间成本。技术实现要素：5.为解决已有技术存在的不足，本发明提供了一种针对容器云平台的网络入侵检测方法，包括如下步骤：6.步骤s1：获取网络流量；7.步骤s2：对获取的网络流量进行数据预处理；8.步骤s3：将lstm模型和cnn层按照先后顺序组合得到入侵检测模型l-cnn，利用入侵检测模型l-cnn对获取的网络流量进行入侵检测，得到检测结果。9.其中，所述步骤s1中，使用tcpdump工具抓取flannel.1网桥的网络流量。10.其中，所述步骤s3中，入侵检测模型l-cnn中，初始lstm模型对输入中的网络流量的每个标记确定一个输出标记，cnn层使用原始输入的更丰富的表示查找局部图案。11.其中，所述入侵检测模型l-cnn中，lstm层前面还设置有embedding层，以将输入文本转化为词向量的同时对其进行降维处理。12.本发明提供的针对容器云平台的网络入侵检测方法，针对容器云平台网络架构的特点，从flannel.1抓取云平台的网络流量，更好地从南北和东西方向对云平台进行保护；同时，本发明使用lstm-cnn的模型，与其他模型相比，本发明使用的模型囊括特征的时间和空间特性，并且不需要进行额外的特征提取，减少时间开销，拥有更高的精确度。附图说明13.图1为本发明的基于容器云平台的入侵检测方法的设计流程图。14.图2为kubernetes的网络架构图。15.图3为本发明在设计阶段的入侵检测架构图。16.图4为本发明较佳的lstm-cnn入侵检测模型。具体实施方式17.为了对本发明的技术方案及有益效果有更进一步的了解，下面结合附图详细说明本发明的技术方案及其产生的有益效果。18.本发明针对现有技术存在的问题，设计一种基于容器云平台的入侵检测方法。针对容器云平台网络结构的特点捕获云平台的网络流量，以更好的对东西和南北方向进行检测。同时，提出了用于入侵检测的网络模型(l-cnn)，将lstm与cnn结合使用，初始的lstm模型对于输入中的每个标记都有一个输出标记，之后cnn层将使用原始输入的更丰富的表示来查找局部图案，从而获得更好的准确性。19.图1为本发明的基于容器云平台的入侵检测方法的设计流程图，本发明通过如下步骤得到了完整的设计构思：20.一、获取网络流量21.获取网络流量部分的主要功能是得到容器云平台和外界通信的网络流量，为后续的模型入侵检测提供检测数据。该部分的实际环境是在centos7下安装的kubernetes环境。在kubernetes的云平台上创建容器实例，采集容器与外界通信的网络流量。主要包括以下几步：22.1、在基于k8s的云平台中创建容器实例，在容器内运行需要与外网通信的进程。23.2、在进程运行后，使用tcpdump抓包工具对k8s提供的vxlan设备flannel.1进行监听抓取，获取正常的网络流量。24.3、使用fping3模拟dos攻击，对该容器进行攻击，同时使用tcpdump工具抓取flannel.1的网络流量，获取被攻击的网络流量。25.图2为kubernetes的网络架构图，从下而上是外部网络访问指定pod中容器的流量走向。首先经过物理网卡，到达flannel.1网桥，与外界通信都要经过flannel.1网桥，之后在kubernetes内部外网访问想要到达指定pod中的容器则是通过kube-proxy，也就是更改iptables的规则进行虚拟ip的访问。而入侵是通过网络或者系统资源对系统内部进行攻击，在kubernetes内则是对容器及容器进程进行攻击。26.因此，本发明采集通过flannel.1网桥的流量，从根本上拦截违反安全策略的行为或攻击可能：云平台中的所有pod与外部网络通信时都需要通过flannel.1进行，对其进行监听可以捕获到云平台中南北方向的网络异常；其次，flannel.1还负责pod间的网络通讯，对其进行监听可以捕获到云平台中东西方向的网络异常；最后flannel.1只参与k8s中pod的网络通讯过程，避免了物理服务器中其他软件进行网络通讯时的干扰。27.二、数据预处理28.数据预处理部分主要功能是将获取到的网络流量转变成模型可用的输入数据。主要包括如下步骤：29.1、使用wireshark解析抓取的cap格式的流量数据，并针对解析后的数据进行筛选。我们选择以下信息：时间、源地址、目的地址、协议、包长度、信息、物理层数据帧概况、数据链路层以太网帧头部信息、网络层ip包头部信息、传输层数据段头部信息。30.2、将选择好的数据信息导出为模型可以输入的数据。使用wireshark将筛选后的数据导出为txt格式的文件。31.3、对公共数据集进行相同的处理，并与处理后的网络流量合并组成新的数据集，作为后续的入侵检测的输入数据。32.三、模型训练33.cnn识别局部特征的能力和lstm利用文本序列的能力被文本分类广泛使用，但单独的某一种模型都不能很好适应于网络流量，因此本发明选择把两种模型组合在一起，并通过公共数据集cicids2017对其两种模型所得到的两种组合(lstm-cnn和cnn-lstm的组合)结果进行训练，并在同一组合内更改模型参数，得到不同参数下同一组合和同一参数下不同组合的精确度，从中选择出精确度最佳的组合方式，供后续的入侵检测。34.图3为本发明在设计阶段的入侵检测架构图，用于获取最佳的检测模型：使用公共数据集cicids2017对lstm和cnn的组合进行训练，分别选择了lstm-cnn和cnn-lstm的组合，并在同一组合内更改模型参数，得到不同参数下同一组合和同一参数下不同组合的精确度。35.通过对比训练好的模型的精确度确定最终使用的检测模型的参数和组合方式，最终使用的模型为lstm-cnn(l-cnn)；卷积核为五个，大小为3，4，5，6，7；batchsize为256；最终训练好的l-cnn的精确度能够达到94.35％，比cnn-lstm的组合方式高了1.79％，结果见下表。36.表1不同网络模型结构对比37.组合方式精确度lstm-cnn94.35％cnn-lstm92.56％cnn92.08％lstm61.38％38.考虑到使用cnn-lstm这种组合方式的话，最初卷积层可能会丢失了文本序列的一些信息。因此如果卷积层的输出不包含足够完成的信息，lstm层将仅仅充当着全连接层的作用，不能充分利用lstm层的能力。另一方面，使用lstm-cnn的组合方式在入侵检测任务中效果最好，因为初始的lstm的作用类似于一个编辑器，对于输入中的每个标记都有一个输出标记，其中不仅包含原始标记的信息，而且还包含输出标记所有其他以前的信息。之后，cnn层将使用原始输入的更丰富的表示来查找局部图案，从而获得更好的准确性。39.同时，本发明在使用lstm-cnn时，在lstm层前面还加入了embedding层，以将输入文本转化为词向量的同时对其进行降维处理，如图4所示。40.综上，经过模型训练后，确定了lstm-cnn模型为最佳的入侵检测模型，后续的入侵检测均以此模型为基础，也即，利用公共数据集对模型进行训练仅为获取本发明的方法所做的基础工作，本发明所提供的入侵检测方法，在实际应用过程中，直接以lstm-cnn模型进行入侵检测，不再进行模型训练。41.四、入侵检测42.如上所述，通过l-cnn可以同时利用cnn识别局部特征与lstm利用文本序列的能力。初始的lstm模型对于输入中的每个标记都有一个输出标记，之后cnn层将使用原始输入的更丰富的表示来查找局部图案，比起单独的lstm和cnn以及cnn与lstm的组合有更高的精确度。43.进行入侵检测时：44.1、将模型处理部分得到的数据集作为模型检测的输入数据，使用l-cnn模型进行检测，得到最终的检测结果。45.2、若判断为异常则在系统中进行告警，若判断正常，则允许该外部网络访问kubernetes中的容器。46.本发明的有益效果如下：47.1、本发明针对容器云平台网络架构的特点，从flannel.1抓取云平台的网络流量，能更好地从南北和东西方向对云平台进行保护。48.2、本发明使用lstm-cnn的模型，其他模型相比，本发明使用的模型囊括特征的时间和空间特性，并且不需要进行额外的特征提取，减少时间开销，拥有更高的精确度。49.虽然本发明已利用上述较佳实施例进行说明，然其并非用以限定本发明的保护范围，任何本领域技术人员在不脱离本发明的精神和范围之内，相对上述实施例进行各种变动与修改仍属本发明所保护的范围，因此本发明的保护范围以权利要求书所界定的为准。当前第1页12当前第1页12
技术领域：
：，尤其涉及容器云平台下基于深度学习的入侵检测方法。
背景技术：
：：2.2020年国家互联网应急中心监测发现，我国境内云遭受大流量ddos攻击次数占境内目标遭受大流量攻击次数的74.0％；被植入后门数占境内被植入后门数的88.1％；被篡改网站数占境内被篡改网站数的88.6％；由于云上承载的业务和数据越来越多，发生在云平台上的各类网络安全事件数量占比较高。云平台包括基于虚拟化的云平台和容器云平台，而基于虚拟化的云平台满足不了云原生时代业务快速创新的需求。容器技术拥有比传统虚拟化方法更高的性能和效率，利用docker、kubernetes(k8s)等项目构建私有云或混合云的容器云平台正在成为业界的主流选择。因此容器云平台的安全问题也变得越发重要。使用入侵检测方法对云平台的网络流量进行监控，可以及时发现并阻止恶意网络入侵，保障云平台的安全。3.入侵检测技术通常是通过分析网络流量来检测攻击行为，现有技术中流量分析通常使用机器学习算法完成。随着计算机的计算能力的发展，深度学习也开始被用于入侵检测，相较于传统的机器学习算法，深度学习方法不需要进行复杂的特征工程，并且可以自动发现不同网络流量之间的相关性。4.容器云发展迅速，使用越来越广泛，但是目前没有很好地针对容器云的网络入侵检测方案。容器云和传统云平台网络结构的不同导致传统检测方法不再那么有效。已有的使用深度学习模型的网络入侵检测方法更多的没有考虑时序特征或者空间特征，不够全面；已有考虑时序和空间特征的网络入侵检测办法在训练前需要经过特征提取，将网络流量向量化，增加时间成本。技术实现要素：5.为解决已有技术存在的不足，本发明提供了一种针对容器云平台的网络入侵检测方法，包括如下步骤：6.步骤s1：获取网络流量；7.步骤s2：对获取的网络流量进行数据预处理；8.步骤s3：将lstm模型和cnn层按照先后顺序组合得到入侵检测模型l-cnn，利用入侵检测模型l-cnn对获取的网络流量进行入侵检测，得到检测结果。9.其中，所述步骤s1中，使用tcpdump工具抓取flannel.1网桥的网络流量。10.其中，所述步骤s3中，入侵检测模型l-cnn中，初始lstm模型对输入中的网络流量的每个标记确定一个输出标记，cnn层使用原始输入的更丰富的表示查找局部图案。11.其中，所述入侵检测模型l-cnn中，lstm层前面还设置有embedding层，以将输入文本转化为词向量的同时对其进行降维处理。12.本发明提供的针对容器云平台的网络入侵检测方法，针对容器云平台网络架构的特点，从flannel.1抓取云平台的网络流量，更好地从南北和东西方向对云平台进行保护；同时，本发明使用lstm-cnn的模型，与其他模型相比，本发明使用的模型囊括特征的时间和空间特性，并且不需要进行额外的特征提取，减少时间开销，拥有更高的精确度。附图说明13.图1为本发明的基于容器云平台的入侵检测方法的设计流程图。14.图2为kubernetes的网络架构图。15.图3为本发明在设计阶段的入侵检测架构图。16.图4为本发明较佳的lstm-cnn入侵检测模型。具体实施方式17.为了对本发明的技术方案及有益效果有更进一步的了解，下面结合附图详细说明本发明的技术方案及其产生的有益效果。18.本发明针对现有技术存在的问题，设计一种基于容器云平台的入侵检测方法。针对容器云平台网络结构的特点捕获云平台的网络流量，以更好的对东西和南北方向进行检测。同时，提出了用于入侵检测的网络模型(l-cnn)，将lstm与cnn结合使用，初始的lstm模型对于输入中的每个标记都有一个输出标记，之后cnn层将使用原始输入的更丰富的表示来查找局部图案，从而获得更好的准确性。19.图1为本发明的基于容器云平台的入侵检测方法的设计流程图，本发明通过如下步骤得到了完整的设计构思：20.一、获取网络流量21.获取网络流量部分的主要功能是得到容器云平台和外界通信的网络流量，为后续的模型入侵检测提供检测数据。该部分的实际环境是在centos7下安装的kubernetes环境。在kubernetes的云平台上创建容器实例，采集容器与外界通信的网络流量。主要包括以下几步：22.1、在基于k8s的云平台中创建容器实例，在容器内运行需要与外网通信的进程。23.2、在进程运行后，使用tcpdump抓包工具对k8s提供的vxlan设备flannel.1进行监听抓取，获取正常的网络流量。24.3、使用fping3模拟dos攻击，对该容器进行攻击，同时使用tcpdump工具抓取flannel.1的网络流量，获取被攻击的网络流量。25.图2为kubernetes的网络架构图，从下而上是外部网络访问指定pod中容器的流量走向。首先经过物理网卡，到达flannel.1网桥，与外界通信都要经过flannel.1网桥，之后在kubernetes内部外网访问想要到达指定pod中的容器则是通过kube-proxy，也就是更改iptables的规则进行虚拟ip的访问。而入侵是通过网络或者系统资源对系统内部进行攻击，在kubernetes内则是对容器及容器进程进行攻击。26.因此，本发明采集通过flannel.1网桥的流量，从根本上拦截违反安全策略的行为或攻击可能：云平台中的所有pod与外部网络通信时都需要通过flannel.1进行，对其进行监听可以捕获到云平台中南北方向的网络异常；其次，flannel.1还负责pod间的网络通讯，对其进行监听可以捕获到云平台中东西方向的网络异常；最后flannel.1只参与k8s中pod的网络通讯过程，避免了物理服务器中其他软件进行网络通讯时的干扰。27.二、数据预处理28.数据预处理部分主要功能是将获取到的网络流量转变成模型可用的输入数据。主要包括如下步骤：29.1、使用wireshark解析抓取的cap格式的流量数据，并针对解析后的数据进行筛选。我们选择以下信息：时间、源地址、目的地址、协议、包长度、信息、物理层数据帧概况、数据链路层以太网帧头部信息、网络层ip包头部信息、传输层数据段头部信息。30.2、将选择好的数据信息导出为模型可以输入的数据。使用wireshark将筛选后的数据导出为txt格式的文件。31.3、对公共数据集进行相同的处理，并与处理后的网络流量合并组成新的数据集，作为后续的入侵检测的输入数据。32.三、模型训练33.cnn识别局部特征的能力和lstm利用文本序列的能力被文本分类广泛使用，但单独的某一种模型都不能很好适应于网络流量，因此本发明选择把两种模型组合在一起，并通过公共数据集cicids2017对其两种模型所得到的两种组合(lstm-cnn和cnn-lstm的组合)结果进行训练，并在同一组合内更改模型参数，得到不同参数下同一组合和同一参数下不同组合的精确度，从中选择出精确度最佳的组合方式，供后续的入侵检测。34.图3为本发明在设计阶段的入侵检测架构图，用于获取最佳的检测模型：使用公共数据集cicids2017对lstm和cnn的组合进行训练，分别选择了lstm-cnn和cnn-lstm的组合，并在同一组合内更改模型参数，得到不同参数下同一组合和同一参数下不同组合的精确度。35.通过对比训练好的模型的精确度确定最终使用的检测模型的参数和组合方式，最终使用的模型为lstm-cnn(l-cnn)；卷积核为五个，大小为3，4，5，6，7；batchsize为256；最终训练好的l-cnn的精确度能够达到94.35％，比cnn-lstm的组合方式高了1.79％，结果见下表。36.表1不同网络模型结构对比37.组合方式精确度lstm-cnn94.35％cnn-lstm92.56％cnn92.08％lstm61.38％38.考虑到使用cnn-lstm这种组合方式的话，最初卷积层可能会丢失了文本序列的一些信息。因此如果卷积层的输出不包含足够完成的信息，lstm层将仅仅充当着全连接层的作用，不能充分利用lstm层的能力。另一方面，使用lstm-cnn的组合方式在入侵检测任务中效果最好，因为初始的lstm的作用类似于一个编辑器，对于输入中的每个标记都有一个输出标记，其中不仅包含原始标记的信息，而且还包含输出标记所有其他以前的信息。之后，cnn层将使用原始输入的更丰富的表示来查找局部图案，从而获得更好的准确性。39.同时，本发明在使用lstm-cnn时，在lstm层前面还加入了embedding层，以将输入文本转化为词向量的同时对其进行降维处理，如图4所示。40.综上，经过模型训练后，确定了lstm-cnn模型为最佳的入侵检测模型，后续的入侵检测均以此模型为基础，也即，利用公共数据集对模型进行训练仅为获取本发明的方法所做的基础工作，本发明所提供的入侵检测方法，在实际应用过程中，直接以lstm-cnn模型进行入侵检测，不再进行模型训练。41.四、入侵检测42.如上所述，通过l-cnn可以同时利用cnn识别局部特征与lstm利用文本序列的能力。初始的lstm模型对于输入中的每个标记都有一个输出标记，之后cnn层将使用原始输入的更丰富的表示来查找局部图案，比起单独的lstm和cnn以及cnn与lstm的组合有更高的精确度。43.进行入侵检测时：44.1、将模型处理部分得到的数据集作为模型检测的输入数据，使用l-cnn模型进行检测，得到最终的检测结果。45.2、若判断为异常则在系统中进行告警，若判断正常，则允许该外部网络访问kubernetes中的容器。46.本发明的有益效果如下：47.1、本发明针对容器云平台网络架构的特点，从flannel.1抓取云平台的网络流量，能更好地从南北和东西方向对云平台进行保护。48.2、本发明使用lstm-cnn的模型，其他模型相比，本发明使用的模型囊括特征的时间和空间特性，并且不需要进行额外的特征提取，减少时间开销，拥有更高的精确度。49.虽然本发明已利用上述较佳实施例进行说明，然其并非用以限定本发明的保护范围，任何本领域技术人员在不脱离本发明的精神和范围之内，相对上述实施例进行各种变动与修改仍属本发明所保护的范围，因此本发明的保护范围以权利要求书所界定的为准。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
