一种基于网络全流量中事件关系有向图的APT攻击检测方法与流程

一种基于网络全流量中事件关系有向图的apt攻击检测方法
技术领域
1.本发明涉及网络安全技术领域，尤其涉及一种基于网络全流量中事件关系有向图的apt攻击检测方法。


背景技术：

2.高级持续性威胁（advanced persistent threat，简称apt）攻击，是一种利用先进的技术手段，来对特定目标进行持续性的网络攻击。随着网络技术的不断发展，apt攻击也变得越来越隐秘。单一的传统网络安全防护、分析设备对于复杂的apt攻击根本无能为力，而不同网络防护、分析设备的分析结果也难以关联。apt攻击的踪迹隐藏在茫茫的网络流量海洋之中，网络安全设备的日志信息无法直接、准确地反映网络中的事件，而部分黑客甚至会删除网络设备上的日志来躲避追踪。唯有网络全流量的采集、分析，才能搜集到apt攻击的蛛丝马迹。而这些“蛛丝马迹”就是网络事件。通过对网络事件的关联分析，基于事件之间的时序关系、行为关系，从网络全流量中构建出当前网络事件关系有向图，可以还原完整的apt攻击。
3.apt攻击检测，现有技术中有：（1）基于其他网络安全设备日志告警信息进行关联分析；（2）基于应用层网络流量，分析得到告警后再关联分析；（3）基于网络流量中的文件的检测。
4.对于上述第1个情况，由于apt攻击的复杂性与隐秘性，通常单台网络设备是无法搜集足够的信息进行分析。这时来自不同设备的日志数据源，会导致数据的处理、日志信息的分类、不同告警的关联难度指数级上升。另外网络设备采集到的日志信息，相当于二手数据，远不如网络全流量数据更直接的反映网络真实情况。另外，网络安全设备要兼顾拦截功能，主要使用的是包检测技术，使得其对于网络事件的挖掘不够精确。
5.对于上述第2个情况，未知的应用层协议、加密的应用层协议或者利用协议漏洞的非标准协议的流量会被丢弃，导致无法完整还原网络中的完整情况。相对应的，集中关注已知应用层协议的攻击手段，导致其apt攻击的各阶段分类，对apt攻击的网络行为的描述存在缺失。此外，基于三层网络层、四层传输层等攻击手段，也无法被检测到。
6.上述第3个情况，与上述第2个情况类似，基于网络流量中采集的文件的检测得到的告警进行关联，无法将apt攻击的网络行为完整地描述清楚。此外，文件检测技术，主要是利用沙箱环境进行模拟。但是随着apt攻击的技术手段越来越先进，其会对运行环境进行检测，一旦发现是沙箱则不会表现出恶意行为，使得沙箱检测失效。


技术实现要素：

7.本发明目的是为了克服现有技术的不足而提供一种数据分析全面可靠、检测准确率更高、节省存储资源同时方便回溯查询分析历史数据的基于网络全流量中事件关系有向图的apt攻击检测方法。
8.为达到上述目的，本发明采用了如下技术方案。
9.一种基于网络全流量中事件关系有向图的apt攻击检测方法，具体包括以下步骤：步骤s1，利用深度报文分析采集旁路流量得到实时的网络元数据；步骤s2，基于网络技术并利用大数据对网络元数据进行分析，生成网络事件关系有向图；步骤s3，基于预设的apt攻击技术带权有向图，构建网络事件攻击技术有向图并与预设的apt攻击技术带权有向图进行匹配分析，计算网络事件有向图连通分量权值，最终检测出当前apt攻击结果并产生告警提示。
10.作为本发明的进一步改进，所述步骤s1的采集旁路流量通过在关键网络设备配置镜像流量，以实时进行网络全流量的流量采集，提取出网络协议中二层链路层到七层应用层的基于流的网络元数据，经过数据清理、规整后存入大数据分析平台。
11.作为本发明的进一步改进，所述步骤s2具体包括处理如下，网络元数据通过基于黑客网络技术预设的检测模型后产生网络事件；由网络事件关联生成网络事件有向图；生成的网络事件有向图随着网络事件的检测实时更新。
12.当遇到新事件的出现，会增加新的边；旧事件的出现，会更新边的时间戳；旧事件经过预设有效时长没有出现，则删除相应的边；若节点没有任何相关的边，则删除该节点。
13.作为本发明的进一步改进，所述预设的检测模型包括对网络元数据中源主机ip与目的主机ip的通讯行为进行匹配，匹配成功则记录事件生成的时间戳、源主机ip、目的主机ip以及模型所基于的黑客网络技术类型。
14.作为本发明的进一步改进，所述步骤s2的生成网络事件关系有向图以网络事件的主机ip为节点、网络事件为有向边，生成一张网络事件有向图。
15.其中，图中的有向边代表主机ip之间的通讯关系；每一项黑客网络技术有一条边；边记录着相应事件的最新时间戳。
16.作为本发明的进一步改进，所述步骤s3具体处理包括如下：所述预设的apt攻击技术带权有向图，是对已知的apt攻击事件进行分析后，基于apt攻击中所使用的黑客网络技术构建；基于预设的apt攻击技术带权有向图，对网络事件有向图中的时序关系、行为关系进行分析；分别计算网络事件有向图各个连通分量的节点的权值之和，连通分量的权值大于阈值则代表与预设的apt攻击技术带权有向图相关。
17.作为本发明的进一步改进，所述步骤s3构建网络事件攻击技术有向图，其中以网络事件有向图中边的黑客网络技术为网络事件的攻击技术有向图的节点、网络事件有向图中边共同的节点为网络事件的攻击技术有向图的边，网络事件的攻击技术有向图的边记录的时间戳顺序作为方向。
18.作为本发明的进一步改进，所述网络事件的攻击技术有向图与预设的apt攻击技术带权有向图的边的交集，赋予其对应的网络事件有向图的节点相应的权重。
19.由于上述技术方案的运用，本发明的技术方案带来的有益技术效果：（1）从不同网络节点旁路采集网络全流量，提取出网络二层到网络七层的基于流的网络元数据进行存储，大大增强了网络流的关联分析能力，也降低了对业务流量的影响；（2）此外，本技术方案利用采集的网络流量最直接反映了网络环境中所有事件，因此直接从网络流量中提取出网络事件，与网络设备日志信息相比，保证了数据的全面性与可靠性；
（3）本技术方案使用元数据的存储，节省了大量的存储资源，同时使得更方便地回溯、查询、分析历史数据；（4）本技术方案基于黑客网络技术来定义网络事件，使得对于网络事件的划分更细致、易于理解以及检测；另外能更细的划分粒度，还能使得黑客网络技术的各种组合，可以方便清楚描述出不同的apt攻击情况；（5）本技术方案采用基于时序关系、行为关系，网络事件有向图与apt攻击技术带权有向图进行关联，比起传统的关系链式结构，可实现对于apt攻击的检测准确率更高。
附图说明
20.图1为本发明的整体流程框架示意图。
21.图2为本发明实施例中apt攻击所使用的网络技术手段示意图。
22.图3为本发明实施例中生成的网络事件关系有向图。
23.图4为本发明实施例中预设的apt攻击技术带权有向图。
24.图5为本发明实施例中的网络事件攻击技术有向图。
具体实施方式
25.下面结合反应路线及具体实施例对本发明作进一步的详细说明。
26.为使本发明的上述特征和优点更明显易懂，下面结合具体实施方式和附图对本发明作进一步详细说明。
27.在本实施例中，在所监测的网络环境的网络出口、核心交换机、路由设备等关键网络区域、设备进行网络全流量采集，提取出网络七层结构中二层链路层到七层应用层的基于流的网络元数据进行存储。
28.所述网络数据异常检测设备可以是桌上型计算机、笔记本电脑、掌上电脑及云端服务器等检测设备，所述检测设备可以利用旁路的方式获取网络全流量，对网络全流量中的每层协议进行分析采集基于流的元数据。
29.通过分流器、路由器或者交换机的镜像功能，将网络中全部流量(包括输入in和输出out两个方向)实时地输入至所述检测设备的旁路采集模块中，旁路采集模块对所述网络全流量进行分析得到基于流的元数据，并将所述所有基于流的元数据信息输出至存储模块进行存储，例如对各协议层(例如tcp层、udp层、http层或dns层)按流来统计网络数据特征、输出时间戳、四元组信息以及流特征数据等，即将各协议层的四元组(sip、sport、dip、dport)的双向数据交互统计到一个流内；将请求/响应式协议(如http协议或dns协议)的每次请求及响应作为一条流进行输出，将无状态协议(如udp协议)的一段时间内的双向交互数据作为一条流进行输出；而交互中出现错误、超时等异常的数据，则作为一条异常流输出。
30.需要说明的是，所述流为两个ip(例如互联网上两台主机的ip地址)之间一次完整的交互，流发起者的ip与端口号作为流的sip(源ip)与sport(源端口),流响应者的ip与端口号作为流的dip(目的ip)与dport(目的端口)。
31.所述四元组为唯一标识一条流的sip、sport、dip、dport的信息。所述元数据用于描述一条流的特征数据，如四元组信息、包数、字节数、连接数、请求数和结束状态等等，例
如tcp层的元数据包含四元组、流量数据、流结束状态等；udp层的元数据包含四元组、流量等；http层的元数据包含四元组、url(统一资源定位符)、请求方法、状态码等，以及一些报文头部信息，如location, content length, user agent等；dns层的元数据包含四元组、请求解析的域名、解析后的地址、返回码等；https的元数据包含溯源组、证书哈希值、客户端信息哈希值、服务端信息哈希值等，以及证书注册信息，如生效日期、失效日期、域名、组织名等。
32.由上一步采集、处理、存储得到的网络元数据，通过基于黑客网络技术预设的检测模型后产生网络事件，每个事件包含事件生成的时间戳、源主机ip、目的主机ip以及模型所基于的黑客网络技术类型。在本实例中，参考mitre att&ck
®ꢀ
matrix for enterprise框架，该框架是关于apt攻击的基于现实世界观察结果的全球对抗性战术和技术知识库。针对darktrace所公布的sodinokibi勒索病毒的入侵细节，从入侵框架总结出该apt攻击所使用的网络技术手段，具体见附图2；针对每项黑客网络技术，检测方法如下：a)(ta0001,t1133)，对于ssh、rdp等外部远程服务，在通过tcp三次握手之后，通讯的包的个数，可以判断是否登录成功；对于成功登录的流，结合情报信息可以判断该登录是否正常。
33.b)(ta0001,t1190)，对于公开提供服务的服务器及相关端口，在对应用层多条流的关联分析，可以判断是否存在漏洞扫描现像；此外，通过对应用层报文的特征检测，可以发现漏洞利用的攻击。
34.c)(ta0001,t1566)，对于钓鱼链接，通过对该网络的历史数据进行机器学习，可以发现罕见的异常链接；结合情报信息，可以判断该链接是否为钓鱼链接。
35.d)(ta0002,t1204)，对于恶意链接，与钓鱼链接检测方法相同；此外，如果存在文件下载，还可以对文件进行检测来判断是否恶意。
36.e)(ta0006,t1110)，对于暴力破解，在一段时间内的多条tcp流，通过三次握手之后的通讯包的个数会几乎相同，通过比较多条流的包的个数，可以判断是否存在暴力破解攻击。
37.f)(ta0007,t1140)，对于网络嗅探，在一段时间内，会出现大量非正常结束的tcp流，通过比较这些tcp流的行为，可以判断是否存在网络嗅探行为。
38.g)(ta0007,t1146)，对于网络服务扫描，与网络嗅探的检测方法相同。
39.h)(ta0010,t1537)，对于上传数据到云端，通过对该网络的历史数据进行机器学习，可以判断该网络环境中的机器与上传数据到云端是否异常。
40.i)(ta0011,t1071)，对于使用应用层协议的c&c通讯，过对该网络的历史数据进行机器学习，可以发现通讯的对象是特殊且罕见的，而且通讯频率是固定的。
41.j)(ta0011,t1568)，对于使用动态解析的c&c通讯，首先检测出大量的失败域名请求；然后使用机器学习算法对域名进行检测，判断是否为算法生成的域名。
42.k)(ta0011,t1571)，对于使用非标准端口协议的c&c通讯，通过对比流的应用层协议与端口号，可以判断是否正在使用非标准端口进行通讯。
43.l)(ta0011,t1572)，对于使用dns隧道的c&c通讯，会出现多次非a、aaaa等记录的dns域名请求，对每次请求的域名及解析结果的长度、是否包含非法字符、域名的熵进行检测，可以判断是否使用隧道通讯。
44.基于黑客网络技术，利用大数据分析技术对网络元数据进行分析，生成网络事件关系有向图。其中本实例中，生成的网络事件关系有向图见附图3，该有向图包含两个连通分量。有向图的节点为ip地址；有向图的边代表事件中ip之间的通讯关系；有向图的边还代表事件的黑客网络技术和生成事件的时间戳。
45.基于预设的apt攻击技术带权有向图，对当前网络的网络事件关系有向图进行分析，以检测出apt攻击。其中本实例中，针对darktrace所公布的sodinokibi勒索病毒的入侵细节，预设的apt攻击技术带权有向图如附图4所示。apt攻击技术带权有向图以黑客网络技术为节点，apt攻击事件中各项技术的行为关系为边；时序关系为方向；在本实例中，所有边的权重默认为1。
46.基于预设的apt攻击技术带权有向图，对网络事件有向图中的时序关系、行为关系进行分析。在本实例中，由网络事件有向图生成的网络事件攻击技术有向图如附图5所示。网络事件攻击技术有向图与预设的apt攻击技术带权有向图比较得到，网络事件攻击技术有向图的其中一个连通分量为预设的apt攻击技术带权有向图的子图。计算相对应的网络事件有向图的连通分量的权重，大于阈值则认为该连通分量可以代表sodinokibi勒索病毒的apt入侵攻击。
47.以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。