一种网络实体行为关联构建方法及系统与流程

1.本发明属于网络安全领域，具体提出一种基于流量日志和多源情报的网空威胁映射及网络实体行为关联构建方法。


背景技术：

2.近年来网络中出现了各种各样的新型攻击，其中高级持续性威胁事件(advanced persistent threat，apt)频繁发生，给安全带来了严重的影响。apt组织背后的网空威胁行为体是网络空间攻击活动的来源，尤其对于超高能力网空威胁行为体通过工程体系化、装备化、规模化的攻击手段，其躲避追踪溯源的手段也日益先进，具有难追踪、攻击场景及过程难重现、攻击链难以追溯的特点。现有的监测分析手段存在以下问题：各安全监测系统之间存在信息孤岛，告警碎片性程度高，无法进行有效关联；威胁描述不清晰，攻击目标和受害者分析不全面，人工分析成本高。
3.多个网络安全分析团队在网络安全事件分析中引入网空威胁框架，以此来描述网络攻击和防御能力，其中结构化威胁信息表达(structured threat information expression，stix)从攻击模式、攻击活动、行动等12种构件方面来对网络空间威胁信息进行描述。针对stix 2.0的结构化语言描述，mitre公司分别构建了att&ck框架、capec攻击模式、cwe等知识库，包括约40种战术、千级规模的技术与弱点以及百级规模的攻击模式，能够供研究者研究和了解各种网络威胁情况，为制定安全防御策略提供参考，但是由于网空威胁框架未整合流量日志、多源威胁情报、安全告警构建网络实体行为关联，无法实现攻击链溯源和攻击场景还原。


技术实现要素：

4.本发明的目的是聚焦网空威胁框架下的实体行为关联，采用实时计算结合离线计算方式，通过整合流量日志、多源威胁情报、碎片化告警日志，实现实体关系抽取，针对网络空间中域名、邮箱、ip、证书、样本、url等常用实体行为借助网空威胁框架进行网空威胁技战术映射，利用分布式图数据融合技术实现网络实体行为关联构建，能够充分利用威胁情报和漏洞知识数据，全方位地感知网络空间威胁。
5.为实现上述目的，本发明采用的技术方案如下：
6.一种网络实体行为关联构建方法，包括以下步骤：
7.1)实时提取网络实体的标签及行为关系：从数据中心存储的结构化流量日志中实时提取网络实体及其行为关系，从数据中心存储的事件告警数据中实时提取网络实体威胁标签，从多源威胁情报中实时提取网络实体的威胁标签；
8.2)离线提取网络实体的标签及行为关系：从数据中心存储的结构化流量日志中离线提取网络实体及其行为关系，从数据中心存储的事件告警数据中离线提取网络实体威胁标签，从多源情报数据中离线提取网络实体的威胁标签和风险标签；
9.3)基于att&ck网空威胁框架，对上述实时和离线提取到的网络实体行为关系映射
得到具体的网空威胁框技术项，实现网络实体威胁标准化描述；
10.4)以预先构建的网络实体行为关联模型为参照，该模型包含网络实体之间的可能行为关系，利用分布式图数据计算引擎，将网络实体的标签与行为关系进行关联，实现网络实体行为关联融合；
11.5)利用分布式图关系数据存储管理引擎，对网络实体行为关联融合的结果进行存储管理，并构建网络实体行为关联图数据，提供检索服务。
12.进一步地，网络实体包括ip、样本、url、证书、域名和邮箱。
13.进一步地，多源情报数据包括本地情报、情报接口服务和公共情报数据包。
14.进一步地，网络实体行为关联模型包含的网络实体之间的可能行为关系包括：ip与ip之间的通联或攻击关系，ip与样本之间的中马或放马关系，ip与域名之间的访问或承载关系，ip与证书之间的恶意ip实体上部署非法证书关系，ip与url之间的访问关系，ip与邮箱之间的访问或攻击关系；样本与样本之间的衍生或拉取关系，样本与url之间的传播或回连关系，样本与域名之间的传播或回连关系，样本与邮箱之间的传播关系；url与url之间的refer链接关系，url与域名之间的挂载或提取构建关系，url与邮箱之间的恶意邮件含有钓鱼链接关系；证书与域名之间的域名whois信息包含合法证书归属关系，域名与邮箱之间存在域名whois信息中包含注册厂商邮箱关系。
15.进一步地，根据特异性规则与普适性规则对网络实体威胁标签和风险标签的实时自动化消歧，其中特异性规则是针对不同网空威胁框架中标准的威胁标签进行的统一化消歧规则，普适性规则为针对威胁标签别名或者简称进行的普适性消歧规则。
16.一种网络实体行为关联构建系统，包括：
17.实时抽取模块，用于基于streaming从数据中心存储的结构化流量日志中实时提取网络实体及其行为关系，从数据中心存储的事件告警数据中实时提取网络实体威胁标签，从多源威胁情报中实时提取网络实体的威胁标签；
18.离线抽取模块，用于基于spark从数据中心存储的结构化流量日志中离线提取网络实体及其行为关系，从数据中心存储的事件告警数据中离线提取网络实体威胁标签，从多源情报数据中离线提取网络实体的威胁标签和风险标签；
19.网空威胁映射模块，用于基于att&ck网空威胁框架，对上述实时和离线提取到的网络实体行为关系映射得到具体的网空威胁框技术项，实现网络实体威胁标准化描述；
20.融合关联构建模块，用于基于spark，以网络实体行为关联模型为参照，该模型包含各网络实体之间的各种可能的行为关系，利用分布式图数据计算引擎，将网络实体的标签与行为关系进行关联，实现网络实体行为关联融合；
21.关联存储检索模，用于利用分布式图关系数据存储管理引擎，对网络实体行为关联融合的结果进行存储管理，并构建网络实体行为关联图数据，提供检索服务。
22.进一步地，融合关联构建模块还用于根据特异性规则与普适性规则对网络实体威胁标签和风险标签的实时自动化消歧，其中特异性规则是针对不同网空威胁框架中标准的威胁标签进行的统一化消歧规则，普适性规则为针对威胁标签别名或者简称进行的普适性消歧规则。
23.本发明使用网络实体关系抽取技术，从数据中心的威胁告警入手，提取网络空间中域名、邮箱、ip、证书、样本、url等实体的事件威胁标签，关联流量日志补充网络空间实体
行为关系，通过整合多源威胁情报(含威胁标签和漏洞威胁)补充实体威胁标签和风险标签信息，并对多源标签实时消歧。本发明使用网络实体行为网空威胁映射技术，基于att&ck网空威胁框架，利用分布式实时处理技术，对抽取得到的网络空间实体行为映射得到具体的网空威胁框技术项，实现网络实体威胁标准化描述。本发明使用分布式网络实体关联融合技术，针对提取得到的网络空间实体标签和实体行为关联，利用分布式图数据计算引擎，进行网络实体关联构建和实体行为关联融合，支持实体标签属性和关系属性更新，并能支持单个和批量实体标签和实体行为关联追加和更新。
24.本发明提出的方法具有以下的优点及效果：
25.1.实体标签自动化消歧。通过特异性规则与普适性规则相结合的方案，可以实现实体标签自动化消歧。针对多来源实体行为标签和威胁标签可自动化实现威胁标签规范化。
26.2.支持实时网空威胁映射。通过网络实体行为网空威胁映射技术，实现流量日志和报文告警日志的技战术映射，支持映射覆盖网空威胁框架全部战术阶段，利用实时计算引擎进行实时技战术映射，支持实时增加技战术映射规则，支持分布式网络实体行为网空威胁框架技战术映射。
附图说明
27.图1是实施例的一种网络实体行为关联构建系统整体架构图。
28.图2是实施例的一种网络实体行为关联模型。
29.图3是实施例的一种网络实体行为关联构建方法流程图。
具体实施方式
30.为使本发明的技术方案能更明显易懂，特举实施例并结合附图详细说明如下。
31.本实施例公开一种网络实体行为关联构建方法及系统，具体说明如下：
32.1.系统整体架构
33.整个系统的架构如图1所示，主要包括实时抽取模块、离线抽取模块、网空威胁映射模块、融合关联构建模块、关联存储管理模块等几个组成部分。其中实时抽取模块主要读取数据中心消息队列中的流量日志、多源情报数据，基于streaming实时计算框架提取网络实体、威胁标签和行为关系；离线抽取模块主要读取数据中心hive中存储的流量日志和事件告警，提取网络实体、威胁标签和行为关系，基于spark离线计算框架提取网络实体的威胁标签和风险标签；威胁框架映射模块利用网空威胁框架模型，基于提取得到的网络实体行为关系映射网络实体行为网空威胁技术项标签；融合关联构建模块基于spark对网络实体标签消歧，合并同义或冲突标签，并构建实体行为关联；关联存储管理模块利用分布式图数据存储管理引擎，对网络实体标签和行为关联关系进行存储管理，并提供检索服务。
34.2.网络实体行为关联模型
35.本发明预先构建包含ip、域名、url、邮箱、样本、证书等常见网络实体行为关联模型，如图2所示，该模型包含各网络实体之间的各种可能的行为关系，其中以对应实体为中心的关键行为关系情况如下：
36.ip：以ip为中心，ip与ip之间存在通联或攻击等关系，ip与样本之间存在中马或放
马等关系，ip与域名之间存在访问或承载等关系，ip与证书之间存在恶意ip实体上部署非法证书关系，ip与url之间存在访问关系，ip与邮箱之间存在访问或攻击关系；
37.样本：以样本为中心，样本与样本之间存在衍生或拉取关系，样本与ip之间存在放马或中马等关系，样本与url之间存在传播或回连等关系，样本与域名之间存在传播或回连关系，样本与邮箱之间存在传播关系；
38.url：以url为中心，url与url之间存在refer链接关系，url与样本之间存在回连或传播关系，url与域名之间存在挂载或提取构建关系，url与邮箱之间存在恶意邮件含有钓鱼链接关系；
39.证书：以证书为中心，证书与域名之间存在域名whois信息包含合法证书归属关系，证书与ip之间存在ip上部署非法证书关系；
40.域名：以域名为中心，域名与样本之间存在回连或传播等关系，域名与url之间存在提取或挂载等关系，域名与邮箱之间存在域名whois信息中包含注册厂商邮箱关系，域名与证书之间存在域名whois信息中包含合法证书归属关系，域名与ip之间存在承载或访问关系；
41.邮箱：以邮箱为中心，邮箱与域名之间存在域名whois信息中包含注册厂商邮箱关系，邮箱与ip之间存在访问或攻击关联关系，邮箱与url之间存在恶意邮件含有钓鱼链接关联关系，邮箱与样本之间存在传播关系。
42.3.网络实体行为关联构建流程
43.网络实体行为关联构建流程如图3所示，基于数据中心存储的流量日志、事件告警，结合本地情报、情报接口服务、公共情报数据包等多源情报数据，利用分布式实时和离线计算模块实现实体关系提取、网空威胁框架映射、标签融合与行为关联构建，并借助分布式图数据存储管理引擎实现图结构网络实体行为关联关系存储检索管理。
44.构建流程主要包括以下步骤：
45.1)网络实体关系实时提取：利用实时计算模块从数据中心存储的结构化流量日志中实时提取网络实体及其行为关系，从数据中心存储的事件告警数据中实时提取网络实体威胁标签，从多源威胁情报中实时提取网络实体的威胁标签；
46.2)网络实体关系离线提取：利用离线计算模块从数据中心存储的结构化流量日志中离线提取网络实体及其行为关系，从数据中心存储的事件告警数据中离线提取网络实体威胁标签，从多源情报数据中离线提取网络实体的威胁标签和风险标签；
47.3)网络实体行为网空威胁映射：借助网空威胁模型，利用实时计算模块基于提取得到的网络实体行为关系实现网络实体行为映射得到具体的网空威胁框技术项，实现网络实体威胁标准化描述；
48.4)网络实体威胁标签和风险标签消歧：利用融合关联构建模块，通过特异性规则与普适性规则相结合的方案，可以实现网络实体威胁和风险标签自动化消歧，特异性规则即针对不同网空威胁框架中标准的威胁标签进行统一化消歧的规则，普适性规则即针对威胁标签别名或者简称的消歧规则，普适性规则，多来源实体网络风险标签和威胁标签可自动化实现实体标签规范化；
49.5)网络实体行为关联融合：根据预先构建的网络实体行为关联模型，借助分布式图数据计算引擎将消歧的网络实体威胁和风险标签与网络实体行为进行关联，实现网络实
体行为关联融合；
50.6)网络实体行为关联数据库：利用分布式图关系数据存储管理引擎，对网络实体行为关联融合结果提供统一存储管理，并构建实体行为关联图数据检索服务。
51.以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，本发明的保护范围以权利要求所述为准。