基于多手段深度探针及全方面安全态势感知方法及其系统与流程

1.本发明涉及网络安全领域，尤其涉及基于多手段深度探针及全方面安全态势感知方法及其系统。


背景技术：

2.近年来网络安全领域快速发展变化，随着各单位的it业务系统日益复杂且功能强大，面向业务和用户数据的攻击行为也在迅猛增加，并且向着技术更专业、有组织、隐藏度高、分散分步实施等特点发展，一方面攻击面可能会更广，黑客可能会从一个业务系统的各个组件维度进行扫描，利用弱点实施攻击，另一方面攻击的步骤可能会非常复杂，黑客会非常有耐心的进行持续的渗透工作，而最终攻克用户的核心业务系统或窃取核心数据。在如此严峻的网络安全形势下，依靠已知特征、已知行为模式进行检测的waf和ips已无法有效应对现有的网络攻击威胁，同时传统的安全设备防护机制均基于安全规则进行防护，处理不了的0day、apt攻击等行为；对于事件发生后，无法通过溯源历史流量数据和pcap文件，还原黑客攻击的具体行为及过程。


技术实现要素：

3.本发明的目的在于提供基于多手段深度探针及全方面安全态势感知方法及其系统。
4.本发明采用的技术方案是：基于多手段深度探针及全方面安全态势感知方法，其包括以下步骤：步骤1，通过不同的监控设备来全方位收集异常报警信息；步骤2，对各类数据来源做归一化处理，转换为包含若干属性的集合；步骤3，对攻击同一场景的若干子攻击事件基于前置/后续条件进行关联表达，形成各个子攻击事件之间的逻辑关系，步骤4，基于不同的攻击场景的各个子攻击事件的“与”和“或”的逻辑关系不同组合构建逻辑树；具体地，树的根节点是最终入侵期望达到的最终目标，非根节点表示为了达到攻击目标需要执行的子过程；不考虑事件维度信息，即事件发生的先后顺序、场景规则的先后发生顺序，非根节点之间的关系通过“与”以及“或”两种关系进行逻辑关联即可刻画各种攻击场景。分析引擎分析规则树可支实时扩展，安全分析人员可根据攻击逻辑随时建模扩充知识图谱，识别更多网络攻击行为。
5.进一步地，将场景与多个维度的网安知识进行关联，从多角度出发来智能构建攻击场景；步骤5，分析引擎加载逻辑树，并与实时流安全事件或告警进行匹配，进而过滤出真实有效告警。
6.进一步地，步骤1中采集日志及流量数据，结合安全场景及威胁情报、漏洞库，进行
深度探针。
7.进一步地，步骤2中的集合属性包括：报警描述、探测器编号、检测时间、源 ip 地址、源端口、目标 ip 地址、目标端口、服务协议、报警类型。
8.基于多手段深度探针及全方面安全态势感知系统，其包括以下组成：安全要素采集层：提供开放式的信息采集接口，实现对用户环境内各类it资产以及所采用的各厂商安全产品或安全系统进行统一的信息采集，并提供非结构化数据采集接口，可采集各类情境数据和威胁情报；安全数据存储层：实现海量安全大数据的分布式存储，提供结构化数据和非结构化数据的存储能力，并为上层的数据分析应用提供高效的数据库功能支撑；安全态势分析层：安全态势分析层提供基础数据处理引擎以实现分析能力，提供由大数据技术和架构支撑的快速检索和数据关联发掘功能；大数据层：通过下层所提供的数据采集和处理能力向用户输出大数据能力，以服务于全网的安全态势呈现并支撑用户全局的安全防护工作进一步地，向用户输出大数据能力包括资产感知、攻击感知、漏洞感知、运行感知、威胁感知、风险感知以及安全态势总揽。
9.进一步地，基础数据处理引擎包括流式计算引擎、复杂事件处理引擎、全文检索引擎、关联分析引擎。
10.进一步地，安全态势分析层的分析能力包括威胁目标分析、威胁源分析、攻击过程分析、影响及危害程度分析以及风险分析。
11.进一步地，安全态势分析层通过数据融合处理手段认知安全态势，感知威胁和风险，并根据用户业务特点和安全需求进行态势可视化呈现，建立省内安全态势评估模型以及评估标准。
12.进一步地，数据融合处理手段包括整理分类、精简过滤、对比统计、重点识别、趋势归纳、关联分析、挖掘预测。
13.本发明采用以上技术方案，加强深度探针和监测分析能力，进行多纬度的威胁监测、研判和溯源，攻击进行精准检测，可实现早期的快速发现入侵，并可对受害目标及攻击源头进行精准定位，从而有效提升网络安全持续防护能力，进行全天候全方位感知网络安全态势，增强网络安全防御能力和威慑能力。
附图说明
14.以下结合附图和具体实施方式对本发明做进一步详细说明；图1为本发明基于多手段深度探针及全方面安全态势感知系统的架构示意图；图2为不同设备日志事件的关联分析示意图；图3为数据来源做归一化处理示意图；图4为本发明日志关联的事件逻辑关系示意图；图5为数据处理过程的引用关系示意图；图6为使用简单的树结构描述“与”和“或”逻辑关系的结构示意图。
具体实施方式
15.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图对本技术实施例中的技术方案进行清楚、完整地描述。
16.如图1至6任一所示，本发明公开了基于多手段深度探针及全方面安全态势感知方法，其包括以下步骤：步骤1，通过不同的监控设备来全方位收集异常报警信息；步骤2，如图2或3，对各类数据来源做归一化处理，转换为包含若干属性的集合；步骤3，如图4所示，对攻击同一场景的若干子攻击事件基于前置/后续条件进行关联表达，形成各个子攻击事件之间的逻辑关系，步骤4，基于不同的攻击场景的各个子攻击事件的“与”和“或”的逻辑关系不同组合构建逻辑树；具体地，树的根节点是最终入侵期望达到的最终目标，非根节点表示为了达到攻击目标需要执行的子过程；不考虑事件维度信息，即事件发生的先后顺序、场景规则的先后发生顺序，非根节点之间的关系通过“与”以及“或”两种关系进行逻辑关联即可刻画各种攻击场景。分析引擎分析规则树可支实时扩展，安全分析人员可根据攻击逻辑随时建模扩充知识图谱，识别更多网络攻击行为。
17.进一步地，将场景与多个维度的网安知识进行关联，从多角度出发来智能构建攻击场景；步骤5，分析引擎加载逻辑树，并与实时流安全事件或告警进行匹配，进而过滤出真实有效告警。
18.进一步地，步骤1中采集日志及流量数据，结合安全场景及威胁情报、漏洞库，进行深度探针。
19.进一步地，步骤2中的集合属性包括：报警描述、探测器编号、检测时间、源 ip 地址、源端口、目标 ip 地址、目标端口、服务协议、报警类型。
20.基于多手段深度探针及全方面安全态势感知系统，其包括以下组成：安全要素采集层：提供开放式的信息采集接口，实现对用户环境内各类it资产以及所采用的各厂商安全产品或安全系统进行统一的信息采集，并提供非结构化数据采集接口，可采集各类情境数据和威胁情报；安全数据存储层：实现海量安全大数据的分布式存储，提供结构化数据和非结构化数据的存储能力，并为上层的数据分析应用提供高效的数据库功能支撑；安全态势分析层：安全态势分析层提供基础数据处理引擎以实现分析能力，提供由大数据技术和架构支撑的快速检索和数据关联发掘功能；大数据层：通过下层所提供的数据采集和处理能力向用户输出大数据能力，以服务于全网的安全态势呈现并支撑用户全局的安全防护工作进一步地，向用户输出大数据能力包括资产感知、攻击感知、漏洞感知、运行感知、威胁感知、风险感知以及安全态势总揽。
21.进一步地，基础数据处理引擎包括流式计算引擎、复杂事件处理引擎、全文检索引擎、关联分析引擎。
22.进一步地，安全态势分析层的分析能力包括威胁目标分析、威胁源分析、攻击过程
分析、影响及危害程度分析以及风险分析。
23.安全态势分析层通过用户当前行为同历史行为比较、同同岗位人员行为比较，结合时序特征，发现异常的用户访问行为。
24.威胁情报包括入站情报、高级情报和安全漏洞情报；入站情报：支持识别远控、僵尸网络、劫持、钓鱼、恶意软件、漏洞利用、扫描、p2p节点、僵尸网络、dns、垃圾邮件、可疑、代理、失陷主机、vpn等。高级情报：支持云端同步最新apt高级报告，且皆为为第一时间发现，涵盖全球以及国内每日重大安全事件。安全漏洞情报：支持自动捞取每日全球安全漏洞情报，包括漏洞情报详情（中文）、漏洞厂家信息（中文）、处置建议（中文）、升级包或补丁链接。
25.威胁源溯源分析通过分析各个网络安全设备收集的安全日志和流量日志生成网络安全事件，进行正反双向推理，正向推理预警潜在威胁，反向推理还原攻击情景。
26.进一步地，安全态势分析层通过数据融合处理手段认知安全态势，感知威胁和风险，并根据用户业务特点和安全需求进行态势可视化呈现，建立省内安全态势评估模型以及评估标准。
27.进一步地，数据融合处理手段包括整理分类、精简过滤、对比统计、重点识别、趋势归纳、关联分析、挖掘预测。
28.下面就本发明的具体原理做详细说明：通过采集日志、流量等数据，结合安全场景及威胁情报、漏洞库，进行深度探针。探测式分析基于逐步分析、逐步利用的设计思路，将数据分析过程中的操作记录引申为过程分析模型，对于完整的分析过程可形成整体的数据处理工作流模型。如图5所示在数据处理过程中，将对于1数据的相关操作记录，引用到同类数据2中，在数据3分析过程中，同样可以引用数据2中已经处理分析后的结果数据、数据操作、数据引用等。
29.探测式分析支持分析中间结果保存、导出、查看，支持分析结果以文件、图表等多种发布、导出方式；同时可以将探索成功的分析模型导出为工作流程；探索式分析实现灵活、有效、高可用的交互式图形化展示界面，可以有效支撑工作流引擎运行和数据分析结果可视化。通过主动及被动方式采集实时数据，支持数据采集协议获取其他外部数据源信息；数据采集层对采集到的数据进行归一化过滤归并及实时分析的处理。
30.安全场景分析模型定位于基于大数据架构、为用户提供大数据能力的海量信息采集与处理分析。在统一获取海量安全信息的基础上，聚焦于综合利用这些监控数据进行集中分析处理，通过整理分类、精简过滤、对比统计、重点识别、趋势归纳、关联分析、挖掘预测等数据融合处理手段认知安全态势，感知威胁和风险，并根据用户业务特点和安全需求进行态势可视化呈现，建立省内安全态势评估模型以及评估标准，准确、科学省内安全态势情况予以量化呈现。
31.安全要素采集层：提供开放式的信息采集接口，实现对用户环境内各类it资产以及所采用的各厂商安全产品或安全系统进行统一的信息采集，并提供非结构化数据采集接口，可采集各类情境数据和威胁情报。
32.安全数据存储层：实现海量安全大数据的分布式存储，提供结构化数据和非结构化数据的存储能力，并为上层的数据分析应用提供高效的数据库功能支撑安全态势分析层：平台综合数据处理分析的能力提供层，提供由大数据技术和架构支撑的快速检索和数据关联发掘功能。是支撑上层数据呈现和分析结果输出的计算引擎
层，提供丰富的大数据统计、关联分析、数据挖掘以及态势分析能力，是系统的分析处理的核心。该层提供了基础数据处理引擎，包括流式计算引擎、复杂事件处理引擎、全文检索引擎、关联分析引擎等。基于这些计算引擎实现分析能力包括威胁目标分析、威胁源分析、攻击过程分析、影响及危害程度分析以及风险分析等。
33.大数据层：通过下层所提供的数据采集和处理能力向用户输出大数据能力，包括资产感知、攻击感知、漏洞感知、运行感知、威胁感知、风险感知以及安全态势总揽，服务于全网的安全态势呈现，支撑用户全局的安全防护工作。
34.网络安全事件之间往往不是独立的个体，通常一个攻击场景由若干子攻击事件组成，而且这些子攻击事件之间存在并列或者前置后续等关系，所以可以使用构建逻辑公式对攻击场景进行表达。基于前置/后续条件的关联，相关过程试图通过他们的前置和后续条件来找到警报之间的因果关系。基于攻击的先决条件和后置条件来构建攻击场景。通过将场景建模称树形结构，然后攻击规则树加入知识图谱中，将场景与多个维度的网安知识进行关联，从多角度出发来智能构建攻击场景。一个不同规模的攻击场景都可以使用攻击规则树结构来建模，树的根节点是最终入侵期望达到的最终目标，非根节点表示为了达到攻击目标需要执行的子过程。不考虑事件维度信息，即事件发生的先后顺序、场景规则的先后发生顺序，非根节点之间的关系通过“与”以及“或”两种关系进行逻辑关联即可刻画各种攻击场景，如图6所示，使用简单的树结构描述了这两种关系。
35.其中事件实体来源不同的监控设备来全方位收集异常报警信息，常见的监控设备有网络管理系统(nms)，主机系统系统(hids)，网络入侵检测系统以及防火墙、杀毒软件等。这些系统通过使用不同的检测方法来检测被监控网络的异常情况，但是会以不同的数据格式产生警报。系统会对各类数据来源做归一化处理，会转换为一个包含若干属性的集合，集合中包含的元素有报警描述、探测器编号、检测时间、源 ip 地址、源端口、目标 ip 地址、目标端口、服务协议、报警类型等等，为下一步建模做数据准备。或关系表示两个或者多个事件只需其中之一发生即可判定父节点的攻击效果可以达到，例如对于权限非法获取效果既可以利用 nginx 的某个版本存在的远程、本体权限提升漏洞 cve-2016-1247，也可以利用 linuxglibc 版本 2.2 到 2.17 之间存在的漏洞 cve-2015-0235。“与”关系只有两个或者多个事件同时发生才可以导致父节点的超告警生效。例如要利用 sadmind 缓冲区溢出漏洞发动攻击则需要满足目标主机存在并且主机上存在该漏洞。上述介绍的两种逻辑关系通过不同组合就可以使用一棵逻辑树对不同的攻击场景进行建模，分析引擎将规则树加载，匹配实时流安全事件或告警，过滤出真实有效告警。分析引擎分析规则树可支实时扩展，安全分析人员可根据攻击逻辑随时建模扩充知识图谱，识别更多网络攻击行为。
36.本发明通过对用户场景及需求的深入挖掘，深化对安全态势感知网络的理解，提供有效的安全分析模型和管理工具融合海量多源异构数据，准确、高效地感知整个网络的安全状态以及发展趋势,对网络的资源作出合理的安全加固，对外部的攻击与危害行为可以及时的发现并进行应急响应，从而有效的实现防外及安内，通过各种手段结合全方面深度探针分析保障系统安全，实现可发现、可协同、可预测、可度量的安全网络深度探测和态势感知。
37.本发明通过大数据模型深度探测，提供多维度的海量安全信息存储及强大的安全分析能力，融合先进的分布式架构、流式计算和搜索引擎，通过对全流量、元数据、和安全日
志等异构数据源融合，提供多维度的全景安全态势和多个层级的安全分析能力，使用，安全态势以及挖掘攻击线索。
38.本发明通过积累的漏洞库、情报库，利用威胁情报提高安全运维分析的准确度和时效性。利用大数据分析平台将本地数据、资产数据与情报数据按照多个维度进行关联分析，即可快速感知威胁，通过平台安全规则的筛选和过滤最终形成漏斗效应，保证威胁告警更加精准和有效。为运维管理人员提供异常的情报分析和威胁情报的预警。本发明通过基于因果知识库的关联方法，通过专家经验知识定义攻击场景重构关联规则。利用特定的攻击模型语言分析攻击间的因果关系识别出多步攻击。利用攻击之间的依赖关系提出了具有代表性的基于前因后果的告警关联方法，通过专家知识定义攻击步骤之间先决条件集和产生的结果集进行告警关联。
39.本发明采用以上技术方案，针对原始流量进行采集和监控，对流量信息进行深度还原、存储、查询和分析，并对用户关注的重要安全事件进行快速处置，事后回溯分析，发现潜在威胁，加强主动防御能力。通过流式计算引擎、搜索交互式查询引擎、情报关联分析引擎，支持用户自定义配置异常访问行为策略，结合离线关联分析、统计分析、回归分析，实现对用户异常操作的挖掘分析，对资产数据、脆弱性数据、安全告警数据、流量数据等进行信息收集通过统计分析、数据挖掘、深度关联分析等方法，对网络安全要素进行全面的态势感知和告警，提升应对安全风险的能力，为保障网络安全进行全方位态势感知监控。同时逐步演进为“安全数据集中存储、安全威胁深度分析与威胁情报场景不断扩充、分析能力对外开放”的高价值安全信息存储及分析，定位于为系统提供安全威胁分析与威胁情报能力，可覆盖全网攻击行为信息、资产及业务脆弱性信息、异常流量信息、威胁情报及未知威胁等信息，并在此基础上综合分析呈现，形成包括被攻击对象和攻击源识别、脆弱性识别、攻击过程及影响分析、安全风险态势等在内的多视角全方位的态势感知。
40.显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。