一种失陷主机检测方法、装置、电子设备及存储介质与流程

1.本技术涉及网络安全技术领域，具体而言，涉及一种失陷主机检测方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.随着大数据和人工智能技术的快速发展，网络攻击呈现出数量多、速度快、持续时间长等特性，为企业安全带来了巨大的挑战。失陷主机检测是企业应对威胁的有效检测手段之一，基于失陷主机检测构建主动防御体系的安全防护体系是下一代安全防护产品的核心要务，主机画像技术可以融合多元异构网络安全数据，采用数据挖掘技术进行数据分析、构建行为基准，融合机器学习方法进行风险评估，从更高层次全面、准确、动态的反映网络中发生的攻防行为。
3.基于行为的检测方法在特定攻击场景下可以有效的识别威胁，但仍然存在如下缺陷。例如，仅以主机上的日志作为检测数据源，数据来源单一，不能全面刻画主机行为；检测引擎需要制定大量的检测规则，只能检测已知的攻击行为，无法检测未知威胁 ，使企业安全防护处于被动状态；主机安全情况大量依赖人工分析，缺乏有效的主机失陷情况指标，由于告警日志误报和大数据量的原因，导致人工分析效率低下且耗费资源。


技术实现要素：

4.本技术实施例的目的在于提供一种失陷主机检测方法、装置、电子设备及计算机可读存储介质，提高了失陷主机的检测效率，可以有效地识别未知威胁，并减少资源的耗费。
5.第一方面，本技术实施例提供了一种失陷主机检测方法，所述方法包括：获取检测数据；根据所述检测数据构建主机静态画像，及根据所述检测数据构建主机动态画像；对所述主机静态画像和所述主机动态画像进行预处理，得到预处理后的主机静态画像和预处理后的主机动态画像；根据所述预处理后的主机静态画像和所述预处理后的主机动态画像获得样本训练数据集和样本测试数据集；将所述样本训练数据集输入机器学习模型进行训练，得到失陷检测模型；将所述样本测试数据集输入所述失陷检测模型中，得到检测结果。
6.在上述实现过程中，通过多种检测数据的采集、融合，采用机器学习模型，基于主机画像实现了动态、准确的主机失陷检测，并且实现了自动化的主机失陷检测，提高了失陷主机的检测效率，可以有效的识别未知威胁，极大地降低了安全维护成本，并减少资源的耗费，有效地提升了企业的主动防御能力。
7.进一步地，所述根据所述检测数据构建主机静态画像的步骤，包括：获取所述检测数据中的主机基础信息和资产数据；
根据所述主机基础信息和资产数据构建所述主机静态画像。
8.在上述实现过程中，主机静态画像根据主机基础信息和资产数据进行构建，可以反映出主机的基础信息、资产数据和静态行为等，并辅助主机进行失陷检测。
9.进一步地，所述根据所述检测数据构建主机动态画像的步骤，包括：利用att&ck技术（adversarialtactics techniques and common knowledge，对抗性策略、技术和通用知识）根据所述检测数据中的日志数据建立主机行为模型；根据所述检测数据中的威胁情报信息和所述主机行为模型获得主机动态画像；并对所述主机动态画像中的异常行为进行标记，获得异常行为数据。
10.在上述实现过程中，利用att&ck技术根据日志数据建立主机行为模型，一方面，可以将日志数据反映的主机行为中，另一方面，使用统计学习方法标记异常行为，结合威胁情报信息和主机行为模型得到主机动态画像，可以反映出主机的动态特性。
11.进一步地，所述根据所述预处理后的主机静态画像和所述预处理后的主机动态画像获得样本训练数据集和样本测试数据集的步骤，包括：提取所述预处理后的主机静态画像中的静态画像特征；提取所述预处理后的主机动态画像中的动态画像特征；根据所述静态画像特征、所述动态画像特征和所述异常行为数据获得样本训练数据集和样本测试数据集。
12.在上述实现过程中，结合静态画像特征、动态画像特征和异常行为数据得到的样本训练数据集和样本测试数据集，可以多方位的反映出主机的静态行为和动态行为，为全面检测主机失陷提供数据基础。
13.进一步地，所述根据所述静态画像特征、所述动态画像特征和所述异常行为数据获得样本训练数据集和样本测试数据集的步骤，包括：根据所述静态画像特征、所述动态画像特征和所述异常行为数据获得失陷检测样本数据；将所述失陷检测样本数据分为样本测试数据集和样本训练数据集。
14.在上述实现过程中，样本测试数据集可以帮助构建符合主机失陷检测特性的失陷检测模型，使得模型对失陷主机的准确率更高，效率也更高。
15.进一步地，所述对所述主机静态画像和所述主机动态画像进行预处理，得到预处理后的主机静态画像和预处理后的主机动态画像的步骤，包括：对所述主机静态画像和所述主机动态画像分别进行连续值离散化处理、缺失值处理和文本数据向量化处理，得到预处理后的主机静态画像和预处理后的主机动态画像。
16.在上述实现过程中，对主机静态画像和主机动态画像分别进行预处理，可以过滤掉主机静态画像和主机动态画像中不合格的、异常的数据，使得主机静态画像和主机动态画像可以更准确的反映主机画像。
17.进一步地，所述将所述样本测试数据集输入所述失陷检测模型中，得到检测结果的步骤之后，还包括：根据所述检测结果更新所述失陷检测模型中的模型参数。
18.在上述实现过程中，更新模型参数可以使得失陷检测模型保持对失陷主机检测的适应性和实时性，避免检测数据发生改变导致失陷检测模型无法准确检测失陷主机。
19.第二方面，本技术实施例还提供了一种失陷主机检测装置，所述装置包括：获取模块，用于获取检测数据；构建模块，用于根据所述检测数据构建主机静态画像，及根据所述检测数据构建主机动态画像；预处理模块，用于对所述主机静态画像和所述主机动态画像进行预处理，得到预处理后的主机静态画像和预处理后的主机动态画像；数据集获得模块，用于根据所述预处理后的主机静态画像和所述预处理后的主机动态画像获得样本训练数据集和样本测试数据集；模型训练模块，用于将所述样本训练数据集输入机器学习模型进行训练，得到失陷检测模型；检测模块，用于将所述样本测试数据集输入所述失陷检测模型中，得到检测结果。
20.第三方面，本技术实施例提供的一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述的方法的步骤。
21.第四方面，本技术实施例提供的一种计算机可读存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如第一方面任一项所述的方法。
22.第五方面，本技术实施例提供的一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
23.本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
24.并可依照说明书的内容予以实施，以下以本技术的较佳实施例并配合附图详细说明如后。
附图说明
25.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
26.图1为本技术实施例提供的失陷主机检测方法的流程示意图；图2为本技术实施例提供的失陷主机检测装置的结构组成示意图；图3为本技术实施例提供的电子设备的结构组成示意图。
具体实施方式
27.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
29.下面结合附图和实施例，对本技术的具体实施方式作进一步详细描述。以下实施
例用于说明本技术，但不用来限制本技术的范围。
30.实施例一图1是本技术实施例提供的失陷主机检测方法的流程示意图，如图1所示，该方法包括：s1，获取检测数据；s2，根据检测数据构建主机静态画像，及根据检测数据构建主机动态画像；s3，对主机静态画像和主机动态画像进行预处理，得到预处理后的主机静态画像和预处理后的主机动态画像；s4，根据预处理后的主机静态画像和预处理后的主机动态画像获得样本训练数据集和样本测试数据集；s5，将样本训练数据集输入机器学习模型进行训练，得到失陷检测模型；s6，将样本测试数据集输入失陷检测模型中，得到检测结果。
31.以本实施例为例，通过多种检测数据的采集、融合，采用机器学习模型，基于主机画像实现了动态、准确的主机失陷检测，并且利用机器学习算法实现了自动化的主机失陷检测，极大的降低了安全维护成本，有效的提升了企业的主动防御能力。
32.在s1中，获取检测数据。
33.检测数据主要包括主机基础信息（如内存、内核版本等）、资产数据（如系统账号、开放端口、数据库等）、威胁情报信息（使用云api获取威胁情报数据源）、行为日志数据（如登录日志、进程行为日志、文件日志、网络日志等）、网络流量数据（网络协议、对应协议的基础字段、流量数据）等。
34.可选地，在获取到检测数据之后，还对检测数据进行存储，将采集到的检测数据，按照结构化数据、非结构化数据分别在大数据平台进行存储。可以更好的适应失陷主机检测的要求，并且提高失陷主机检测的准确率。
35.在s2中，根据检测数据构建主机静态画像，及根据检测数据构建主机动态画像，包括：获取检测数据中的主机基础信息和资产数据；根据主机基础信息和资产数据构建主机静态画像。
36.以本实施例为例，主机静态画像主机基础信息和资产数据进行构建，可以反映出主机的基础信息、资产数据和静态行为等，并辅助主机进行失陷检测。
37.进一步地，根据检测数据构建主机动态画像的步骤，包括：利用att&ck技术根据检测数据中的日志数据建立主机行为模型；根据检测数据中的威胁情报信息和主机行为模型获得主机动态画像；并对主机动态画像中的异常行为进行标记，获得异常行为数据。
38.以本实施例为例，利用att&ck技术根据日志数据建立主机行为模型，一方面，可以将日志数据反映的主机行为中，另一方面，使用统计学习方法标记异常行为，结合威胁情报信息和主机行为模型得到主机动态画像，可以反映出主机的动态特性。
39.att&ck是由mitre提出的一套反应各个攻击生命周期攻击行为的模型和知识库，对更具观测性的攻击者行为，构建了一套更细粒度、更易共享的知识模型和框架，并通过不断积累，形成一套由政府、公共服务企业、私营企业和学术机构共同参与和维护的网络攻击
者行为知识库，以指导用户采取针对性的检测、防御和响应工作。
40.示例性地，使用统计学习方法分析日志建立主机行为模型，并标记异常行为，结合威胁情报信息和行为模型得到主机动态特性，其中包括主机进程数、主机资源异常使用、主机异常网络连接、主机异常进程等行为。
41.在s3中，根据预处理后的主机静态画像和预处理后的主机动态画像获得样本训练数据集和样本测试数据集，包括：提取预处理后的主机静态画像中的静态画像特征；提取预处理后的主机动态画像中的动态画像特征；根据静态画像特征、动态画像特征和异常行为数据获得样本训练数据集和样本测试数据集。
42.进一步地，对主机静态画像和主机动态画像进行预处理，得到预处理后的主机静态画像和预处理后的主机动态画像的步骤，包括：对主机静态画像和主机动态画像分别进行连续值离散化处理、缺失值处理和文本数据向量化处理，得到预处理后的主机静态画像和预处理后的主机动态画像。
43.在上述实现过程中，对主机静态画像和主机动态画像分别进行预处理，可以过滤掉主机静态画像和主机动态画像中不合格的、异常的数据，使得主机静态画像和主机动态画像可以更准确的反映主机画像。结合静态画像特征、动态画像特征和异常行为数据得到的样本训练数据集和样本测试数据集，可以多方位的反映出主机的静态行为和动态行为，为全面检测主机失陷提供数据基础。
44.在s4中，根据静态画像特征、动态画像特征和异常行为数据获得样本训练数据集和样本测试数据集，包括：根据静态画像特征、动态画像特征和异常行为数据获得失陷检测样本数据；将失陷检测样本数据分为样本测试数据集和样本训练数据集。
45.在上述实现过程中，样本测试数据集可以帮助构建符合主机失陷检测特性的失陷检测模型，使得模型对失陷主机的准确率更高，效率也更高。
46.在s5中，将样本训练数据集输入机器学习模型进行训练，得到失陷检测模型。
47.示例性地，使用机器学习算法训练失陷检测模型，使用网格搜索或启发式算法自动选择最优模型参数。并将失陷检测模型部署到服务端，输出检测结果。
48.在s6中，将样本测试数据集输入失陷检测模型中，得到检测结果。
49.检测结果中包含主机失陷指标，主机失陷指标中的使用误报率、准确率可以作为失陷检测模型的性能评估指标。
50.进一步地，将样本测试数据集输入失陷检测模型中，得到检测结果的步骤之后，还包括：根据检测结果更新失陷检测模型中的模型参数。
51.在上述实现过程中，根据检测结果和新的样本测试数据集对失陷检测模型进行训练，得到新的失陷检测模型，获取新的失陷检测模型中的模型参数，根据新的模型参数可以对新的失陷检测模型的性能进行评估，因此，更新模型参数可以使得失陷检测模型保持对失陷主机检测的适应性和实时性，避免检测数据发生改变导致失陷检测模型无法准确检测失陷主机。
52.示例性地，通过两台客户端c1、c2，两台服务器s1、s2，并且以客户端c1作为攻击方，客户端c2、服务器s1、s2作为目标网络机组，依次执行如下操作：1.攻击者客户端c1向目标网络发送恶意邮件，建立逆向tcp（transmission control protocol，传输控制协议）连接，客户端c2打开恶意邮件后被入侵；2.客户端c1上传nmap（network mapper，一种网络扫描和嗅探工具包）到客户端c2；3.客户端c2扫描nmap系统子网；4.识别到服务器s1运行mysql（关系型数据库管理系统）作为后台数据库并且开放了80端口；5.利用sql（structured query language，结构化查询语言）注入入侵目标服务器。
53.在申请实施例中，通过多种检测数据的采集、融合，采用机器学习模型，基于主机画像实现了动态、准确的主机失陷检测，并且利用机器学习算法实现了自动化的主机失陷检测，极大的降低了安全维护成本，有效的提升了企业的主动防御能力。
54.实施例二为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种失陷主机检测装置，如图2所示，该装置包括：获取模块1，用于获取检测数据；构建模块2，用于根据检测数据构建主机静态画像，及根据检测数据构建主机动态画像；预处理模块3，用于对主机静态画像和主机动态画像进行预处理，得到预处理后的主机静态画像和预处理后的主机动态画像；数据集获得模块4，用于根据预处理后的主机静态画像和预处理后的主机动态画像获得样本训练数据集和样本测试数据集；模型训练模块5，用于将样本训练数据集输入机器学习模型进行训练，得到失陷检测模型；检测模块6，用于将样本测试数据集输入失陷检测模型中，得到检测结果。
55.进一步地，构建模块2还用于：获取检测数据中的主机基础信息和资产数据；根据主机基础信息和资产数据构建主机静态画像；利用att&ck技术根据检测数据中的日志数据建立主机行为模型；根据检测数据中的威胁情报信息和主机行为模型获得主机动态画像；并对主机动态画像中的异常行为进行标记，获得异常行为数据。
56.进一步地，预处理模块3还用于：对主机静态画像和主机动态画像分别进行连续值离散化处理、缺失值处理和文本数据向量化处理，得到预处理后的主机静态画像和预处理后的主机动态画像。
57.进一步地，数据集获得模块4还用于：提取预处理后的主机静态画像中的静态画像特征；提取预处理后的主机动态画像中的动态画像特征；
根据静态画像特征、动态画像特征和异常行为数据获得样本训练数据集和样本测试数据集；根据静态画像特征、动态画像特征和异常行为数据获得失陷检测样本数据；将失陷检测样本数据分为样本测试数据集和样本训练数据集。
58.可选地，该装置还包括更新模块，用于根据检测结果更新失陷检测模型中的模型参数。
59.上述的失陷主机检测装置可实施上述实施例一的方法。上述实施例一中的可选项也适用于本实施例，这里不再详述。
60.本技术实施例的其余内容可参照上述实施例一的内容，在本实施例中，不再进行赘述。
61.实施例三本技术实施例提供一种电子设备，包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的失陷主机检测方法。
62.可选地，上述电子设备可以是服务器。
63.请参见图3，图3为本技术实施例提供的电子设备的结构组成示意图。该电子设备可以包括处理器31、通信接口32、存储器33和至少一个通信总线34。其中，通信总线34用于实现这些组件直接的连接通信。其中，本技术实施例中设备的通信接口32用于与其他节点设备进行信令或数据的通信。处理器31可以是一种集成电路芯片，具有信号的处理能力。
64.上述的处理器31可以是通用处理器，包括中央处理器（central processing unit，cpu）、网络处理器（network processor，np）等；还可以是数字信号处理器（dsp）、专用集成电路（asic）、现成可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器31也可以是任何常规的处理器等。
65.存储器33可以是，但不限于，随机存取存储器（random access memory，ram），只读存储器（read only memory，rom），可编程只读存储器（programmable read
‑
only memory，prom），可擦除只读存储器（erasable programmable read
‑
only memory，eprom），电可擦除只读存储器（electric erasable programmable read
‑
only memory，eeprom）等。存储器33中存储有计算机可读取指令，当计算机可读取指令由所述处理器31执行时，设备可以执行上述图1方法实施例涉及的各个步骤。
66.可选地，电子设备还可以包括存储控制器、输入输出单元。存储器33、存储控制器、处理器31、外设接口、输入输出单元各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通信总线34实现电性连接。处理器31用于执行存储器33中存储的可执行模块，例如设备包括的软件功能模块或计算机程序。
67.输入输出单元用于提供给用户创建任务以及为该任务创建启动可选时段或预设执行时间以实现用户与服务器的交互。输入输出单元可以是，但不限于，鼠标和键盘等。
68.可以理解，图3所示的结构仅为示意，电子设备还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。
69.另外，本技术实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计
算机程序被处理器执行时实现实施例一的失陷主机检测方法。
70.本技术实施例还提供一种计算机程序产品，该计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。
71.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
72.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
73.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
74.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
75.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
76.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。