威胁情报自动采集方法、系统、计算机设备和存储介质与流程

1.本技术涉及安全维护技术领域，特别是涉及一种威胁情报自动采集方法、系统、计算机设备和存储介质。


背景技术：

2.基于2014年gartner在其《安全威胁情报服务市场指南》中提出的威胁情报的描述：威胁情报是一种基于证据的知识，包括了情境、机制、指标、隐含和实际可行的建议。威胁情报描述了现存的、和者是即将出现针对资产的威胁和危险，并可以用于通知主体针对相关威胁和危险采取某种响应。企业告警数量级别非常大，安全处置员处置工作量很大，因此为了便于相关人员取证已有威胁和预测威胁，威胁情报建设越来越重要。在实际落地时，威胁情报产品的输出以ioc(域名、样本信息及可信度)为主要部分，但由于网络中存在着大量的情报，它们的结构不同、关注方向不同、可信度不同、情报内容不同、情报的来源也是千奇百怪，这使得威胁情报在实际的运用中面临许多问题，而这其中的关键问题在于，在现阶段无法统一有效的提取出威胁情报中能够应用的关键信息，目前虽有很多开源产品可用于收集，但很难根据具体的需求定制化扩展。
3.威胁情报采集主要分为两个部分：外部情报和内部情报。外部情报主要来自一些开源威胁情报平台，网站博客等公共信息，但开源情报提供的数据一般都非常简单，只包含一个列表，和者列表的格式非常多样，为了真正运用到生产，需要对不同的数据源进行不同的逻辑处理并打标签等进一步处理，因此需要生成数据源层面的元数据。


技术实现要素：

4.基于此，针对上述技术问题，提供一种威胁情报自动采集方法、系统、计算机设备和存储介质。
5.第一方面，一种威胁情报自动采集方法，所述方法包括：
6.获取情报来源；
7.若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；
8.若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
9.对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；
10.对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
11.对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
12.上述方案中，可选的，所述对所述外部情报数据源级别数据扩充包括：
13.在外部情报数据中，对于不够完整的威胁情报，若没有注明恶意软件威胁类型的
情报源进行打上恶意标签、恶意软件家族、置信度和设定的处理逻辑并更新时间。
14.上述方案中，进一步可选的，所述对所述外部情报和内部情报进行去白鉴黑还包括：根据预先得到的权威白名单去除置信度低于第二预设阈值置信度的情报。
15.上述方案中，进一步可选的，所述数据交叉验证方式具体为：对同一个情报且有不同的恶意标签的情报，对该情报先按照数据源置信度，该情报已有置信度和更新时间设置情报置信度，再进行多引擎交叉验证进一步调整置信度，并根据数据源置信度调整未填充的恶意软件家族信息。
16.上述方案中，进一步可选的，所述维度扩展具体包括：
17.对于不同类型的外部情报对其地理位置信息，dns信息，whois/asn信息进行扩展；
18.按照恶意软件家族，标签等量化威胁等级，扩展所述内部情报和外部情报恶意信息和处置建议。
19.上述方案中，进一步可选的，所述对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营具体为：对所述外部情报和内部情报进行定时更新交叉关联，并在运营过程中调整标签，威胁等级。
20.上述方案中，进一步可选的，所述方法还包括：对于内部情报，误报和验证过期的情报启用上下线功能，形成iocs的生命周期闭环。
21.第二方面，一种威胁情报自动采集系统，所述系统包括：
22.采集模块：用于获取情报来源；
23.判断模块：用于若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
24.处理模块：用于对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
25.运营模块：用于对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
26.第三方面，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
27.获取情报来源；
28.若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；
29.若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
30.对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；
31.对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
32.对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
33.第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
34.获取情报来源；
35.若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；
36.若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
37.对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；
38.对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
39.对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
40.本发明至少具有以下有益效果：
41.本发明基于对现有技术问题的进一步分析和研究，认识到威胁情报产品的输出以ioc为主要部分，但由于网络中存在着大量的情报，它们的结构不同、关注方向不同、可信度不同、情报内容不同、情报的来源也是千奇百怪，这使得威胁情报在实际的运用中面临许多问题，而这其中的关键问题在于，在现阶段无法统一有效的提取出威胁情报中能够应用的关键信息，目前虽有很多开源产品可用于收集，但很难根据具体的需求定制化扩展。本发明通过获取情报来源，若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报，若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估，对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报，对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展，对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。通过本发明技术方案可以实现快速建设威胁情报平台，便于取证和预测和网络环境中的潜在威胁，在大量的告警信息中为安全防御和决策提供了有价值的信息，更加快速应对和响应安全事件。
附图说明
42.图1为本发明一个实施例提供的威胁情报自动采集方法的工作流程图；
43.图2为本发明一个实施例提供的威胁情报自动采集方法的流程示意图；
44.图3为一个实施例中计算机设备的内部结构图。
具体实施方式
45.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
46.本技术提供的威胁情报自动采集方法，在一个实施例中，如图2所示，提供了一种威胁情报自动采集方法，包括以下步骤：
47.获取情报来源，若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报，若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估，对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报，对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展，对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。对于内部情报，误报和验证过期的情报启用上下线功能，形成iocs的生命周期闭环。
48.其中，对所述外部情报数据源级别数据扩充包括：在外部情报数据中，对于不够完整的威胁情报，若没有注明恶意软件威胁类型的情报源进行打上恶意标签、恶意软件家族、置信度和设定的处理逻辑并更新时间。
49.其中，对所述外部情报和内部情报进行去白鉴黑还包括：根据预先得到的权威白名单去除置信度低于第二预设阈值置信度的情报。
50.其中，数据交叉验证方式具体为：对同一个情报且有不同的恶意标签的情报，对该情报先按照数据源置信度，该情报已有置信度和更新时间设置情报置信度，再进行多引擎交叉验证进一步调整置信度，并根据数据源置信度调整未填充的恶意软件家族信息。
51.其中，所述维度扩展具体包括：对于不同类型的外部情报对其地理位置信息，dns信息，whois/asn信息进行扩展；按照恶意软件家族，标签等量化威胁等级，扩展所述内部情报和外部情报恶意信息和处置建议。
52.其中，所述对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营具体为：对所述外部情报和内部情报进行定时更新交叉关联，并在运营过程中调整标签，威胁等级。
53.上述威胁情报自动采集方法中，基于对现有技术问题的进一步分析和研究，认识到威胁情报产品的输出以ioc为主要部分，但由于网络中存在着大量的情报，它们的结构不同、关注方向不同、可信度不同、情报内容不同、情报的来源也是千奇百怪，这使得威胁情报在实际的运用中面临许多问题，而这其中的关键问题在于，在现阶段无法统一有效的提取出威胁情报中能够应用的关键信息，目前虽有很多开源产品可用于收集，但很难根据具体的需求定制化扩展。
54.本实施例通过获取情报来源，若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报，若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估，对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报，对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展，对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。通过本发明技术方案可以实现快速建设威胁情报平台，便于取证和预测和网络环境中的潜在威胁，在大量的告警信息中为安全防御和决策提供了有价值的信息，更加快速应对和响应安全事件。
55.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这
些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤和者多个阶段，这些步骤和者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤和者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤和者其它步骤中的步骤和者阶段的至少一部分轮流和者交替地执行。
56.在一个实施例中，提供了一种威胁情报自动采集系统，包括以下程序模块：
57.采集模块：用于获取情报来源；
58.判断模块：用于若所述情报为外部情报，则对所述外部情报数据源级别数据扩充，并解析数据源元数据，按照设定的数据处理逻辑收集情报，并定期更新所述外部情报；若所述情报为内部情报，则对所述内部情报进行沙箱动态鉴定，完成内部情报威胁的等级评估；
59.处理模块：用于对所述外部情报和内部情报进行去白鉴黑，提高所述外部情报和内部情报中黑名单的置信度，筛选出高于第一预设阈值置信度的黑名单对应的外部情报和内部情报；对所述筛选出高于预设阈值置信度的黑名单对应的外部情报和内部情报进行数据交叉验证及维度扩展；
60.运营模块：用于对进行数据交叉验证及维度扩展后的外部情报和内部情报进行运营。
61.关于威胁情报自动采集系统的具体限定可以参见上文中对于威胁情报自动采集方法的限定，在此不再赘述。上述威胁情报自动采集系统中的各个模块可全部和部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于和独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
62.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入系统。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线和无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)和其他技术实现。该计算机程序被处理器执行时以实现一种威胁情报自动采集方法。该计算机设备的显示屏可以是液晶显示屏和者电子墨水显示屏，该计算机设备的输入系统可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球和触控板，还可以是外接的键盘、触控板和鼠标等。
63.本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多和更少的部件，和者组合某些部件，和者具有不同的部件布置。
64.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，涉及上述实施例方法中的全部和部分流程。
65.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，涉及上述实施例方法中的全部和部分流程。
66.本领域普通技术人员可以理解实现上述实施例方法中的全部和部分流程，是可以
通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库和其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存和光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)和外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)和动态随机存取存储器(dynamic random access memory，dram)等。
67.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
68.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。