一种暗网情报的挖掘方法、装置、设备和介质与流程

1.本技术涉及网络安全技术领域，特别是涉及一种暗网情报的挖掘方法、装置、设备和计算机可读存储介质。


背景技术：

2.近年来，全球范围内出现多种匿名网络空间技术，如应用洋葱路由技术实现匿名通信的开源框架(the onion router，tor)、完全分布式的点对点(peer-to-peer，p2p)匿名发布网络(freenet)、以p2p为基础网络架构建立的分布式通信网络(zeronet)等，并且伴随着比特币、门罗币等加密货币的广泛流通和成熟应用，彻底改变了黑客地下市场生态。这些技术的匿名性为黑客提供了天然的保护伞，让黑客可以在更灵活和安全的平台环境下交流与合作。与此同时，这种开放性的变革给安全行业也提供了机会，打开了“监控”的窗口，可以从黑客视角更清晰地洞察地下黑产的趋势和动向，作为威胁情报体系的输入。
3.传统方式中通过将网络节点加入一些与暗网、黑客、黑产相关的群体，以近距离接触这些群体的方式，获取暗网情报。但是该种方式获取的暗网情报较为片面，并且暗网情报中往往包含较多的无效信息，使得暗网情报的应用价值较低。
4.可见，如何提升暗网情报的应用价值，是本领域技术人员需要解决的问题。


技术实现要素：

5.本技术实施例的目的是提供一种暗网情报的挖掘方法、装置、设备和计算机可读存储介质，可以提升暗网情报的应用价值。
6.为解决上述技术问题，本技术实施例提供一种暗网情报的挖掘方法，包括：
7.按照设定的暗网访问规则，采集暗网数据；
8.依据设定的数据种类对所述暗网数据进行过滤，得到有效暗网数据；
9.基于设置的情报价值库，对所述有效暗网数据进行分类处理；其中，所述情报价值库包括多种历史情报的情报类型、历史数据特征和优先级信息，以及所述历史情报的情报类型、所述历史数据特征和所述优先级信息之间的对应关系。
10.可选地，所述基于设置的情报价值库，对所述有效暗网数据进行分类处理包括：
11.提取所述有效暗网数据的数据特征；
12.根据所述有效暗网数据的数据特征，从所述情报价值库查找与所述有效暗网数据的数据特征匹配的情报类型和优先级信息。
13.可选地，在所述基于设置的情报价值库，对所述有效暗网数据进行分类处理之后还包括：
14.按照设定的存储格式，将所述有效暗网数据及其对应的情报类型和优先级信息作为暗网情报入库存储。
15.可选地，在所述基于设置的情报价值库，对所述有效暗网数据进行分类处理之后还包括：
16.获取优化指令；其中，所述优化指令中携带有待优化的历史数据特征和/或优先级信息；
17.利用所述待优化的历史数据特征和/或优先级信息，对所述情报价值库中相应的历史数据特征和优先级信息进行调整。
18.可选地，在所述基于设置的情报价值库，对所述有效暗网数据进行分类处理之后还包括：
19.获取所述有效暗网数据对应的分析报告；其中，所述分析报告中包含客户端信息、所述有效暗网数据对应的入侵方式和解决方案；
20.按照客户类型对应的方式反馈所述分析报告；所述客户类型为所述客户端信息所属的客户类型。
21.可选地，所述按照设定的暗网访问规则，采集暗网数据包括：
22.依据暗网服务和暗网连接需求，建立暗网访问渠道；
23.按照设定的反爬取机制，基于所述暗网访问渠道捕获暗网数据。
24.可选地，所述依据暗网服务和暗网连接需求，建立暗网访问渠道包括：
25.在网络节点上下载暗网服务；
26.基于暗网连接需求，对所述网络节点进行连接设置，以使所述网络节点转换为暗网网络节点；
27.将所述暗网网络节点、资源收集渠道以及加入暗网相关群体的网络节点作为暗网访问渠道。
28.本技术实施例还提供了一种暗网情报的挖掘装置，包括采集单元、过滤单元和处理单元；
29.所述采集单元，用于按照设定的暗网访问规则，采集暗网数据；
30.所述过滤单元，用于依据设定的数据种类对所述暗网数据进行过滤，得到有效暗网数据；
31.所述处理单元，用于基于设置的情报价值库，对所述有效暗网数据进行分类处理；其中，所述情报价值库包括多种历史情报的情报类型、历史数据特征和优先级信息，以及所述历史情报的情报类型、所述历史数据特征和所述优先级信息之间的对应关系。
32.可选地，所述处理单元包括提取子单元和查找子单元；
33.所述提取子单元，用于提取所述有效暗网数据的数据特征；
34.所述查找子单元，用于根据所述有效暗网数据的数据特征，从所述情报价值库查找与所述有效暗网数据的数据特征匹配的情报类型和优先级信息。
35.可选地，还包括存储单元；
36.所述存储单元，用于按照设定的存储格式，将所述有效暗网数据及其对应的情报类型和优先级信息作为暗网情报入库存储。
37.可选地，还包括指令获取单元和调整单元；
38.所述指令获取单元，用于获取优化指令；其中，所述优化指令中携带有待优化的历史数据特征和/或优先级信息；
39.所述调整单元，用于利用所述待优化的历史数据特征和/或优先级信息，对所述情报价值库中相应的历史数据特征和优先级信息进行调整。
40.可选地，在所述基于设置的情报价值库，对所述有效暗网数据进行分类处理之后还包括报告获取单元和反馈单元；
41.所述报告获取单元，用于获取所述有效暗网数据对应的分析报告；其中，所述分析报告中包含客户端信息、所述有效暗网数据对应的入侵方式和解决方案；
42.所述反馈单元，用于按照客户类型对应的方式反馈所述分析报告；所述客户类型为所述客户端信息所属的客户类型。
43.可选地，所述采集单元包括建立子单元和捕获子单元；
44.所述建立子单元，用于依据暗网服务和暗网连接需求，建立暗网访问渠道；
45.所述捕获子单元，用于按照设定的反爬取机制，基于所述暗网访问渠道捕获暗网数据。
46.可选地，所述建立子单元用于在网络节点上下载暗网服务；基于暗网连接需求，对所述网络节点进行连接设置，以使所述网络节点转换为暗网网络节点；将所述暗网网络节点、资源收集渠道以及加入暗网相关群体的网络节点作为暗网访问渠道。
47.本技术实施例还提供了一种暗网情报的挖掘设备，包括：
48.存储器，用于存储计算机程序；
49.处理器，用于执行所述计算机程序以实现如上述任意一项所述暗网情报的挖掘方法的步骤。
50.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任意一项所述暗网情报的挖掘方法的步骤。
51.由上述技术方案可以看出，按照设定的暗网访问规则，采集暗网数据。暗网数据中包含的数据类型往往有多种，可以依据设定的数据种类对暗网数据进行过滤，得到有效暗网数据，例如，将利用价值较低的数据类型设定好，从而过滤得到价值较高的数据类型。有效暗网数据的数据量往往较大，直接交付至管理人员分析时，可能会导致一些重要情报信息不能及时被发现和处理，因此在该技术方案中可以设置包括多种历史情报的情报类型、历史数据特征和优先级信息，以及历史情报的情报类型、历史数据特征和优先级信息之间的对应关系的情报价值库，在得到有效暗网数据之后，可以基于设置的情报价值库，对有效暗网数据进行分类处理。在该技术方案中，暗网访问规则可以基于暗网的访问需求设置，可以实现对暗网数据的全面挖掘。并且通过对挖掘的暗网数据进行过滤以及分类处理，提升了暗网情报的应用价值。
附图说明
52.为了更清楚地说明本技术实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1为本技术实施例提供的一种暗网情报挖掘的场景示意图；
54.图2为本技术实施例提供的一种暗网情报的挖掘方法的流程图；
55.图3为本技术实施例提供的一种暗网情报的挖掘装置的结构示意图；
56.图4为本技术实施例提供的一种暗网情报的挖掘设备的结构示意图。
具体实施方式
57.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下，所获得的所有其他实施例，都属于本技术保护范围。
58.为了使本技术领域的人员更好地理解本技术方案，下面结合附图和具体实施方式对本技术作进一步的详细说明。
59.暗网情报是维护网络安全的重要信息，传统方式获取的暗网情报往往较为片面，并且暗网情报中往往包含较多的无效信息，使得暗网情报的应用价值较低。
60.因此，本技术实施例提供了一种暗网情报的挖掘方法、装置、设备和计算机可读存储介质。图1为本技术实施例提供的一种暗网情报挖掘的场景示意图，为了更加全面获取暗网数据，可以根据暗网的访问需求设定暗网访问规则，以采集暗网系统中的暗网数据。暗网数据中包含的数据类型往往有多种，可以将利用价值较低的数据类型设定好，从而依据设定好的数据种类对暗网数据进行过滤，得到有效暗网数据。
61.在本技术实施例中，可以设置包括多种历史情报的情报类型、历史数据特征和优先级信息，以及历史情报的情报类型、历史数据特征和优先级信息之间的对应关系的情报价值库，图1中是以m种历史情报类型为例，每种情报类型有其对应的历史数据特征和优先级信息，图1中采用不同的数字后缀来区分不同历史情报类型以及历史数据特征和优先级信息。基于设置的情报价值库，对有效暗网数据进行分类处理，可以确定出有效暗网数据所属的情报类型和优先级信息。通过对挖掘的暗网数据进行过滤以及分类处理，提升了暗网情报的应用价值。
62.接下来，详细介绍本技术实施例所提供的一种暗网情报的挖掘方法。图2为本技术实施例提供的一种暗网情报的挖掘方法的流程图，该方法包括：
63.s201：按照设定的暗网访问规则，采集暗网数据。
64.在本技术实施例中，可以根据暗网的访问需求设定暗网访问规则，例如，暗网访问规则中可以包括暗网服务和暗网连接需求等。暗网服务指的是实现与暗网交互时网络节点上应该部署的服务；暗网连接需求指的是与暗网系统建立连接时的要求。
65.网络节点按照暗网访问规则设置，可以实现对暗网的访问从而采集到暗网数据。
66.s202：依据设定的数据种类对暗网数据进行过滤，得到有效暗网数据。
67.本技术实施例主要是为了获取有价值的暗网数据，因此在实际应用中，可以预先将利用价值较低的数据类型设定好，依据设定好的数据种类对暗网数据进行过滤，将利用价值较低的数据类型对应的数据从暗网数据中删除，剩下的数据均为利用价值较高的数据。为了便于区分，可以将过滤后的暗网数据称作有效暗网数据。
68.s203：基于设置的情报价值库，对有效暗网数据进行分类处理。
69.有效暗网数据的数据量往往较大，直接交付至管理人员分析时，可能会导致一些重要情报信息不能及时被发现和处理，因此在本技术实施例中可以预先设置包括多种历史情报的情报类型、历史数据特征和优先级信息，以及历史情报的情报类型、历史数据特征和优先级信息之间的对应关系的情报价值库。
70.以网络安全相关的暗网情报为例，历史情报类型可以包括敏感数据泄露，0-day
(已经被发现但是官方还未给出补丁的漏洞)、n-day(官方给出补丁，但由于部分用户未打补丁，仍存在一定影响的漏洞)利用，流行黑客资源、技术以及恶意软件等。
71.在实际应用中，可以对各情报类型设置优先级。考虑到每种情报类型对应的数据特征往往有多个，根据实际需求，也可以对同种情报类型中的每个数据特征设置其对应的优先级。
72.在得到有效暗网数据之后，可以基于情报价值库，对有效暗网数据进行分类处理，从而得到有效暗网数据对应的情报类型和优先级信息。
73.由上述技术方案可以看出，按照设定的暗网访问规则，采集暗网数据。暗网数据中包含的数据类型往往有多种，可以依据设定的数据种类对暗网数据进行过滤，得到有效暗网数据，例如，将利用价值较低的数据类型设定好，从而过滤得到价值较高的数据类型。有效暗网数据的数据量往往较大，直接交付至管理人员分析时，可能会导致一些重要情报信息不能及时被发现和处理，因此在该技术方案中可以设置包括多种历史情报的情报类型、历史数据特征和优先级信息，以及历史情报的情报类型、历史数据特征和优先级信息之间的对应关系的情报价值库，在得到有效暗网数据之后，可以基于设置的情报价值库，对有效暗网数据进行分类处理。在该技术方案中，暗网访问规则可以基于暗网的访问需求设置，可以实现对暗网数据的全面挖掘。并且通过对挖掘的暗网数据进行过滤以及分类处理，提升了暗网情报的应用价值。
74.在本技术实施例中，可以将历史数据特征及其所属的历史情报类型和优先级信息按照键值对的方式存储。在对有效暗网数据进行分类处理时，可以提取有效暗网数据的数据特征；根据有效暗网数据的数据特征，从情报价值库查找与有效暗网数据的数据特征匹配的情报类型和优先级信息。
75.提取有效暗网数据的数据特征，可以包括对有效暗网数据进行数据拆分，并将重复的数据剔除。
76.在实际应用中，可以按照数据检索方式，查找与有效暗网数据的数据特征匹配的情报类型和优先级信息。其中，数据检索方式可以包括自然语言处理技术(natural language processing)或者信息检索技术等。
77.利用数据检索方式，可以从情报价值库查找与数据特征匹配的历史数据特征，该历史特征数据所属的历史情报类型和优先级信息即为该数据特征的情报类型和优先级信息。
78.在本技术实施例中，通过提取数据特征可以将有效暗网数据拆分成较小的数据单元，更加方便与情报价值库中记录的历史数据特征进行匹配，从而可以快速准确的查找到有效暗网数据所对应的情报类型和优先级信息。
79.在本技术实施例中，为了便于后续管理人员对分类处理后的有效暗网数据进行调取，可以按照设定的存储格式，将有效暗网数据及其对应的情报类型和优先级信息作为暗网情报入库存储。
80.管理人员可以对暗网情报进行进一步的分析，从而挖掘出明确的价值点。在此基础上，对于暗网情报的挖掘方式若存在需要完善的内容，管理人员可以向系统反馈优化指令。系统获取到携带有待优化的历史数据特征和/或优先级信息；可以利用待优化的历史数据特征和/或优先级信息，对情报价值库中相应的历史数据特征和优先级信息进行调整。
81.基于管理人员的反馈，可以对情报价值库进行不断的完善，从而基于情报价值库可以更加准确地对有效暗网数据进行分类处理。
82.在实际应用中，管理人员可以对分类处理后的有效暗网数据进行分析，提取出有效暗网数据包含的客户端信息，并且基于有效暗网数据分析其对应的入侵方式，并提供解决方案。管理人员可以将包含客户端信息、有效暗网数据对应的入侵方式和解决方案的分析报告上传系统。
83.系统获取有效暗网数据对应的分析报告之后，可以按照客户类型对应的方式反馈分析报告；客户类型为客户端信息所属的客户类型。
84.客户类型可以包括系统维护的客户端和陌生客户端。陌生客户端即为系统并不需要维护的客户端。
85.在本技术实施例中，可以根据不同的客户端类型设置不同的反馈方式。
86.举例说明，假设当前有效暗网数据的情报类型为数据泄露，有效暗网数据中往往包含数据泄露的客户端名称。当客户端属于本系统维护的客户端时，可以直接向该客户端反馈分析报告；当客户端不属于本系统维护的客户端时，可以向该客户端反馈告警提示信息，接收到该客户端的索取请求之后或者接收到该客户端支付的安全费用之后，向该客户端反馈分析报告。
87.在本技术实施例中，除了向客户端反馈分析报告，也可以向web页面反馈分析报告。
88.基于客户类型的不同，采用不同的方式反馈分析报告，可以很好的区分本系统维护的客户端和不属于本系统维护的客户端，保证本系统维护的客户端具有良好的客户体验。
89.在本技术实施例中，可以依据暗网服务和暗网连接需求，建立暗网访问渠道。
90.以一个网络节点为例，可以在该网络节点上下载暗网服务；基于暗网连接需求，对网络节点进行连接设置，以使该网络节点转换为暗网网络节点，实现对暗网的访问，从而获取到暗网数据。
91.暗网连接需求可以包括与暗网系统建立连接时的要求。举例说明，与暗网建立连接时，除了输入用户名和密码外，往往还需要输入暗网特定的图形验证码。因此，在实际应用中，可以通过本地识别或者第三方识别的方式提前获取图形验证码，以便于在与暗网系统建立连接时，可以正确的输入连接暗网所需的用户名、密码以及图形验证码。
92.除了设置伪装的暗网网络节点外，在本技术实施例中，可以一并将常规的资源收集渠道以及加入暗网相关群体的网络节点作为暗网访问渠道。
93.考虑到暗网系统具有反爬取机制，按照传统的数据爬取方式往往无法采集到暗网数据，因此，在本技术实施例中，可以按照设定的反爬取机制，基于暗网访问渠道捕获暗网数据。
94.其中，反爬取机制可以包括将网络节点的ip进行匿名或者是定时切换ip。
95.在本技术实施例中，通过将常规的资源收集渠道、加入暗网相关群体的网络节点以及伪装的暗网网络节点作为暗网访问渠道，可以实现对暗网数据的全面采集。并且设置反爬取机制，可以保证暗网数据的有效捕获。
96.图3为本技术实施例提供的一种暗网情报的挖掘装置的结构示意图，包括采集单
元31、过滤单元32和处理单元33；
97.采集单元31，用于按照设定的暗网访问规则，采集暗网数据；
98.过滤单元32，用于依据设定的数据种类对暗网数据进行过滤，得到有效暗网数据；
99.处理单元33，用于基于设置的情报价值库，对有效暗网数据进行分类处理；其中，情报价值库包括多种历史情报的情报类型、历史数据特征和优先级信息，以及历史情报的情报类型、历史数据特征和优先级信息之间的对应关系。
100.可选地，处理单元包括提取子单元和查找子单元；
101.提取子单元，用于提取有效暗网数据的数据特征；
102.查找子单元，用于根据有效暗网数据的数据特征，从情报价值库查找与有效暗网数据的数据特征匹配的情报类型和优先级信息。
103.可选地，还包括存储单元；
104.存储单元，用于按照设定的存储格式，将有效暗网数据及其对应的情报类型和优先级信息作为暗网情报入库存储。
105.可选地，还包括指令获取单元和调整单元；
106.指令获取单元，用于获取优化指令；其中，优化指令中携带有待优化的历史数据特征和/或优先级信息；
107.调整单元，用于利用待优化的历史数据特征和/或优先级信息，对情报价值库中相应的历史数据特征和优先级信息进行调整。
108.可选地，在基于设置的情报价值库，对有效暗网数据进行分类处理之后还包括报告获取单元和反馈单元；
109.报告获取单元，用于获取有效暗网数据对应的分析报告；其中，分析报告中包含客户端信息、有效暗网数据对应的入侵方式和解决方案；
110.反馈单元，用于按照客户类型对应的方式反馈分析报告；客户类型为客户端信息所属的客户类型。
111.可选地，采集单元包括建立子单元和捕获子单元；
112.建立子单元，用于依据暗网服务和暗网连接需求，建立暗网访问渠道；
113.捕获子单元，用于按照设定的反爬取机制，基于暗网访问渠道捕获暗网数据。
114.可选地，建立子单元用于在网络节点上下载暗网服务；基于暗网连接需求，对网络节点进行连接设置，以使网络节点转换为暗网网络节点；将暗网网络节点、资源收集渠道以及加入暗网相关群体的网络节点作为暗网访问渠道。
115.图3所对应实施例中特征的说明可以参见图2所对应实施例的相关说明，这里不再一一赘述。
116.由上述技术方案可以看出，按照设定的暗网访问规则，采集暗网数据。暗网数据中包含的数据类型往往有多种，可以依据设定的数据种类对暗网数据进行过滤，得到有效暗网数据，例如，将利用价值较低的数据类型设定好，从而过滤得到价值较高的数据类型。有效暗网数据的数据量往往较大，直接交付至管理人员分析时，可能会导致一些重要情报信息不能及时被发现和处理，因此在该技术方案中可以设置包括多种历史情报的情报类型、历史数据特征和优先级信息，以及历史情报的情报类型、历史数据特征和优先级信息之间的对应关系的情报价值库，在得到有效暗网数据之后，可以基于设置的情报价值库，对有效
暗网数据进行分类处理。在该技术方案中，暗网访问规则可以基于暗网的访问需求设置，可以实现对暗网数据的全面挖掘。并且通过对挖掘的暗网数据进行过滤以及分类处理，提升了暗网情报的应用价值。
117.图4为本技术实施例提供的一种暗网情报的挖掘设备40的结构示意图，包括：
118.存储器41，用于存储计算机程序；
119.处理器42，用于执行计算机程序以实现如上述任意一项暗网情报的挖掘方法的步骤。
120.本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述任意一项暗网情报的挖掘方法的步骤。
121.以上对本技术实施例所提供的一种暗网情报的挖掘方法、装置、设备和计算机可读存储介质进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
122.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
123.结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。