情报源数据质量评估方法、装置、设备及存储介质与流程

1.本发明涉及数据处理技术领域，尤其涉及一种情报源数据质量评估方法、装置、设备及存储介质。


背景技术：

2.情报是有效解决降低报警量、提升运营效率与处置精度的有效方式之一。以ioc情报(indicators of compromise)为例，其代表已经失陷、对客户造成实际影响的情报数据，是客户关注的重点之一。随着威胁情报越来越多的被客户认知，诸多厂商开始提供威胁情报数据。然而，厂商之间的安全能力不同，导致提供给客户的情报质量参差不齐。比如，有的厂商以未经验证的开源情报或互联网公开的事件报告作为数据源，有的则根据情报社区收集个人共享的情报，还有根据人工智能(artificial intelligence，ai)算法生成等等方式而来。另外，虽然国际上有情报共享的标准规范，但国际实际执行中对情报的格式规范没有形成实质上的统一，而实际用户会存在购买多家情报以提升覆盖率的需求。因此，基于以上两点，造成了各情报提供方数据传输格式和数据质量上的差异。
3.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

4.本发明的主要目的在于提出一种情报源数据质量评估方法、装置、设备及存储介质，旨在解决现有技术中各情报提供方的数据传输格式和数据质量上存在差异，客户无法有效进行甄别的技术问题。
5.为实现上述目的，本发明提供一种情报源数据质量评估方法，所述情报源数据质量评估方法包括以下步骤：
6.获取多个情报源提供的情报数据；
7.将所述情报数据转换成统一的情报格式，得到待处理情报数据；
8.根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果；
9.根据所述检测信息和所述检测结果生成检测日志；
10.根据所述检测日志对各情报源的数据质量进行评估。
11.可选地，所述根据所述检测信息和所述检测结果生成检测日志，包括：
12.根据所述检测信息和所述检测结果生成检测展示信息，并对所述检测展示信息进行展示；
13.接收技术人员基于展示的检测展示信息输入的人读分析信息；
14.根据所述检测结果进行机读研判，得到机读研判信息；
15.根据所述人读分析信息和所述机读研判信息生成检测日志。
16.可选地，所述根据所述检测日志对各情报源的数据质量进行评估，包括：
17.从所述检测日志中提取出各情报源对应的待处理检测日志；
18.分别将各情报源对应的待处理检测日志进行合并处理，得到各情报源对应的目标检测日志；
19.根据所述目标检测日志对各情报源的数据质量进行评估。
20.可选地，所述根据所述目标检测日志对各情报源的数据质量进行评估，包括：
21.获取多个评价指标，并从所述目标检测日志中提取与各评价指标对应的评价数据；
22.根据所述评价数据确定各评价指标对应的指标得分；
23.根据所述指标得分确定各情报源对应的数据质量得分，以实现对各情报源的数据质量进行评估。
24.可选地，所述评价指标包括：正向评价指标和负面评价指标；
25.所述根据所述指标得分确定各情报源对应的数据质量得分，包括：
26.将各正向评价指标对应的指标得分相加，得到第一得分和；
27.将各负面评价指标对应的指标得分相加，得到第二得分和；
28.将所述第一得分和与所述第二得分和相减，得到各情报源对应的数据质量得分。
29.可选地，所述根据所述检测日志对各情报源的数据质量进行评估之后，还包括：
30.根据各情报源对应的评估结果配置与各情报源对应的管理策略；
31.根据所述管理策略来获取各情报源提供的情报数据。
32.可选地，所述获取多个情报源提供的情报数据，包括：
33.获取多个情报源对应的情报源类型；
34.根据所述情报源类型查找各情报源对应的数据获取方式；
35.根据所述数据获取方式获取各情报源提供的情报数据。
36.可选地，所述根据所述待处理情报数据进行准确性检测，包括：
37.根据所述待处理情报数据进行字段整理和字段映射，得到目标情报数据；
38.获取当前检测策略，并根据所述当前检测策略和所述目标情报数据进行准确性检测。
39.可选地，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
40.在所述当前检测策略为第一预设检测策略时，将预设情报源对应的目标情报数据作为正确情报数据；
41.将除所述预设情报源之外的其他情报源作为待比较情报源；
42.将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
43.可选地，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
44.在所述当前检测策略为第二预设检测策略时，检测所述目标情报数据中是否存在预设情报字段；
45.在所述目标情报数据中存在预设情报字段时，将存在预设情报字段的目标情报数据作为正确情报数据；
46.将所述正确情报数据对应的情报源作为候选情报源，并将除所述候选情报源之外的其他情报源作为待比较情报源；
47.将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
48.可选地，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
49.在所述当前检测策略为第三预设检测策略时，将各情报源对应的目标情报数据进行比较，确定正确情报数据；
50.将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
51.可选地，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
52.在所述当前检测策略为第四预设检测策略时，获取各情报源对应的权重；
53.根据各情报源对应的权重和各情报源对应的目标情报数据确定正确情报数据；
54.将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
55.可选地，所述获取各情报源对应的权重，包括：
56.获取各情报源的历史情报信息对应的历史检测结果，并获取各情报源对应的目标情报数据中的数据内容信息；
57.根据所述历史检测结果和所述数据内容信息确定各情报源对应的权重。
58.此外，为实现上述目的，本发明还提出一种情报源数据质量评估装置，所述情报源数据质量评估装置包括：
59.数据获取模块，用于获取多个情报源提供的情报数据；
60.格式转换模块，用于将所述情报数据转换成统一的情报格式，得到待处理情报数据；
61.数据检测模块，用于根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果；
62.日志生成模块，用于根据所述检测信息和所述检测结果生成检测日志；
63.质量评估模块，用于根据所述检测日志对各情报源的数据质量进行评估。
64.可选地，所述日志生成模块，还用于根据所述检测信息和所述检测结果生成检测展示信息，并对所述检测展示信息进行展示；接收技术人员基于展示的检测展示信息输入的人读分析信息；根据所述检测结果进行机读研判，得到机读研判信息；根据所述人读分析信息和所述机读研判信息生成检测日志。
65.可选地，所述质量评估模块，还用于从所述检测日志中提取出各情报源对应的待处理检测日志；分别将各情报源对应的待处理检测日志进行合并处理，得到各情报源对应的目标检测日志；根据所述目标检测日志对各情报源的数据质量进行评估。
66.可选地，所述质量评估模块，还用于获取多个评价指标，并从所述目标检测日志中提取与各评价指标对应的评价数据；根据所述评价数据确定各评价指标对应的指标得分；根据所述指标得分确定各情报源对应的数据质量得分，以实现对各情报源的数据质量进行评估。
67.可选地，所述评价指标包括：正向评价指标和负面评价指标；所述质量评估模块，还用于将各正向评价指标对应的指标得分相加，得到第一得分和；将各负面评价指标对应的指标得分相加，得到第二得分和；将所述第一得分和与所述第二得分和相减，得到各情报
源对应的数据质量得分。
68.此外，为实现上述目的，本发明还提出一种情报源数据质量评估设备，所述情报源数据质量评估设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情报源数据质量评估程序，所述情报源数据质量评估程序被处理器执行时实现如上所述的情报源数据质量评估方法。
69.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有情报源数据质量评估程序，所述情报源数据质量评估程序被处理器执行时实现如上所述的情报源数据质量评估方法。
70.本发明提出的情报源数据质量评估方法，通过获取多个情报源提供的情报数据；将所述情报数据转换成统一的情报格式，得到待处理情报数据；根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果；根据所述检测信息和所述检测结果生成检测日志；根据所述检测日志对各情报源的数据质量进行评估，从而可将各情报源提供的情报数据转换成统一的情报格式，并进行准确性检测生成检测日志，并根据检测日志来评估各情报源的数据质量，可对各情报源的数据质量进行甄别，减少客户的使用成本。
附图说明
71.图1是本发明实施例方案涉及的硬件运行环境的情报源数据质量评估设备结构示意图；
72.图2为本发明情报源数据质量评估方法第一实施例的流程示意图；
73.图3为本发明情报源数据质量评估方法一实施例的整体流程示意图；
74.图4为本发明情报源数据质量评估方法第二实施例的流程示意图；
75.图5为本发明情报源数据质量评估方法一实施例的数据质量得分示意图；
76.图6为本发明情报源数据质量评估方法第三实施例的流程示意图；
77.图7为本发明情报源数据质量评估装置第一实施例的功能模块示意图。
78.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
79.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
80.参照图1，图1为本发明实施例方案涉及的硬件运行环境的情报源数据质量评估设备结构示意图。
81.如图1所示，该情报源数据质量评估设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速随机存取存储器(random access memory，ram)，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
82.本领域技术人员可以理解，图1中示出的设备结构并不构成对情报源数据质量评估设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
83.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及情报源数据质量评估程序。
84.在图1所示的情报源数据质量评估设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的情报源数据质量评估程序，并执行本发明实施例提供的情报源数据质量评估方法。
85.基于上述硬件结构，提出本发明情报源数据质量评估方法实施例。
86.参照图2，图2为本发明情报源数据质量评估方法第一实施例的流程示意图。
87.在第一实施例中，所述情报源数据质量评估方法包括以下步骤：
88.步骤s10，获取多个情报源提供的情报数据。
89.需要说明的是，本实施例的执行主体可为情报源数据质量评估设备，例如具有数据处理功能的计算机设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以计算机设备为例进行说明。
90.需要说明的是，本方案针对的场景是：在同时存在多个情报源的时候，帮助客户甄别不同情报源的数据质量，从而减少使用成本、降低财务成本，通过本方案中的情报源数据质量评估体系，可以指导客户对情报源在实际生产中的权重和生命周期进行配置。
91.应当理解的是，本实施例中的情报源可以包括360加密数据、监管侧及用户侧自有明文数据，以及商业源和开源api接口，除此之外，还可包括其他更多的情报源，本实施例对此不作限制。
92.在具体实现中，可如图3所示，图3为整体流程示意图，图3中包括五个情报源，分别为360数据、监管单位、用户数据、商业源b以及开源数据a。其中，图3中的db指的是数据包、压缩包等形式的数据，api指的是从api接口获取的数据。
93.进一步地，为了提高数据获取的效率，针对不同类型的数据源，可以采用不同的数据获取方式从该数据源获取情报数据，所述s10，包括：
94.获取多个情报源对应的情报源类型；根据所述情报源类型查找各情报源对应的数据获取方式；根据所述数据获取方式获取各情报源提供的情报数据。
95.可以理解的是，可对情报源进行遍历，以确定当前的多个情报源，然后分别获取这些情报源对应的情报源类型，进而根据情报源类型查找各情报源对应的数据获取方式。例如，可将情报源类型分为情报源类型a和情报源数据b两种，情报源类型a与第一数据获取方式对应，情报源类型b与第二数据获取方式对应。在确定当前的多个情报源对应的情报源类型之后，便可根据情报源类型与数据获取方式之间的对应关系确定当前的各情报源对应的数据数据获取方式，根据各情报源对应的数据获取方式来获取各情报源提供的情报数据，例如，如果该情报源对应情报源类型a，则通过第一数据获取方式来获取该情报源提供的情报数据。
96.需要说明的是，本方案还可对情报源进行多源生命周期管理，本实施例中的当前的多个情报源指的是已配置成功的情报源，即在获取情报源提供的情报数据之前需要先配
置情报源，对已配置成功的情报源，可以进行启用、停用，设置置信度(高、中、低、未知)，设置自动过期时间等设置，对已配置成功的list类情报源(仅有域名、hash等类型的情报源)，可设置其恶意类型，包括：好、坏、可疑、待确定、无信誉等，除了上述配置之外，还可进行其他配置，本实施例对此不作限制。
97.应当理解的是，在配置完成之后，还可对配置结果测试可用性，如果配置成功，则根据配置结果来获取各情报源提供的情报数据，如果配置错误，则可进行配置错误提示，以提示客户重新对情报源进行配置。
98.步骤s20，将所述情报数据转换成统一的情报格式，得到待处理情报数据。
99.应当理解的是，由于各情报源提供的情报数据的格式可能存在区别，不便于后续进行检测和评估，因此，可将各情报源提供的情报数据转换成统一的情报格式，并将处理后的情报数据称之为待处理情报数据。
100.在具体实现中，可将监管单位和开源数据api做落库操作，比如把kafka、excel、txt转成情报格式。其中，本实施例对情报格式的具体格式不作限制，该步骤的目的是为了让这些情报数据的格式统一，只要能够达到该目的即可，情报格式的具体格式可根据实际情况进行设置。
101.步骤s30，根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果。
102.应当理解的是，在得到各情报源对应的待处理情报数据之后，可根据这些待处理情报数据进行准确性检测，以检测各情报源提供的情报数据是否准确。可将准确性检测过程中的检测信息都记录下来，并且记录进行检测之后得到的检测结果。
103.步骤s40，根据所述检测信息和所述检测结果生成检测日志。
104.应当理解的是，在得到检测信息以及检测结果之后，可基于检测信息进行进一步的分析和研判，得到分析信息和研判信息，然后将检测信息、检测结果、分析信息以及研判信息相结合，得到检测日志。其中，检测日志中可记录有对情报数据进行检测、分析以及研判等过程对应的所有信息数据。
105.进一步地，为了在提高检测效果的同时提高性能，所述步骤s40，包括：
106.根据所述检测信息和所述检测结果生成检测展示信息，并对所述检测展示信息进行展示；接收技术人员基于展示的检测展示信息输入的人读分析信息；根据所述检测结果进行机读研判，得到机读研判信息；根据所述人读分析信息和所述机读研判信息生成检测日志。
107.可以理解的是，可分为人读分析和机读研判，人读分析指的是由人来进行分析，机读研判指的是由机器来进行研判。其中，由人来进行分析时，需要尽可能的了解更多情报数据对应的信息，通过全面的了解来确定检测结果出现的原因以及为什么会导致这样的问题等信息，因此，可根据检测信息和检测结果生成检测展示信息，并基于web化等方式对检测展示信息进行展示，技术人员根据检测展示信息便可获知全面的信息，然后根据这些信息进行分析，在分析完成之后输入人读分析信息。而为了提高机器设备的运行性能，只需要告知机器设备检测结果即可，由机器设备根据检测结果进行机读研判，得到机读研判信息。
108.可以理解的是，在通过上述方式得到人读分析信息和机读研判信息之后，可将检测信息、检测结果、人读分析信息以及机读研判信息结合起来，生成检测日志。
109.步骤s50，根据所述检测日志对各情报源的数据质量进行评估。
110.应当理解的是，在经过对各情报源提供的情报数据进行检测和分析之后，得到了检测日志，根据检测日志中记录的信息便可对各情报源的数据质量进行评估。例如，如果其中一个情报源提供的情报数据都比较准确的话，便可判定该情报源的数据质量较好。通过数据质量评估的方式，便可确定各情报源的数据质量情况。
111.可以理解的是，在得到各情报源对应的质量评估结果之后，可根据评估结果配置各情报源对应的管理策略，根据管理策略来进行生命周期管理，以获取各情报源提供的情报数据。例如，可根据管理策略来调整情报源的启用以及停用状态、置信度以及数据权重等配置，通过生命周期管理的方式来对各情报源的配置进行动态调整，使客户能得到更准确的情报数据。
112.在本实施例中，获取多个情报源提供的情报数据；将所述情报数据转换成统一的情报格式，得到待处理情报数据；根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果；根据所述检测信息和所述检测结果生成检测日志；根据所述检测日志对各情报源的数据质量进行评估，从而可将各情报源提供的情报数据转换成统一的情报格式，并进行准确性检测生成检测日志，并根据检测日志来评估各情报源的数据质量，可对各情报源的数据质量进行甄别，减少客户的使用成本。
113.在一实施例中，如图4所示，基于第一实施例提出本发明情报源数据质量评估方法第二实施例，所述步骤s50，包括：
114.步骤s501，从所述检测日志中提取出各情报源对应的待处理检测日志。
115.应当理解的是，可进行日志抽取，从检测日志从提取出各情报源对应的待处理检测日志，从而将这些待处理检测日志进行归类。
116.步骤s502，分别将各情报源对应的待处理检测日志进行合并处理，得到各情报源对应的目标检测日志。
117.可以理解的是，可分别将各情报源对应的待处理检测日志进行合并处理，从而得到各情报源对应的目标检测日志，例如，每个情报源都可以有一个对应的目标检测日志，该目标检测日志中记录有该情报源对应的所有检测信息和分析信息。
118.步骤s503，根据所述目标检测日志对各情报源的数据质量进行评估。
119.可以理解的是，可设置多个评价指标，并从目标检测日志中提取与各评价指标对应的评价数据，然后根据评价数据确定各情报源对应的数据质量得分，进而根据指标得分确定各情报源对应的数据质量得分，以实现对各情报源的数据质量进行评估。
120.在具体实现中，可如图5所示，图5为数据质量得分示意图，图5中包括5个评价指标，分别为：检出率、准确率、及时性、独特性以及上下文，其中，上下文还可细分为威胁类型、风险等级、置信度以及家族团伙等指标。在设置多个评价指标的同时还可为这些评价指标设置对应的权重，可根据评价指标的重要程度来设置权重，还可根据其他方式来设置权重，本实施例对此不作限制。
121.应当理解的是，为了提高多源评价的维度，还可将评价指标细分为正向评价指标和负面评价指标，例如，正向评价指标可包括：a1、检出量指标：去重后各源命中数量(单个源占总命中数的比例)；a2、检出威胁类型/风险等级指标：优先按风险等级；a3、检出数据的独特性指标：2n(某源特有)/n-m 1(n总源-m检出源数)/1(都检出)；a4、上下文指标：有家族
团伙信息，且与对应风险等级一致[可信度98.4％]，一致，有/无；a5、首次发现时间顺序(第一个日期减去最后一个，除以n，如果n为1取一个值，其他取一个值...)；a6、按源区分平均命中频率[占比低]等。负面评价指标可包括：b1、误报：各源报警与360白名单或用户自建白名单匹配的情况。
[0122]
可以理解的是，在同时设置正向评价指标和负面评价指标的情况下，可将各正向评价指标对应的指标得分相加，得到第一得分和，将各负面评价指标对应的指标得分相加，得到第二得分和，然后将第一得分和与第二得分和相减，得到各情报源对应的数据质量得分。
[0123]
在本实施例中，从所述检测日志中提取出各情报源对应的待处理检测日志；分别将各情报源对应的待处理检测日志进行合并处理，得到各情报源对应的目标检测日志；根据所述目标检测日志对各情报源的数据质量进行评估，从而通过系统化的客观评价情报质量的方法进行质量评估，通过动、静结合的方式，通过筛选的指标，得到综合客观、准确的质量评估结果，有效降低因情报质量引起的误操作。
[0124]
在一实施例中，如图6所示，基于第一实施例或第二实施例提出本发明情报源数据质量评估方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤s30，包括：
[0125]
步骤s301，根据所述待处理情报数据进行字段整理和字段映射，得到目标情报数据。
[0126]
应当理解的是，为了便于后续的检测，可先对待处理情报数据进行字段整理和字段映射，得到目标情报数据。基于目标情报数据进行准确性检测，可提高检测的效率。
[0127]
步骤s302，获取当前检测策略，并根据所述当前检测策略和所述目标情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果。
[0128]
需要说明的是，可预先设置多种检测策略，例如，可设置第一预设检测策略、第二预设检测策略、第三预设检测策略以及第四预设检测策略等四种检测策略，除此之外，还可包括更多其他的检测策略以及将上述检测策略进行结合，本实施例对此不作限制，在本实施例中，以上述四种检测策略为例进行说明。其中，可根据实际情况来选择检测策略进行配置，本实施例对此不作限制。
[0129]
应当理解的是，第一预设检测策略的检测逻辑为：设置一个预设情报源，将该预设情报源提供的情报数据作为正确情报数据，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0130]
在所述当前检测策略为第一预设检测策略时，将预设情报源对应的目标情报数据作为正确情报数据；将除所述预设情报源之外的其他情报源作为待比较情报源；将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0131]
可以理解的是，可将预设情报源对应的目标情报数据作为正确情报数据，然后将其他的情报源对应的目标情报数据与正确情报数据进行比较，便可根据比较结果对各目标情报数据进行准确性检测。例如，如果目标情报数据与正确情报数据一致，则说明该情报数据准确，若不一致，则不准确。
[0132]
应当理解的是，第二预设检测策略的检测逻辑为：将各情报数据进行比较，只要其中一个情报数据提示了可能存在风险，那么便将该情报数据作为正确情报数据，所述根据
所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0133]
在所述当前检测策略为第二预设检测策略时，检测所述目标情报数据中是否存在预设情报字段；在所述目标情报数据中存在预设情报字段时，将存在预设情报字段的目标情报数据作为正确情报数据；将所述正确情报数据对应的情报源作为候选情报源，并将除所述候选情报源之外的其他情报源作为待比较情报源；将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0134]
可以理解的是，预设情报字段可为风险字段，如果目标情报数据中存在风险字段，则说明该目标情报数据提示了存在风险，那么便可将该目标情报数据作为正确情报数据，并确定待比较情报源，将各待比较情报源对应的目标情报数据与正确情报数据进行比较，便可根据比较结果对各目标情报数据进行准确性检测。
[0135]
应当理解的是，第三预设检测策略的检测逻辑为：将各情报数据进行比较，将情报结果对应的情报数据数量较多的作为正确情报数据，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0136]
在所述当前检测策略为第三预设检测策略时，将各情报源对应的目标情报数据进行比较，确定正确情报数据；将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0137]
可以理解的是，可先将各情报源对应的目标情报数据进行比较，以确定它们包含的情报结果以及各情报结果对应的情报数量，将情报数量最多的情报结果作为正确情报结果，并将正确情报结果对应的情报数据作为正确情报数据，将各情报源对应的目标情报数据与正确情报数据进行比较，便可根据比较结果对各目标情报数据进行准确性检测。
[0138]
应当理解的是，第四预设检测策略的检测逻辑为：根据各情报源提供的情报数据的权重来判断正确情报数据，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0139]
在所述当前检测策略为第四预设检测策略时，获取各情报源对应的权重；根据各情报源对应的权重和各情报源对应的目标情报数据确定正确情报数据；将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0140]
可以理解的是，可获取各情报源的历史情报信息对应的历史检测结果，并获取各情报源对应的目标情报数据中的数据内容信息，根据历史检测结果和数据内容信息确定各情报源对应的权重，然后根据各情报源对应的权重和各情报源对应的目标情报数据确定正确情报数据，将各情报源对应的目标情报数据与正确情报数据进行比较，便可根据比较结果对各目标情报数据进行准确性检测。
[0141]
在本实施例中，根据所述待处理情报数据进行字段整理和字段映射，得到目标情报数据；获取当前检测策略，并根据所述当前检测策略和所述目标情报数据进行准确性检测，从而可准确地对各情报源提供的情报数据的准确性进行检测。
[0142]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有情报源数据质量评估程序，所述情报源数据质量评估程序被处理器执行时实现如上文所述的情报源数据质量评估方法的步骤。
[0143]
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0144]
此外，参照图7，本发明实施例还提出一种情报源数据质量评估装置，所述情报源数据质量评估装置包括：
[0145]
数据获取模块10，用于获取多个情报源提供的情报数据。
[0146]
需要说明的是，本方案针对的场景是：在同时存在多个情报源的时候，帮助客户甄别不同情报源的数据质量，从而减少使用成本、降低财务成本，通过本方案中的情报源数据质量评估体系，可以指导客户对情报源在实际生产中的权重和生命周期进行配置。
[0147]
应当理解的是，本实施例中的情报源可以包括360加密数据、监管侧及用户侧自有明文数据，以及商业源和开源api接口，除此之外，还可包括其他更多的情报源，本实施例对此不作限制。
[0148]
在具体实现中，可如图3所示，图3为整体流程示意图，图3中包括五个情报源，分别为360数据、监管单位、用户数据、商业源b以及开源数据a。其中，图3中的db指的是数据包、压缩包等形式的数据，api指的是从api接口获取的数据。
[0149]
进一步地，为了提高数据获取的效率，针对不同类型的数据源，可以采用不同的数据获取方式从该数据源获取情报数据，所述数据获取模块10，还用于获取多个情报源对应的情报源类型；根据所述情报源类型查找各情报源对应的数据获取方式；根据所述数据获取方式获取各情报源提供的情报数据。
[0150]
可以理解的是，可对情报源进行遍历，以确定当前的多个情报源，然后分别获取这些情报源对应的情报源类型，进而根据情报源类型查找各情报源对应的数据获取方式。例如，可将情报源类型分为情报源类型a和情报源数据b两种，情报源类型a与第一数据获取方式对应，情报源类型b与第二数据获取方式对应。在确定当前的多个情报源对应的情报源类型之后，便可根据情报源类型与数据获取方式之间的对应关系确定当前的各情报源对应的数据数据获取方式，根据各情报源对应的数据获取方式来获取各情报源提供的情报数据，例如，如果该情报源对应情报源类型a，则通过第一数据获取方式来获取该情报源提供的情报数据。
[0151]
需要说明的是，本方案还可对情报源进行多源生命周期管理，本实施例中的当前的多个情报源指的是已配置成功的情报源，即在获取情报源提供的情报数据之前需要先配置情报源，对已配置成功的情报源，可以进行启用、停用，设置置信度(高、中、低、未知)，设置自动过期时间等设置，对已配置成功的list类情报源(仅有域名、hash等类型的情报源)，可设置其恶意类型，包括：好、坏、可疑、待确定、无信誉等，除了上述配置之外，还可进行其他配置，本实施例对此不作限制。
[0152]
应当理解的是，在配置完成之后，还可对配置结果测试可用性，如果配置成功，则根据配置结果来获取各情报源提供的情报数据，如果配置错误，则可进行配置错误提示，以提示客户重新对情报源进行配置。
[0153]
格式转换模块20，用于将所述情报数据转换成统一的情报格式，得到待处理情报数据。
[0154]
应当理解的是，由于各情报源提供的情报数据的格式可能存在区别，不便于后续进行检测和评估，因此，可将各情报源提供的情报数据转换成统一的情报格式，并将处理后的情报数据称之为待处理情报数据。
[0155]
在具体实现中，可将监管单位和开源数据api做落库操作，比如把kafka、excel、
txt转成情报格式。其中，本实施例对情报格式的具体格式不作限制，该步骤的目的是为了让这些情报数据的格式统一，只要能够达到该目的即可，情报格式的具体格式可根据实际情况进行设置。
[0156]
数据检测模块30，用于根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果。
[0157]
应当理解的是，在得到各情报源对应的待处理情报数据之后，可根据这些待处理情报数据进行准确性检测，以检测各情报源提供的情报数据是否准确。可将准确性检测过程中的检测信息都记录下来，并且记录进行检测之后得到的检测结果。
[0158]
日志生成模块40，用于根据所述检测信息和所述检测结果生成检测日志。
[0159]
应当理解的是，在得到检测信息以及检测结果之后，可基于检测信息进行进一步的分析和研判，得到分析信息和研判信息，然后将检测信息、检测结果、分析信息以及研判信息相结合，得到检测日志。其中，检测日志中可记录有对情报数据进行检测、分析以及研判等过程对应的所有信息数据。
[0160]
进一步地，为了在提高检测效果的同时提高性能，所述日志生成模块40，还用于根据所述检测信息和所述检测结果生成检测展示信息，并对所述检测展示信息进行展示；接收技术人员基于展示的检测展示信息输入的人读分析信息；根据所述检测结果进行机读研判，得到机读研判信息；根据所述人读分析信息和所述机读研判信息生成检测日志。
[0161]
可以理解的是，可分为人读分析和机读研判，人读分析指的是由人来进行分析，机读研判指的是由机器来进行研判。其中，由人来进行分析时，需要尽可能的了解更多情报数据对应的信息，通过全面的了解来确定检测结果出现的原因以及为什么会导致这样的问题等信息，因此，可根据检测信息和检测结果生成检测展示信息，并基于web化等方式对检测展示信息进行展示，技术人员根据检测展示信息便可获知全面的信息，然后根据这些信息进行分析，在分析完成之后输入人读分析信息。而为了提高机器设备的运行性能，只需要告知机器设备检测结果即可，由机器设备根据检测结果进行机读研判，得到机读研判信息。
[0162]
可以理解的是，在通过上述方式得到人读分析信息和机读研判信息之后，可将检测信息、检测结果、人读分析信息以及机读研判信息结合起来，生成检测日志。
[0163]
质量评估模块50，用于根据所述检测日志对各情报源的数据质量进行评估。
[0164]
应当理解的是，在经过对各情报源提供的情报数据进行检测和分析之后，得到了检测日志，根据检测日志中记录的信息便可对各情报源的数据质量进行评估。例如，如果其中一个情报源提供的情报数据都比较准确的话，便可判定该情报源的数据质量较好。通过数据质量评估的方式，便可确定各情报源的数据质量情况。
[0165]
可以理解的是，在得到各情报源对应的质量评估结果之后，可根据评估结果配置各情报源对应的管理策略，根据管理策略来进行生命周期管理，以获取各情报源提供的情报数据。例如，可根据管理策略来调整情报源的启用以及停用状态、置信度以及数据权重等配置，通过生命周期管理的方式来对各情报源的配置进行动态调整，使客户能得到更准确的情报数据。
[0166]
在本实施例中，获取多个情报源提供的情报数据；将所述情报数据转换成统一的情报格式，得到待处理情报数据；根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果；根据所述检测信息和所述检测结果生成检测日志；根据所
述检测日志对各情报源的数据质量进行评估，从而可将各情报源提供的情报数据转换成统一的情报格式，并进行准确性检测生成检测日志，并根据检测日志来评估各情报源的数据质量，可对各情报源的数据质量进行甄别，减少客户的使用成本。
[0167]
在一实施例中，所述情报源数据质量评估装置还包括生命周期管理模块，用于根据各情报源对应的评估结果配置与各情报源对应的管理策略；根据所述管理策略来获取各情报源提供的情报数据。
[0168]
在一实施例中，所述数据获取模块10，还用于获取多个情报源对应的情报源类型；根据所述情报源类型查找各情报源对应的数据获取方式；根据所述数据获取方式获取各情报源提供的情报数据。
[0169]
在一实施例中，所述数据检测模块30，还用于根据所述待处理情报数据进行字段整理和字段映射，得到目标情报数据；获取当前检测策略，并根据所述当前检测策略和所述目标情报数据进行准确性检测。
[0170]
在一实施例中，所述数据检测模块30，还用于在所述当前检测策略为第一预设检测策略时，将预设情报源对应的目标情报数据作为正确情报数据；将除所述预设情报源之外的其他情报源作为待比较情报源；将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0171]
在一实施例中，所述数据检测模块30，还用于在所述当前检测策略为第二预设检测策略时，检测所述目标情报数据中是否存在预设情报字段；在所述目标情报数据中存在预设情报字段时，将存在预设情报字段的目标情报数据作为正确情报数据；将所述正确情报数据对应的情报源作为候选情报源，并将除所述候选情报源之外的其他情报源作为待比较情报源；将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0172]
在一实施例中，所述数据检测模块30，还用于在所述当前检测策略为第三预设检测策略时，将各情报源对应的目标情报数据进行比较，确定正确情报数据；将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0173]
在一实施例中，所述数据检测模块30，还用于在所述当前检测策略为第四预设检测策略时，获取各情报源对应的权重；根据各情报源对应的权重和各情报源对应的目标情报数据确定正确情报数据；将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0174]
在一实施例中，所述数据检测模块30，还用于获取各情报源的历史情报信息对应的历史检测结果，并获取各情报源对应的目标情报数据中的数据内容信息；根据所述历史检测结果和所述数据内容信息确定各情报源对应的权重。
[0175]
在本发明所述情报源数据质量评估装置的其他实施例或具体实现方法可参照上述各方法实施例，此处不再赘述。
[0176]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0177]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0178]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该估算机软件产品存储在如上所述的一个估算机可读存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可以是手机，估算机，情报源数据质量评估设备，或者网络情报源数据质量评估设备等)执行本发明各个实施例所述的方法。
[0179]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
[0180]
本发明公开了a1、一种情报源数据质量评估方法，其特征在于，所述情报源数据质量评估方法包括以下步骤：
[0181]
获取多个情报源提供的情报数据；
[0182]
将所述情报数据转换成统一的情报格式，得到待处理情报数据；
[0183]
根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果；
[0184]
根据所述检测信息和所述检测结果生成检测日志；
[0185]
根据所述检测日志对各情报源的数据质量进行评估。
[0186]
a2、如a1所述的情报源数据质量评估方法，其特征在于，所述根据所述检测信息和所述检测结果生成检测日志，包括：
[0187]
根据所述检测信息和所述检测结果生成检测展示信息，并对所述检测展示信息进行展示；
[0188]
接收技术人员基于展示的检测展示信息输入的人读分析信息；
[0189]
根据所述检测结果进行机读研判，得到机读研判信息；
[0190]
根据所述人读分析信息和所述机读研判信息生成检测日志。
[0191]
a3、如a1所述的情报源数据质量评估方法，其特征在于，所述根据所述检测日志对各情报源的数据质量进行评估，包括：
[0192]
从所述检测日志中提取出各情报源对应的待处理检测日志；
[0193]
分别将各情报源对应的待处理检测日志进行合并处理，得到各情报源对应的目标检测日志；
[0194]
根据所述目标检测日志对各情报源的数据质量进行评估。
[0195]
a4、如a3所述的情报源数据质量评估方法，其特征在于，所述根据所述目标检测日志对各情报源的数据质量进行评估，包括：
[0196]
获取多个评价指标，并从所述目标检测日志中提取与各评价指标对应的评价数据；
[0197]
根据所述评价数据确定各评价指标对应的指标得分；
[0198]
根据所述指标得分确定各情报源对应的数据质量得分，以实现对各情报源的数据质量进行评估。
[0199]
a5、如a4所述的情报源数据质量评估方法，其特征在于，所述评价指标包括：正向评价指标和负面评价指标；
[0200]
所述根据所述指标得分确定各情报源对应的数据质量得分，包括：
[0201]
将各正向评价指标对应的指标得分相加，得到第一得分和；
[0202]
将各负面评价指标对应的指标得分相加，得到第二得分和；
[0203]
将所述第一得分和与所述第二得分和相减，得到各情报源对应的数据质量得分。
[0204]
a6、如a1至a5中任一项所述的情报源数据质量评估方法，其特征在于，所述根据所述检测日志对各情报源的数据质量进行评估之后，还包括：
[0205]
根据各情报源对应的评估结果配置与各情报源对应的管理策略；
[0206]
根据所述管理策略来获取各情报源提供的情报数据。
[0207]
a7、如a1至a5中任一项所述的情报源数据质量评估方法，其特征在于，所述获取多个情报源提供的情报数据，包括：
[0208]
获取多个情报源对应的情报源类型；
[0209]
根据所述情报源类型查找各情报源对应的数据获取方式；
[0210]
根据所述数据获取方式获取各情报源提供的情报数据。
[0211]
a8、如a1至a5中任一项所述的情报源数据质量评估方法，其特征在于，所述根据所述待处理情报数据进行准确性检测，包括：
[0212]
根据所述待处理情报数据进行字段整理和字段映射，得到目标情报数据；
[0213]
获取当前检测策略，并根据所述当前检测策略和所述目标情报数据进行准确性检测。
[0214]
a9、如a8所述的情报源数据质量评估方法，其特征在于，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0215]
在所述当前检测策略为第一预设检测策略时，将预设情报源对应的目标情报数据作为正确情报数据；
[0216]
将除所述预设情报源之外的其他情报源作为待比较情报源；
[0217]
将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0218]
a10、如a8所述的情报源数据质量评估方法，其特征在于，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0219]
在所述当前检测策略为第二预设检测策略时，检测所述目标情报数据中是否存在预设情报字段；
[0220]
在所述目标情报数据中存在预设情报字段时，将存在预设情报字段的目标情报数据作为正确情报数据；
[0221]
将所述正确情报数据对应的情报源作为候选情报源，并将除所述候选情报源之外的其他情报源作为待比较情报源；
[0222]
将各待比较情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0223]
a11、如a8所述的情报源数据质量评估方法，其特征在于，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0224]
在所述当前检测策略为第三预设检测策略时，将各情报源对应的目标情报数据进行比较，确定正确情报数据；
[0225]
将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0226]
a12、如a8所述的情报源数据质量评估方法，其特征在于，所述根据所述当前检测策略和所述目标情报数据进行准确性检测，包括：
[0227]
在所述当前检测策略为第四预设检测策略时，获取各情报源对应的权重；
[0228]
根据各情报源对应的权重和各情报源对应的目标情报数据确定正确情报数据；
[0229]
将各情报源对应的目标情报数据与所述正确情报数据进行比较，以对各目标情报数据进行准确性检测。
[0230]
a13、如a12所述的情报源数据质量评估方法，其特征在于，所述获取各情报源对应的权重，包括：
[0231]
获取各情报源的历史情报信息对应的历史检测结果，并获取各情报源对应的目标情报数据中的数据内容信息；
[0232]
根据所述历史检测结果和所述数据内容信息确定各情报源对应的权重。
[0233]
本发明还公开了b14、一种情报源数据质量评估装置，其特征在于，所述情报源数据质量评估装置包括：
[0234]
数据获取模块，用于获取多个情报源提供的情报数据；
[0235]
格式转换模块，用于将所述情报数据转换成统一的情报格式，得到待处理情报数据；
[0236]
数据检测模块，用于根据所述待处理情报数据进行准确性检测，记录检测过程中的检测信息，并获得检测结果；
[0237]
日志生成模块，用于根据所述检测信息和所述检测结果生成检测日志；
[0238]
质量评估模块，用于根据所述检测日志对各情报源的数据质量进行评估。
[0239]
b15、如b14所述的情报源数据质量评估装置，其特征在于，所述日志生成模块，还用于根据所述检测信息和所述检测结果生成检测展示信息，并对所述检测展示信息进行展示；接收技术人员基于展示的检测展示信息输入的人读分析信息；根据所述检测结果进行机读研判，得到机读研判信息；根据所述人读分析信息和所述机读研判信息生成检测日志。
[0240]
b16、如b14所述的情报源数据质量评估装置，其特征在于，所述质量评估模块，还用于从所述检测日志中提取出各情报源对应的待处理检测日志；分别将各情报源对应的待处理检测日志进行合并处理，得到各情报源对应的目标检测日志；根据所述目标检测日志对各情报源的数据质量进行评估。
[0241]
b17、如b16所述的情报源数据质量评估装置，其特征在于，所述质量评估模块，还用于获取多个评价指标，并从所述目标检测日志中提取与各评价指标对应的评价数据；根据所述评价数据确定各评价指标对应的指标得分；根据所述指标得分确定各情报源对应的数据质量得分，以实现对各情报源的数据质量进行评估。
[0242]
b18、如b17所述的情报源数据质量评估装置，其特征在于，所述评价指标包括：正向评价指标和负面评价指标；所述质量评估模块，还用于将各正向评价指标对应的指标得分相加，得到第一得分和；将各负面评价指标对应的指标得分相加，得到第二得分和；将所
述第一得分和与所述第二得分和相减，得到各情报源对应的数据质量得分。
[0243]
本发明还公开了c19、一种情报源数据质量评估设备，其特征在于，所述情报源数据质量评估设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的情报源数据质量评估程序，所述情报源数据质量评估程序配置有实现如上所述的情报源数据质量评估方法。
[0244]
本发明还公开了d20、一种存储介质，其特征在于，所述存储介质上存储有情报源数据质量评估程序，所述情报源数据质量评估程序被处理器执行时实现如上所述的情报源数据质量评估方法。