一种网络威胁情报综合质量动态评估方法及系统与流程

1.本发明属于网络威胁情报技术领域，涉及一种网络威胁情报综合质量动态评估的方法及系统。


背景技术：

2.近些年，随着相关技术的飞速发展进步，网络空间技术持续演化升级。网络安全的战场上敌暗我明，攻击方的攻击手段不断变换、攻击工具丰富而高效、攻击成本相对较低、准备时间相对较长。如今，新一代攻击者经常向企业和组织发起针对性的网络攻击，即“高级持续性攻击”。这种针对特定企业或行业的攻击，一般经过了精心策划，攻击方法错综复杂，往往会导致严重的数据泄露或破坏。而传统的安全防护方法大多是被动式的，依靠安全设备进行静态防御，在面对新型威胁和攻击时，防御和检测的效果甚微。如何从突发出现问题进而应急解决问题，改变为预见问题从而提前防范成为了重点行业的迫切需求之一。
3.在这种形势下，为满足主动防范要求，提高检测识别准确率、缩短响应时间、降低防御成本，网络威胁情报应运而生。一般来说，威胁情报是指可用于解决威胁或应对危害的知识，包括威胁来源、攻击意图、攻击手法、攻击目标信息，具有知识密度大、准确性高、关联性强等特点，能够为安全分析的各个阶段提供有力的数据支撑，并可针对多态、复杂的高智能威胁与攻击做出及时响应防御。
4.威胁情报用于辅助支持决策或安全分析，因此未知来源和真实性的情报将影响决策的正确性和分析结果的准确性。同一类别的威胁情报可能有多个来源，如目标系统中的内部安全事件信息、商业威胁情报、开源威胁情报等，数据质量良莠不齐，因此需要对情报质量进行筛选、评估，以得到高质量、高可信度的情报。如何科学、客观地对多源威胁情报的质量进行评价对提高国家网络安全保障能力具有迫切的现实意义。而在超高应用价值与可观市场前景之下，威胁情报却一直面临着质量评估标准与方法模糊不清的难题。已有的研究工作部分是定性评价，更多是定量评价，它们或从情报源角度、或从情报内容特征角度出发，应用机器学习或图挖掘等技术来评价威胁情报的质量，然而评价威胁情报质量时仅仅单独考虑这些维度是不完整的。此外，很少有研究关注到时间动态性问题和同源情报间质量的相互影响。如何构建一种综合各个维度、多种技术方法、适用于网络安全环境动态变化的网络威胁情报质量评估方案，是目前网络威胁情报质量评估领域亟需解决的问题。


技术实现要素：

5.本发明的目的是提供一种网络威胁情报综合质量动态评估方法及系统，解决了现有技术中存在的评估维度单一、评估技术孤立、忽视网络安全环境动态变化的问题。
6.本发明所采用的技术方案是，
7.一种网络威胁情报综合质量动态评估方法，包括：
8.步骤1、对网络威胁情报进行结构化定义：
9.cyberthreatintelligence＝(source,time,category,tag,geo,value)；
10.其中，cyberthreatintelligence表示网络威胁情报，source表示情报来源，time表示为情报时间戳，category表示为威胁类型，tag表示为威胁描述标签，geo表示为情报ip的地理位置，value表示具体的ip值或域名；
11.步骤2、情报源质量评估：利用情报源质量评估迭代算法对情报源的内容权威度authority和链接权威度hub进行评估；
12.步骤3、情报内容质量评估：针对ip值相同或域名相同的两条情报，基于情报源、时间戳、威胁类别和描述标签这四个特征，计算其相似度；
13.步骤4、情报质量综合动态评估：对于每条威胁情报，从步骤2得到的基于情报源的质量和从步骤3得到的基于情报内容的质量作为基础质量得分，通过将其基础质量加权和与同源的上一条威胁情报的综合质量分数相加，并引入时间衰减因子来弱化时间间隔较久的情报的影响，得到第n条情报样本的综合质量得分。
14.可选的，所述的步骤2具体包括：
15.情报源质量评估迭代算法的输入为情报源关系图g，g＝(v，e，w)，其中每个节点v∈v象征着一个情报来源；当即情报源u产生的情报i与情报源v产生的情报j的ip值或dns相同，且i的时间戳晚于j时，两个节点u,v∈v由有向边(u,v)∈e连接，表示情报源u引用了情报源v的情报；边(u,v)的权重是w∈w引用的次数；
16.初始化内容权威度向量a和链接权威度向量h，向量a与向量h长度均置为1；在第k步迭代时，情报源s的authority值由计算，情报源s的hub值由计算；将向量a与向量h归一化，循环迭代，直至收敛；最后输出各个情报源的authority值，各个情报源的authority值转换成百分制后作为每个情报i基于情报源的质量得分s
source
；wi表示对应边的权重，n表示相连的节点数量。
17.可选的，所述的步骤3具体包括：
18.s(v
t
,vi)＝θ1×ssource
θ2×stime
θ3×scategory
θ4×stag
；
19.s.t.θ1 θ2 θ3 θ4＝1；s.t.表示受限于；
20.其中，s(v
t
,vi)表示两个威胁情报的相似度，s
source
表示情报源的相似度，s
time
是威胁情报的时间相似度，s
category
是威胁类别的相似度，s
tag
为威胁描述标签的相似度；θ1,θ2,θ3,θ4是这四项因素各自所占权重，实验中平等考虑各项因素的影响，各个权重取值均为0.25；两条完全相同的情报，其相似度最高，取值为1。
21.可选的，所述的情报源相似度和威胁类型相似度计算方法：两个威胁情报的来源相同时情报源相似度s
source
取1，不同时s
source
取0；威胁类别相似度s
category
的取值同理。
22.可选的，所述的时间相似度的计算方法包括：
[0023][0024]
首先计算情报发布时间差的值|t(v
t
,vi)|，然后进行归一化得到时间距离最后计算得到时间相似度s
time
(v
t
,vi)，取值范围[0,1]；如果两个威胁情报的时间戳t相同，则它们的时间距离为0，时间相似度s
time
为1。
[0025]
可选的，所述的威胁描述标签的相似度计算包括：
[0026][0027]
式中，x
t
和xi分别是威胁情报v
t
和vi的威胁描述标签的向量表示，为两个向量的余弦相似度，取值范围[0,1]；当两个威胁情报标签一致时，余弦相似度为1；若两条威胁情报的威胁标签tag均为空，则规定它们之间的相似度为0.5。
[0028]
可选的，还包括构建基于情报内容的质量评价指标，经过预处理后的特征数据作为分类器的输入，应用knn算法将情报样本根据可信程度分为五类，并将各类分别赋予基于内容的情报质量得分s
content
。
[0029]
可选的，所述的步骤4具体包括：
[0030][0031]
其中，s
dynamic
(n)表示第n条情报样本的综合质量得分，s
dynamic(n-1)
表示与第n条情报样本同源的上一条情报的综合质量得分；d表示时间衰减因子；si(n)表示此情报样本的第i项基础质量得分；wi为各因素si(n)所占权重。
[0032]
一种网络威胁情报综合质量动态评估系统，所述的系统用于运行本发明任一所述的网络威胁情报综合质量动态评估方法；
[0033]
包括：情报源质量评估模块：利用情报源质量评估迭代算法对情报源的内容权威度authority和链接权威度hub进行评估；
[0034]
情报内容质量评估模块：针对ip值相同或域名相同的两条情报，基于情报源、时间戳、威胁类别和描述标签这四个特征，计算其相似度；
[0035]
情报质量综合动态评估模块：对于每条威胁情报，从步骤2得到的基于情报源的质量和从步骤3得到的基于情报内容的质量作为基础质量得分，通过将其基础质量加权和与同源的上一条威胁情报的综合质量分数相加，并引入时间衰减因子来弱化时间间隔较久的情报的影响，得到第n条情报样本的综合质量得分。
[0036]
可选的，情报源质量评估模块：利用情报源质量评估迭代算法对情报源的内容权威度authority和链接权威度hub进行评估；情报源质量评估迭代算法的输入为情报源关系图g，g＝(v，e，w)，其中每个节点v∈v象征着一个情报来源；当即情报源u产生的情报i与情报源v产生的情报j的ip值或dns相同，且i的时间戳晚于j时，两个节点u,v∈v由有向边(u,v)∈e连接，表示情报源u引用了情报源v的情报；边(u,v)的权重是w∈w引用的次数；
[0037]
初始化内容权威度向量a和链接权威度向量h，向量a与向量h长度均置为1；在第k步迭代时，情报源s的authority值由计算，情报源s的hub值由计算；将向量a与向量h归一化，循环迭代，直至收敛；最后输出各个情报源的authority值，各个情报源的authority值转换成百分制后作为每个情报i基于情报源的质量得分s
source
；wi表示对应边的权重，n表示相连的节点数量；
[0038]
情报内容质量评估模块：针对ip值相同或域名相同的两条情报，基于情报源、时间戳、威胁类别和描述标签这四个特征，计算其相似度；
[0039]
s(v
t
,vi)＝θ1×ssource
θ2×stime
θ3×scategory
θ4×stag
；
[0040]
s.t.θ1 θ2 θ3 θ4＝1；s.t.表示受限于；
[0041]
其中，s(v
t
,vi)表示两个威胁情报的相似度，s
source
表示情报源的相似度，s
time
是威胁情报的时间相似度，s
category
是威胁类别的相似度，s
tag
为威胁描述标签的相似度；θ1,θ2,θ3,θ4是这四项因素各自所占权重，实验中平等考虑各项因素的影响，各个权重取值均为0.25；两条完全相同的情报，其相似度最高，取值为1；
[0042]
情报质量综合动态评估模块：
[0043]
其中，s
dynamic
(n)表示第n条情报样本的综合质量得分，s
dynamic(n-1)
表示与第n条情报样本同源的上一条情报的综合质量得分；d表示时间衰减因子；si(n)表示此情报样本的第i项基础质量得分；wi为各因素si(n)所占权重。
[0044]
本发明的有益效果是：
[0045]
1、本发明提供的网络威胁情报综合质量动态评估方法综合考虑了情报源和情报内容等多个指标，多维度评估情报质量；
[0046]
2、本发明提供的网络威胁情报综合质量动态评估方法结合了图挖掘、机器学习、加权平均模型等多种方法，充分利用各技术方法的优势；
[0047]
3、本发明提供的网络威胁情报综合质量动态评估方法考虑了网络安全环境动态变化和同源情报间的相互影响，可以更加准确的评估网络威胁情报质量。
附图说明
[0048]
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
[0049]
图1是本发明提供的网络威胁情报综合质量动态评估方法框架图；
[0050]
图2是本发明的一个实施例中构建的威胁情报源关系图；
[0051]
图3是本发明的一个实施例中参数时间衰减因子d对评估准确率、质量得分均值、方差的影响曲线图；
[0052]
图4是本发明的一个实施例中各个源的情报质量分数分布图；
[0053]
图5是本发明的一个实施例中不同情报源的ioc命中率对比图。
具体实施方式
[0054]
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案做进一步的详细描述，显然，所描述的实施例仅仅是发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他方案，都属于本发明保护的范围。
[0055]
下面结合附图和具体实施方式对本发明进行详细说明。
[0056]
一、本发明方法完整的步骤
[0057]
步骤1、网络威胁情报进行结构化定义：
[0058]
cyberthreatintelligence＝(source,time,category,tag,geo,value)
[0059]
其中，cyberthreatintelligence(cti)表示为网络威胁情报，source表示为情报来源，即情报发布的平台，time表示为情报时间戳，category表示为威胁类型，包括spam(垃圾邮件)、scanner(扫描器)、malware(恶意软件)、botnet(僵尸网络)、phishing(网络钓鱼)
等，tag表示为威胁描述标签，如idc、attacks email、attacks mail、attacks web、attacks courierpop3等，geo表示为情报ip的地理位置,value表示为具体的ip值或域名。
[0060]
步骤2：情报源质量评估
[0061]
根据情报源间的引用关系构建威胁情报源关系图：威胁情报源关系图是一个有向图g＝(v，e，w)，其中每个节点v∈v象征着一个情报来源。当源u出现了先在v中出现的情报，即情报源u产生的情报i与情报源v产生的情报j的ip值或dns相同，且i的时间戳晚于j时，两个节点u,v∈v由有向边(u,v)∈e连接，表示源u引用了源v的情报。边(u,v)的权重是w∈w引用的次数。
[0062]
情报源质量评估迭代算法通过两个评价权值——内容权威度(authority)和链接权威度(hub)来对情报源质量进行评估。算法基于两个假设，即一个高内容权威度的情报源产生的情报会被很多高链接权威度的情报源引用；一个高链接权威度的情报源会引用很多高内容权威度的情报源产生的情报。算法输入为情报源关系图g，首先初始化内容权威度向量a，即每个源的authority值组成的向量，与链接权威度向量h，即每个源的hub值组成的向量，向量a与向量h长度均置为1；在第k步迭代时，源s的authority值由计算，源s的hub值由计算；将向量a与向量h归一化，然后循环迭代，直至收敛；最后输出各个情报源的authority值与hub值。
[0063]
本评估机制中更关注源的原创性，所以高authority值的源被认为是质量较高的源。各个源的auhtority值转换成百分制后作为每个情报i基于情报源的质量得分s
source
；
[0064]
步骤3：情报内容质量评估
[0065]
针对ip值相同或域名相同的两条情报，基于情报源、时间戳、威胁类别、描述标签这四个特征，计算其相似度：
[0066]
s(v
t
,vi)＝θ1×ssource
θ2×stine
θ3×scategory
θ4×stag
；
[0067]
s.t.θ1 θ2 θ3 θ4＝1；
[0068]
其中，s(v
t
,vi)表示两个威胁情报的相似度，s
source
表示情报源的相似度，s
time
是威胁情报的时间相似度，s
category
是威胁类别的相似度，s
tag
为威胁描述标签的相似度。θ1,θ2,θ3,θ4是这四项因素各自所占权重，实验中平等考虑各项因素的影响，各个权重取值均为0.25。两条完全相同的情报，其相似度最高，取值为1。
[0069]
(1)情报源相似度、威胁类型相似度计算方法：两个威胁情报的来源相同时情报源相似度s
source
取1，不同时s
source
取0。威胁类别相似度s
category
的取值同理。
[0070]
(2)时间相似度计算方法：
[0071][0072]
首先计算情报发布时间差的值|t(v
t
,vi)|，然后进行归一化得到时间距离最后计算得到时间相似度s
time
(v
t
,vi)，取值范围[0,1]。如果两个威胁情报的时间戳t相同，则它们的时间距离为0，时间相似度s
time
为1。
[0073]
(3)威胁描述标签的相似度计算采用余弦相似度：
[0074]
[0075]
式中，x
t
和xi分别是威胁情报v
t
和vi的威胁描述标签的向量表示，为两个向量的余弦相似度，取值范围[0,1]。当两个威胁情报标签一致时，余弦相似度为1。特别的，若两条威胁情报的威胁标签tag均为空，则规定它们之间的相似度为0.5。
[0076]
构建基于情报内容的质量评价指标，包括内容丰富度、内容多源验证、时效性等多维度：
[0077]
表1基于情报内容的评价指标汇总
[0078][0079]
经过预处理后的特征数据作为分类器的输入，应用knn算法将情报样本根据可信程度分为五类，并将各类分别赋予基于内容的情报质量得分s
content
。
[0080]
步骤4：情报质量综合动态评估
[0081]
对于每条威胁情报，从步骤1得到的基于情报源的质量和从步骤2得到的基于情报内容的质量作为基础质量得分，通过将其基础质量加权和与同源的上一条威胁情报的综合质量分数相加，并引入时间衰减因子来弱化时间间隔较久的情报的影响，来评估它的质量：
[0082][0083]
其中，s
dynamic
(n)表示第n条情报样本的综合质量得分，s
dynamic(n-1)
表示与第n条情报样本同源的上一条情报的综合质量得分；d表示时间衰减因子；si(n)表示此情报样本的第i项基础质量得分，如s1(1)为第一条情报样本基于情报源的质量得分s
source
，s2(1)为第一条情报样本基于情报内容的质量得分s
content
；wi为各因素si(n)所占权重，其取值需根据实际情况进行调整。
[0084]
二、方法可行性及有益效果
[0085]
可行性：本发明实施可以采用的数据集是来自威胁情报平台天际友盟的ioc集合，
它包含feed_ipv4、feed_domain等情报类型，每条情报具有威胁类别、类别描述、时间戳、地理位置、信誉度等属性，其中的信誉度score属性可以作为验证我们方法有效性的参考。
[0086]
有益效果：本发明提供的网络威胁情报综合质量动态评估方法综合考虑了情报源和情报内容等多个指标，多维度评估情报质量；结合了图挖掘、机器学习、加权平均模型等多种方法，充分利用各技术方法的优势；考虑了网络安全环境动态变化和同源情报间的相互影响，可以更加准确的评估网络威胁情报质量。
[0087]
三、实验实际效果
[0088]
图2是本发明的一个实施例中构建的威胁情报源关系图，图中节点的大小由出入度决定，节点指向或被指向的次数越大，出度及入度越大，则节点的尺寸越大；边的宽度由权重weight决定，weight值越大，边的宽度越大。可以观察到情报样本32142条数据中存在引用关系的共15个节点，45条边。
[0089]
利用情报源质量评估迭代算法，32142条数据的样本经118次迭代后收敛。经过统计，迭代计算出的au值的平均值为0.11561544632196255，方差为0.053299735238440026，离散系数1.9968556239783903。离散系数(变异系数)等于标准差与平均值之商，离散系数非常高，接近甚至超过1，说明数据的离散程度很大，波动范围很大。有两个情报源的authority值突出，分别是forcepoint和coinblockerlists，其内容权威度较高，即这两个源产生的情报被其他情报源引用的情况较多，这个结果与情报源关系图的直观显示是对应的。由于本评估机制重点关注源的原创性，所以这种高authority值的情报源被认为是高质量的情报源。
[0090]
图3是本发明的一个实施例中参数时间衰减因子d对评估准确率、质量得分均值、方差的影响曲线图。实验表明，固定两因素参数取值为w1＝0.001,w2＝0.999,d＝0.1时，匹配准确率为0.9081157660392634，且随着d的不断增大，匹配准确率会逐渐下降；d越大，方差越小，即综合质量得分的波动越小，这反映了历史综合质量得分在新的综合质量得分中所占的比例越大，算法对网络安全环境的动态变化的适应度越差；而d的不同取值对综合质量得分平均值的影响并不明显，d在0到1之间变化的过程中，质量的平均值波动范围在0.02之内，但仍可以看出在d取0.6时，整个数据集的质量得分均值最高。因此在利用此评估机制对本数据集进行威胁情报质量评估时将d取值为0.6。
[0091]
图4是本发明的一个实施例中各个源的情报质量分数分布图，其中包括分布范围和峰值，结果表明，不同情报源的情报质量之间的确存在差距，这印证了我们进行情报源评估的必要性。同时，可以看到一些情报源质量波动比较显著，分数分布范围在40分以上，如virustotal等，这反映了这些源产生的情报质量不稳定，需要仔细甄别。相反，openphish等源的情报质量比较稳定，波动范围在20分以内，且分数普遍高于60分，这说明这些情报源产生的情报质量较高且一般比较稳定，因此可以信任。
[0092]
图5是本发明的一个实施例中不同情报源的ioc命中率对比图，可以看出不同情报源产生的情报内容质量水平存在明显差异，印证了本发明对威胁情报质量进行评估的必要性和有效性。
[0093]
四、实施例
[0094]
为了使本发明的目的、技术方案和优点更加清晰，下面将结合实施例对本发明作进一步地详细描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施
例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0095]
实施例一：
[0096]
步骤1、情报源质量评估
[0097]
根据结构化表示后的威胁情报，构建技术方案中所述的威胁情报源关系图。经过统计分析，发现威胁情报源存在自引，由于自引对判断本源的内容权威度和链接权威度没有帮助，故绘图时删去自引的边。图中节点的大小由出入度决定，节点指向或被指向的次数越大，出度及入度越大，则节点的尺寸越大；边的宽度由权重weight决定，weight值越大，边的宽度越大。情报样本32142条数据中存在引用关系的共15个节点，除去自引后45条边，威胁情报源关系图如图2所示。
[0098]
利用情报源质量评估迭代算法，本实施例中的样本经118次迭代后收敛，得到的authority值如表所示。经过统计，迭代计算出的authority值的平均值为0.11561544632196255，方差为0.053299735238440026，离散系数1.9968556239783903。离散系数(变异系数)等于标准差与平均值之商，离散系数非常高，接近甚至超过1，说明数据的离散程度很大，波动范围很大。其中，emergingthreats和greensnow两个情报源的authority值，即内容权威度较高，说明这两个源产生的情报被其他情报源引用的情况较多。由于本评估机制重点关注源的原创性，所以这种高authority值的情报源被认为是高质量的情报源。计算出的各个源的authority值转换为百分制，作为基于情报源质量的威胁情报质量得分。
[0099]
表2情报源质量评估结果
[0100]
sourceauthorityemergingthreats0.725703707greensnow0.5960448799tor project0.3040962802coinblockerlists0.15.77509583forcepoint0.01588434311myip0.01506521587mrlooquercom0.01228693455virustotal0.00877833709tianji partners0.00398950438alienvault0.00104457209stopforumspam0.00046114638sblam0.00039398684torstatus_blutmagie_de0.00016338339threatweb0.00008169169openphish0.00002291083
[0101]
步骤2、情报内容质量评估
[0102]
实施技术方案所述的情报相似度算法。经过统计分析，相似度取值平均值为0.3475723662808495，即判断其他情报对本情报是否持支持态度的最优参数取值κ＝
0.3475723662808495。
[0103]
根据构建的特征指标及量化后得到的特征向量，经过字符型特征数值化和独热编码等处理,作为分类器的输入。利用knn算法对威胁情报样本进行多分类。分类标签为数据集中的该样本的标记分数score所属的等级。标记分数划分为五个等级，分数值的每20％为一个等级，即分数前20％为a，20％～40％为b，40％～60％为c，60％～80％为d，后20％为e。本实施例中，4941条ipv4类型的情报样本共有285种标记得分score取值，每20％划分为一个质量等级，各个等级区间的标记得分取值众数将代表这一等级作为分类后各等级样本的赋值，各个质量等级对应的分数段、分数区间和赋值见下表。
[0104]
表3基于内容的质量水平等级
[0105]
等级分数段分数区间赋值a前20％73.8～86.083b20％～40％63.5～73.669c40％～60％53.8～63.458d60％～80％36.8～53.642e后20％1.0～36.428
[0106]
分类后每个威胁情报样本都有各自属于的质量等级。各个等级内的赋分一致，分值为数据集的标记得分中各等级区间的取值众数。这个分数就是基于情报内容的威胁情报质量得分。以数据集中标注的score属性为基准，本实施例中，基于内容的质量分数与标记得分对标比较的匹配准确率为0.9230924913985024。
[0107]
步骤3、情报质量综合动态评估
[0108]
对于每条威胁情报，从步骤1得到的基于情报源的质量和从步骤2得到的基于情报内容的质量作为基础质量得分，通过将其基础质量加权和与同源的上一条威胁情报的综合质量分数相加，并引入时间衰减因子来弱化时间间隔较久的情报的影响，来评估它的质量：
[0109][0110]
其中，s
dynamic
(n)表示第n条情报样本的综合质量得分，s
dynamic(n-1)
表示与第n条情报样本同源的上一条情报的综合质量得分；d表示时间衰减因子；si(n)表示此情报样本的第i项基础质量得分,如s1(1)为第一条情报样本基于情报源的质量得分s
source
，s2(1)为第一条情报样本基于情报内容的质量得分s
content
；wi为各因素si(n)所占权重，其取值需根据实际情况进行调整。
[0111]
在对威胁情报质量进行静态评估，即不考虑时间衰减因子d即d＝0、只将情报源质量和情报内容两个因素相结合的情况下，两因素的参数取值为w1＝0.001,w2＝0.999时匹配准确率最高，为0.9253187613843351。随着情报源质量因素占比的逐渐提高，匹配准确率会下降。
[0112]
在此基础上，结合时间动态性，固定两因素参数取值为w1＝0.001,w2＝0.999，当d＝0.1时，匹配准确率为0.9081157660392634，且随着d的不断增大，匹配准确率会逐渐下降，如图3所示。因此可以认为，原情报平台在评估威胁情报质量时并没有考虑情报源的影响与时间动态性，而只是评估了当前内容。
[0113]
图3中还画出了本实施例中参数d的不同取值对质量得分均值、方差的影响曲线。
可见d越大，方差越小，即综合质量得分的波动越小，这反映了历史综合质量得分在新的综合质量得分中所占的比例越大，算法对网络安全环境的动态变化的适应度越差；而d的不同取值对综合质量得分平均值的影响并不明显，d在0到1之间变化的过程中，质量的平均值波动范围在0.02之内，但仍可以看出在d取0.6时，整个数据集的质量得分均值最高。因此在本实施例中取d＝0.6。
[0114]
本实施例中，各因素所占权重利用变异系数法来确定。变异系数法直接利用各项指标所包含的信息，通过计算得到指标的权重，是一种客观赋权的方法。由于评价指标体系中的各项指标的量纲不同，不宜直接比较其差别程度。为了消除各项评价指标的量纲不同的影响，需要用各项指标的变异系数来衡量各项指标取值的差异程度。变异系数之所以可以确定权重，是因为在评价体系中，若某因素取值差异大，则说明该因素难以实现，是反映所评价对象差距的关键因素，即对取值差异大的因素赋予更高的权重。
[0115]
变异系数在数值上等于标准差与均值之商，即
[0116][0117]
其中，vi是第i项基础质量得分的变异系数，σi是第i项基础质量得分的标准差，是第i项基础质量得分的平均值。
[0118]
各因素的权重等于此因素的变异系数除以各因素的变异系数之和，即
[0119][0120]
根据上述方法可以得到本实施例中情报源质量与情报内容两因素的权重取值分别为w1＝0.83,w2＝0.17。
[0121]
本实施例中得到的各个源的情报质量分数分布图见图4，其中包括分布范围和峰值，结果表明，不同情报源的情报质量之间的确存在差距，这印证了我们进行情报源评估的必要性。同时，可以看到一些情报源质量波动比较显著，分数分布范围在40分以上，如virustotal等，这反映了这些源产生的情报质量不稳定，需要仔细甄别。相反，openphish等源的情报质量比较稳定，波动范围在20分以内，且分数普遍高于60分，这说明这些情报源产生的情报质量较高且一般比较稳定，因此可以信任。
[0122]
为了验证我们提出的威胁情报质量综合动态评估机制的有效性，我们把ioc放在实际网络环境当中，来查看ioc的整体表现。参考指标hit_iocs_ratio:在测试期间命中的ioc占总ioc数量的比例。这个比例反映的是我们用于测试质量评估机制的ioc数据集在实际网络中的有效率。如果大量的被我们评估为高质量的ioc命中，那么在某种程度上可以认为我们的评估机制是有效的。我们将评估为高质量的ioc的ip值或域名在virustotal平台进行验证，可以得到命中率为96.35％。例如，ip为171.25.193.20的ioc在本文提出的评估机制下得到的质量评估得分为82.17，属于高质量的ioc，在virustotal平台验证的结果显示已有8个安全供应商将其标记为恶意，且大众评分为负，颜色标红，则认为命中。本实施例中不同情报源的ioc命中率对比见图5，可以看出不同情报源产生的情报内容质量水平存在明显差异，印证了本发明对威胁情报质量进行评估的必要性。另外，本评估方法下各个源中得分大于80分的情报命中率均超过85％，证明了本发明的有效性。
[0123]
以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，在本公
开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。