一种融合多源门控与混合编码的多视角协同网络安全命名实体识别方法

摘要: 本发明涉及人工智能与网络安全信息处理,特别是涉及一种融合多源门控与混合编码的多视角协同网络安全命名实体识别方法。背景技术:1、随着网络攻击手段日益复杂化、组织化...
一种融合多源门控与混合编码的多视角协同网络安全命名实体识别方法

本发明涉及人工智能与网络安全信息处理,特别是涉及一种融合多源门控与混合编码的多视角协同网络安全命名实体识别方法。

背景技术:

1、随着网络攻击手段日益复杂化、组织化和智能化,网络安全领域产生了大量非结构化或半结构化文本数据,例如威胁情报报告、安全公告、漏洞描述、攻击分析报告以及恶意软件分析文档等。这类文本中通常包含漏洞编号、恶意软件家族、攻击组织、攻击工具、ip地址、url、哈希值、文件路径、cve编号等关键安全实体。如何从海量网络安全文本中自动、准确地抽取上述实体,是威胁情报自动化处理、网络安全知识图谱构建、攻击溯源分析和安全运营决策的重要基础。

2、然而,网络安全命名实体识别任务与通用领域命名实体识别任务存在显著差异。网络安全文本具有术语密集、缩写繁多、新实体不断涌现、实体边界不规则以及实体表面形态高度格式化等特点。例如,ip地址、哈希值、cve编号、域名、文件路径等实体往往依赖字符级模式和领域规则才能被准确识别;而攻击组织、恶意软件、攻击工具等实体又需要结合上下文语义和外部领域知识进行判断。现有方法若仅依赖通用预训练语言模型或传统序列标注模型,难以充分刻画这类复杂实体的语义、结构和规则特征,容易出现实体边界识别不准、类别判别错误以及新型实体泛化能力不足等问题。

3、为应对上述问题,既有研究主要采用规则匹配、传统机器学习、深度神经网络或预训练语言模型等方式进行网络安全命名实体识别。然而,这些方法与实际工程应用需求仍存在一定差距:(1)部分方法仅依赖上下文语义表示,未能充分利用网络安全实体中普遍存在的字符形态特征、显式规则模式和外部知识信息,导致对哈希值、url、漏洞编号等强格式化实体识别能力不足;(2)部分方法虽然引入多源特征,但通常采用简单拼接或加权求和方式进行融合,无法根据不同词元和不同实体类型动态选择最有效的信息来源,容易引入冗余特征和噪声干扰;(3)现有序列编码器多采用循环网络、卷积网络或全局自注意力机制等单一结构,难以同时兼顾长程依赖建模与局部实体边界感知,尤其在处理跨句关联实体和边界敏感实体时存在局限;(4)传统逐词元标注方式对不规则边界和长跨度实体的建模能力有限,而现有跨度预测方法又往往缺乏对实体类型先验和领域关键词线索的结构化利用,导致复杂实体的识别精度和召回率难以同时提升。

4、因此,有必要提出一种面向网络安全文本的命名实体识别方法,使其能够在输入表示阶段融合领域语义、检索知识、字符形态和规则模式等多源异质信息,在序列编码阶段同时建模全局依赖关系和局部边界结构,并在输出预测阶段显式引入类型先验约束和关键词偏置引导,从而提高网络安全复杂实体的边界识别能力、类别判别能力和工程适用性。

技术实现思路

1、本发明的目的是提出一种融合多源门控与混合编码的多视角协同网络安全命名实体识别方法。该方法面向威胁情报、安全公告和漏洞描述等网络安全文本,综合提取领域预训练语义特征、检索增强知识特征、字符级形态特征和领域模式规则特征,并通过词元级门控机制实现多源异质信息的自适应融合;同时利用mamba状态空间模型与邻域门控注意力机制协同建模长程依赖和局部实体边界信息,并结合类型先验约束与关键词偏置引导进行跨度级实体预测,从而提高漏洞编号、恶意软件、攻击组织、ip地址、哈希值、cve编号等复杂网络安全实体的识别准确性和鲁棒性。

2、为实现上述目的,本发明提供了如下方案:

3、一种融合多源门控与混合编码的多视角协同网络安全命名实体识别方法,包括:

4、采用网络安全多源信息表示构建方法,将输入词元序列生成融合表示;其中,所述融合表示包括:基础语义表示、检索增强表示、字符级形态表示和领域模式特征表示;

5、采用混合序列编码方法,对所述融合表示同时建模网络安全文本中的长程依赖关系和局部边界结构,获取混合序列编码输出;

6、基于所述混合序列编码输出,采用改进的跨度预测机制进行实体输出预测,获取实体识别结果。

7、可选地,采用网络安全多源信息表示构建方法,将输入词元序列生成融合表示包括:

8、将输入词元序列输入网络安全领域预训练语言模型,捕获网络安全文本中的上下文语义关系,获得每个词元的基础语义表示;

9、引入网络安全知识库,通过跨注意力机制为词元补充背景知识和隐含关联信息,获取检索增强表示;

10、利用多尺度卷积提取词元的字符局部形态特征,获取字符级形态表示;

11、对于通过显式规则识别的实体模式,将显式规则知识转化为可学习的神经表示,获取领域模式特征表示;

12、对所述基础语义表示、检索增强表示、字符级形态表示和领域模式特征表示进行动态融合,获取所述融合表示。

13、可选地,引入网络安全知识库,对输入句子进行检索增强处理包括:

14、将输入句子编码为查询向量,并在预先构建的网络安全知识库中检索与当前输入文本最相关的前

k个文档,再将每个检索文档编码为向量并堆叠为文档表示矩阵,通过线性投影将文档表示矩阵映射到统一语义空间;

15、以所述基础语义表示为查询,以映射后的文档表示矩阵为键和值,构造跨注意力机制,获取跨注意力输出;

16、将所述跨注意力输出通过一个两层前馈适配器进一步变换并归一化,得到所述检索增强表示。

17、可选地,利用多尺度卷积提取词元的字符局部形态特征包括:

18、对于第

i个词元

t

i,将其字符映射为嵌入向量序列,然后采用多个不同卷积核尺寸的一维卷积提取局部形态特征;

19、将多个卷积核输出拼接,获取字符级表示;

20、通过线性投影与层归一化将字符级表示映射到与基础语义表示相同的维度,获取所述字符级形态表示。

21、可选地,采用混合序列编码方法,对所述融合表示同时建模网络安全文本中的长程依赖关系和局部边界结构包括:

22、采用选择性状态空间模型对所述融合表示进行序列建模,获取状态空间分支输出,其中,所述选择性状态空间模型通过输入相关的状态转移参数、输入映射参数和输出映射参数,对文本序列中的关键信息进行选择性保留和传播;

23、在当前位置词元的局部邻域范围内计算注意力,增强序列编码对局部边界结构的感知能力,获取邻域门控注意力分支输出;

24、将所述状态空间分支输出和所述邻域门控注意力分支输出,通过残差形式进行融合,获取所述混合序列编码输出。

25、可选地,采用选择性状态空间模型对所述融合表示进行序列建模包括:

26、对于输入的融合表示,所述选择性状态空间模型通过隐状态

η

i建立序列递归关系:

27、

28、

29、其中,为位置

i处状态空间分支的输出表示,

a

i为状态转移矩阵,

b

i为输入映射矩阵,

c

i为输出映射矩阵。

30、可选地,在当前位置词元的局部邻域范围内计算注意力包括:

31、对于第

i个位置的输入的融合表示,其邻域范围定义为,其中,

j表示邻域内位置索引,

w为邻域半径,对于,通过可学习线性变换生成查询向量;对于

n(

i)内任意位置的输入表示,生成键向量和值向量;

32、基于查询向量和键向量,获取基础注意力得分;

33、引入门控函数,构造门控信号:

34、

35、其中,

w

g表示是可学习的参数,

g

ij表示位置

j对位置

i的信息贡献强度;最终注意力权重为:

36、

37、其中,表示最终注意力权重,表示基础注意力得分,

l表示邻域范围

n(

i)中的任一位置;

38、并基于所述值向量和最终注意力权重,得到邻域门控注意力分支输出:

39、

40、其中,表示位置

i处邻域门控注意力分支的输出表示,

v

j表示值向量。

41、可选地,基于所述混合序列编码输出,采用改进的跨度预测机制进行实体输出预测包括:

42、基于所述混合序列编码输出,获取跨度得分矩阵;

43、对跨度得分矩阵施加上三角掩码,仅保留起始位置不晚于结束位置的候选跨度;同时利用有效位掩码去除填充位置产生的无效候选;

44、在解码阶段,筛选得分高于预设阈值的候选实体跨度,按照得分从高到低排序,并采用贪心策略去除相互冲突或重叠的候选跨度,最终输出实体识别结果;其中,输出结果包括:实体文本、实体起始位置、实体结束位置、实体类别和置信度分数。

45、可选地,基于所述混合序列编码输出,获取跨度得分矩阵包括:

46、将所述混合序列编码输出,映射至每个实体类别对应的查询向量和键向量空间,并得到查询表示和键表示,其中表示第

c类实体在位置

i处的起点表示,表示第

c类实体在位置

j处的终点表示,

d

h为实体头维度;第

c类实体在跨度(

i,

j)上的基础跨度得分为:

47、

48、分别计算位置

i作为第

c类实体起点的先验得分,以及位置

j作为第

c类实体终点的先验得分:

49、

50、

51、其中,表示位置

i作为第

c类实体起点的先验得分,表示位置

j作为第

c类实体终点的先验得分,和分别为起点和终点的线性映射参数,和为偏置项;

52、进而构造类型先验跨度得分:

53、

54、记输入词元对应的关键词标记序列为

z={

z1,

z2,…,

z

n},

n为词元序列的长度,将关键词标记映射为关键词语义表示:

55、

56、其中,emb(∙)表示关键词标记的嵌入函数,为投影矩阵;

57、分别计算关键词对不同实体类别起点和终点的偏置得分:

58、

59、

60、其中,和分别为关键词起点投影矩阵和终点投影矩阵,和为偏置项,和分别为起点和终点的偏置得分;

61、由此得到关键词偏置跨度得分:

62、

63、将基础跨度得分、类型先验跨度得分和关键词偏置跨度得分进行加权融合,得到最终跨度得分:

64、

65、其中,

λ1和

λ2为可学习的标量参数。

66、本发明的有益效果为:

67、第一,本发明通过多源输入表示和词元级门控融合机制,将领域预训练语义、检索增强知识、字符级形态特征和领域模式规则进行自适应融合,避免了传统简单拼接或固定加权方式导致的信息冗余和噪声引入问题。

68、第二,本发明通过mamba状态空间分支以线性复杂度建模长程依赖关系,使模型能够在较低计算成本下捕获网络安全文本中的跨句关联、长跨度实体和远距离语义依赖。

69、第三,本发明通过邻域门控注意力分支增强局部上下文建模能力,使模型能够更加准确地感知实体边界附近的关键词、特殊符号、编号片段和格式化结构,提高对ip地址、url、哈希值、文件路径、cve编号等边界敏感实体的识别能力。

70、第四,本发明通过双分支残差融合机制协调全局语义表示和局部边界表示,使模型能够兼顾长程依赖和局部细粒度特征,提升复杂网络安全实体识别的稳定性。

71、第五,本发明在跨度预测中引入类型先验约束和关键词偏置引导,使跨度预测不仅依赖起止位置匹配,还能够显式利用实体类型边界先验和网络安全领域关键词线索,提高复杂实体边界和类别的统一判别能力。

72、第六,本发明适用于网络安全威胁情报自动化结构化处理场景,可为安全运营、攻击溯源、漏洞分析、情报知识图谱构建和自动化防御系统提供实体抽取能力。