一种用于提高抽取准确率的多模态联合实体关系抽取方法

本发明自然语言处理与多模态信息抽取，具体为一种用于提高抽取准确率的多模态联合实体关系抽取方法。

背景技术：

1、联合多模态实体关系抽取（jmere）任务需要从文本-图像对中提取实体-关系五元组，对模型的多模态特征融合和选择能力提出了更高要求。随着大预训练语言模型的发展，现有研究主要集中在改进文本和视觉模态之间的特征对齐。然而，在捕捉文本序列中的时序信息方面仍存在明显不足。此外，这些方法在整合图像和文本特征时存在一定缺陷，难以区分不相关的图像，容易受到与文本无关的图像信息的干扰。

2、现有方法多采用静态相似度利用和标准层归一化技术。尽管已有方法在一定程度上提升了多模态实体关系抽取性能，但仍存在一定的局限性。首先，当前相似度利用方式大多采用静态线性相乘策略，难以根据文本-图像相关程度动态调整视觉信息引入量，尤其在文本与图像弱相关时容易引入噪声；其次，多模态融合仅采用标准的层归一化技术，无法根据相似度分数动态调整特征空间分布，限制了模型对多模态关联强度的建模能力。

技术实现思路

1、本发明的目的在于提供一种用于提高抽取准确率的多模态联合实体关系抽取方法，结合文本与图像等多模态信息，通过自适应阈值门控和相似度调制层归一化机制提高实体关系抽取准确率，以解决现有多模态实体关系抽取方法中静态相似度利用导致的噪声干扰问题，以及传统层归一化无法动态适应多模态关联强度的问题。

2、为实现上述目的，本发明提供如下技术方案：一种用于提高抽取准确率的多模态联合实体关系抽取方法，包括以下步骤：

3、s1：获取包含文本序列与图像内容的成对多模态数据样本；

4、s2：分别对文本数据与图像数据进行特征编码，获得文本上下文语义特征表示与图像区域视觉特征表示，并计算文本序列与对应图像之间的图文相似度分数sc，包括采用预训练语言模型对文本序列进行上下文语义建模，生成文本上下文语义特征表示；采用视觉-语言预训练模型中的视觉编码模块对对应图像进行特征提取，生成图像视觉特征表示；基于文本上下文语义特征表示和图像视觉特征表示计算图文相似度分数，图文相似度分数用于后续跨模态注意力融合、自适应阈值门控以及相似度调制自适应层归一化处理；

5、s3：对文本上下文语义特征表示和图像视觉特征表示进行线性映射与特征分块处理，获得用于命名实体识别通道和关系抽取通道的文本特征块及图像特征块；具体包括：将文本上下文语义特征表示通过带有非线性激活函数的可训练线性变换映射为文本融合特征，并将文本融合特征划分为多个文本特征块；将图像视觉特征表示通过带有非线性激活函数的可训练线性变换映射为图像融合特征，并将图像融合特征划分为多个图像特征块；将文本特征块和图像特征块分别输入命名实体识别特征融合通道和关系抽取特征融合通道；

6、s4：构建双通道特征融合模块，包括：命名用于生成实体预测特征的实体识别特征融合通道和用于生成关系预测特征的关系抽取特征融合通道；在双通道特征融合模块中利用图像全局特征初始化文本序列建模网络，并通过跨模式交叉注意力机制实现文本特征与图像特征的信息交互；

7、其中，利用图像全局特征初始化文本序列建模网络包括：

8、对图像特征块进行池化处理，获得图像全局特征；将图像全局特征作为文本序列建模网络的初始隐藏状态和初始细胞状态；通过文本序列建模网络对文本特征块进行时序增强建模，获得包含词序信息和长距离依赖信息的文本时序增强特征。

9、跨模态交叉注意力机制包括：以文本时序增强特征作为查询向量，以文本特征块或图像特征块作为键向和值向量，构建多头交叉注意力结构；通过多头交叉注意力结构获得跨模态注意力输出，并通过残差连接和归一化得到初步融合特征。

10、s5：基于图文相似度分数sc构建自适应阈值门控机制，对跨模态交叉注意力输出进行门控融合，并利用相似度调制的自适应层归一化机制对门控融合之后的特征进行特征分布调整，得到多模态融合特征；其中，相似度阈值门控包括：利用可学习门控参数根据图文相似度分数sc生成门控相似度分数，并利用门控相似度分数对跨模态注意力输出进行加权，以在图文相似度低于由可学习门控参数确定的动态阈值时，降低或抑制图像特征对文本特征的影响；所述相似度调制自适应层归一化包括：将门控后的融合特征进行层归一化，获得标准归一化特征，并将图文相似度分数sc映射为缩放参数和偏移参数，利用缩放参数和偏移参数对标准归一化特征进行动态调制；

11、s6：将多模态融合特征输入联合预测模块，分别预测实体边界、实体类型和实体间关系类型，并根据预测结果输出实体关系五元组；其中，联合预测模块包括实体预测模块和关系预测模块；实体预测模块基于多模态融合特征预测实体边界和实体类型，关系预测模块基于多模态融合特征预测实体之间的关系类型，并根据实体预测结果和关系预测结果组装输出实体关系五元组。

12、进一步地，s1中还包括对获取的文本序列进行标准化处理和分词处理，以及对应图像进行尺寸归一化处理和像素归一化处理，记为，其中，表示输入文本序列，表示对应图像数据，表示文本序列的长度，表示文本序列中的第个词。

13、进一步地，s2中图文相似度分数sc的具体计算方法如下：

14、s201：采用预训练bert模型对文本序列进行编码：，表示预训练语言模型输出的文本序列特征矩阵，表示输入文本序列，表示文本序列的长度，表示预训练模型输出的初始特征隐藏层维度；

15、s202：采用预训练blip模型的med模块对图像进行编码：，表示视觉模型输出的图像特征矩阵，表示对应图像数据，表示图像特征序列的长度，表示预训练模型输出的初始特征隐藏层维度；

16、s203：使用blip计算文本-图像余弦相似度，作为后续门控依据：，表示计算得到的图文相似度分数，表示余弦相似度计算函数，表示视觉模型输出的图文特征矩阵，表示预训练视觉模型中的多模态编解码器模块；相似度值将作为门控交叉注意力模块的控制信号，用于控制无关图像信息对实体和关系抽取的干扰。

17、进一步地，s3中的线性映射与特征分块处理方法如下：

18、s301：将文本特征通过带有tanh激活的可训练线性变换映射并分块：，；

19、s302：将图像特征通过带有tanh激活的可训练线性变换映射并分块：

20、，，

21、其中，表示映射后的文本综合特征，表示映射后的图像文本特征，，，和，是可训练参数，表示双曲正切激活函数，表示隐藏特征维度， 表示分块操作，表示划分操作的维度， 和表示的是特证块。

22、进一步地，s4中利用图像全局特征初始化文本序列建模网络包括：

23、s401：在ner与re通道的第一层引入lstm，对图像特征块进行池化处理，获得图像全局特征；

24、s402：将图像全局特征作为文本序列建模网络的初始隐藏状态和初始细胞状态：

25、，，

26、其中，和表示初始细胞状态和初始隐藏状态，是 lstm层的输出时间特征序列，表示最大池化操作；

27、s403：通过文本序列建模网络对文本特征块进行时序增强建模，获得包含词序信息和长距离依赖信息的文本时序增强特征。

28、进一步地，s4中跨模态交叉注意力机制为通过多头交叉注意力与前馈网络完成第一层残差+layernorm结构融合，包括：

29、s404：以文本时序增强特征作为查询向量，以文本特征块或图像特征块作为键向量和值向量，构建多头交叉注意力结构；

30、s405：通过多头交叉注意力结构获得跨模态注意力输出，并通过残差连接和归一化得到初步融合特征。

31、进一步地，s5中的自适应阈值门控机制包括：s501：设置可学习门控参数和，并根据图文相似度分数sc计算门控相似度分数，其中：，表示修正线性单元激活函数；s502：将门控相似度分数与跨模态注意力输出进行逐元素相乘，以控制视觉信息或跨模态交互信息进入文本特征通道的程度，并通过残差连接和层归一化得到门控融合特征：

32、，

33、其中，表示经过自适应门控注意力融合后的中间特征，表示第一层标准层归一化函数，为键值特征输入，表示逐元素乘法操作，表示多头交叉注意力计算函数，表示多头注意力机制中的查询向量、键向量和值向量；

34、 s503：当小于或等于零时，门控相似度分数  为零或近似为零，从而降低或阻断低相关图像信息进入文本特征通道；

35、s504：当大于零时，门控相似度分数  随图文相似度分数 sc 增大而增大，从而增强高相关图像信息对文本特征的补充作用。

36、进一步地，s5中相似度调制自适应层归一化机制具体如下：

37、s505：将门控融合后的特征输入前馈神经网络，并经过残差连接和层归一化处理，得到标准归一化特征：

38、，

39、其中，表示未经相似度调制的标准归一化特征，表示第二层标准层归一化函数，表示前馈神经网络；

40、s506：将图文相似度分数输入线性映射层，生成用于特征调制的缩放参数和平移参数：

41、

42、其中，，表示由相似度分数动态投影生成的缩放参数和平移参数，用于特征分布调制，，表示相似度线性映射层中的可训练权重和偏置；

43、s507：根据缩放参数和平移参数对标准归一化特征进行动态调制，得到多模态融合特征，调制方式为：；

44、其中，表示标准归一化特征，表示调制后的多模态融合特征，表示逐元素乘法。

45、进一步地，s6的联合预测模块包括实体预测模块和关系预测模块，具体预测方法如下;

46、s601 mner单元：对每种实体类型构造表格，计算跨度表示并预测概率：

47、，

48、，

49、

50、其中，，和为可训练参数，表示由s5输出的专用于实体识别通道的多模态特征，表示指数线性单元激活函数，表示合并操作，表示s型激活函数， 表示实体类型集合的大小，表示预测标记和作为第类实体起止边界的概率；

51、s602 mre单元：构造关系表格，仅使用起始：

52、

53、

54、

55、其中，由s5输出的专用于关系抽取通道的多模态特征，表示候选头实体与尾实体的起始标记对应的局部特征，表示全局特征，表示关系表示层的可训练权重矩阵和偏置，表示实体（,）的关系特征表示，表示关系分类输出层的权重矩阵和偏置，表示预测候选头尾实体和之间存在特定关系的概率。

56、进一步地，联合预测模块的训练与推理方法如下：

57、s603：计算训练损失为mner单元与mre单元二元交叉熵之和：

58、

59、

60、

61、其中，和表示实体表和关系表的真实标签，和是预测值，最终我们的训练目标是最小化损失。和表示实体表和关系表的大小；

62、s604：推理时通过阈值过滤有效五元组，并结合mner与mre结果组装实体-关系五元组。

63、与现有技术相比，本发明的有益效果是：

64、1、本发明的用于提高抽取准确率的多模态联合实体关系抽取方法，通过可学习自适应阈值门控与sim-adaln机制，实现对相似度分数的动态、智能化调节，有效抑制低相关性图像干扰，同时增强特征分布自适应能力。

65、2、本发明的用于提高抽取准确率的多模态联合实体关系抽取方法，在jmere、mner、mre任务中能够取得优于基线模型的实验结果，提高联合实体-关系抽取的准确率。

66、3、本发明的用于提高抽取准确率的多模态联合实体关系抽取方法，可提升模型在不同批次与序列长度下的鲁棒性，适用于真实多模态社交媒体场景。