基于多尺度感知与门控对齐的多模态灾害推文分类方法及系统与流程

摘要: 本申请涉及模式识别,尤其涉及一种基于多尺度感知与门控对齐的多模态灾害推文分类方法及系统。背景技术:1、随着社交媒体的广泛普及,用户在灾害事件期间发布的包含文本和...
基于多尺度感知与门控对齐的多模态灾害推文分类方法及系统与流程

本申请涉及模式识别,尤其涉及一种基于多尺度感知与门控对齐的多模态灾害推文分类方法及系统。

背景技术:

1、随着社交媒体的广泛普及,用户在灾害事件期间发布的包含文本和图像的推文已成为应急响应和态势感知的重要信息源。多模态灾害推文分类任务旨在自动判断一条包含文本内容和附带图像的推文是否与灾害事件相关,并在相关的情况下进一步识别其具体灾害类别,但社交媒体数据存在模态异构、信息冗余、噪声干扰以及模态间语义不对齐等挑战,使得精准分类变得困难。

2、传统的多模态融合方法通常将文本特征和图像特征通过简单的特征拼接进行融合后输入分类器中进行分类。但在实际的灾害推文分类应用中,简单的特征拼接或融合策略无法深入挖掘文本与图像模态之间复杂的语义关联,文本描述与图像内容之间的对应关系未能被显式建模,导致融合特征的表征能力有限,存在模态语义鸿沟。其根本原因在于,现有方法普遍采用静态、无差异化的融合策略,既无法在特征层面建立文本语义单元与图像视觉区域之间的精确对应关系,也无法根据每个样本中不同模态的可靠度差异动态调整各模态在融合中的贡献比例。

3、鉴于此,本申请提出一种新的多模态灾害推文分类方法,旨在实现跨模态细粒度语义对齐与自适应融合,以提升社交媒体多模态灾害推文分类的准确性和鲁棒性。

技术实现思路

1、本申请的主要目的在于提供一种基于多尺度感知与门控对齐的多模态灾害推文分类方法,旨在解决如何提升社交媒体多模态灾害推文分类的准确性和鲁棒性的问题。

2、为实现上述目的,本申请提供的一种基于多尺度感知与门控对齐的多模态灾害推文分类方法,所述方法包括:

3、s10,获取包含文本和图像的多模态灾害推文数据,并对所述多模态灾害推文数据进行预处理后分别进行多尺度的文本特征提取和图像特征提取,得到文本多尺度特征表示和图像多尺度特征表示;

4、s20,计算所述文本多尺度特征表示与所述图像多尺度特征表示之间的跨模态注意力权重,基于所述跨模态注意力权重对所述图像多尺度特征表示进行加权重构,获得对齐图像特征表示;

5、s30,将所述对齐图像特征表示与所述文本多尺度特征表示通过门控机制进行自适应融合,生成多模态联合表示;

6、s40,基于所述多模态联合表示进行分类,输出灾害类别预测结果。

7、可选地,所述文本多尺度特征表示的生成步骤,具体包括:

8、s11,将预处理后的文本序列通过词嵌入层转换为连续向量序列;

9、s12,利用多个不同尺寸卷积核的一维卷积层提取所述向量序列的局部短语级特征,以及利用多头自注意力机制捕获所述向量序列的全局序列级特征;

10、s13,将所述局部短语级特征与所述全局序列级特征进行融合,得到文本多尺度特征表示。

11、可选地,所述图像多尺度特征表示的生成步骤,具体包括:

12、s14,利用预训练的深度卷积神经网络提取所述图像在不同深度层次的特征图;

13、s15,通过通道注意力掩码和空间注意力掩码对所述特征图进行逐层校准;

14、s16,通过特征金字塔网络融合经校准的不同层次的特征图,获得图像多尺度特征表示。

15、可选地,s20中,所述计算跨模态注意力权重包括:

16、将所述文本多尺度特征表示和所述图像多尺度特征表示分别通过线性变换投影至公共语义空间;

17、计算投影后文本特征与投影后图像特征之间的缩放点积注意力权重矩阵,其中,所述缩放点积注意力权重矩阵中的每个元素表示一个文本特征单元与一个图像特征区域之间的语义相关性。

18、可选地,s30中,所述通过门控机制进行自适应融合过程包括:

19、将对齐图像特征表示与文本多尺度特征表示进行拼接,将拼接后的特征输入非线性变换层,生成动态门控值;

20、基于所述动态门控值对所述对齐图像特征表示与所述文本多尺度特征表示进行加权求和,得到多模态联合表示。

21、可选地,s40具体包括:

22、将所述多模态联合表示输入全连接分类器,以对所述多模态联合表示并行施加多个具有不同丢弃率的随机失活处理;

23、对多个随机失活处理后的特征分别进行线性变换并取平均值,经归一化指数函数处理后得到各灾害类别的预测概率;

24、将概率最高的类别作为分类结果输出。

25、此外,为实现上述目的,本申请还提供一种基于多尺度感知与门控对齐的多模态灾害推文分类系统,包括:

26、数据获取与预处理模块,用于获取包含文本和图像的多模态灾害推文数据并对所述数据进行预处理;

27、多尺度文本特征提取模块,用于对预处理后的文本数据进行多尺度文本特征提取,输出文本多尺度特征表示;

28、多尺度图像特征提取模块,用于对预处理后的图像数据进行多尺度图像特征提取,输出图像多尺度特征表示;

29、门控对齐融合模块,用于计算所述文本多尺度特征表示与所述图像多尺度特征表示之间的跨模态注意力权重,基于所述权重对所述图像多尺度特征表示进行加权重构以获得对齐图像特征表示,并将所述对齐图像特征表示与所述文本多尺度特征表示通过门控机制进行自适应融合,生成多模态联合表示;

30、分类模块,用于基于所述多模态联合表示进行分类,输出灾害类别预测结果。

31、本申请至少具备以下有益效果:

32、(1)通过多尺度文本特征提取中并行设置的局部短语级特征提取路径和全局序列级特征提取路径,使文本特征同时包含短语级局部线索和文档级全局语义依赖,克服了单一尺度文本特征表达能力不足的问题。

33、(2)通过多尺度图像特征提取中结合通道注意力掩码和空间注意力掩码对特征图进行逐层校准,有效抑制了社交媒体图像中的背景噪声干扰,使模型聚焦于灾害关键视觉区域。

34、(3)通过跨模态注意力权重计算及基于权重的图像特征加权重构,建立了文本语义单元与图像视觉区域之间的细粒度对应关系,避免了简单拼接融合中语义不对齐导致的噪声引入。

35、(4)通过门控机制的自适应融合,利用可学习门控值对对齐图像特征表示与文本多尺度特征表示进行动态加权,使模型能够针对每个样本根据文本和图像的模态信息质量差异分配不同的融合权重。

1.一种基于多尺度感知与门控对齐的多模态灾害推文分类方法,其特征在于,所述方法包括以下步骤:

2.如权利要求1所述的基于多尺度感知与门控对齐的多模态灾害推文分类方法,其特征在于,所述文本多尺度特征表示的生成步骤,具体包括:

3.如权利要求1或2所述的基于多尺度感知与门控对齐的多模态灾害推文分类方法,其特征在于,所述图像多尺度特征表示的生成步骤,具体包括:

4.如权利要求1所述的基于多尺度感知与门控对齐的多模态灾害推文分类方法,其特征在于,s20中,所述计算跨模态注意力权重包括:

5.如权利要求1或4所述的基于多尺度感知与门控对齐的多模态灾害推文分类方法,其特征在于,s30中,所述通过门控机制进行自适应融合过程包括:

6.如权利要求1所述的基于多尺度感知与门控对齐的多模态灾害推文分类方法,其特征在于,s40具体包括:

7.一种基于多尺度感知与门控对齐的多模态灾害推文分类系统,其特征在于,包括: