一种基于相关性门控的多模态情感分析方法及系统

摘要: 本发明属于多模态信息处理领域,具体涉及一种基于相关性门控的多模态情感分析方法及系统。背景技术:1、多模态情感分析旨在综合利用文本、音频和视觉等多源信息,对人类表...
一种基于相关性门控的多模态情感分析方法及系统

本发明属于多模态信息处理领域,具体涉及一种基于相关性门控的多模态情感分析方法及系统。

背景技术:

1、多模态情感分析旨在综合利用文本、音频和视觉等多源信息,对人类表达中的情感倾向或情感强度进行识别与预测。与传统的单文本情感分析相比,多模态情感分析能够利用语音语调、面部表情、动作姿态等非文本模态信息,为情感判断提供更加丰富的补充线索,因此在人机交互、智能客服、舆情分析、视频理解和推荐系统等领域具有重要应用价值。

2、面对上述需求,现有的多模态情感分析方法通过特征提取工具分别获取文本、音频和视觉模态的特征表示,随后通过跨模态注意力、张量融合或transformer等机制建模不同模态之间的交互关系,进而综合多种模态特征完成情感预测。

3、但是,不同样本中非文本模态与文本模态之间的语义相关性存在明显差异,而现有方法在跨模态融合或修正过程中通常采用固定预设强度,未能根据当前样本的实际模态间语义一致性进行自适应调节,导致融合时无法自适应区分强相关与弱相关的非文本模态,使得弱相关或含噪的非文本模态仍以较大权重参与最终的情感预测,影响最终预测结果的准确性。

技术实现思路

1、为了解决现有多模态情感分析准确性低的问题,本发明提供了一种基于相关性门控的多模态情感分析方法及系统质。

2、为了实现上述目的,本发明提供如下技术方案:

3、一种基于相关性门控的多模态情感分析方法,包括:

4、获取用户的多模态情感数据;

5、从多模态情感数据分别提取表征语义信息的文本模态特征和非文本模态特征;对文本模态特征和非文本模态特征分别进行全局语义聚合,得到文本全局语义表示和非文本全局语义表示;

6、将文本全局语义表示和非文本全局语义表示对齐处理,得到对齐的文本全局语义表示和非文本全局语义表示;计算对齐的文本全局语义表示与对齐的非文本全局语义表示之间的语义相关性,根据语义相关性生成自适应门控系数;以文本模态特征为语义锚点,基于跨模态注意力机制构建非文本模态特征的语义修正项;以自适应门控系数为语义修正项的权重,对非文本模态特征进行校正,得到校正后的非文本模态特征;

7、将文本模态特征与校正后的非文本模态特征融合,得到多模态融合特征;通过情感预测模块根据多模态融合特征进行连续情感预测,得到多模态情感分析结果。

8、可选的,本发明提供的一种基于相关性门控的多模态情感分析方法,还包括:

9、分别构造文本模态特征和非文本模态特征的时序邻域样本序列;

10、从文本模态特征和非文本模态特征的时序邻域样本序列分别提取文本模态特征和非文本模态特征的上下文特征;

11、将文本模态特征的上下文特征注入文本模态特征中,得到上下文增强的文本模态特征;将非文本模态特征的上下文特征注入非文本模态特征中,得到上下文增强的非文本模态特征。

12、可选的,本发明提供的一种基于相关性门控的多模态情感分析方法,还包括:

13、对文本模态特征沿序列长度维度进行均值池化,得到文本全局语义表示。

14、可选的,非文本全局语义表示包括音频全局语义表示和视觉全局语义表示,本发明提供的一种基于相关性门控的多模态情感分析方法,还包括:

15、对对齐的文本全局语义表示与对齐的音频全局语义表示进行向量点积处理,得到文本与音频之间的语义相关性;通过sigmoid函数将文本与音频之间的语义相关性映射为文本与音频之间的自适应门控系数;

16、对对齐的文本全局语义表示与对齐的视觉全局语义表示进行向量点积处理,得到文本与视觉之间的语义相关性;通过sigmoid函数将文本与视觉之间的语义相关性映射为文本与视觉之间的自适应门控系数。

17、可选的,非文本模态特征包括音频模态特征和视觉模态特征,本发明提供的一种基于相关性门控的多模态情感分析方法,还包括:

18、以音频模态特征为查询向量,以文本模态特征为键向量和值向量,基于多头注意力机制确定音频模态特征的语义修正项;

19、以视觉模态特征为查询向量,以文本模态特征为键向量和值向量,基于多头注意力机制确定视觉模态特征的语义修正项。

20、可选的,本发明提供的一种基于相关性门控的多模态情感分析方法,还包括:

21、将多模态融合特征输入主任务回归头中,得到主任务情感预测值;

22、将文本模态特征输入文本模态辅助回归头中,得到文本分支辅助预测结果;

23、将音频模态特征输入音频模态辅助回归头中,得到音频分支辅助预测结果;

24、根据主任务情感预测值、文本分支辅助预测结果和音频分支辅助预测结果确定多模态情感分析结果。

25、可选的,通过集成门控校正机制的多模态情感分析模型处理多模态数据得到多模态情感分析结果,本发明提供的一种基于相关性门控的多模态情感分析方法,还包括:

26、获取训练用多模态数据及对应的主任务情感标签、文本模态辅助标签和音频模态辅助标签;

27、将训练用多模态数据输入未训练的多模态情感分析模型中,根据训练用多模态数据对应的主任务情感预测值和主任务情感标签计算均方误差损失,得到主任务损失;根据训练用多模态数据对应的文本分支辅助预测结果和文本模态辅助标签计算均方误差损失,得到文本模态辅助损失;根据训练用多模态数据对应的音频分支辅助预测结果和音频模态辅助标签计算均方误差损失,得到音频模态辅助损失;

28、根据训练用多模态数据对应的文本模态特征和音频模态特征进行对比损失计算,得到音频与文本之间的对比损失;根据训练用多模态数据对应的文本模态特征和视觉模态特征进行对比损失计算,得到视觉与文本之间的对比损失;

29、根据主任务损失、文本模态辅助损失、音频模态辅助损失、音频与文本之间的对比损失和视觉与文本之间的对比损失加权确定总损失;

30、根据总损失调整模型参数,得到训练后的多模态情感分析模型。

31、本发明还提供一种基于相关性门控的多模态情感分析系统,包括:

32、数据获取模块,用于获取用户的多模态情感数据;

33、全局语义聚合模块,用于从多模态情感数据分别提取表征语义信息的文本模态特征和非文本模态特征;对文本模态特征和非文本模态特征分别进行全局语义聚合,得到文本全局语义表示和非文本全局语义表示;

34、门控校正模块,用于将文本全局语义表示和非文本全局语义表示对齐处理,得到对齐的文本全局语义表示和非文本全局语义表示;计算对齐的文本全局语义表示与对齐的非文本全局语义表示之间的语义相关性,根据语义相关性生成自适应门控系数;以文本模态特征为语义锚点,基于跨模态注意力机制构建非文本模态特征的语义修正项;以自适应门控系数为语义修正项的权重,对非文本模态特征进行校正,得到校正后的非文本模态特征;

35、情感预测模块,用于将文本模态特征与校正后的非文本模态特征融合,得到多模态融合特征;通过情感预测模块根据多模态融合特征进行连续情感预测,得到多模态情感分析结果。

36、本发明还提供一种计算机设备,包括存储器、处理器及存储在存储器上的计算机程序,处理器执行计算机程序以实现一种基于相关性门控的多模态情感分析方法中任一项的步骤。

37、本发明还提供一种计算机可读存储介质,存储介质上存储有计算机程序,该计算机程序被处理器加载时,能够执行一种基于相关性门控的多模态情感分析方法中任一项的步骤。

38、本发明提供的一种基于相关性门控的多模态情感分析方法具有以下有益效果:

39、本发明通过计算对齐后的文本全局语义表示与非文本全局语义表示之间的语义相关性,并根据该相关性生成自适应门控系数,使得门控系数直接源自当前样本自身的模态间语义一致性程度;同时,本发明以文本模态特征为语义锚点,基于跨模态注意力机制构建非文本模态特征的语义修正项,并以所述自适应门控系数为该语义修正项的权重,对非文本模态特征进行校正。其中,语义相关性决定了门控系数的大小,而门控系数直接控制着语义修正项注入非文本模态特征的强度,从而形成由相关性估计到修正强度调控的完整闭环。当非文本模态与文本模态在当前样本中语义相关性较弱时,门控系数自动趋小,语义修正项的注入强度被自适应抑制,该弱相关模态的修正量在最终融合特征中的贡献被主动降低;反之,当非文本模态与文本模态语义相关性较强时,避免了现有技术中因采用固定预设强度进行融合所导致的弱相关模态过度参与、进而污染最终融合特征的技术缺陷,有效提升了多模态情感分析结果的准确性和可靠性。