基于解耦概率表征学习的多模态情感分析方法和电子设备

摘要: 本发明涉及自然语言处理、计算机视觉和语音处理,尤其是涉及一种基于解耦概率表征学习的多模态情感分析方法和电子设备。背景技术:1、随着人工智能和人机交互技术的发展,...
基于解耦概率表征学习的多模态情感分析方法和电子设备

本发明涉及自然语言处理、计算机视觉和语音处理,尤其是涉及一种基于解耦概率表征学习的多模态情感分析方法和电子设备。

背景技术:

1、随着人工智能和人机交互技术的发展,多模态情感分析被广泛应用于智能客服、在线教育、舆情分析、辅助驾驶及数字人交互等场景。该技术通常联合文本、语音和视觉信号,对说话者的情感极性和情感强度进行预测。文本可表达显式语义,语音包含语调、能量和节奏等线索,视觉则反映表情和动作,不同模态共同构成较完整的情感证据。

2、现有多模态情感分析方法通常先分别提取三种模态的特征,再通过拼接、注意力机制或跨模态交互模块得到统一融合特征,并使用单一预测头输出连续情感分数或离散情感类别。该类方法在模态信息一致、噪声较少的数据上可以获得较好的预测效果,但在真实场景中仍存在明显不足。

3、首先,文本、语音和视觉信号具有不同的语义粒度、时间结构和噪声来源。同一段话中,文本可能表达正向含义,而语音语调和面部表情可能表达消极或讽刺含义。现有方法将各模态直接融合,容易把一致信息和冲突信息混合在同一表示中,导致模型难以识别各模态的共识证据以及具有判别价值的偏差信息。

4、其次,现有静态融合策略通常对所有样本采用固定或近似固定的模态权重,未能根据单个样本的模态可靠性进行调节。当某一模态存在缺失、背景噪声、表情遮挡或对齐误差时,不可靠模态仍可能对最终结果产生过大影响,降低预测的稳定性。

5、再次,连续情感强度预测与离散情感类别判断具有不同的决策需求。仅采用回归分支时,模型缺乏对情感等级有序关系的显式约束;仅采用分类分支时,又难以充分反映相邻情感强度之间的连续变化。

6、中国专利申请公开号cn121579932a公开了一种基于人格多级融合的多模态情感分析方法及系统,通过基于人格多级融合的方法,提取文本、视觉和音频的特征,利用人格化信息进行特征对齐和跨模态融合,结合注意力机制和多路径融合,生成情感语义增强的跨模态特征,最终进行情感预测。该方案依赖外部人格特征驱动融合,但未将跨模态共享情绪与模态特有偏差进行解耦,亦未对融合分支的不确定性进行显式建模与自适应决策,因此在模态冲突或噪声干扰等复杂条件下,缺乏本技术所具备的冲突消解与预测稳定性保障能力。

7、综上,当前缺少一种基于解耦概率表征学习的多模态情感分析方案,以解决或部分解决前述问题。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于解耦概率表征学习的多模态情感分析方法和电子设备,以解决或部分解决跨模态共享情绪与模态存在偏差、固定原型对样本差异和模态不确定性的适应性不足的问题。

2、本发明的目的可以通过以下技术方案来实现:

3、本发明的一个方面,提供了一种基于解耦概率表征学习的多模态情感分析方法,包括如下步骤:

4、获取待分析的文本序列、音频序列和视频序列;

5、分别提取所述文本序列、音频序列和视频序列的时序特征,并将各模态的时序特征映射至相同维度的表示空间,得到文本模态表示、音频模态表示和视觉模态表示;

6、基于所述文本模态表示、音频模态表示和视觉模态表示,提取跨模态共享的共识情绪特征,并分别计算各模态表示相对于所述共识情绪特征的偏差,得到模态偏差情绪特征;

7、基于所述共识情绪特征和所述模态偏差情绪特征,通过回归导向融合路径获得回归预测值及其回归不确定性,并通过分类导向融合路径获得原型分类查询特征;

8、基于预设的多个有序情感等级对应的基础原型,利用所述原型分类查询特征、所述共识情绪特征和所述模态偏差情绪特征计算各基础原型的样本级偏移量,将所述偏移量与对应的基础原型相加得到动态原型,计算所述原型分类查询特征与各所述动态原型之间的距离并经归一化处理,得到原型概率分布,根据所述原型概率分布计算原型预测值及原型不确定性;

9、依据所述回归不确定性和所述原型不确定性,对所述回归预测值和所述原型预测值进行自适应加权融合,得到最终的情感强度预测结果。

10、作为优选的技术方案,提取时序特征并将各模态的时序特征映射至相同维度的表示空间的过程包括如下步骤:

11、利用预训练语言模型提取所述文本序列的上下文词级特征,利用时序卷积网络或transformer编码器分别提取所述音频序列的声学特征和所述视频序列的视觉特征;

12、将提取得到的文本特征、声学特征和视觉特征通过各自的全连接投影层映射到维度相同的统一表示空间中。

13、作为优选的技术方案,提取跨模态共享的共识情绪特征并计算模态偏差情绪特征的过程包括如下步骤:

14、对各模态表示进行掩码池化,获得文本样本级表示、音频样本级表示和视觉样本级表示;

15、将所述文本样本级表示、音频样本级表示和视觉样本级表示输入跨模态注意力网络,获得所述共识情绪特征;

16、利用模态特定变换函数将所述共识情绪特征分别映射至文本特征空间、音频特征空间和视觉特征空间,获得文本映射特征、音频映射特征和视觉映射特征;

17、将所述文本样本级表示减去所述文本映射特征,获得文本偏差情绪特征,将所述音频样本级表示减去所述音频映射特征,获得音频偏差情绪特征,将所述视觉样本级表示减去所述视觉映射特征,获得视觉偏差情绪特征。

18、作为优选的技术方案,通过回归导向融合路径获得回归预测值及其回归不确定性的过程包括如下步骤:

19、将所述共识情绪特征和所述模态偏差情绪特征输入门控网络,生成与各模态对应的可靠性权重;

20、以所述可靠性权重对相应的模态偏差情绪特征加权求和后,与所述共识情绪特征融合,得到回归融合特征;

21、将所述回归融合特征输入回归预测层,输出回归预测值以及经激活函数处理得到的预测方差,将所述预测方差作为所述回归不确定性。

22、作为优选的技术方案,通过分类导向融合路径获得原型分类查询特征的过程包括如下步骤:

23、将所述共识情绪特征和各所述模态偏差情绪特征输入分类变换网络,输出用于与动态原型进行匹配的所述原型分类查询特征。

24、作为优选的技术方案,所述基础原型为可学习参数向量,分别对应不同的有序情感等级,所述样本级偏移量通过一偏移量生成网络获得,该网络以所述原型分类查询特征、所述共识情绪特征和所述模态偏差情绪特征为输入,

25、计算原型概率分布的国策灰姑娘包括如下步骤:

26、计算所述原型分类查询特征与每个动态原型之间的欧氏距离,利用温度参数对所述距离进行缩放后,通过softmax归一化,得到每个动态原型对应的原型概率;

27、根据原型概率分布计算原型预测值及原型不确定性的过程包括如下步骤:

28、将预设的与各情感等级对应的数值按照所述原型概率进行加权求和,得到原型预测值;计算所述数值与所述原型预测值的加权方差,作为所述原型不确定性。

29、作为优选的技术方案,依据所述回归不确定性和所述原型不确定性进行自适应加权融合:

30、

31、

32、其中,为回归预测值,为回归不确定性,为原型预测值,为原型不确定性,为大于零的微小常数,为自适应融合权重,为最终的情感强度预测结果。

33、作为优选的技术方案,所述方法还包括对多模态情感分析模型进行训练的步骤,训练过程中联合使用以下损失函数对网络参数进行优化:

34、回归损失、基于所述原型概率分布与真实情感等级标签的有序原型分类损失、用于约束回归分支与原型分支输出一致性的分支一致性损失、基于所述回归不确定性和/或原型不确定性构建的不确定性约束损失,以及用于增强相邻情感等级边界区分能力的边界增强损失。

35、作为优选的技术方案,在获取待分析的文本序列、音频序列和视频序列之后,还包括:

36、对文本、音频和视频进行时间对齐、去噪、归一化处理,并对缺失片段进行掩码处理;将连续情感分数标注划分为有序的情感等级,形成用于模型训练的回归标签和原型分类标签。

37、本发明的另一个方面,提供了一种电子设备,包括一个或多个处理器、存储器和被存储在存储器中的一个或多个程序,所述一个或多个程序包括用于执行前述基于解耦概率表征学习的多模态情感分析方法的指令。

38、与现有技术相比,本发明至少具有以下有益效果之一:

39、(1)减少了异质信息在融合过程中的相互干扰:现有多模态融合方法常将异质模态信息直接混合,导致跨模态共享情绪与模态特有偏差、冲突信息相互混叠,影响情感分析的准确性,对此,本发明基于文本模态表示、音频模态表示和视觉模态表示,提取跨模态共享的共识情绪特征,并分别计算各模态表示相对于共识情绪特征的偏差,得到模态偏差情绪特征,将多模态信息解耦为相互支持的稳定共识线索和模态特有的偏差线索,在保留共同情绪证据的同时,显式刻画了模态间的冲突,有效减少了异质信息在融合过程中的相互干扰,提升了情感表征的纯度。

40、(2)提升了细粒度情感等级的区分能力:现有基于原型的分类方法通常使用固定的类别中心,无法适应同一情感等级下因说话风格、场景变化或模态可靠性不同而导致的样本差异,限制了分类精度,对此,本发明样本级偏移量通过偏移量生成网络获得,该网络以原型分类查询特征、共识情绪特征和模态偏差情绪特征为输入,将所述偏移量与对应的基础原型相加得到动态原型,通过为每个基础原型生成样本特定的动态偏移,建立了样本级动态原型,使原型空间能够根据当前输入的具体模态构成和情绪表达进行自适应调整,更精确地捕捉了情感类内的多样性和类间的有序性,显著提升了细粒度情感等级的区分能力。

41、(3)实现了双路信息的协同互补与自适应融合:本发明通过回归导向融合路径获得回归预测值及其回归不确定性,并通过分类导向融合路径获得原型分类查询特征,根据原型概率分布计算原型预测值及原型不确定性,依据所述回归不确定性和所述原型不确定性进行自适应加权融合,构建了双分支结构与不确定性感知的决策融合机制,该机制能同时利用连续的强度信息和离散的等级判别信息,并依据各分支的预测置信度自动调整其对最终结果的贡献,实现了双路信息的协同互补与自适应融合,提升了模型在低质量数据、边界样本等复杂条件下的预测鲁棒性和可靠性。