面向不完整数据的语义辅助多模态情感分析方法与系统

本申请涉及情感分析，特别是涉及面向不完整数据的语义辅助多模态情感分析方法与系统。

背景技术：

1、目前，多模态情感分析通常通过联合建模文本、视觉和音频信息，对目标对象的情感倾向、情感类别或情感强度进行预测。现有方法大多假设各模态数据完整可用，但在实际应用过程中，受传感器故障、环境噪声、目标遮挡、数据传输不稳定等因素影响，文本词元、视频帧或音频片段可能出现局部缺失，甚至出现某一模态整体缺失。此时，基于完整数据训练的模型难以获得充分、可靠的情感线索，容易造成情感特征表示不完整以及预测性能下降。

2、为缓解多模态信息缺失问题，部分现有技术通过特征重建方式，根据已观测模态恢复缺失模态的特征。然而，此类方法主要学习不同模态之间的低层统计关系，难以恢复对情感判断更为关键的高层语义信息。同时，相同文本可能对应不同的语音语调和面部表情，直接重建缺失的视觉或音频特征容易产生与真实情感证据不一致的虚假特征，从而对后续情感预测造成错误引导。

3、另一些现有技术通过设计复杂的跨模态交互或融合网络，直接融合当前可观测的模态特征。但当模态缺失比例较高时，可用特征本身可能包含噪声且信息量有限，融合模型容易依赖训练数据中的模态共现关系，难以获得稳定的情感语义表示。此外，虽然大语言模型具有较强的上下文理解和语义抽象能力，但直接生成情感描述或推理文本通常需要执行自回归文本解码，存在计算开销大、推理效率低，并可能引入文本生成偏差等问题。

4、此外，现有跨模态对齐方法多采用以文本或其他优势模态为锚点的成对对齐机制，分别约束视觉、音频等特征与锚点特征之间的一致性。该类方法忽略了语义、文本、视觉和音频表示之间的整体结构关系，难以充分捕获多模态特征之间的全局非线性依赖。当作为锚点的模态存在严重缺失或噪声时，还可能造成对齐方向不稳定；同时，不同样本的特征在对齐过程中可能趋于相同，导致表示坍缩并降低不同情感样本之间的可区分性。

技术实现思路

1、为了解决现有技术的不足，本申请提供了面向不完整数据的语义辅助多模态情感分析方法与系统；如何在文本、视觉或音频信息不完整的情况下，从现有多模态数据中获得可靠的高层情感语义信息；如何在不重建原始缺失数据、且不进行显式文本解码的条件下，实现计算开销较低的潜在语义补偿；以及如何在不依赖预设锚定模态的情况下，对语义、文本、视觉和音频表示进行整体非线性对齐，同时保持不同样本之间的判别能力，从而提高多模态情感分析在不同数据缺失条件下的准确性、稳定性和鲁棒性。

2、一方面，提供了面向不完整数据的语义辅助多模态情感分析方法，包括：

3、获取待分析的多模态数据，所述多模态数据包括视觉模态数据、音频模态数据和文本模态数据，对多模态数据的缺失数据进行预处理；

4、将待分析的多模态数据，输入训练后的多模态情感分析模型，得到情感预测结果；

5、其中，训练后的多模态情感分析模型，用于：

6、对多模态数据进行特征提取，得到视觉特征、音频特征和文本特征；

7、将视觉特征、音频特征和文本特征进行跨模态语义精炼得到语义特征；

8、将语义特征、视觉特征、音频特征和文本特征进行跨模态谱对齐处理，得到谱对齐后的四种特征；

9、将谱对齐后的四种特征进行融合，得到融合后的多模态特征表示；

10、对融合后的多模态特征表示进行情感预测，得到情感预测结果。

11、另一方面，提供了面向不完整数据的语义辅助多模态情感分析系统，包括：

12、获取模块，其被配置为：获取待分析的多模态数据，所述多模态数据包括视觉模态数据、音频模态数据和文本模态数据，对多模态数据的缺失数据进行预处理；

13、情感分析模块，其被配置为：将待分析的多模态数据，输入训练后的多模态情感分析模型，得到情感预测结果；

14、其中，训练后的多模态情感分析模型，用于：

15、对多模态数据进行特征提取，得到视觉特征、音频特征和文本特征；

16、将视觉特征、音频特征和文本特征进行跨模态语义精炼得到语义特征；

17、将语义特征、视觉特征、音频特征和文本特征进行跨模态谱对齐处理，得到谱对齐后的四种特征；

18、将谱对齐后的四种特征进行融合，得到融合后的多模态特征表示；

19、对融合后的多模态特征表示进行情感预测，得到情感预测结果。

20、再一方面，还提供了一种电子设备，包括：

21、存储器，用于非暂时性存储计算机可读指令；以及

22、处理器，用于运行所述计算机可读指令，

23、其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。

24、再一方面，还提供了一种存储介质，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法。

25、再一方面，还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。

26、上述技术方案具有如下优点或有益效果：

27、1）本申请利用冻结的大语言模型从不完整的文本、视觉和音频信息中生成连续潜在语义，实现面向情感分析的高层语义补偿，无需重建原始缺失数据。

28、2）本申请提出跨模态语义精炼模块，通过轻量化视觉及音频适配器构建统一多模态前缀，并采用隐藏状态迭代追加机制生成紧凑的情感相关语义，避免显式文本解码。

29、3）本申请提出跨模态谱对齐模块，通过核格拉姆矩阵及主导谱成分增强机制，对语义、文本、视觉和音频特征进行无锚点的全局非线性联合对齐。

30、4）本申请提出实例级谱分离约束，在增强同一样本跨模态一致性的同时，保持不同样本之间的语义差异，减少表示坍缩并提高情感预测的判别能力。

1.面向不完整数据的语义辅助多模态情感分析方法，其特征是，包括：

2.如权利要求1所述的面向不完整数据的语义辅助多模态情感分析方法，其特征是，所述将视觉特征、音频特征和文本特征进行跨模态语义精炼得到语义特征，具体包括：

3.如权利要求2所述的面向不完整数据的语义辅助多模态情感分析方法，其特征是，所述采用视觉适配器对视觉特征进行处理，得到视觉模态的紧凑提示特征；采用音频适配器对音频特征进行处理，得到音频模态的紧凑提示特征，包括：

4.如权利要求2所述的面向不完整数据的语义辅助多模态情感分析方法，其特征是，所述将初始多模态前缀输入大语言模型，进行潜在语义迭代精炼，得到潜在语义状态序列，包括：

5.如权利要求1所述的面向不完整数据的语义辅助多模态情感分析方法，其特征是，所述将语义特征、视觉特征、音频特征和文本特征进行跨模态谱对齐处理，得到谱对齐后的四种特征，具体包括：

6.如权利要求5所述的面向不完整数据的语义辅助多模态情感分析方法，其特征是，所述对核格拉姆矩阵进行特征值分解，得到特征值，具体包括：

7.如权利要求5所述的面向不完整数据的语义辅助多模态情感分析方法，其特征是，所述计算不同样本主导语义方向之间的平方相似度，得到实例级谱分离损失，具体包括：

8.面向不完整数据的语义辅助多模态情感分析系统，其特征是，包括：

9.一种电子设备，其特征是，包括：

10.一种存储介质，其特征是，非暂时性存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法。