用于情感分析的多模态特征融合方法及系统

技术特征：
1.一种用于情感分析的多模态特征融合方法，其特征在于，包括:获取社交数据中的文本数据及其对应的图像数据；分别对所述文本数据和图像数据进行特征提取，获得文本特征及图像特征；基于所述文本特征及图像特征，采用跨模态注意力机制获取两者之间的交互信息，并通过门控机制对所述交互信息进行噪声过滤，获得图像滤波后的文本特征以及文本滤波后的图像特征；将获得的文本特征、图像特征、图像滤波后的文本特征以及文本滤波后的图像特征进行拼接，获得融合特征；基于所述融合特征，通过预先构建的情感分析模型获得情感分析结果。2.如权利要求1所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述采用跨模态注意力机制获取两者之间的交互信息，具体为:基于所述文本特征及图像特征，计算两者的注意力矩阵；利用softmax函数对所述注意力矩阵进行量化处理；计算注意力矩阵的量化结果与图像特征的乘积，获得文本到图像的交互信息；计算注意力矩阵的量化结果与文本特征的乘积，获得图像到文本的交互信息。3.如权利要求1所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述通过门控机制对所述交互信息进行噪声过滤，包括对文本到图像的交互信息的噪声过滤，以及对图像到文本的交互信息的噪声过滤。4.如权利要求3所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述对文本到图像的交互信息的噪声过滤，具体表示如下；其中，g()表示门控操作，n()表示非线性操作，i
tv
为文本到图像的交互信息，hv为图像特征。5.如权利要求3所述的一种用于情感分析的多模态特征融合方法，其特征在于，所述对图像到文本的交互信息的噪声过滤，具体表示如下；其中，i
vt
为图像到文本的交互信息，h
t
为文本特征。6.一种用于情感分析的多模态特征融合系统，其特征在于，包括：数据获取单元，其用于获取社交数据中的文本数据及其对应的图像数据；特征提取单元，其用于分别对所述文本数据和图像数据进行特征提取，获得文本特征及图像特征；交互信息获取及滤波单元，其用于基于所述文本特征及图像特征，采用跨模态注意力机制获取两者之间的交互信息，并通过门控机制对所述交互信息进行噪声过滤，获得图像滤波后的文本特征以及文本滤波后的图像特征；特征融合单元，其用于将获得的文本特征、图像特征、图像滤波后的文本特征以及文本滤波后的图像特征进行拼接，获得融合特征；情感分析单元，其用于基于所述融合特征，通过预先构建的情感分析模型获得情感分析结果。
7.如权利要求6所述的一种用于情感分析的多模态特征融合系统，其特征在于，所述采用跨模态注意力机制获取两者之间的交互信息，具体为:基于所述文本特征及图像特征，计算两者的注意力矩阵；利用softmax函数对所述注意力矩阵进行量化处理；计算注意力矩阵的量化结果与图像特征的乘积，获得文本到图像的交互信息；计算注意力矩阵的量化结果与文本特征的乘积，获得图像到文本的交互信息。8.如权利要求6所述的一种用于情感分析的多模态特征融合系统，其特征在于，所述通过门控机制对所述交互信息进行噪声过滤，包括对文本到图像的交互信息的噪声过滤，以及对图像到文本的交互信息的噪声过滤。9.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的一种用于情感分析的多模态特征融合方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的一种用于情感分析的多模态特征融合方法。

技术总结
本公开提供了一种用于情感分析的多模态特征融合方法及系统，所述方案包括:获取社交数据中的文本数据及其对应的图像数据；分别对所述文本数据和图像数据进行特征提取，获得文本特征及图像特征；基于所述文本特征及图像特征，采用跨模态注意力机制获取两者之间的交互信息，并通过门控机制对所述交互信息进行噪声过滤，获得图像滤波后的文本特征以及文本滤波后的图像特征；将获得的文本特征、图像特征、图像滤波后的文本特征以及文本滤波后的图像特征进行拼接，获得融合特征；基于所述融合特征，通过预先构建的情感分析模型获得情感分析结果。果。果。


技术研发人员：耿玉水 杜婉童 梁虎 赵晶
受保护的技术使用者：齐鲁工业大学（山东省科学院）
技术研发日：2023.06.20
技术公布日：2023/8/29