视频内容的多模态情感特征提取与信息融合方法及系统
本发明涉及人工智能,具体为视频内容的多模态情感特征提取与信息融合方法及系统。
背景技术:
1、情感分析是人工智能领域的一个关键研究方向,传统上主要聚焦于文本、语音和图像等单一模态的数据处理。然而,视频内容天然具有多模态特性,其情感分析需融合面部表情、音频及身体姿态等多源信息,这给情感识别带来了独特挑战,主要面临以下问题:其一,不同模态(如面部表情、语音和姿态)的信息具有异质性,如何有效整合这些信息以确保模型准确理解跨模态关系是主要难题。已有部分模型尝试将面部表情、语音、姿态等多种模态信息进行融合,但这些方法往往忽视了各模态之间潜在的复杂关联,导致模型在跨模态信息融合与情感分类任务中表现欠佳,其二,情感分析不仅涉及情感类别的划分,还需评估情感强度,且不同个体的情感反应存在差异,这对模型提出了更高要求。然而,现有方法常难以应对模态间异质性、时间变化性和信息冗余等问题,导致在实际应用场景中的表现有限,其三,视频内容的时间特性进一步增加了分析复杂度,必须充分考虑情感表达的动态变化。有效捕捉视频帧间的情感变化也颇具挑战。
2、随着虚拟现实、增强现实、智能客户服务、人机交互及视频推荐等技术的快速发展,情感分析的应用场景日益广泛。情感分析不仅能提升用户体验、帮助虚拟助手更精准地理解用户的情感需求,还在智能驾驶、医疗健康等领域发挥着重要作用。因此,亟需一种能够有效融合多模态信息、准确识别情感类别并评估情感强度的多模态情感分析方法。
技术实现思路
1、解决的技术问题
2、针对现有技术的不足,本发明提供了视频内容的多模态情感特征提取与信息融合方法及系统,解决了现有技术在处理多模态情感分析时面临的模态异质性、信息冗余、情感强度难以量化、视频时间动态变化难以捕捉以及双任务难以协同优化的问题。
3、技术方案
4、为实现上述的目的,本发明提供如下技术方案:视频内容的多模态情感特征提取与信息融合方法,包括以下步骤:
5、步骤一,获取视频数据,所述视频数据包含面部表情模态、音频模态和身体姿态模态的多模态信息;
6、步骤二,分别从所述面部表情模态、音频模态和身体姿态模态中提取情感特征,对应得到面部表情特征、音频特征和姿态特征;
7、步骤三,将所述面部表情特征、音频特征和姿态特征输入至transformer网络中,通过跨模态自注意力机制计算各模态特征之间的关联相似度,根据所述关联相似度为各模态动态分配注意力权重,并对各模态特征进行加权求和,以抑制信息冗余并增强有效模态表征,生成统一的情感表征;
8、步骤四,将所述统一的情感表征输入至全连接网络,通过分类任务分支输出情感类别,以及通过回归任务分支输出情感强度值。
9、作为上述技术方案的进一步描述,所述步骤二中,分别从所述面部表情模态、音频模态和身体姿态模态中提取情感特征,具体包括:
10、通过面部动作网络(fan)从视频数据中提取面部表情特征;
11、通过deepspectrum模型从视频数据中提取音频特征;
12、通过openpose从视频数据中提取姿态特征。
13、作为上述技术方案的进一步描述,所述步骤三中,通过跨模态自注意力机制计算各模态特征之间的关联相似度,并根据所述关联相似度为各模态分配注意力权重,具体按照如下公式计算各模态的注意力权重:
14、
15、其中表示与模态m对应的特征,即面部特征、音频特征或姿态特征的相似度得分,m表示所有模态的集合,表示每个模态的重要性权重。
16、作为上述技术方案的进一步描述,所述步骤三中,对各模态特征进行加权求和,生成统一的情感表征,具体按照如下公式计算:
17、
18、其中表示模态m的特征表示,为对应于模态m的权重。
19、作为上述技术方案的进一步描述,所述transformer网络包含堆叠式多头自注意力层,各所述多头自注意力层用于在不同模态特征之间进行信息传递,以捕捉跨模态的相互依赖关系。
20、作为上述技术方案的进一步描述,所述步骤四中情感强度值为0至100之间的连续数值,所述回归任务分支用于输出该连续数值。
21、作为上述技术方案的进一步描述,在模型训练阶段,采用加权损失函数对所述分类任务分支和回归任务分支进行联合优化,所述加权损失函数用于平衡分类损失与回归损失,所述加权损失函数具体为:
22、
23、其中,l为最终损失函数,为情绪分类任务的损失函数,为情绪强度预测任务回归分析的损失函数,λ为用于平衡分类与回归任务损失的权重系数。
24、作为上述技术方案的进一步描述,所述回归模型的损失函数为均方误差损失函数,具体按照如下公式计算:
25、
26、其中,n为样本总数,是模型预测的情感强度值;是真实情感强度值,通过最小化均方误差,模型能够学习如何将多模态情感表示映射到精确的情感强度值。
27、本发明还提供了一种视频内容的多模态情感特征提取与信息融合系统,包括:
28、数据获取模块,用于获取视频数据,所述视频数据包含面部表情模态、音频模态和身体姿态模态的多模态信息;
29、特征提取模块,用于分别从所述面部表情模态、音频模态和身体姿态模态中提取情感特征,对应得到面部表情特征、音频特征和姿态特征;
30、跨模态融合模块,内置transformer网络,用于通过跨模态自注意力机制计算各模态特征之间的关联相似度,根据所述关联相似度为各模态动态分配注意力权重,并对各模态特征进行加权求和,以抑制信息冗余并增强有效模态表征,生成统一的情感表征;
31、情感分析模块,内置全连接网络,用于将所述统一的情感表征通过分类任务分支输出情感类别,以及通过回归任务分支输出情感强度值。
32、作为上述技术方案的进一步描述,所述特征提取模块包括:
33、面部动作网络子模块,用于从所述视频数据中提取面部表情特征;
34、deepspectrum子模块,用于从所述视频数据中提取音频特征;
35、openpose子模块,用于从所述视频数据中提取姿态特征。
36、有益效果
37、与现有技术相比,本发明提供了视频内容的多模态情感特征提取与信息融合方法及系统,具备以下有益效果:
38、1.本发明通过跨模态自注意力机制有效解决了多模态数据间的异质性问题。该机制能够计算面部表情、音频和身体姿态三种模态特征之间的关联相似度并动态分配注意力权重,使模型能够识别不同模态在情感表达中的互补关系,其中面部表情反映情感的即时表现,音频揭示情感基调的变化,姿态通过肢体语言传递额外的情感线索。区别于传统仅关注单一模态的注意力机制,本发明通过多头自注意力层在不同模态之间进行信息传递以捕捉跨模态的相互依赖关系,使模型在面对不同情境时自动优化情感表征,从而有效克服了传统方法难以应对模态异质性的缺陷,同时通过动态加权融合抑制了模态间的信息冗余。
39、2.本发明通过多模态特征的深度融合显著提升了情感分类的准确性。通过整合面部表情、音频和姿态等不同模态的特征,能够更全面地捕捉情感表达信息,借助transformer架构和跨模态自注意力机制学习不同模态之间的关联性,使模型在情感分类任务中取得优于单模态模型及传统融合方法的分类效果。
40、3.本发明通过回归任务分支实现了情感强度的高精度预测。在识别情感类别的基础上,通过回归模型对融合后的多模态情感表征进行回归建模,量化情感的强烈程度并输出连续的情感强度值,能够为情感分析提供更细粒度、更精确的信息输出。
41、4.本发明采用加权损失函数对分类任务和回归任务进行联合优化,通过权重系数动态平衡两类任务的训练目标,使模型兼顾分类精度和回归准确率,实现了双任务的协同优化,避免了单一任务优化导致的性能失衡。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com