基于双异构图和图对比学习的多模态对话情感识别方法及系统
本发明属于人工智能,具体涉及一种基于双异构图和图对比学习的多模态对话情感识别方法及系统。
背景技术:
1、多模态对话情感识别(merc)是情感计算领域的核心研究任务,其通过融合分析对话场景下的文本、声学、视觉多模态信息,精准判定每轮对话对应的情感状态。随着人工智能技术的快速迭代与落地应用,多模态对话情感识别技术已广泛应用于智能客服交互、虚拟人机助手、情感健康监测、智能驾驶交互、社交机器人互动等诸多场景,是实现智能化、人性化人机交互的关键核心技术,具备重要的研究价值与工程应用价值。
2、区别于单一模态情感识别任务,多模态对话情感识别需同时完成跨模态信息关联建模与对话上下文时序依赖建模。在真实对话场景中,用户情感具备显著的动态演化特性,前后轮话语存在紧密的情感关联与连锁反应;同时,文本语义、声学特征、视觉表情等多模态信息常存在异构、矛盾、不一致的情况,仅依赖单一模态数据无法精准表征用户真实情感,极易造成情感识别偏差。因此,如何高效融合存在异构冲突的多模态特征、精准建模对话情感的动态演变规律,是提升多模态对话情感识别精度与稳定性的核心关键。
3、为了实现对话多模态信息的有效提取与融合,业内已相继提出一系列技术方案。早期传统方法多采用特征拼接、特征直接求和等浅层融合策略,算法逻辑简单、落地便捷,但无法有效解决模态信息模糊、模态特征相互冲突的问题,难以建模模态间复杂的动态交互关系,特征融合效果较差。为了克服早期浅层融合方法的缺陷,后续研究聚焦于对话时序动态特征与跨模态依赖关系建模,逐步引入循环神经网络、注意力机制、分层融合架构等技术,依托权重自适应分配方式强化跨模态特征关联、捕捉对话上下文信息。但该类方法仅停留在特征加权优化层面,无法实现多模态特征的深度耦合融合,对动态、异构的跨模态依赖关系捕捉能力有限,整体建模效果仍存在明显短板。
4、近年来,图神经网络凭借优异的非结构化数据关系建模能力,被广泛应用于多模态对话情感识别领域,典型如dialoguegcn、mmgcn等主流算法。该类方法通过构建对话拓扑图结构,有效捕捉对话长程依赖关系与说话人交互关联,相较于传统时序模型性能显著提升。但现有基于图神经网络的技术方案仍存在一些不足,如在全局上下文信息聚合融合过程中,易平滑、丢失多模态细粒度原始特征,对动态异构的跨模态交互特征建模不充分,最终导致模态融合效率低、模型输出的联合特征表征判别性较弱。
5、综上,现有多模态对话情感识别技术体系,无法同时兼顾细粒度特征留存、全局上下文信息聚合与动态异构跨模态关系建模,普遍存在特征表征区分度不足、多模态融合不充分、动态情感适配性差等问题,难以满足复杂真实对话场景下高精度、高鲁棒性的情感识别需求。基于此,亟需提供一种可协同挖掘局部、全局跨模态关联关系,且能够有效强化特征表征判别能力的多模态对话情感识别方法,以突破现有技术瓶颈,提升复杂场景下对话情感识别的综合性能。
技术实现思路
1、针对上述现有技术存在的问题,本发明提供一种基于双异构图和图对比学习的多模态对话情感识别方法及系统,该方法通过双异构图协同建模与图对比学习正则化相结合的技术路径,在保持多模态细粒度交互信息的同时增强了融合特征的语义区分度,有效提升了多模态对话情感识别的精度与鲁棒性。该系统实现了对多模态对话中跨模态交互关系的全面建模和情感特征的高判别力表示,为复杂对话场景下的情感识别提供了高效、可靠、可解释的系统级解决方案。
2、为了实现上述目的,本发明提供一种基于双异构图和图对比学习的多模态对话情感识别方法,包括以下步骤:
3、步骤1:获取多模态对话数据并提取原始特征;对包含声学、视觉和文本信息的对话进行数据采集,分别从各模态中提取原始底层特征;
4、步骤2:对各模态原始特征进行深度编码处理;采用预训练模型对各模态原始特征进行编码,将异构原始数据转换为统一维度的深度特征表示;
5、步骤3:构建基于滑动窗口的双异构图网络;以对话中的话语为基本单元,每个话语对应文本、声学、视觉三类节点,基于滑动窗口分别构建成对模态互补异构图与主模态引导异构图,通过局部对齐与全局引导的互补机制实现多模态交互关系的全面建模;
6、步骤4:进行图对比学习优化;构建视图内与视图间对比损失,对节点表征进行对比正则化优化,增强节点表征的语义稳定性和类间区分度;
7、步骤5:模型训练;采用分类交叉熵损失与图对比学习损失构建联合损失函数,对模型全部可学习参数进行端到端优化训练;
8、步骤6:模型保存;对训练完毕的模型进行保存,形成可部署的情感识别模型;
9、步骤7:情感分类;利用训练完成的多模态对话情感识别模型对输入话语进行情感识别,输出情感类别预测结果;
10、作为一种优选,在步骤1中,获取多模态对话数据并提取原始特征的过程如下:
11、s11:获取多模态原始数据;获取包含多个对话的多模态原始对话数据集,其中,每个对话由若干话语构成,每个话语均包含文本内容、对应语音音频和对应视频画面三类模态信息;
12、s12:从各模态原始数据中提取原始特征;从语音音频中提取声学原始特征,从视频画面中提取视觉原始特征,从文本内容中获取文本原始特征。
13、作为一种优选,在步骤2中,对各模态原始特征进行深度编码处理的过程如下:
14、s21:对于文本模态,采用预训练的roberta模型对文本原始特征进行编码,提取文本深度特征roberta,其中为roberta模型的预训练参数;
15、对于声学模态,采用opensmile工具包对声学原始特征进行声学参数提取,得到声学深度特征,其中为opensmile的配置参数集;
16、对于视觉模态,采用densenet网络对视觉原始特征进行编码,提取视觉深度特征,其中为densenet网络的预训练参数;
17、s22:经深度编码后,每个话语对应文本特征、声学特征和视觉特征三类节点特征,作为后续双异构图网络的输入。
18、作为一种优选,在步骤3中,构建基于滑动窗口的双异构图网络的过程如下:
19、s31:构建成对模态互补异构图;以话语的文本特征、视觉特征和声学特征作为图节点初始特征,在对话序列上设置滑动窗口,仅在窗口范围内连接不同模态的点,构建文本-视觉异构图、文本-声学异构图和视觉-声学异构图三类成对异构图,捕获细粒度成对跨模态关系;在图结构上进行多层图卷积计算,第层图卷积满足,其中为对应异构图的邻接矩阵,为第层图卷积输出,为第层可学习权重矩阵;采用残差连接将初始特征与各层图卷积输出进行累加融合,得到最终节点特征矩阵 ,其中为第层全连接映射函数,为图卷积总层数;基于最终节点特征矩阵, 提取各模态对之间的双向特征传递结果,计算互补异构图融合特征,如下式所示:
20、;
21、式中,表示以视觉节点为源、文本节点为目标的特征传递结果,为leakyrelu激活函数,为共享可学习权重矩阵;
22、s32:构建主模态引导异构图;采用星型中心化拓扑,分别以文本、视觉、声学为主模态,在滑动窗口内建立主模态节点与其他所有模态节点及同模态节点的双向连接,聚合全局上下文引导特征传播;基于最终节点特征矩阵分别提取以文本为主模态的特征表示、以视觉为主模态的特征表示和以声学为主模态的特征表示,计算主模态引导异构图融合特征,如下式所示:
23、;
24、式中,为leakyrelu激活函数,为共享可学习权重矩阵;
25、s33:进行双图加权融合;将互补异构图特征与主模态引导异构图特征通过可学习权重参数进行加权融合,得到最终多模态融合特征,如下式所示:
26、;
27、式中,和为可学习权重系数,用于平衡两类异构图特征的贡献比例。
28、作为一种优选,在步骤4中,进行图对比学习优化的过程如下:
29、s41:构建视图间对比损失,如下式所示:
30、;
31、式中,和为同一节点在不同视图下的表征向量,为批次内节点总数,sim表示余弦相似度函数;
32、s42:构建视图内对比损失,如下式所示:
33、;
34、式中,为节点在同一视图下的正样本表征,为同一视图下第个节点的表征;
35、s43:构建总对比损失,由视图间对比损失和视图内对比损失求和得到,如下式所示:
36、;
37、式中,为批次内节点总数。
38、作为一种优选,在步骤5中,模型训练的过程如下:
39、s51:构建分类交叉熵损失,如下式所示:
40、;
41、式中,为样本总数,为情感类别数,为第个样本第类情感的真实标签独热向量分量,为第个样本第类情感的预测概率值;
42、s52:构建联合损失函数,由分类交叉熵损失和图对比学习损失加权求和得到,如下式所示:
43、;
44、式中,为用于平衡两项损失贡献的超参数;
45、s53:设置训练超参数;根据数据集特性设置最大迭代轮数、学习率、批次大小、隐层维度、滑动窗口大小、dropout概率及特征融合权重系数;
46、s54:执行端到端训练;将数据集划分为训练集、验证集与测试集,完成数据加载与预处理后启动模型端到端训练;模型以单条话语的文本、声学、视觉三模态特征为输入,输出对应情感类别预测结果;
47、每轮训练依次执行:前向传播得到情感预测概率,计算联合损失,通过反向传播更新模态编码器、双异构图网络和分类器的全部可学习参数;根据验证集性能动态监控模型收敛状态,保留最优性能模型参数;当模型达到预设最大训练轮数或损失函数稳定收敛时,终止训练。
48、作为一种优选,在步骤6中,模型保存的过程如下:
49、将训练完成后保留的最优性能模型参数,包括模态编码器参数、双异构图网络参数、特征融合权重系数和情感分类器参数,保存为情感识别模型文件,得到最终训练完成的多模态对话情感识别模型。
50、作为一种优选,在步骤7中,情感分类的过程如下:
51、s71:将待识别话语的文本、声学、视觉原始特征经步骤2的编码处理后,输入步骤3训练完成的双异构图网络,得到多模态融合特征;
52、s72:将融合特征输入情感分类器,情感分类器采用线性变换与softmax函数进行计算,输出该话语对应的情感类别概率分布,如下式所示:
53、;
54、式中,为分类器权重矩阵,为偏置向量,为预测的情感类别概率分布向量,各分量之和为1;
55、取概率最大的类别作为该话语的最终情感预测标签。
56、与现有技术相比,本发明具有以下有益效果:
57、1、本发明构建了成对模态互补异构图与主模态引导异构图协同的双异构图体系。成对模态互补异构图在滑动窗口内通过模态间的点对点交互,捕捉文本-视觉、文本-声学、视觉-声学三类模态对的细粒度双向关联与信息互补,解决多模态对齐过程中的特征冲突问题;主模态引导异构图以特定模态的先验语义为中心,通过星型拓扑结构建立长距离上下文依赖,解决单一模态在复杂对话背景下语义平滑导致的判别力不足问题。二者通过局部对齐与全局引导的互补机制,实现了对多模态交互关系的全面建模,提高了信息表达的完整性。
58、2、本发明在双异构图网络的特征传播过程中引入残差连接机制,将初始特征与各层图卷积输出进行累加融合,有效缓解了深层图网络中的过平滑问题,保留了节点的原始语义信息。同时,双图加权融合采用可学习权重参数α和β,可根据任务需求自适应调整局部互补信息与全局引导信息的占比,提高了特征融合的灵活性和普适性。
59、3、本发明引入图对比学习机制,在特征表征层面实现了双重约束:一方面,通过视图内对比损失拉近同一视图内同类节点表征的相似度、推远不同类节点表征的距离,增强了同一节点在不同干扰下的语义稳定性;另一方面,通过视图间对比损失拉近同一节点在不同视图下表征的相似度、同时推远与其他节点表征的距离,拉大了不同情感类别在特征空间中的类间距离。该机制有效解决了多模态特征融合时常见的信息淹没和特征同质化问题,使得最终融合特征在分类边界上更具判别力。
60、4、本发明通过动态滑动窗口机制,在构建异构图时可根据当前对话的轮数或文本平均长度自适应设置窗口边界,保证捕获完整的上下文语义块,增强了模型在不同长度对话和复杂对话场景下的适应性,提高了对话情感识别的准确性与鲁棒性。
61、5、本发明采用分类交叉熵损失与图对比学习损失联合优化的端到端训练策略,通过超参数平衡两项损失贡献,在保证情感分类准确性的同时,通过图对比学习的正则化约束增强了多模态融合特征的判别力和泛化能力,对模态冲突、情感模糊和类别不均衡场景具有更强的鲁棒性。
62、该方法通过双异构图协同建模与图对比学习正则化相结合的技术路径,在保持多模态细粒度交互信息的同时增强了融合特征的语义区分度,有效提升了多模态对话情感识别的精度与鲁棒性,适用于人机交互、智能客服、情感健康监测、自动驾驶等场景下的对话情感分析任务。
63、本发明还提供了一种基于双异构图和图对比学习的多模态对话情感识别系统,用于实现一种基于双异构图和图对比学习的多模态对话情感识别方法,包括:
64、多模态数据输入模块,用于获取包含多个对话的多模态原始对话数据集;
65、模态编码模块,用于对各模态原始特征进行深度编码处理;
66、双异构图构建模块,用于以对话中的话语为基本单元,基于滑动窗口分别构建成对模态互补异构图与主模态引导异构图,利用图卷积层在两类异构图中交替传播模态间和模态内线索,通过残差连接聚合各层特征,并通过可学习权重参数进行双图加权融合,得到最终多模态融合特征;
67、图对比学习模块,用于对节点表征进行对比正则化优化,增强节点表征的语义稳定性和类间区分度;
68、联合训练模块,用于执行模型的端到端训练;
69、情感识别模块,用于利用训练完成的模型对待识别话语进行情感分类。
70、作为一种优选,所述模态编码模块包括文本编码单元、声学编码单元和视觉编码单元;文本编码单元采用预训练的roberta模型对文本原始特征进行编码,提取文本深度特征;声学编码单元采用opensmile工具包对声学原始特征进行声学参数提取,得到声学深度特征;视觉编码单元采用densenet网络对视觉原始特征进行编码,提取视觉深度特征;
71、所述双异构图构建模块包括成对互补异构图构建单元、主模态引导异构图构建单元和双图加权融合单元;所述成对互补异构图构建单元以话语的文本特征、视觉特征和声学特征作为图节点初始特征,在对话序列上设置滑动窗口,仅在窗口范围内连接不同模态的节点,构建文本-视觉异构图、文本-声学异构图和视觉-声学异构图三类成对异构图,捕获细粒度成对跨模态关系;所述主模态引导异构图构建单元采用星型中心化拓扑,分别以文本、视觉、声学为主模态,在滑动窗口内建立主模态节点与其他所有模态节点及同模态节点的双向连接,聚合全局上下文引导特征传播;所述双图加权融合单元将互补异构图特征与主模态引导异构图特征通过可学习权重参数进行加权融合,得到最终多模态融合特征;
72、所述图对比学习模块包括视图间对比损失计算单元、视图内对比损失计算单元和总对比损失计算单元;所述视图间对比损失计算单元构建视图间对比损失,用于拉近同一节点在不同视图下表征的相似度,同时推远与其他节点表征的距离;所述视图内对比损失计算单元构建视图内对比损失,用于拉近同一视图内同类节点表征的相似度,推远不同类节点表征的距离;所述总对比损失计算单元将视图间对比损失和视图内对比损失求和,得到总对比损失;
73、所述联合训练模块包括联合损失构建单元和训练执行单元;所述联合损失构建单元构建分类交叉熵损失和联合损失函数;所述训练执行单元将数据集划分为训练集、验证集与测试集,启动模型端到端训练,每轮训练依次执行前向传播得到情感预测概率、计算联合损失、通过反向传播更新模态编码器、双异构图网络和分类器的全部可学习参数。
74、基于多模态数据输入模块的设置,从数据源头保障了多模态特征对齐的一致性和下游融合建模的可靠性,为后续深度编码和异构图构建提供了规范化的数据基础。基于模态编码模块的设置,有效解决了不同模态数据在特征空间中维度不一致和语义不对齐的问题,为双异构图网络提供了高质量的多模态输入。基于双异构图构建模块的设置,实现了对多模态对话中跨模态交互关系的全面建模,同时,有效解决了多模态对齐过程中的特征冲突问题,同时缓解了深层图网络的过平滑现象,使最终多模态融合特征能兼具细粒度交互信息和长距离上下文语义。基于图对比学习模块的设置,有效解决了多模态特征融合时常见的信息淹没和特征同质化问题,使最终融合特征在分类边界上更具判别力。基于联合训练模块的设置,实现了模型全部可学习参数的端到端训练,使模型在保证分类精度的同时通过图对比学习的正则化约束增强融合特征的判别力和泛化能力,最终能确保模型在收敛状态下达到最优性能。基于情感识别模块的设置,使模型能够充分利用训练阶段学习到的模态编码能力、异构图特征传播与融合能力以及分类判别能力,输出结果具有概率化的可解释性和直观的决策依据,能够满足真实对话场景下对情感识别实时性与准确性的需求。
75、该系统实现了对多模态对话中跨模态交互关系的全面建模和情感特征的高判别力表示,为复杂对话场景下的情感识别提供了高效、可靠、可解释的系统级解决方案。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com