一种基于情感原型注意力与大语言模型的多模态情感动态识别方法及系统
本发明涉及多模态情感识别,尤其是涉及一种基于情感原型注意力与大语言模型的多模态情感动态识别方法及系统。
背景技术:
1、随着人工智能、人机交互、虚拟助手、心理健康辅助等应用场景的发展,机器对人类情绪进行准确识别、解释和响应的能力已成为智能系统的重要能力。人类情绪通常同时体现在面部表情、身体动作、语音语调、语义内容和上下文事件之中,并且具有隐含性、延迟性和场景依赖性,单一模态或单一时间片难以完整反映真实情绪状态。因此,如何精准在连续时序中识别情绪之间的关联关系,并对情绪状态及其变化过程进行可解释建模,是多模态情绪识别系统的核心任务之一。
2、现有多模态情感识别方法多将任务建模为封闭类别分类问题,即直接输出高兴、愤怒、悲伤、惊讶等固定标签。虽然深度学习和多模态大语言模型提升了情绪识别与自然语言描述能力,但多数方法仍侧重静态结果生成,缺乏对情绪从产生、发展到转折的动态建模能力,也难以指出具体是哪些视频、音频或文本线索在何时触发了情绪判断。此外,不同个体的情绪表达方式存在显著差异,同样的沉默、微笑或低语调在不同用户身上可能具有不同含义,通用模型容易产生误读。
3、尽管已有研究尝试利用多模态大语言模型对视频、语音和文本进行统一理解,并生成较为流畅的情绪解释,但这类解释往往缺少明确的证据链约束。模型可能根据整体上下文生成看似合理的描述,却无法将情绪判断回溯到具体时间片段、具体模态贡献和具体触发事件。在心理健康辅助、教育陪伴等场景中,情绪判断结果不仅要准确,还必须能够被人工复核和追踪,否则难以支撑高可信应用。
4、此外,实际应用环境中常常存在视频遮挡、音频噪声、语音转写错误、文本缺失以及多模态采样不同步等问题,使情绪理解任务更加复杂。用户可能并不会直接说出自身情绪,而是通过语气变化、面部微表情、沉默时长、措辞选择或对话节奏间接体现心理状态。尤其在长时间交互中,情绪变化常常由多个微弱线索逐步累积形成,单独观察某一帧画面或某一句文本难以准确判断其真实含义,这对模型的时序记忆能力、模态鲁棒性和跨模态溯因能力提出了更高要求。
5、因此,现有技术仍缺少一种能够在多模态输入中显式定位情绪触发证据、维护连续情绪记忆并根据少量个体样本进行个性化适配的统一技术方案。若能够将情绪线索追踪、动态情绪轨迹生成和个性化情绪解释结合起来,并使最终输出能够回溯到具体时间片段和具体模态证据,便可显著提升情感智能系统在教育陪伴、心理健康辅助和虚拟人交互等场景中的可信度、可解释性和工程应用价值。
技术实现思路
1、为了解决上述提到的问题,本发明提供一种基于情感原型注意力与大语言模型的多模态情感动态识别方法及系统。
2、第一方面,本发明提供的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,采用如下的技术方案:
3、一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,包括:
4、获取多模态情感数据;
5、基于获取的多模态情感数据进行多模态情感输入编码与统一序列表示,包括多模态数据时间对齐与质量评估、多模态数据编码、统一特征投影与序列构建以及跨模态一致性约束;
6、基于统一序列表示构建基于情感原型的因果追踪注意力机制,包括情感原型初始化、查询键和值映射与贡献热图计算、关键线索筛选与贡献分数归一、稀疏监督训练与时间连续约束、关键事件片段筛选;
7、基于因果追踪注意力机制构建上下文记忆单元与情绪轨迹模型,包括情感历史记忆向量构建、门控记忆更新、情绪轨迹生成与结构化报告;
8、基于上下文记忆与情绪轨迹进行个性化目标适配,包括个体表达样本引入、基于lora的低秩适配、个性化训练目标与解释生成;
9、鲁棒性推理与联合优化输出,包括模态缺失状态建模、模态缺失鲁棒训练、端到端联合优化和结果可视化输出。
10、第二方面,一种基于情感原型注意力与大语言模型的多模态情感动态识别系统,包括:
11、数据获取模块,被配置为,获取多模态情感数据;
12、统一序列模块,被配置为,基于获取的多模态情感数据进行多模态情感输入编码与统一序列表示,包括多模态数据时间对齐与质量评估、多模态数据编码、统一特征投影与序列构建以及跨模态一致性约束;
13、注意力模块,被配置为,基于统一序列表示构建基于情感原型的因果追踪注意力机制,包括情感原型初始化、查询键和值映射与贡献热图计算、关键线索筛选与贡献分数归一、稀疏监督训练与时间连续约束、关键事件片段筛选;
14、情绪轨迹模块,被配置为,基于因果追踪注意力机制构建上下文记忆单元与情绪轨迹模型,包括情感历史记忆向量构建、门控记忆更新、情绪轨迹生成与结构化报告;
15、目标适配模块,被配置为,基于上下文记忆与情绪轨迹进行个性化目标适配,包括个体表达样本引入、基于lora的低秩适配、个性化训练目标与解释生成;
16、输出模块,被配置为,鲁棒性推理与联合优化输出,包括模态缺失状态建模、模态缺失鲁棒训练、端到端联合优化和结果可视化输出。
17、第三方面,本发明提供一种计算机可读存储介质,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法。
18、第四方面,本发明提供一种终端设备,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法。
19、综上所述,本发明具有如下的有益技术效果:
20、相较于现有多模态情感识别方法在情感时序动态建模能力不足、情感解释缺少证据支撑、模型缺失识别能力差和面向特定用户缺乏个性化适配等方面的技术瓶颈,本发明围绕“多模态情感动态推理”的智能情绪识别需求,构建了基于大语言模型的多模态情感动态建模及可信推理系统,具有以下有益效果。
21、首先,通过构建“文本+语音+图像”三模态协同嵌入机制,系统解决多魔胎数据之间的语义对齐与结构差异问题,有效整合了三种模态间动态变化的综合特征表示;其次,通过cta因果追踪注意力模块,将情绪识别从传统黑箱分类转化为基于情感原型的证据定位过程。系统能够输出关键情绪触发时刻、对应情绪原型、多模态贡献度和贡献分数,使用户能够明确看到模型情绪判断的依据,提高情绪推理的可解释性和可信度。
22、最后,通过上下文记忆gru模块,将当前情绪判断与历史情绪状态连接起来,能够生成具有时间连续性的情绪弧线。相比仅对短片段进行孤立判断的方法,本发明能够更好地表达情绪从平静、迟疑、焦虑到缓和等动态演化过程,减少瞬时噪声导致的误判。此外,通过lora个性化上下文适配模块,在冻结基础大语言模型主体能力的情况下,仅以少量样本训练低秩适配参数,即可快速学习目标对象的表达习惯。同时,本发明在模态缺失场景下仍具有较强鲁棒性。
1.一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,包括:
2.根据权利要求1所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述多模态数据时间对齐与质量评估,包括首先对原始多模态数据进行时间轴统一与片段质量评估,定义原始视频帧序列、音频片段序列和文本转写序列分别为:
3.根据权利要求2所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述情感原型初始化,包括首先构建可学习情感原型向量,用于表示不同基础情绪在多模态特征空间中的触发模式,情感原型矩阵定义为:其中,表示情感原型数量,表示原型向量维度;为避免情感原型仅学习到单一模态特征,在训练时要求原型同时接收来自视觉、音频和文本的触发信息;在得到情感原型后,将情感原型作为查询向量,将统一多模态序列作为键和值,构建因果追踪注意力机制;随后计算情绪贡献热图:
4.根据权利要求3所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述关键线索筛选与贡献分数归一,包括为避免注意力分布分散,首先将情绪贡献热图与模态贡献加权结合,得到综合触发分数,其中,表示第类情绪在第个时间片段上的综合触发分数,表示情感原型贡献系数,表示模态贡献权重,表示对应模态权重系数;随后结合自适应阈值对贡献分数进行归一化修正,当视频被遮挡或音频存在噪声时,系根据模态质量分数降低相应贡献,避免单一模态异常导致情绪线索被错误放大,最终形成的结构化证据集合保留情绪类别、时间位置、主导模态、归一化贡献分数和原始模态特征,供后续记忆更新;稀疏监督训练与时间连续约束,包括利用焦点损失强化少数关键线索的学习,使模型在正负样本极不均衡的长序列中优先关注真实触发片段,其损失函数表示为:
5.根据权利要求4所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述情感历史记忆向量构建,包括为将当前多模态状态、cta关键线索和上一时刻情绪摘要整理为可持续更新的上下文状态输入到大模型中,当情绪需要依赖前序事件判断时,先对高贡献证据进行时间衰减汇聚,表示为:
6.根据权利要求5所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述门控记忆更新,包括在cta检测到强触发线索时提高记忆写入比例,对每个记忆状态mt在每时刻具有输入特征zt,gru的更新过程为:
7.根据权利要求6所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述个体表达样本引入,包括为建立可学习的表达基线来动态调整基础模型,当不同用户以不同语速、音量、表情或用词方式表达同一情绪时,先构建个性化样本集合;在样本集合建立后,进一步计算用户在不同情绪类别下的历史表达中心,用于衡量当前表达是否偏离个体基线:
8.根据权利要求7所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述模态缺失状态建模,包括为在视频、音频或文本不完整时区分有效证据和无效证据,先构建同时包含可用性和质量分数的模态状态向量:其中,同时记录模态是否存在和模态质量,为当前可用模态集合;在融合阶段,仅对可用且质量达标的模态进行归一化加权,形成缺失感知的鲁棒表示:
9.根据权利要求8所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,所述端到端联合优化包括为使编码、溯因、记忆、个性化和鲁棒输出在同一目标下协同收敛,构建包含各核心模块的总损失,表示为:
10.一种基于情感原型注意力与大语言模型的多模态情感动态识别系统,执行如权利要求1所述的一种基于情感原型注意力与大语言模型的多模态情感动态识别方法,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com