一种基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法及系统

本发明涉及人工智能、多模态情感计算，具体而言，涉及一种基于非对称瓶颈架构的文本锚定前置交互（text-anchored preemptive interaction, tapi）多模态情感识别方法、系统及模型训练方法。

背景技术：

1、随着世界老龄化进程的加剧，基于人工智能的情感陪伴已成为智慧养老领域的重要研究方向之一，而精准的多模态情感识别是实现高质量情感陪伴的前提。然而，现有多模态情感识别研究多依赖通用公开数据集，导致模型难以直接应用于老年群体。老年群体的多模态情感识别主要面临以下挑战：

2、（1）易受个体静态生理偏置干扰。老年群体客观存在面部肌肉松弛等视觉“假性冷漠”，以及声带老化引起的音频“假性悲伤”。现有技术通常将多模态信号进行无差别映射，缺乏针对个体生理底噪的抑制机制，易导致情感误判，影响情感识别的准确性。

3、（2）含蓄情感下的音频、视觉微弱情感特征在深层传递中易被过度平滑。老年群体的情感表达多含蓄内敛，现有模型多采用“先独立提取，后交互融合”的串行处理范式，缺乏特征提取过程中的跨模态语义引导及深度交互，导致微弱的音频、视觉情感线索，极易在深层网络的前向传播中被当作局部噪声而平滑湮灭，难以捕捉细粒度情感特征。

4、（3）跨模态交互计算复杂度高，难以适配边缘终端部署。现有主流基于transformer的跨模态交互机制，计算复杂度随序列长度呈平方级激增。在试图通过模态深度交互弥补上述微弱特征丢失时，庞大的计算开销使其难以适配边缘终端对模型轻量化及高效推理的需要。

5、随着陪伴机器人、智能座舱、远程照护终端和人机交互设备的发展，利用文本、语音及面部视频等多源信号推断用户的情感状态，已经成为多模态情感计算的重要应用方向。与仅使用单一模态相比，多模态情感识别能够同时利用语义内容、韵律变化、面部动作及其时序关系，因而具有更丰富的情感表征即判断能力。

6、在面向老年用户或其他存在稳定个体表征差异的目标群体时，识别系统还会受到个体静态基线差异的影响。例如，面部肌肉状态、说话响度、语速、基频分布等个体特征可能在多次会话中长期稳定存在，而当前会话真正反映情感变化的往往是相对该个体基线的动态偏移。如果模型直接以未经个体校准的绝对特征进行融合，个体差异可能被误当作情感差异。

7、另一方面，现有多模态网络通常先完成各模态的深层独立编码，再在网络末端进行拼接、注意力融合或决策融合。对于幅度较小且持续时间短的语音韵律变化、面部微动作等信息，经过多层独立编码后，其局部变化可能被高层语义表征弱化。若在高维特征空间中反复采用全量跨模态注意力，则又会增加边缘设备上的计算量和显存占用。

8、现有技术文献中，公开号为cn113312530a，名称为“一种以文本为核心的多模态情感分类方法”的中国专利公开了一种技术方案，它以文本模态为核心，首先由文本特征分别预测视觉特征和声学特征，并依据预测关系区分非文本模态中的共享信息和私有信息；随后利用跨模态注意力机制，将文本特征与视觉、声学的共享/私有特征分别融合，并根据融合结果进行情感分类。其重点在于利用文本与非文本之间的预测关系和共享/私有语义划分，提高多模态特征融合的可解释性和情感分类性能。

9、现有技术文献中，公开号为cn115063709a，名称为“基于跨模态注意与分层融合的多模态情感分析方法及系统”的中国专利，公开了一种技术方案，它通过提取待分析视频中的文本、视觉和声学特征，将文本分别与声学、视觉进行交叉注意以获得非文本模态表征，再通过门控循环分层融合网络对文本、声学及视觉表征进行两两交互和冗余信息过滤，最终得到用于情感预测的一维表征。该方案强调跨模态注意、分层融合以及门控去冗余。

10、综上，研究一种既能抑制静态生理特征干扰，又能实现细粒度情感线索的精准捕获，同时大幅削减跨模态交互计算开销，从而适配边缘终端轻量化部署需求的多模态情感识别方法，是当前智慧养老领域亟待解决的技术难题。

技术实现思路

1、本发明的目的在于克服上述已有技术的缺陷，提供一种基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法及系统，它在面向目标用户的多模态情感识别过程中，能够减小个体长期稳定的视觉/声学基线对当前情感状态判断的干扰，并在深层特征提取过程中保留并增强微弱的非文本情感变化，在不完全依赖高维全量跨模态注意力的情况下完成文本、音频和视觉信息的交互，有效解耦生理偏置，大幅提升情感识别的鲁棒性，显著拓宽应用边界，增强模型的细粒度情感线索捕获能力，本发明还有效抑制了误差级联，确保了系统在真实开放场景下的高容错性与运行稳定性。

2、本发明的上述目的，是通过如下技术方案实现的。

3、一种基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法，所述方法由具有处理器和存储器的电子设备执行，所述电子设备与摄像头和麦克风连接，由摄像头获取视频数据、麦克风获取音频数据以及由音频数据得到文本数据后，进行数字信号处理，而后输出情感类别及对应概率，数字信号处理按以下步骤进行：

4、（1）获取包含文本、音频和视觉三种模态的数据；

5、（2）将三种模态的数据输入至目标多模态情感识别网络对应模态的预训练模型中进行处理；其中，各模态的预训练模型均包含嵌入层以及由多层编码器堆叠构成的深度特征提取网络；三种模态的数据先通过各模态对应的预训练模型嵌入层转化为初始序列，然后输入至多层编码器进行逐层特征提取；所述多层编码器特征提取包含单模态独立编码和跨模态深度交互两阶段；所述单模态独立编码阶段包含前k-1层编码器层，跨模态交互从第k层编码器开始，逐层向后推进跨模态交互；跨模态交互采用文本锚定的前置交互（text-anchored preemptive interaction, tapi）机制，利用非对称语义瓶颈模块（asymmetricsemantic bottleneck, asb）进行跨模态特征交互；提取经前k-1层编码器层独立编码未参与跨模态交互的音频与视觉序列特征，分别构建音频和视觉模态残差旁路；

6、（3）聚合各模态特征，并执行分层动态加权融合，生成综合多模态特征，并输入至情感分类器输出最终的情感预测结果。

7、上述基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法，所述tapi机制以文本模态t为中心锚点，非文本模态m分别与文本模态t进行对齐与交互，实现边交互边提取特征的渐进式前向传递；其中，，表示音频模态，表示视觉模态；其中，非文本模态m，在其预训练模型第n层，基于编码器原生的串联拓扑结构，独立与文本模态t执行两次跨模态交互；其中，，n为编码器的总层数，各模态的编码器总层数相同，为跨模态交互起始层；并分别在多头自注意力（multi-head self-attention，mhsa）子层和前馈神经网络（feed-forward network，ffn）子层之后，通过在模态间接入作为桥梁asb模块实现交互；经过第n层编码器层的跨模态交互，输出文本模态序列特征和经文本模态增强的非文本模态序列特征；其中，l代表各模态序列长度，d代表特征维度。

8、上述基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法，所述asb模块采用由非线性特征降维与线性特征升维构成的非对称结构，在进行跨模态特征交互时，具体包含：

9、（1）非线性特征降维：利用对应模态的下投影矩阵及非线性激活函数，将输入至当前交互节点的文本特征以及至少一种非文本特征，分别映射至预设的低维交互空间中，得到低维文本特征与对应的低维非文本特征；

10、（2）低维跨模态交互：在所述低维交互空间内，以任一所述低维非文本特征为查询向量，以与之对应的低维文本特征为键向量和值向量，执行以文本为先验引导的交叉注意力计算，输出融入文本语义的非文本交互特征；

11、（3）线性升维与残差融合：利用对应模态的上投影矩阵，将所述融入文本语义的非文本交互特征进行线性升维，恢复至该非文本模态的原始特征维度；将升维后的非文本交互特征，通过残差连接与输入当前交互节点前的原始非文本特征进行叠加，并执行层归一化处理，生成当前交互节点对应的增强非文本特征；

12、其中，所述增强非文本特征，与在交互节点中保持不变并直接传递的文本特征，共同构成当前交互节点的输出特征组合，并沿编码网络传递至下一个网络子层或下一相邻编码层。

13、上述基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法，在利用所述asb模块进行跨模态特征交互前，评估文本置信度，具体处理为：获取当前输入文本的全局先验置信度分数ct；将该文本先验置信度分数ct与预设安全阈值进行比较，利用预设的映射函数计算得到文本模态权重系数和非文本模态权重系数。

14、上述基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法，步骤（3）中所述聚合各模态特征，具体包含:

15、（1）分别获取各模态在所述多层编码器最后连续多层中的输出特征，并对各模态分别执行逐位相加或加权求和，生成各模态的多尺度聚合序列特征，包括：增强音频聚合特征、增强视觉聚合特征与文本聚合特征；

16、（2）将由残差旁路传来的音频与视觉单模态独立编码序列特征，分别与对应的增强音频聚合特征和增强视觉聚合特征进行模态内部的残差融合，得到兼具底层物理感知与高阶交互语义的全尺度音频特征与全尺度视觉特征；

17、（3）对所述全尺度音频特征、全尺度视觉特征与所述文本聚合特征分别执行全局池化，以消除各模态序列长度差异，生成非文本模态的全局表征向量和文本全局表征向量；

18、

19、其中，表示全局池化函数，其目的是消除时间序列维度，输出固定长度的一维向量。

20、上述基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法，步骤（3）中所述执行分层动态加权融合，生成综合多模态特征，具体包含:利用文本置信度评估得到的文本模态权重系数和非文本模态总权重，分别对所述文本全局表征向量以及非文本全局表征向量进行动态加权融合；其中，引入非文本权重的二次动态分配机制：基于音频全局向量与视觉全局向量，计算两者的相对注意力得分与，令其满足，并将所述非文本模态总权重系数 进一步解耦，得到文本、音频、视觉模态的动态加权系数：

21、

22、分别利用对对应模态的全局表征向量进行动态加权拼接，得到多模态特征，计算公式为：，其中，表示特征级联/拼接操作，即在特征维度上，将多个一维特征向量首尾相接，平铺拼装成一个更高维度的综合特征向量。

23、上述基于非对称瓶颈架构的文本锚定前置交互多模态情感识别方法，在应用于特定目标群体情感识别场景时，还包括个体基线校准：获取目标对象的平静状态非文本模态基线数据，包括音频基线数据与视觉基线数据；提取所述基线数据在经各自多层编码器独立编码阶段后得到的非文本基准特征向量并存储；对待测数据进行特征提取时，当所述待测数据的非文本当前特征完成单模态独立编码后，开始跨模态交互前，分别计算所述非文本当前特征与所述非文本基准特征向量之间的动态差分特征，并分别将所述非文本当前特征与其对应的动态差分特征进行融合，生成去个体偏置的非文本校准后特征；将所述非文本校准后特征输入至所述asb模块中参与跨模态交互。

24、一种情感识别模型的多阶段训练方法，训练按以下步骤进行：第一阶段，通用多模态情感预测模型训练：利用公开的多模态情感数据集，对包含所述tapi机制与asb模块的基础网络进行训练，得到一个通用的多模态情感预测模型；第二阶段，基于非文本模态基线校准特征的目标群体自适应微调：获取特定目标群体的带情感标注的多模态微调数据及相应的平静状态非文本模态基线数据；冻结预训练模型特征提取器的部分参数，利用所述预训练模型前向传播，提取所述非文本模态基线数据在单模态独立编码阶段之后，进入跨模态交互之前的非文本基准特征向量；在微调网络的前向传播中，当所述非文本模态微调数据的当前特征完成单模态独立编码后，开始跨模态交互前，分别计算所述非文本当前特征与所述非文本基准特征向量之间的动态差分特征，并分别将所述非文本当前特征与其对应的动态差分特征进行融合，生成去个体偏置的非文本校准后特征；将所述非文本校准后特征作为初始输入，注入包含所述asb模块的深度交织编码网络中进行前向传播；基于预测结果与真实标签的误差，通过反向传播仅对asb模块及情感分类器的参数进行更新，强制模型自适应学习所述特定目标群体的动态情感偏移量特征。

25、一种基于非对称瓶颈架构的文本锚定前置交互多模态情感识别系统，其构成包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时，实现上述情感识别方法中的各步骤，或实现上述模型训练方法中的各步骤。

26、有益效果

27、与现有技术相比，本发明具有以下有益效果：

28、①有效解耦生理偏置，大幅提升情感识别的鲁棒性。

29、②针对老年人群体因生理衰老引发的假性生理干扰问题，本发明通过构建前向个体基线校准和两阶段模型训练方法的联合机制，在隐空间中动态解耦静态生理偏置。该设计不仅有效抑制了因衰老表征引发的情感误判，还赋予了模型向面瘫等特定群体迁移的泛化能力，显著拓宽了应用边界。

30、③增强模型的细粒度情感线索捕获能力。针对老年人情感表达含蓄、微弱情感特征在深层网络易湮灭的问题，本发明创新构建了“边特征提取、边跨模态交互”的tapi机制。该机制以高信噪比的文本模态为语义枢纽，对音频、视觉模态进行早期语义引导与增强，有效缓解了音频、视觉微弱情感特征在深层网络中的过度平滑与湮灭，增强了模型对细粒度情感表征的捕获与表达能力。

31、④大幅降低跨模态交互的计算复杂度，适配边缘终端的轻量化需求。

32、⑤针对边缘端算力受限的部署难题，本发明设计了asb模块，将高算力消耗的交互计算限制在低维瓶颈空间内。相比于基于transformer的高维全局交互，该设计在保证核心语义的同时大幅削减了浮点运算量与显存占用，实现了轻量化高效推理与高精度情感识别的平衡。

33、⑥提升系统容错能力，防止开放场景下的级联崩溃。

34、⑦针对自动语音识别（automatic speech recognition, asr）误差导致文本先验失效或模态缺失的异常情况，本发明引入了文本置信度动态衰减与残差旁路机制。当核心锚点受损时，模型能够自适应调整跨模态权重并依托旁路平滑退化，有效抑制了误差级联，确保了系统在真实开放场景下的高容错性与运行稳定性。