一种基于潜在交叉注意力与混合专家网络的多模态联邦情感分析方法
本发明涉及多模态学习和联邦学习领域,尤其是涉及一种基于潜在交叉注意力与混合专家网络的多模态联邦情感分析方法。
背景技术:
1、在当前万物互联的计算环境下,海量终端数据的挖掘与分析极大地推动了人工智能的落地应用。然而,数据的隐私保护和安全性问题也随之而来,尤其涉及到个人情感的领域,如人机交互、在线教育、社交媒体舆情监测、智能客服等,如何保护用户隐私,加强数据安全性的问题亟待解决。为打破“数据孤岛”并兼顾信息安全,联邦学习(federatedlearning, fl)技术应运而生。例如,在智能客服领域,各企业可以通过联邦学习共享情感识别经验,而无需暴露用户的通话录音;在在线教育中,各教育平台可以协作优化学生情绪监测模型,同时保护学生隐私。该分布式范式通过“数据本地驻留,模型参数交互”的协作机制,使得各个分布式节点能够在不共享底层明文数据的前提下,安全地完成全局模型的联合优化。
2、随着边缘计算终端(如智能穿戴设备、移动终端、车载座舱等)的感知硬件不断升级,本地采集的信号已具备跨越视觉、听觉与语言文本等维度的多模态特征,进一步推动了模型从单一信息处理向多模态联邦学习(multi-modal federated learning,mmfl)的演进。其中,多模态情感分析(multimodal sentiment analysis, msa)作为人机协同与情感计算领域的核心任务,依托多源异构数据的深层语义对齐,能够显著提升对人类复杂情绪的细粒度洞察。将联邦学习框架引入多模态情感分析,不仅能够在物理层面守住用户隐私数据的底线,更为构建高泛化性、广覆盖面的情感理解大模型提供了极具潜力的架构支撑。
3、然而,这一技术路线在落地至复杂边缘环境时,仍面临严峻的现实挑战,其技术局限性主要体现在以下三个方面:
4、(1)跨模态交互浅显,通信传输负载过重:现有研究在引入全量预训练特征提取时,往往忽视了边缘节点的带宽限制,且多采用高维特征的强行拼接或线性映射。这不仅引入了大量非情感相关的冗余噪声,加剧了本地模型的计算负担,更导致在进行全量参数通信时,联邦通信参数量呈指数级激增,引发严重的网络拥塞。
5、(2)模态缺失容错机制匮乏:在真实的物理采样流中,受制于传感器遮挡、麦克风损坏或网络抖动,部分模态(如画面丢失、语音残缺)不可避免地会出现大面积缺失,而传统方案重度依赖理想的完整数据输入,或在数据接收后仅采用缺失模态静态填充策略,导致局部情感特征空间扭曲,分类精度在模态受损时断崖式下跌。
6、(3)本地特征的高度非独立同分布,引发聚合失效:由于各终端用户的表达习惯、口音语速与情绪阈值存在极端的个性化差异,且传统的静态融合策略无法应对动态变化的情感表达,缺乏有效正则约束的本地模型更新轨迹极易发生偏移。这种“客户端漂移”现象会导致全局模型在参数聚合阶段陷入非最优解,严重拖累模型的收敛效率与泛化能力。
技术实现思路
1、本发明的目的是提供一种基于潜在交叉注意力与混合专家网络的多模态联邦情感分析方法,通过基于信息瓶颈的轻量级特征交互、特征信息熵驱动的动态自适应修复、时序混合专家路由与引入近端惩罚的联邦优化,提升多源异构情感数据的处理效率与全局模型的鲁棒性。
2、为实现上述目的,本发明提供了一种基于潜在交叉注意力与混合专家网络的多模态联邦情感分析方法,应用于包含分布式客户端与联邦学习服务器的联邦学习系统,由分布式客户端与联邦学习服务器端云协同执行,具体包括以下步骤:
3、s1、提取多源异构数据的高维语义表征,通过线性映射层将各模态的高维语义表征统一投影至相同的特征维度,得到各模态维度对齐的初始特征矩阵;
4、s2、利用潜在交叉注意力lca机制进行跨模态特征交互与压缩,获得降维后的跨模态特征;
5、s3、以主导模态特征为锚点,通过置信度评估网络评估各辅助模态的完整性,并据此对跨模态特征执行自适应修复;
6、s4、将修复后的特征进行拼接并提取时序上下文信息,驱动时序混合专家moe路由器动态分配各模态的专家权重,获得融合特征;
7、s5、基于融合特征进行情感预测,计算本地损失并通过反向传播更新本地模型参数,训练完成后将更新后的本地模型参数或梯度信息上传至联邦学习服务器;
8、s6、在联邦训练初始化阶段,向各个分布式客户端下发初始全局模型参数,触发客户端的本地步骤s1至s5;
9、s7、接收各客户端上传的本地模型参数或梯度信息;
10、s8、基于近端联邦优化算法执行参数聚合操作,计算得到更新后的全局模型参数,并将全局模型参数下发返回给各个客户端,以进行下一轮的迭代更新。
11、优选的,s1中,分别采用文本预训练编码器、音频预训练编码器以及视觉预训练编码器,提取多源异构数据中文本模态、视觉模态和音频模态对应的高维语义表征;
12、文本模态采用冻结底层参数的bert模型,视觉模态采用videomae模型,音频模态采用hubert模型。
13、优选的,s2中,构建基于信息瓶颈理论的潜在交叉注意力lca机制进行跨模态交互与压缩,具体包括以下步骤:
14、s21、将查询模态特征与键值模态特征分别通过向下线性投影矩阵压缩至低维潜在空间,得到潜在查询向量与潜在值向量;利用内部衍生投影矩阵对潜在值向量进行线性映射,生成对应的潜在键向量;
15、s22、在模型训练阶段,将跨模态交互过程建模为信息瓶颈优化问题,其总体目标函数定义为:
16、;
17、其中,为互信息,为原始输入模态特征,为映射后的低维潜在特征,为情感标签,为权衡信息压缩与任务相关性的超参数;
18、s23、将s21的降维投影过程作为信息瓶颈的编码器先验,通过变分上界近似优化其特征压缩项,该压缩项计算公式为:
19、;
20、其中,表示kullback-leibler散度,为投影过程的变分后验分布,为标准高斯先验;
21、s24、在受到信息瓶颈约束的低维潜在空间内,按照缩放点积注意力机制计算注意力分数矩阵,并与潜在值向量相乘得到交互特征,其计算公式为:
22、;
23、其中,为潜在空间的特征维度,表示矩阵转置,为潜在查询向量,为潜在键向量;
24、s25、将交互特征通过向上线性投影矩阵还原至原始特征维度,并与查询模态特征进行残差连接,得到输出跨模态特征,其计算公式为:
25、;
26、其中,为交互特征,为向上线性投影矩阵,为查询模态特征。
27、优选的,s3中,自适应修复过程为:
28、s31、将主导模态特征输入由轻量级transformer编码器与多层感知机级联构成的置信度评估网络,经sigmoid激活函数生成初始完整性权重,表征主导模态对辅助模态修复的可信程度;
29、s32、针对非主导模态,引入基于特征信息熵的非线性动态惩罚因子,对初始完整性权重进行修正,得到修正后的最终融合权重,其计算公式为:
30、;
31、其中,为非主导跨模态特征的信息熵,表示该特征向量的紊乱程度;为特征向量的维度索引,=1,2,⋯,,为非主导跨模态特征的特征维度;为对非主导跨模态特征经归一化后第维分量对应的概率值;为控制熵容忍度的平滑超参数;
32、s33、根据修正后的最终融合权重将非主导跨模态特征与主导模态特征进行加权融合,得到修复后的模态特征,其计算公式为:
33、;
34、其中,非主导跨模态特征,为主导模态特征,为修正后的最终融合权重。
35、优选的,s4中,驱动时序混合专家moe路由器动态分配各模态的专家权重,具体包括以下步骤:
36、s41、将各模态修复后的特征进行拼接,并通过线性交叉投影层降维融合得到共识特征,随后采用一维深度可分离卷积提取共识特征的时序依赖关系,得到时序增强特征;
37、s42、基于时序增强特征,通过门控网络对数几率中注入gumbel噪声计算各模态对应的专家权重矩阵,其计算公式为:
38、;
39、其中,为门控网络针对第个专家的倾向对数几率,为门控网络针对第个专家的倾向对数几率;为独立同分布的甘贝尔噪声,为退火温度超参数,
n为模态总数;
40、s43、将各模态的修复后特征分别输入至对应的专家子网络中进行特征映射处理;
41、s44、将各专家子网络的输出按照专家权重进行加权求和,得到最终的融合特征,其计算公式为:
42、;
43、其中,为模态总数。
44、优选的,s5中,计算本地更新梯度的步骤具体包括:
45、s51、将融合特征输入情感分类器得到预测结果,并计算分类损失;
46、s52、通过基于希尔伯特-施密特独立性准则的特征解耦损失度量并最小化不同模态特征在再生核希尔伯特空间中的统计依赖性,其计算公式为:
47、;
48、其中,与分别代表任意两个不同模态修复后特征与的核矩阵,为中心化矩阵,为批次样本数量,表示矩阵的迹操作;
49、s53、引入情感对比损失,其计算公式为:
50、;
51、其中,为本地训练批次;为余弦相似度函数;为与样本具有相同情感标签的正样本特征;为自适应收敛的温度缩放因子;为样本的融合特征;为样本的融合特征;
52、s54、对各项损失进行加权求和,并在目标函数中引入fedprox近端惩罚项,得到本地总损失。
53、优选的,s54中,本地总损失的计算公式为:
54、;
55、其中,为分类损失,为信息瓶颈特征压缩约束,为独立性损失,为对比损失,为各项损失的权重系数,为近端项系数,为当前客户端的本地参数,为上一轮的全局模型参数。
56、优选的,s8中,基于近端联邦优化算法执行参数聚合操作的具体聚合公式为:
57、;
58、其中,为第轮更新后的全局模型参数,为参与聚合的客户端总数,为第个客户端的本地样本数量,为所有参与客户端的样本总数,为第个客户端上传的本地模型参数。
59、因此,本发明采用一种基于潜在交叉注意力与混合专家网络的多模态联邦情感分析方法,有益效果如下:
60、(1)本发明结合信息瓶颈理论设计的潜在交叉注意力lca机制,创造性地在低维潜在空间内进行特征映射与内部键值衍生交互,避免了高维多模态特征直接拼接带来的维度爆炸;这不仅主动过滤了多模态数据中的非情感相关背景噪声,还大幅降低了边缘客户端的本地算力负担,有效缩减了联邦学习全量参数的通信体积。
61、(2)本发明引入了以文本为主导、结合特征信息熵非线性惩罚的置信度评估与自适应修复机制;当视觉或音频等辅助模态在真实边缘采样中发生严重缺失或受损(如画面全黑、严重遮挡)时,该机制能够敏锐捕捉特征信息熵的异常趋零,并自适应输出衰减权重;模型据此强制利用高置信度的主导模态语义补偿受损特征,有效避免了因局部脏数据污染导致的情感分类失效。
62、(3)本发明构建的时序moe路由模块,利用一维深度可分离卷积提取拼接特征的时序上下文,尤为创新的是,通过向门控对数几率中注gumbel噪声重参数化路由分布,赋予了弱势模态被激活并获得梯度更新的概率;相比于传统的静态加权,该机制不仅能精准捕捉时间维度上的动态变化,更从根本上打破了传统确定性门控易引发的单一模态过度依赖问题,实现了负载均衡。
63、(4)本发明在本地更新阶段,创新性地引入了基于hsic(hilbert-schmidtindependence criterion)独立性准则的正交解耦损失与infonce(info noise-contrastive estimation)情感对比损失,强制各模态特征学习独立互补的表征并增强类间判别性;同时,结合目标函数中的fedprox近端惩罚项,在保护各终端隐私的前提下对本地模型的更新轨迹施加了强有力的正则约束,极大提升了全局联邦情感分析大模型的收敛效率与泛化能力。
64、下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com