面向具身交互场景的跨模态情绪感知方法

摘要: 本发明涉及一种面向具身交互场景的跨模态情绪感知方法,属于具身智能计算领域。背景技术:1、随着通用人工智能的演进,情绪感知是实现具身智能体社会化决策、共情交互及安...
面向具身交互场景的跨模态情绪感知方法

本发明涉及一种面向具身交互场景的跨模态情绪感知方法,属于具身智能计算领域。

背景技术:

1、随着通用人工智能的演进,情绪感知是实现具身智能体社会化决策、共情交互及安全协作的基础。然而,现有的跨模态情绪感知方法在具身应用场景下存在以下显著的具身感知局限性:一是运动导致模态置信度剧变,静态融合策略无法动态调权,稳健性差;二是环境迁移引发脑电分布漂移,造成跨域精度骤降,现有模型多基于实验室静态数据集训练,当具身智能体从受控环境(源域)进入真实家庭或办公室环境等(目标域),由于分布不一致,感知精度会出现断崖式下降;三是细粒度语义特征错配,全局域适应破坏情绪类别边界,易引发交互事故。

2、例如,中国发明申请公开号为cn119917900a公开的一种基于脑电和表情数据的情绪识别方法,同样存在跨域精度下降的问题;当脑电模态受到运动噪声干扰,或视觉模态受到光照变化、视角变化或遮挡干扰时,其固定融合方式会将干扰信息带入最终特征,难以适应不同模态数据质量的动态变化,导致感知稳定性降低。

3、又如,中国发明申请公开为cn110037693a公开的一种基于面部表情和脑电的情绪分类方法,同样存在跨域精度骤降,同时该专利申请本质上是一种预设的、单向的处理流程,当面部表情识别存在误差或用户表情不显著时,该增强过程反而会引入误导信息,损害脑电特征的质量。同时,该专利申请仅对面部表情进行单向利用,未实现脑电与视觉特征的深度融合,无法充分发挥双模态的互补优势。

4、上述两个专利申请将判别性特征学习与域不变特征学习视为相互独立的环节,未构建端到端的联合优化框架,特征表达能力与泛化能力难以兼顾,无法满足具身智能体对鲁棒性与泛化能力的苛刻要求。

5、因此,如何构建一种能够适应多模态数据质量波动、具备跨场景快速适配能力且能够保持情绪类别拓扑结构的感知架构,是具身智能领域亟待解决的技术问题。

技术实现思路

1、本发明的目的是提供一种面向具身交互场景的跨模态情绪感知方法,以解决现有技术在运动噪声、光照变化或遮挡干扰下感知稳定性不足、脑电特征与视觉特征融合不足、跨域感知精度降低以及感知响应效率低的问题。

2、本发明的技术解决方案是:

3、一种面向具身交互场景的跨模态情绪感知方法,包括以下步骤,

4、s1、获取按试次同步配对的原始脑电信号和原始面部表情图像作为感知数据,将部分感知数据结合对应的情绪类别标签作为源域样本,将另一部分感知数据作为目标域适应样本;

5、s2、由特征增强模块对感知数据采用分布增强机制进行处理后,得到增强异构数据包括增强后的脑电数据和增强后的面部视觉数据;

6、s3、采用特征编码模块对增强异构数据进行多模态特征编码,并统一至跨模态共享空间,并得到具有语义可比性的潜在表征向量包括脑电潜在表征向量和视觉潜在表征向量;

7、s4、基于transformer架构,对脑电潜在表征向量和视觉潜在表征向量,通过交叉注意力机制实现模态间的信息交互,进行自适应加权融合与非线性融合后得到全局互补特征;

8、s5、采用有监督的情感分类器对全局互补特征进行分类得到情绪分类结果;

9、s6、由特征增强模块、特征编码模块、transformer架构以及有监督的情感分类器构成跨模态情绪感知模型,使用源域样本与目标域适应样本,基于实例级、簇级和域级协同对齐的总损失函数对跨模态情绪感知模型进行多粒度域适应训练,得到训练后的跨模态情绪感知模型;

10、s7、获取待分类的感知数据并输入训练后的跨模态情绪感知模型,得到情绪分类结果。

11、进一步地,步骤s2,具体为:

12、s21、对原始脑电信号,依据脑电通道在人体大脑左右半球的生理对称性分布,采用通道反射增强策略,建立通道映射函数,将左半球对应的电极通道与右半球对称位置的电极通道进行信号值交换,而保持中线通道信号不变,得到增强后的脑电数据;

13、s22、针对具身环境下的动态光照波动,对原始面部表情图像执行光度失真处理,通过在预设步长范围内随机调整图像的亮度、对比度以及饱和度分量,生成增强后的视觉数据。

14、进一步地,步骤s3,具体为:

15、s31、将原始脑电信号与增强后的脑电数据输入多尺度时空卷积脑电特征编码器即tsception编码器后,输出低维脑电特征向量,其中,表示维度为的实数向量空间;

16、s32、将原始面部表情图像与增强后的视觉数据输入金字塔视觉transformer编码器pvt后,输出视觉信号特征向量,其中,表示维度为的实数向量空间;

17、s33、对低维脑电特征向量与视觉信号特征向量利用线性投影层与层归一化ln映射至统一的跨模态共享空间,其中,表示维度为的实数向量空间,得到具有语义可比性的潜在表征向量包括脑电潜在表征向量he和视觉潜在表征向量hv:

18、

19、其中,和为可学习的投影矩阵,表示大小为的实数矩阵空间,表示大小为的实数矩阵空间,为偏置项参数。

20、进一步地,步骤s4中,基于transformer架构,对脑电潜在表征向量和视觉潜在表征向量,通过交叉注意力机制实现模态间的信息交互,进行自适应加权融合与非线性融合后得到全局互补特征,具体为,

21、s41、将脑电潜在表征向量he和视觉潜在表征向量hv视为序列长度为1的令牌,分别添加可学习的位置嵌入pe和pv,得到脑电信号特征he和视觉信号特征hv:

22、

23、其中,表示大小为的实数矩阵空间;

24、s42、采用交叉注意力机制建立模态间的相互查询链路:为生成脑电感知的互补上下文,将视觉信号特征作为查询,脑电信号特征作为键和值,通过线性投影得到查询矩阵、键矩阵、值矩阵;为生成视觉感知的互补上下文,将脑电信号特征作为查询,视觉信号特征作为键和值,通过线性投影得到查询矩阵、键矩阵、值矩阵:

25、

26、其中,为可学习的投影矩阵,表示大小为的实数矩阵空间;

27、s43、分别计算脑电感知的互补上下文 以及视觉感知的互补上下文 :

28、

29、其中,softmax(·)为归一化指数函数,t表示转置;

30、s44、将脑电潜在表征向量与脑电感知的互补上下文进行自适应加权融合,得到增强的脑电模态表示;并将视觉潜在表征向量与视觉感知的互补上下文进行自适应加权融合,得到增强的视觉模态表示:

31、

32、

33、其中,为可学习的标量参数;

34、s45、将增强的脑电模态表示ze与增强的视觉模态表示zv进行拼接,通过一个非线性融合层以及激活函数层后得到全局互补特征ffused:

35、

36、其中,表示特征拼接,和为可学习的映射参数,表示大小为的实数矩阵空间,表示维度为的实数向量空间。

37、进一步地,步骤s6中,基于实例级、簇级和域级协同对齐的总损失函数为:

38、

39、其中, 为平衡损失贡献的超参数,为利用带有情绪类别标签的源域样本计算的交叉熵损失,为实例级对比损失,为簇级对齐损失,为对抗损失。

40、进一步地,步骤s6中,利用带有情绪类别标签的源域样本计算的交叉熵损失为:

41、

42、其中,ns为源域中的样本数量,c为情绪类别总数,c为情绪类别序号,为第i个源域样本在第c个情绪类别上的独热编码标签;为第i个源域样本对应得到的全局互补特征,wp∈为情感分类器的权重矩阵,表示大小为的实数矩阵空间,bp∈为情感分类器的偏置向量,表示维度为的实数向量空间,softmax(·)为归一化指数函数,[·]c表示取第c个情绪类别对应的预测概率,log(·)为自然对数函数。

43、进一步地,实例级对比损失表示为:

44、

45、其中,m为域标识,s表示源域,t表示目标域,dm表示第m个域的数据分布,表示对来自第m个域的数据样本求期望,k+为与查询特征q对应的正样本特征,正样本特征为同一样本经数据增强后得到的增强样本特征;mm为第m个域对应的记忆队列,记忆队列用于存储历史批次中的负样本特征;k为参与对比计算的候选样本特征包括正样本特征k+以及第m个域对应的记忆队列mm中的负样本特征;sim(·,·)为余弦相似度函数,τ为温度系数,exp(·)为指数函数,log(·)为自然对数函数。

46、进一步地,簇级对齐损失为:

47、

48、其中,γ为退火因子,基础簇级对齐损失:

49、

50、

51、其中,表示对来自目标域适应样本数据分布dt的目标域查询特征qt求数学期望,τ为温度系数,sim(·,·)为余弦相似度函数,k′为源域记忆队列ms中的候选源域特征,knn为在源域记忆队列ms中的最近邻特征,即与目标域查询特征qt的余弦相似度最高的候选源域特征,argmax表示取使余弦相似度达到最大值的源域特征,exp为以实数e为底的指数函数。

52、进一步地,簇级对齐损失中,退火因子:

53、

54、其中,exp为以实数e为底的指数函数,训练进度p=当前迭代次数/总迭代次数。

55、进一步地,域级对抗损失定义为:

56、

57、其中,ds为源域训练样本的数据分布,dt为目标域适应样本的数据分布,x∼ds表示从ds中采样,x∼dt表示从dt中采样,e表示数学期望,ffused为全局互补特征,gd(·)为域判别器输出函数,log(·)为自然对数函数。

58、本发明的有益效果是:

59、一、该种面向具身交互场景的跨模态情绪感知方法,通过构建跨模态情绪感知模型,并采用基于实例级、簇级和域级协同对齐的总损失函数进行模型训练,能够提高跨模态情绪感知的稳定性和准确性,能够实现脑电特征与视觉特征的双向深度融合与互补增强,能够提高跨域后感知精度与感知响应效率,并通过分布增强处理和交叉注意力机制对脑电信号、面部视觉数据的质量波动进行动态补偿,从而适应传感器波动,具备跨场景快速适配能力,能够提高鲁棒性与泛化能力。

60、二、本发明,针对固定融合规则导致的特征判别性不足情形,通过引入对齐感知的双向注意力机制,根据交互过程中的语义上下文动态调整模态间的交互权重,实现脑电与视觉两个模态的双向深度融合与互补增强,利用一种模态的可靠信息消除另一种模态的不确定性,提高跨模态情绪感知的稳定性,进而提高具身智能体在移动过程中受光照、视角及物理遮挡干扰情形下的情绪感知的准确性,降低误判,确保了复杂交互闭环的稳定性。

61、三、该种面向具身交互场景的跨模态情绪感知方法,通过采用基于实例级、簇级和域级协同对齐的总损失函数,设计多粒度域适应机制,分别从实例级、簇级和域级三个层次同步对齐源域和目标域的分布,能够使具身智能体无需昂贵的手工重新标注过程,即可快速适配新用户和新交互场景,极大提升了脑电信号与视觉信号融合感知系统的商用实用性。

62、四、该种面向具身交互场景的跨模态情绪感知方法,通过采用基于实例级、簇级和域级协同对齐的总损失函数,构建端到端联合优化框架,能够实现判别性特征学习与域不变特征学习的协同增强,提高模型的鲁棒性与泛化能力。本发明通过融合由原始脑电信号得到的内部生理特征与由面部表情图像得到的外部表情特征,能够提高模型感知真实性与外部表现的一致性,在具身服务中提供更真实有效、更深度的社会化交互支撑数据。