面向智能座舱复杂环境的驾驶员多模态情感预测方法及系统

本发明属于智能驾驶辅助、情感计算与多模态信号处理，具体涉及一种面向智能座舱复杂环境的驾驶员多模态情感预测方法及系统，融合变分编码、非参数化记忆锚定、多层动态网络推理及几何流形学习技术，适用于智能座舱中驾驶员情感、疲劳、分心等状态的检测与评估。

背景技术：

1、伴随着智能网联汽车技术的快速发展，智能座舱作为人车交互的核心载体，对驾驶员状态的准确感知成为实现人机协同驾驶、提升行车安全的关键环节。驾驶员的情感变化与生理状态，如疲劳、分心、焦虑或愤怒等，会直接影响驾驶行为和驾驶决策，实时检测并识别该类状态，能够为智能座舱的安全预警、个性化交互和辅助驾驶决策提供依据，是智能驾驶辅助系统实际应用的重要基础。

2、多模态融合检测技术能够整合面部图像、语音音频、文本语义、生理信号或驾驶操作等多维度信息，相较于单一模态检测方法，具有信息来源更丰富、状态表征更全面的优势，已成为驾驶员状态检测领域的重要研究方向。现有方法通常通过采集驾驶员的多模态观测数据，经特征提取、模态融合后输入预测模型，从而完成驾驶员情感或状态预测。在光照稳定、环境噪声较低、驾驶员面部无遮挡等理想条件下，该类方法能够取得较好的预测效果。

3、然而，在实际智能座舱复杂行车环境中，现有多模态驾驶员状态检测方法仍存在诸多问题，其输出结果难以稳定地为智能座舱控制系统和驾驶安全预警模块提供可靠依据，主要体现在：

4、1）特征表征信息量不足：现有方法通常将驾驶员多模态特征表征为单一特征向量或直接分类结果，缺少对特征概率分布、置信度范围和模态可靠性的刻画，难以反映复杂环境下不同模态观测数据的不确定性；

5、2）模型可解释性较差：传统方法多侧重于输出最终预测结果，难以解释各模态特征对预测结果的贡献程度，也难以反映特征漂移、噪声干扰或模态缺失对模型输出的影响，不利于智能座舱感知系统的调试与优化；

6、3）抗噪与抗干扰能力不足：现有方法通常缺少针对座舱复杂环境的特征校准与噪声抑制机制，对逆光、遮挡、强车噪、风噪、传感器异常或交互中断等因素导致的特征残缺和分布漂移处理能力有限，观测数据中的噪声干扰会影响模型训练与预测，导致检测精度下降。

7、上述问题使得传统多模态驾驶员情感预测方法在真实智能座舱环境中鲁棒性不足，检测准确度难以满足实际应用需求，限制了其在智能驾驶领域的规模化落地。因此，亟需一种面向智能座舱复杂环境的驾驶员多模态情感预测方法及系统，能够在不完整多模态观测条件下对各模态特征进行不确定性建模、特征校准和鲁棒融合，从而提高复杂环境下驾驶员情感状态预测的稳定性和准确性。

技术实现思路

1、本发明为了解决上述现有技术存在的不足之处，提出一种面向智能座舱复杂环境的驾驶员多模态情感预测方法及系统，以期不仅能实现驾驶员情感的精准预测，更能对复杂环境下的多模态特征进行概率化表征与校准，以提供特征的置信度、分布范围等信息，从而能显著提高模型包含的信息量和可解释性，有益于研发人员优化智能座舱感知系统、设计精准的驾驶安全预警策略。

2、为了实现上述发明目的，本发明采用如下技术方案：

3、本发明一种面向智能座舱复杂环境的驾驶员多模态情感预测方法的特点在于，包括如下步骤：

4、步骤1、获取训练批次内任一包含文本、视觉和语音模态的目标对象的多模态情感样本序列，并进行时间对齐、特征标准化和情感标签映射后，再利用模态缺失掩码矩阵对预处理后的多模态情感样本序列进行掩码处理，得到不完整多模态观测序列；

5、步骤2、利用多模态特征提取模块从所述不完整多模态观测序列中提取各模态的底层特征，并获取变分高斯分布参数，以得到各模态的潜在变量；

6、步骤3、利用记忆锚定校准模块基于预先构建的外部原型记忆矩阵，从中选出与各模态匹配的语义原型及其对应的语义置信度，用于对高斯分布参数中的原始均值进行校准，得到第m个模态校准后的均值；

7、步骤4、利用动态代理生成模块对高斯分布参数中的物理方差与语义置信度进行双因子动态评估，以生成初始全局代理特征；

8、步骤5、闭环语义调制模块以初始全局代理特征为调制中心，通过l层双向闭环语义调制网络对各模态底层特征进行递归提纯，得到最终全局代理特征；

9、步骤6、利用情感预测输出模块通过多层感知机对进行回归预测，得到情感预测值；

10、步骤7、构建联合损失函数，包括：构建几何对齐损失函数、情感回归损失和 kl 散度损失；

11、步骤8、基于所述联合损失函数，对由多模态特征提取模块、记忆锚定校准模块、动态代理生成模块、闭环语义调制模块以及情感预测输出模块所构成的多模态情感预测网络进行迭代训练，直至联合损失函数 收敛为止，从而得到训练后的多模态情感预测模型，用于对不完整多模态观测序列进行检测，并输出驾驶员情感预测值。

12、本发明所述的一种面向智能座舱复杂环境的驾驶员多模态情感预测方法的特点也在于，步骤2包括如下步骤：

13、步骤2.1、将输入多模态编码器中进行各模态的特征提取后，再通过全连接层统一投影至维度为 的共享子空间，从而得到各模态的底层特征；

14、步骤2.2、将第m个模态的底层特征输入变分编码器中进行处理，并输出第m个模态特征的高斯分布参数，包括：第m个模态的原始均值和对数方差，根据得到第m个模态的标准差，且；从而得到任一多模态情感样本序列的均值和标准差，m表示模态的总数；

15、步骤2.3、根据式(1)得到第m个模态的潜在变量：

16、 (1)

17、为标准高斯噪声。

18、进一步的，步骤3包括如下步骤：

19、步骤3.1、以为查询向量，对外部原型记忆矩阵执行余弦相似度计算，以检索与最匹配的语义原型；

20、步骤3.2、提取检索得到的最高余弦相似度得分并作为第m个模态的语义置信度；

21、步骤3.3、利用式(2)对进行校准，得到第m个模态校准后的均值：

22、 (2)

23、式(2)中，表示预设的锚定系数。

24、进一步的，步骤4包括如下步骤：

25、步骤4.1、利用式(3)计算第m个模态的融合权重：

26、 (3)

27、步骤4.2、对进行归一化处理，得到第m个模态归一化后的权重；

28、步骤4.3、利用式(4)生成初始全局代理特征：

29、  (4)

30、式(4)中，表示模态的总数。

31、进一步的，步骤5包括如下步骤：

32、步骤5.1、在第层调制中，将第层输出的全局代理特征作为查询向量，通过跨模态注意力机制分别吸收第l层各模态底层特征中的有效信息，从而利用式(5)得到第m个模态对应的注入特征：

33、 (5)

34、式(5)中，表示第m个模态对应的跨模态注意力函数；表示第层输出的全局代理特征；表示第层中第m个模态的底层特征；当时，令=；

35、步骤5.2、利用式(6)得到第层输出的全局代理特征：

36、(6)

37、式(6)中，表示第m个模态的归一化融合权重；表示层归一化；表示全连接映射网络；表示残差连接；

38、步骤5.3、门控信号生成单元将第层输出的全局代理特征输入反馈门控网络中，并经激活函数处理后，利用式(7)生成第m个模态对应的抑制信号：

39、(7)

40、式(7)中，和分别表示第个模态对应的反馈门控网络参数；

41、步骤5.4、递归提纯计算单元利用式(8)得到第层的第m个模态底层特征：(8)

42、式(8)中，表示按位乘法运算；

43、步骤5.5、将赋值给后，返回步骤5.1继续执行，直至完成层调制，最终得到第层输出的最终全局代理特征。

44、进一步的，所述步骤7包括：

45、步骤7.1、按照步骤1-步骤2.2得到训练批次内第个多模态情感样本序列的均值和标准差，以及第个多模态情感样本序列的均值和标准差，从而利用式(9)计算第个多模态情感样本序列与第个多模态情感样本序列之间的二阶wasserstein距离平方项 ：

46、(9)

47、式(9)中，和分别表示第i个多模态情感样本序列和第j个多模态情感样本序列对应的高斯分布；

48、步骤7.2、利用式(10)构建第个多模态情感样本序列与第  个多模态情感样本序列之间的方差稳定正则项：

49、(10)

50、步骤7.3、利用式(11)构建第个多模态情感样本序列与第  个多模态情感样本序列之间的总距离项：

51、(11)

52、式(11)中，为预设权重系数。

53、步骤7.4、对训练批次内第 i 个多模态情感样本序列的真实情感标签 和第 个多模态情感样本序列的真实情感标签分别进行离散化处理，相应得到的情感类别标识和的情感类别标识；从而利用式(12)构建几何对齐损失函数：

54、(12)

55、式(12)中，n表示训练批次内多模态情感样本序列的总数；(·)表示指示函数；表示预设的类别分离间隔阈值；

56、步骤7.5、利用式(13)构建情感回归损失：

57、(13)

58、步骤7.6、利用式(14)构建kl散度损失 ：

59、(14)

60、式(14)中，表示训练批次内第 i 个多模态情感样本序列经变分编码器得到的后验分布；表示标准高斯先验分布；表示 kl 散度。

61、步骤7.7、利用式(15)构建任务损失函数 ：

62、 (15)

63、式(15)中，表示对应的权重系数，表示对应的权重系数；

64、步骤7.8、利用式(16)得到联合损失函数：

65、 (16)

66、式(16)中，表示对应的权重系数。

67、本发明一种面向智能座舱复杂环境的驾驶员多模态情感预测系统的特点在于，是应用上述方法，并包括：

68、多模态特征提取模块：用于从不完整多模态观测序列中提取各模态的底层特征，并获取变分高斯分布参数，以得到各模态的潜在变量；其中，所述不完整多模态观测序列 x 在训练阶段由公开多模态情感分析数据集经时间对齐、特征标准化、情感标签映射和模态缺失掩码处理得到，在应用阶段由智能座舱内多源传感数据经时间对齐、特征标准化和模态缺失表征处理得到；

69、记忆锚定校准模块：是基于预先构建的外部原型记忆矩阵，从中选出与各模态匹配的语义原型及其对应的语义置信度，用于对高斯分布参数中的原始均值进行校准，得到各模态校准后的均值；

70、动态代理生成模块：是对高斯分布参数中的物理方差与语义置信度进行双因子动态评估，以生成初始全局代理特征；

71、闭环语义调制模块：用于以初始全局代理特征为调制中心，通过 l 层双向闭环语义调制网络对各模态底层特征进行递归提纯，得到最终全局代理特征；

72、情感预测输出模块：用于对最终全局代理特征进行回归预测，输出情感预测值；

73、几何流形对齐模块：用于在模型训练阶段，基于训练批次内样本的高斯表示构建基础距离项、方差稳定正则项和总距离项，并根据训练样本真实情感标签的一致性构建几何对齐损失函数；

74、模型训练模块：用于基于联合损失函数对多模态情感预测系统进行迭代训练，直到联合损失函数收敛为止，从而得到训练后的多模态情感预测模型；所述训练后的多模态情感预测模型用于在应用阶段接收智能座舱内实时获得的不完整多模态观测序列，并输出驾驶员情感预测值。

75、与已有技术相比，本发明的有益效果体现在：

76、1、本发明通过变分编码对文本、视觉和语音等多模态特征进行概率化表征，并利用预先构建的外部原型记忆矩阵对各模态原始均值进行记忆锚定校准，能够在光照遮挡、环境噪声、传感器异常或交互中断等复杂座舱环境下，显式表征了各模态特征的不确定性，并抑制了模态缺失或噪声干扰导致的特征漂移，从而提高了不完整多模态观测数据的表征稳定性。

77、2、本发明结合物理方差与语义置信度进行双因子动态评估，生成初始全局代理特征，并以该初始全局代理特征为调制中心，通过闭环语义调制网络对各模态底层特征进行跨模态信息注入和递归提纯。由此，模型能够根据不同模态在当前样本中的可靠程度动态调整融合贡献，并削弱了底层特征中的噪声响应和无效响应，从而提高了复杂环境下多模态情感预测的鲁棒性和准确性。

78、3、本发明在模型训练阶段引入基于二阶 wasserstein 距离与方差稳定正则项的几何对齐损失函数，并结合情感回归损失和 kl 散度损失构建联合损失函数，使同类情感样本在潜在分布空间中更加接近，使异类情感样本保持一定间隔。由此，模型改善了细粒度情感状态的类间区分能力，并提高了训练后的多模态情感预测模型在智能座舱复杂环境下的稳定性和可解释性。