基于脑机接口与大语言模型的情感数字人生成方法及系统

本发明属于人工智能与人机交互，具体涉及一种基于脑机接口与大语言模型的情感数字人生成方法及系统。

背景技术：

1、随着人口老龄化趋势加剧以及心理健康问题日益突出，情感陪护已成为社会关注的焦点。据who统计，全球约有3.5亿人受心理健康问题困扰，而专业心理咨询资源存在覆盖不足、成本高昂等问题。传统的情感陪护依赖人工服务，存在成本高、覆盖面有限、服务质量不稳定等问题。利用人工智能技术构建虚拟数字人进行情感陪护，成为一种极具潜力的解决方案。

2、现有的情感交互系统大多依赖文本或语音单一模态进行情感识别，难以准确捕捉用户的真实情绪状态。基于表情识别的方法容易受到用户刻意掩饰的干扰，而基于语音的方法在嘈杂环境下表现不佳。脑电信号作为一种直接反映大脑活动的生理信号，具有难以伪装、时间分辨率高的优势，但现有的脑电情绪识别方法往往仅利用时域或频域单一维度的特征，忽略了脑电信号在时域、频域和空间域的多维信息，导致识别精度不高。

3、在对话生成方面，现有的聊天机器人多基于预定义规则或简单的序列到序列模型，生成的对话内容缺乏情感共鸣和个性化。虽然大语言模型展现了强大的文本生成能力，但直接应用于情感陪护场景时，缺乏对用户实时情绪状态的感知和针对性响应能力，生成的内容可能与用户情感需求不匹配。

4、在数字人生成方面，现有技术大多将表情生成、语音合成和数字人渲染作为独立模块分别处理，缺乏统一的情感驱动机制，导致数字人的表情、语音和对话内容之间存在不一致性。同时，不同用户的情感表达模式存在显著个体差异，现有系统缺乏快速适配特定用户的能力，难以提供个性化的情感陪护服务。

5、此外，现有的多模态融合方法多采用简单拼接或加权求和的方式，未能有效建模各模态之间的交互关系和互补信息，制约了系统的整体性能。

6、综上所述，现有技术在脑电情绪识别精度、多模态情感融合、情感一致性对话生成和个性化适配等方面均存在显著不足，亟需一种能够实时感知用户脑电情绪状态、协同生成情感一致的对话、表情和语音、并快速适配个体用户的情感陪护数字人生成方法及系统。

技术实现思路

1、针对上述问题，本发明提出一种基于脑机接口与大语言模型的情感数字人生成方法及系统。

2、上述目的通过以下技术方案实现：

3、本发明首先提供一种基于脑机接口与大语言模型的情感数字人生成方法，该方法包括以下步骤：

4、（1）对采集的用户原始脑电信号进行降采样、基线校正和独立成分分析伪迹去除预处理，获得清洁脑电信号；

5、（2）对步骤（1）得到的清洁脑电信号进行时-频-空三维特征提取，并通过交叉注意力机制融合后输入情绪识别模型进行情绪分类，得到情绪概率分布向量；

6、（3）将步骤（2）得到的情绪概率分布向量对应的情感嵌入与用户对话文本的语义特征进行门控多模态融合，得到情感嵌入向量和多模态融合特征；

7、（4）基于步骤（3）得到的多模态融合特征，利用检索增强生成框架从情感陪护知识库检索相关文档，结合对话历史构造增强提示，通过大语言模型生成情感陪护对话响应；

8、（5）根据由步骤（3）得到的情感嵌入向量，通过多层感知机映射生成表情参数，利用生成对抗网络生成数字人面部表情图像；

9、（6）对由步骤（4）得到的对话响应进行文本特征提取，将所述文本特征与由步骤（3）得到的情感嵌入向量拼接后映射为声学条件向量，通过条件wavenet波形生成网络进行情感语音合成，得到语音波形；

10、（7）将由步骤（3）得到的情感嵌入向量作为条件输入情感条件神经辐射场，结合由步骤（5）得到的表情图像与由步骤（6）得到的语音波形，通过面部区域掩码融合进行数字人渲染与视频合成得到情感陪护数字人视频；

11、（8）对步骤（7）得到的情感陪护数字人视频进行多维度质量评估，包括情感一致性评估、表情生成质量评估、语音自然度评估和唇形同步评估，根据评估结果反馈优化各生成模块。

12、本发明还提供一种基于脑机接口与大语言模型协同的情感陪护数字人生成系统，该系统用于执行上述的方法，包括：

13、脑电信号采集与预处理模块，用于对用户原始脑电信号进行降采样、基线校正和独立成分分析伪迹去除，获得清洁脑电信号；

14、情绪识别模块，用于对清洁脑电信号进行时-频-空三维特征提取和交叉注意力融合，输出情绪概率分布向量；

15、多模态特征融合模块，用于将情感嵌入向量与文本语义特征通过门控机制进行多模态融合，输出多模态融合特征；

16、检索增强情感对话生成模块，用于基于多模态融合特征从情感陪护知识库检索相关文档，通过大语言模型生成情感陪护对话响应；

17、表情生成模块，用于根据情感嵌入向量通过生成对抗网络生成数字人面部表情图像；

18、语音合成模块，用于将对话响应文本特征与情感嵌入向量拼接后，通过条件wavenet波形生成网络合成情感语音波形；

19、数字人渲染与视频合成模块，用于利用情感条件神经辐射场进行三维渲染，通过面部区域掩码融合表情图像与渲染图像，并将语音波形进行时序同步合成，输出情感陪护数字人视频；

20、生成结果评估模块，用于对生成的数字人视频进行多维度质量评估，并将评估结果反馈至各生成模块进行优化。

21、本发明相比现有技术的有益效果是：

22、1. 提出了时-频-空三维特征融合的脑电情绪识别方法，通过连续小波变换提取时频特征、图卷积网络提取空间拓扑特征，并利用交叉注意力机制实现有效融合，显著提升了情绪识别精度。

23、2. 设计了基于门控机制的多模态情感融合方法，自适应调节脑电情感特征与文本语义特征的融合权重，有效建模了模态间的互补关系。

24、3. 构建了情感特化的检索增强生成框架，利用多模态融合特征从情感陪护知识库中检索高度相关的参考文档，结合大语言模型的生成能力，实现情感一致的高质量对话生成。

25、4. 实现了情感驱动的数字人表情、语音和对话的协同生成，通过统一的情感嵌入向量驱动各模态生成，保证了数字人输出的情感一致性。

26、5. 引入跨模态对比学习对齐各模态表征空间，结合元学习机制实现面向个体用户的快速适配，增强了系统的个性化服务能力。

27、6. 通过基于mmd的迁移学习解决脑电信号的个体差异问题，提升了情绪识别模型的跨被试泛化能力。

1.基于脑机接口与大语言模型的情感数字人生成方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤（1）具体包括：

3.根据权利要求２所述的方法，其特征在于，步骤（2）中所述时-频-空三维特征提取具体包括：

4.根据权利要求3所述的方法，其特征在于，步骤（2）所述情绪识别模型在其训练阶段，利用最大均值差异对已标注被试样本集和新被试样本集的特征分布进行对齐，实现跨被试迁移学习：

5.根据权利要求４所述的方法，其特征在于，步骤（3）中，所述门控多模态融合，具体包括将由步骤（2）得到的情绪概率分布向量中的最大概率类别进行嵌入编码，获得情感嵌入向量：

6.根据权利要求５所述的方法，其特征在于，步骤（4）具体包括：

7.根据权利要求６所述的方法，其特征在于，步骤（5）中，所述利用生成对抗网络生成数字人面部表情图像，具体包括：

8.根据权利要求７所述的方法，其特征在于，步骤（6）中，所述情感语音合成，具体包括将由步骤（4）得到的对话响应  对应的文本特征与由步骤（3）得到的情感嵌入向量拼接后映射为声学条件向量 ：

9.根据权利要求８所述的方法，其特征在于，步骤（7）中，所述数字人渲染与视频合成，具体包括利用情感条件神经辐射场（neural radiance field, nerf）对三维空间进行隐式建模：

10.一种基于脑机接口与大语言模型协同的情感陪护数字人生成系统，其特征在于，该系统用于执行权利要求1至9任一项所述的方法，包括：