一种运用多头编码器共享模型的情感支持车端交互方法

本发明涉及智能驾驶，具体为一种运用多头编码器共享模型的情感支持车端交互方法。

背景技术：

1、人工智能的快速发展在提升科研水平的同时，也在服务人们的日常生活方面不断耕织。人车交互这一技术也在不断地扩大和发展，传统的驾驶者和汽车之间的互动包括有物理控制、视觉交互、听觉交互、触觉交互，以及简单的信息娱乐系统等。随着技术的发展，人车交互已经变得更加复杂和高级，汽车的车载系统可以通过了解驾驶者的情感状态和意图，来与其进行交流、执行播放相关的音乐、调整座椅温度等操作。通过进一步的了解驾驶者的情感和意图，车载系统可以实施更加符合驾驶者心意的操作，为其提供恰到好处的情感支持，提高驾驶的智能化水平，实现更深层次的人车交互。

2、在已有的专利中，如公开号为cn115565532a所公开的一种语音交互方法，包括：接收车辆转发的语音请求；处理所述语音请求；在所述语音请求为预定意图类型的情况下，根据预先构建的车载系统功能数据结构生成针对所述语音请求的回复文本，以根据所述回复文本完成所述语音交互。

3、该专利被限制于在预定意图的情况下进行人车语音交互，缺乏对驾驶者情感和意图的理解，对于实现更深层次的人车交互还有一定差距。

4、公开号为cn118343135a，其也是人车情感交互的一种方法。基于收集到的驾驶员的情绪、驾驶数据以及车辆行驶的环境数据对所述驾驶员进行情绪判定并采取安抚措施，但是其主要关注点为解决驾驶者的负面情绪问题，距离真正理解驾驶者的意图和情感之间还有差距。

5、综上所述：

6、现有的人车交互技术中，由于缺乏对驾驶者意图和情感的理解，导致驾驶者的人车交互体验不佳。在人车交互的过程中，理解驾驶者的意图和情感应是交互过程的一个重要部分。对于如何全面把握驾驶者的意图和情感，以提供更为贴切的情感支持仍存在进步空间。

7、因此需要对以上问题提出一种新的解决方案。

技术实现思路

1、本发明的目的在于提供一种运用多头编码器共享模型的情感支持车端交互方法，增加车端对于用户意图和情感的理解，为驾驶者提供情感支持，以解决背景技术中提出的技术问题。

2、为实现上述目的，本发明提供如下技术方案：一种运用多头编码器共享模型的情感支持车端交互方法，至少包括以下步骤：

3、s1：搭建包含多头编码器共享模型模块的框架；

4、s2：对多头编码器共享模型模块进行双阶段训练，使模型更好地理解驾驶者的心意；

5、s3：将训练好的多头编码器共享模型与车端连接，构建基于情感支持的车端交互应用。

6、进一步地，所述包含多头编码器共享模型模块的框架包括输入端、多头编码器共享模型模块和输出端，所述输入端为向多头编码器共享模型模块输入驾驶者与汽车的对话历史，所述输出端为多头编码器共享模型模块根据输入生成针对驾驶者意图和情感的对话摘要，进而输出对话摘要；

7、所述输出端连接云端服务器，用于将所述对话摘要传送到云端服务器中；

8、所述云端服务器与大语言模型和车端连接，所述对话摘要传送到云端服务器后经过大语言模型重新生成相关指令返回至车端，执行相关的任务，为用户提供情感支持。

9、进一步地，所述双阶段训练包括第一阶段和第二阶段，所述第一阶段和第二阶段分别为情感摘要训练和意图摘要训练。

10、进一步地，所述情感摘要训练至少包括以下步骤：

11、首先将接收对话历史作为输入；

12、采用情感编码器处理这些对话历史，提取情感特征；

13、然后情感解码器利用这些特征生成情感摘要；

14、将标签的对话情绪状态，经过对话摘要构造器生成情绪摘要；

15、训练过程中，通过最小化情绪摘要和情感摘要之间的交叉熵损失函数来更新模型参数，其中交叉熵损失函数如下：

16、

17、其中：yi为是情绪摘要，是生成情感摘要。

18、进一步地，对于情感摘要训练进一步搭建对应的评价指标；

19、使用w-avg(weighted-average)加权平均来评价模型在每一个情感类别的准确程度，公式如下：

20、

21、其中变量的含义如下：

22、n：类别总数，即不同的情感类别数量。

23、ni：第i个类别的样本数量，表示数据集中第i个情感类别的实例数；

24、acci：第i个类别的准确度，即模型在第i个情感类别上正确预测的比例。

25、进一步地，所述意图摘要训练至少包括以下步骤：

26、首先接收对话历史作为输入；

27、使用第一阶段已训练好的情感编码器及未训练的意图编码器，将其二者的特征通过特征融合器进行融合，再输入到意图解码器来生成意图摘要，使得意图编码器可以接收更多输出，提升其输出的效果；

28、将标签的对话意图状态，经过对话摘要构造器生成对话摘要；

29、训练过程中，通过最小化对话摘要和生成意图摘要之间的交叉熵损失函数来更新模型参数，其中交叉熵损失函数如下：

30、

31、其中：xi为是对话摘要，是生成意图摘要。

32、进一步地，对于意图摘要训练进一步搭建对应的评价指标；

33、意图摘要生成实验的主要性能指标是dst中的联合目标准确性(jga)，其公式如下：

34、

35、其中变量的含义如下：

36、tp：真正例，表示模型正确预测用户意图的对话轮数；

37、tn：真负例，表示模型正确预测没有用户意图的对话轮数；

38、p：正例总数，即测试集中所有包含用户意图的对话轮数；

39、n：负例总数，即测试集中所有不包含用户意图的对话轮数；

40、n：测试集中的总对话轮数；

41、tturm：正确的对话轮数即模型预测与实际意图完全匹配的对话轮数；

42、turn：测试集中的总对话轮数。

43、与现有技术相比，本发明的有益效果是：

44、1、本发明通过多头编码器共享模型模块的设计，即加入了专门针对驾驶者情感和意图理解的模块，该模型可以通过驾驶者和车端的对话历史，生成包含驾驶者情感和意图的对话摘要。更好地理解驾驶者的情感和意图，是更深层次的人车交互的基础，通过多头编码器共享模型，使得车端可以更好地理解驾驶者的意图和情感，提升人车交互体验；

45、2、本发明采用了双阶段训练方法，即对于多头编码器共享模型的训练主要分为两个阶段进行，不同于传统的训练方式，本方法通过第一阶段的情感摘要生成和第二阶段的意图摘要生成可以更加准确地提炼出驾驶者的想法。将其用于模型的训练，可以使模型更好地理解驾驶者的心意；

46、3、本发明使用特征融合器：在意图摘要的生成过程中，使用特征融合器来获取情感编码器(已训练好)和意图编码器的特征，并进行融合，使意图编码器可以接收更多输出，提升其输出的效果，进而提供更好的智能情感支持，通过精确地理解驾驶者的情感和意图，利用llm的能力执行相关操作，为驾驶者提供智能的情感支持。