一种车载交互方法、装置、设备及存储介质与流程

本发明涉及智能网联汽车，具体涉及一种车载交互方法、装置、设备及存储介质。

背景技术：

1、在人机交互（hmi）领域，用户对于车载系统的需求已从单纯的功能控制逐渐转向智能化服务。如何提升驾驶过程中的交互体验，成为当前车载技术领域的重要研究方向。

2、现有技术中，车载人机交互系统通常采用语音助手配合二维或三维虚拟形象的方式进行。此类系统主要基于预设的规则库或固定的指令匹配逻辑响应用户的语音控制，且交互数据多存储于车端本地，会话结束后上下文信息往往不再保留。

3、但是，当前交互系统通常仅在单次会话期间保留上下文信息，一旦车辆熄火或会话结束，用户的交互习惯及偏好设置等数据即被清除或难以有效整合，系统难以基于历史数据提供懂用户的个性化服务，存在难以保证用户体验连续性的问题。

技术实现思路

1、本技术提供一种车载交互方法、装置、设备及存储介质，可以解决现有技术中当前交互系统通常仅在单次会话期间保留上下文信息，一旦车辆熄火或会话结束，用户的交互习惯及偏好设置等数据即被清除或难以有效整合，系统难以基于历史数据提供懂用户的个性化服务，存在难以保证用户体验连续性的问题。

2、第一方面，本技术实施例提供了一种车载交互方法，其包括：

3、根据车辆运行参数和/或当前舱内交互信息，确定场景理解参数；

4、基于所述场景理解参数和用户发言文本，检索历史交互信息并分析，获取用户的显式意图和隐式意图；

5、基于用户的显式意图和隐式意图，生成虚拟对象交互响应策略；

6、控制车载输出设备或车辆控制单元执行所述虚拟对象交互响应策略，以实现虚拟对象的形态变化、语音反馈或车辆功能动作。

7、在一种实施方式中，所述的根据车辆运行参数和/或当前舱内交互信息，确定场景理解参数，包括：

8、识别所述车辆运行参数中的车外环境参数以及车辆状态参数和/或当前舱内交互信息中的图像识别参数以及语音识别参数；

9、对所述车外环境参数、车辆状态参数、图像识别参数以及语音识别参数中的至少一种进行特征编码，并进行融合处理或特征变换，得到融合特征向量；

10、基于所述融合特征向量，获取场景理解参数。

11、在一种实施方式中，所述的对所述车外环境参数、车辆状态参数、图像识别参数以及语音识别参数中的至少一种进行特征编码，并进行融合处理或特征变换，得到融合特征向量，包括：

12、将所述车外环境参数、车辆状态参数、图像识别参数以及语音识别参数中的至少一种映射到统一特征空间，得到初始特征向量；

13、采用注意力机制或加权拼接方式，对所述初始特征向量进行融合处理或特征变换，得到所述融合特征向量。

14、在一种实施方式中，识别所述当前舱内交互信息中的图像识别参数以及语音识别参数的过程中，包括：

15、若所述图像识别参数及语音识别参数的识别置信度低于预设阈值，调整对应事件的权重；

16、将调整权重后的所述图像识别参数及语音识别参数中的至少一种作为识别结果。

17、在一种实施方式中，所述的基于所述场景理解参数和用户发言文本，检索历史交互信息并分析，获取用户的显式意图和隐式意图，包括：

18、采用向量相似度检索与关键词检索相结合的混合检索策略，基于所述场景理解参数和用户发言文本作为查询，分别计算与远程云端服务器中存储的记忆条目的向量相似度和关键词匹配度；

19、通过加权融合所述向量相似度和关键词匹配度，得到预设数量的最相关的所述记忆条目；

20、基于所述场景理解参数、用户发言文本以及预设数量的最相关的所述记忆条目，分析并获取用户的显式意图和隐式意图。

21、在一种实施方式中，还包括：

22、在会话结束或车辆熄火时，将所述场景理解参数同步至所述远程云端服务器，以更新所述远程云端服务器中存储的记忆条目。

23、在一种实施方式中，所述远程云端服务器中存储的记忆条目还设有记忆衰减流程，所述记忆衰减流程包括：

24、所述记忆条目按重要性等级设置不同的衰减策略，所述重要性等级由用户显式标记或系统根据访问频率及情感显著性评定；

25、若所述记忆条目的重要性等级低于等级预设阈值且未被访问的时长超过预设时长，降低所述记忆条目在检索排序中的权重。

26、在一种实施方式中，所述的基于所述场景理解参数、用户发言文本以及预设数量的最相关的所述记忆条目，分析并获取用户的显式意图和隐式意图，包括：

27、对所述用户发言文本进行语义解析，识别直接指令需求，得到所述显式意图；

28、基于所述场景理解参数及预设数量的最相关的所述记忆条目，通过预训练语言模型进行上下文推理，得到所述隐式意图。

29、在一种实施方式中，所述的基于用户的显式意图和隐式意图，生成虚拟对象交互响应策略，包括：

30、根据所述显式意图及隐式意图，生成情感映射参数和策略约束参数；

31、基于所述情感映射参数和策略约束参数引导，生成形象变化策略、语音内容策略、动作执行策略及车辆控制策略中的至少一种，作为所述虚拟对象交互响应策略。

32、在一种实施方式中，还包括更新所述虚拟对象的过程：

33、基于所述历史交互信息，获取虚拟对象的经验值累积情况；

34、基于所述经验值累积情况，确定所述虚拟对象的成长阶段；

35、基于所述虚拟对象的成长阶段，更新所述虚拟对象。

36、在一种实施方式中，所述的基于所述经验值累积情况，确定所述虚拟对象的成长阶段，包括：

37、根据行驶里程、陪伴时间、交互愉悦度及任务完成度中的至少一种，计算累计经验值，并将所述累计经验值与预设的等级经验值阈值进行比较，确定所述成长等级；

38、根据所述成长等级所在的等级区间，确定所述虚拟对象的成长阶段。

39、在一种实施方式中，还包括：

40、将所述虚拟对象的状态模型同步至与车载终端关联的外部移动终端或智能家居设备，使得所述虚拟对象在所述外部移动终端或智能家居设备上的显示状态与所述车载终端保持一致。

41、第二方面，本技术实施例还提供了一种车载交互装置，其包括：

42、场景理解参数确定模块，其用于根据车辆运行参数和/或当前舱内交互信息，确定场景理解参数；

43、意图获取模块，其用于基于所述场景理解参数和用户发言文本，检索历史交互信息并分析，获取用户的显式意图和隐式意图；

44、策略生成模块，其用于基于用户的显式意图和隐式意图，生成虚拟对象交互响应策略；

45、执行模块，其用于控制车载输出设备或车辆控制单元执行所述虚拟对象交互响应策略，以实现虚拟对象的形态变化、语音反馈或车辆功能动作。

46、第三方面，本技术实施例还提供了一种车载交互设备，所述车载交互设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的车载交互程序，其中所述车载交互程序被所述处理器执行时，实现上述的车载交互方法的步骤。

47、第四方面，本技术实施例还提供了一种存储介质，所述存储介质上存储有车载交互程序，其中所述车载交互程序被处理器执行时，实现上述的车载交互方法的步骤。

48、本技术实施例提供的技术方案带来的有益效果包括：

49、通过根据车辆运行参数和/或当前舱内交互信息确定场景理解参数，并基于场景理解参数和用户发言文本检索历史交互信息，能够全面理解当前交互场景及用户上下文，实现了跨会话的记忆积累，有效解决了现有技术中记忆机制碎片化、难以提供个性化连续服务的问题；同时，通过检索历史交互信息并分析获取用户的显式意图和隐式意图，能够准确捕捉用户的直接指令和潜在需求，显著提升了意图识别的准确性和交互的智能化水平。解决了现有技术中当前交互系统通常仅在单次会话期间保留上下文信息，一旦车辆熄火或会话结束，用户的交互习惯及偏好设置等数据即被清除或难以有效整合，系统难以基于历史数据提供懂用户的个性化服务，存在难以保证用户体验连续性的问题。