面向座舱的人机交互控制方法、装置和车辆与流程

本发明涉及座舱人机交互控制的，尤其是涉及一种面向座舱的人机交互控制方法、装置和车辆。

背景技术：

1、随着智能座舱技术的飞速发展，车载信息娱乐系统、导航、通讯及车辆控制功能日益复杂。驾驶员在驾驶过程中需同时处理来自道路环境、行驶状态和座舱内多个交互任务的信息，其认知资源有限。当信息输入超过其处理能力时，即形成认知负荷过高，导致驾驶员反应延迟、决策失误，增加交通事故风险。

2、在智能座舱领域，现代车辆通常配备有多套交互系统，包括导航系统、娱乐系统、车辆状态显示系统等。这些系统各自独立运行，通过中控屏、仪表盘、抬头显示（hud）等不同界面与驾驶员进行交互。

3、然而，这些系统之间缺乏有效的协调机制，当多个系统同时需要驾驶员注意力时，容易造成信息过载，增加驾驶员认知负担。

技术实现思路

1、本发明的目的在于提供一种面向座舱的人机交互控制方法、装置和车辆，以缓解当前无法对座舱内多源交互任务进行动态、自适应的统一调度管理的技术问题。

2、第一方面，本发明提供一种面向座舱的人机交互控制方法，包括：

3、基于表征驾驶员实时认知资源的占用程度的认知负荷量化结果，生成动态交互管理策略；

4、根据所述动态交互管理策略，控制座舱内的一个或多个输出设备执行相应的交互调整。

5、在可选的实施方式中，在生成动态交互管理策略的步骤之前，所述方法还包括：

6、构建多模态认知负荷感知模型；所述多模态认知负荷感知模型包括用于处理不同模态数据的多个专用识别子模型，以及用于融合多模态特征的联合推理层；

7、将驾驶员的多模态数据分别输入至对应的所述专用识别子模型进行特征提取，并将提取后的多模态特征向量输入至所述联合推理层，得到所述认知负荷量化结果。

8、在可选的实施方式中，所述多个专用识别子模型为针对不同模态数据分别构建的时空特征编码器；得到所述认知负荷量化结果的步骤，包括：

9、通过所述时空特征编码器对各模态数据分别进行时间依赖特征和空间关联特征的提取，生成各模态对应的时空特征向量；

10、将各模态对应的时空特征向量输入至所述联合推理层，增强与认知负荷相关性高于预设相关度阈值的模态特征的权重，并抑制与认知负荷相关性低于所述预设相关度阈值的模态特征的权重；

11、将加权后的多模态特征向量进行融合，输出所述认知负荷量化结果。

12、在可选的实施方式中，所述动态交互管理策略包括信息流控制操作和/或信息呈现模态转换操作；生成动态交互管理策略的步骤，包括：

13、获取车辆外部驾驶环境复杂度和待触发交互任务的任务类型属性；

14、基于所述认知负荷量化结果、所述任务类型属性以及所述车辆外部驾驶环境复杂度的多维联合判断，确定对所述待触发交互任务执行信息流控制操作和/或信息呈现模态转换操作。

15、在可选的实施方式中，确定对所述待触发交互任务执行信息流控制操作和/或信息呈现模态转换操作的步骤，包括：

16、基于所述认知负荷量化结果，确定当前可用的认知资源余量；

17、根据所述待触发交互任务的交互类型、信息复杂度及安全等级，联合确定所述待触发交互任务的认知资源占用预估值；

18、当存在多个待触发交互任务时，将各所述待触发交互任务对应的认知资源占用预估值分别与所述认知资源余量进行比较；

19、当所述待触发交互任务的认知资源占用预估值大于所述认知资源余量时，对所述待触发交互任务实施延迟发送或静音处理；

20、当监测到所述认知资源余量低于预设的认知资源枯竭阈值时，对认知资源占用预估值超过预设的资源占用阈值、且安全等级低于预设安全等级的非安全类交互任务实施屏蔽处理。

21、在可选的实施方式中，确定对所述待触发交互任务执行信息流控制操作和/或信息呈现模态转换操作的步骤，包括：

22、当所述认知负荷量化结果超过预设的模态切换阈值时，将所述待触发交互任务中视觉呈现的任务切换为听觉呈现；

23、当所述认知负荷量化结果超过预设的极高负荷阈值时，将所述待触发交互任务中语音指令交互的任务切换为物理按键或触觉反馈；

24、对所述待触发交互任务中的长文本信息内容进行语义要素提取，生成结构化的关键词信息，并将所述关键词信息作为交互内容以执行后续交互调整；

25、对所述待触发交互任务中多个同类型通知进行聚合处理，生成一条聚合播报，并将所述聚合播报作为交互内容以执行后续交互调整。

26、在可选的实施方式中，在生成所述动态交互管理策略的步骤之前，还包括：

27、构建存储有驾驶员在不同驾驶场景下的历史认知负荷量化结果及对应的交互偏好标签的历史认知状态特征库；

28、将当前计算得到的认知负荷量化结果与所述历史认知状态特征库中的历史认知负荷量化结果进行匹配，确定当前驾驶场景所属的驾驶员状态类别；

29、基于所述驾驶员状态类别对应的交互偏好标签，修正所述动态交互管理策略中的判断阈值和/或交互调整方式。

30、在可选的实施方式中，所述方法还包括：

31、记录所述驾驶员对所述动态交互管理策略所执行交互调整的响应行为；

32、基于所述响应行为，判断所述驾驶员对所述交互调整的接受度；

33、当所述接受度低于预设的接受度阈值时，对所述历史认知状态特征库中对应的交互偏好标签进行更新，并将更新后的交互偏好标签应用于所述动态交互管理策略的生成。

34、第二方面，本发明提供一种面向座舱的人机交互控制装置，包括：

35、生成模块，基于表征驾驶员实时认知资源的占用程度的认知负荷量化结果，生成动态交互管理策略；

36、控制模块，根据所述动态交互管理策略，控制座舱内的一个或多个输出设备执行相应的交互调整。

37、第三方面，本发明提供一种车辆，包括车辆主体、存储器、处理器及存储在所述存储器上并且能够在所述处理器上运行的程序，所述处理器执行所述程序时实现如前述实施方式中任一项所述的方法。

38、本发明实施例带来了一种面向座舱的人机交互控制方法、装置和车辆，首先，通过多模态感知模块实时采集驾驶员的生理数据、行为数据及车辆内外部环境数据，并利用预训练的深度学习模型对多模态数据进行融合处理，输出一个连续归一化的认知负荷量化结果，该结果精确表征了驾驶员当前认知资源的占用程度。其次，基于该认知负荷量化结果，结合待触发交互任务的属性及外部驾驶环境复杂度，通过预设的决策规则集生成动态交互管理策略，该策略涵盖信息流控制（如延迟、静音、屏蔽）和模态转换（如视觉转听觉、语音转触觉）等操作。最后，根据该策略控制座舱内的输出设备执行交互调整，确保认知负荷始终处于安全阈值内。该技术方案的核心创新在于将座舱内所有交互任务和外部环境视为统一整体，由中央仲裁器进行协调管理，实现了从被动报警到主动干预、从单一指标判断到多模态精准量化、从固定模式到动态自适应的跨越。

39、本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

40、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。