车辆驾驶情景的调控方法、装置、车辆及存储介质与流程

本技术涉及智能驾驶，特别涉及一种车辆驾驶情景的调控方法、装置、车辆及存储介质。

背景技术：

1、相关技术中，主要依靠车内固定摄像头采集驾驶员面部图像，仅针对闭眼、头部偏移等危险行为实现安全告警；常规车载语音交互系统仅支持驾驶员主动发起语音指令完成空调、导航等基础控制，二者相互独立运行，仅能实现单一维度、被动式车辆交互。同时车载虚拟交互设备、实体车载机器人仅具备灯光反馈、语音问答基础功能，感知手段单一。

2、因此，相关技术中车载感知维度单一，仅依靠固定摄像头、单路麦克风获取浅层数据，难以精准识别驾乘人员的生理变化与情绪波动，无法依据驾乘人员真实状态实现整车主动适配调控，降低用户驾乘的舒适性和安全性，亟待解决。

技术实现思路

1、本技术提供一种车辆驾驶情景的调控方法、装置、车辆及存储介质，以解决相关技术中车载感知维度单一，无法依据驾乘人员真实状态实现整车主动适配调控，降低用户驾乘的舒适性和安全性等问题。

2、本技术第一方面实施例提供一种车辆驾驶情景的调控方法，其中，车辆设置有可旋转车载智能体，方法包括以下步骤：在所述车辆处于目标驾驶情景调控工况的情况下，获取所述可旋转车载智能体采集的驾乘人员的第一面部图像、第一语音信息和体表温度数据；由所述可旋转车载智能体对所述第一面部图像、所述第一语音信息、所述体表温度数据与所述车辆感知传感器所采集的第二驾驶员面部图像和第二语音信息进行融合分析，获得所述驾乘人员的当前生理体征、当前情绪状态与当前疲劳程度；根据所述当前生理体征、所述当前情绪状态与所述当前疲劳程度确定所述驾乘人员的驾乘状态类型，并利用所述驾乘状态类型调控所述车辆驾驶情景。

3、可选地，在本技术的一个实施例中，所述获得所述驾乘人员的当前生理体征、当前情绪状态与当前疲劳程度，包括：基于所述第一面部图像和所述第二驾驶员面部图像，利用所述可旋转车载智能体提取所述驾乘人员的面部表情、视线偏移角度与面部肤色特征；根据所述面部表情、所述视线偏移角度、所述面部肤色特征和所述体表温度数据确定所述驾乘人员的当前生理体征；基于所述第一语音信息和所述第二语音信息，利用所述可旋转车载智能体提取所述驾乘人员的语音语速和音调变化量，根据所述语音语速和所述音调变化量确定所述驾乘人员的当前情绪状态；基于所述面部表情、所述视线偏移角度、所述语音语速和所述音调变化量，利用所述可旋转车载智能体确定所述驾乘人员的当前疲劳程度。

4、可选地，在本技术的一个实施例中，所述根据所述当前生理体征、所述当前情绪状态与所述当前疲劳程度确定所述驾乘人员的驾乘状态类型，包括：若所述当前疲劳程度大于或者等于第一预设阈值、生理体征指标处于第一预设区间、所述当前情绪状态的对应特征满足第一预设声学特征，则判定所述驾乘状态类型为满足目标疲劳条件的第一驾乘类型；若所述当前疲劳程度小于或者等于第二预设阈值、所述生理体征指标处于第一预设区间、所述当前情绪状态的对应特征满足第二预设声学特征，则判定所述驾乘状态类型为满足目标兴奋条件的第二驾乘类型；若所述当前疲劳程度小于第一预设阈值且大于所述第二预设阈值、所述生理体征指标处于第一预设区间、所述当前情绪状态的对应特征满足第三预设声学特征，并且车辆内存在满足预设人体特征的驾乘人员，则判定所述驾乘状态类型为满足目标携童出行条件的第三驾乘类型；其中，所述第一预设阈值大于所述第二预设阈值；若所述当前疲劳程度大于或者等于第一预设阈值、所述生理体征指标处于第二预设区间、所述当前情绪状态的对应特征满足第一预设声学特征，则判定所述驾乘状态类型为满足目标生理异常条件的第四驾乘类型。

5、可选地，在本技术的一个实施例中，所述利用所述驾乘状态类型调控所述车辆驾驶情景，包括：根据所述驾乘状态类型生成对应的情景设置指令，其中，所述情景设置指令包括辅助驾驶调整指令、座舱环境调整指令和车身状态调整指令中的至少一项；利用所述情景设置指令调节对应的辅助驾驶参数、座舱环境参数和车身状态参数，以对所述车辆驾驶情景进行调控。

6、可选地，在本技术的一个实施例中，在利用所述驾乘状态类型调控所述车辆驾驶情景之后，还包括：获取所述驾乘人员的情景调控反馈结果；若所述情景调控反馈结果满足预设舒适条件，则保持当前驾驶情景调控配置；若所述情景调控反馈结果未满足预设舒适条件，则利用所述可旋转车载智能体重新分析所述驾乘人员的驾驶情景需求，以根据所述驾驶情景需求重新调控所述车辆驾驶情景。

7、本技术第二方面实施例提供一种车辆驾驶情景的调控装置，其中，车辆设置有可旋转车载智能体，装置包括：第一获取模块，用于在所述车辆处于目标驾驶情景调控工况的情况下，获取所述可旋转车载智能体采集的驾乘人员的第一面部图像、第一语音信息和体表温度数据；确定模块，用于由所述可旋转车载智能体对所述第一面部图像、所述第一语音信息、所述体表温度数据与所述车辆感知传感器所采集的第二驾驶员面部图像和第二语音信息进行融合分析，获得所述驾乘人员的当前生理体征、当前情绪状态与当前疲劳程度；调控模块，用于根据所述当前生理体征、所述当前情绪状态与所述当前疲劳程度确定所述驾乘人员的驾乘状态类型，并利用所述驾乘状态类型调控所述车辆驾驶情景。

8、可选地，在本技术的一个实施例中，所述确定模块包括：第一提取单元，用于基于所述第一面部图像和所述第二驾驶员面部图像，利用所述可旋转车载智能体提取所述驾乘人员的面部表情、视线偏移角度与面部肤色特征；第一确定单元，用于根据所述面部表情、所述视线偏移角度、所述面部肤色特征和所述体表温度数据确定所述驾乘人员的当前生理体征；第二确定单元，用于基于所述第一语音信息和所述第二语音信息，利用所述可旋转车载智能体提取所述驾乘人员的语音语速和音调变化量，根据所述语音语速和所述音调变化量确定所述驾乘人员的当前情绪状态；第三确定单元，用于基于所述面部表情、所述视线偏移角度、所述语音语速和所述音调变化量，利用所述可旋转车载智能体确定所述驾乘人员的当前疲劳程度。

9、可选地，在本技术的一个实施例中，所述调控模块包括：第一判定单元，用于若所述当前疲劳程度大于或者等于第一预设阈值、生理体征指标处于第一预设区间、所述当前情绪状态的对应特征满足第一预设声学特征，则判定所述驾乘状态类型为满足目标疲劳条件的第一驾乘类型；第二判定单元，用于若所述当前疲劳程度小于或者等于第二预设阈值、所述生理体征指标处于第一预设区间、所述当前情绪状态的对应特征满足第二预设声学特征，则判定所述驾乘状态类型为满足目标兴奋条件的第二驾乘类型；第三判定单元，用于若所述当前疲劳程度小于第一预设阈值且大于所述第二预设阈值、所述生理体征指标处于第一预设区间、所述当前情绪状态的对应特征满足第三预设声学特征，并且车辆内存在满足预设人体特征的驾乘人员，则判定所述驾乘状态类型为满足目标携童出行条件的第三驾乘类型；其中，所述第一预设阈值大于所述第二预设阈值；第四判定单元，用于若所述当前疲劳程度大于或者等于第一预设阈值、所述生理体征指标处于第二预设区间、所述当前情绪状态的对应特征满足第一预设声学特征，则判定所述驾乘状态类型为满足目标生理异常条件的第四驾乘类型。

10、可选地，在本技术的一个实施例中，所述调控模块包括：生成单元，用于根据所述驾乘状态类型生成对应的情景设置指令，其中，所述情景设置指令包括辅助驾驶调整指令、座舱环境调整指令和车身状态调整指令中的至少一项；调控单元，用于利用所述情景设置指令调节对应的辅助驾驶参数、座舱环境参数和车身状态参数，以对所述车辆驾驶情景进行调控。

11、可选地，在本技术的一个实施例中，本技术实施例的装置还包括：第二获取模块，用于获取所述驾乘人员的情景调控反馈结果；第一处理模块，用于若所述情景调控反馈结果满足预设舒适条件，则保持当前驾驶情景调控配置；第二处理模块，用于若所述情景调控反馈结果未满足预设舒适条件，则利用所述可旋转车载智能体重新分析所述驾乘人员的驾驶情景需求，以根据所述驾驶情景需求重新调控所述车辆驾驶情景。

12、本技术第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆驾驶情景的调控方法。

13、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的车辆驾驶情景的调控方法。

14、本技术第五方面实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被执行时，以用于实现如上的车辆驾驶情景的调控方法。

15、本技术实施例可以车辆进入目标调控工况时，由可旋转车载智能体融合自身采集的第一面部图像、语音、体表温度数据，以及车辆感知传感器采集的第二面部、语音信息综合分析，获得驾乘人员生理体征、情绪与疲劳程度，判定对应驾乘状态类型，再依据驾乘状态类型下发指令联动整车完成驾驶情景自适应调节，打破传统设备感知单一、调控被动的缺陷，有效提升行车舒适性与行驶安全性。由此，解决了相关技术中车载感知维度单一，无法依据驾乘人员真实状态实现整车主动适配调控，降低用户驾乘的舒适性和安全性等问题。

16、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。