多模态疲劳监测与干预方法及车辆与流程

本技术涉及智能驾驶安全，尤其涉及一种多模态疲劳监测与干预方法及车辆。

背景技术：

1、随着智能驾驶技术从人工驾驶向辅助驾驶、自动驾驶逐步演进，车辆的操控权归属也随之发生变化。不同驾驶模式下，驾驶员所需承担的角色和注意力要求差异显著：人工驾驶模式下驾驶员需全程操控车辆，辅助驾驶模式下驾驶员需保持注意力并随时准备接管，而自动驾驶模式下驾驶员可在一定条件下脱离驾驶任务。这种驾驶模式的变化，使得对驾驶员状态的监测需求不再局限于传统的疲劳识别，而是扩展至不同场景下的状态感知与安全响应。

2、相关技术中，基于视觉的驾驶员监测系统（driver monitoring system，dms）方案在驾驶员佩戴墨镜、夜间光线不足或自动驾驶允许脱眼等场景下存在明显盲区；基于可穿戴设备的生理监测方案则无法感知驾驶员的实时视觉注意力状态，且难以区分正常闭目休息与突发失能昏迷。部分现有技术虽尝试将视觉数据与生理数据进行多模态融合，但均对所有驾驶场景采用统一的融合逻辑，未考虑人工驾驶、辅助驾驶和自动驾驶三种模式下数据可信度的显著差异：人工驾驶时视觉行为特征更为可靠，自动驾驶时生理信号才是判断失能的关键依据，导致误报率和漏报率偏高。此外，现有方案大多仅针对疲劳检测，未针对突发失能设置专门的应急响应机制，干预策略也未能根据驾驶模式进行差异化配置。

技术实现思路

1、鉴于上述现有技术的不足，本技术的目的在于提供一种多模态疲劳监测与干预方法及车辆，其旨在解决现有技术中多模态融合权重不能随驾驶模式自适应切换、缺乏针对突发失能的应急响应机制、干预策略与实际控制权归属不匹配的技术问题，实现驾驶模式自适应的多源数据融合与差异化分级干预。

2、第一方面，本技术提供了一种多模态疲劳监测与干预方法，包括：

3、获取车辆的当前驾驶模式、驾驶员的面部图像以及驾驶员的生理信号；

4、基于所述面部图像识别输出行为状态等级，以及基于所述生理信号识别输出生理状态等级；

5、根据所述当前驾驶模式确定所述行为状态等级对应的第一融合权重以及所述生理状态等级对应的第二融合权重，并基于所述行为状态等级、所述生理状态等级、所述第一融合权重和所述第二融合权重进行加权融合计算，得到综合疲劳指数；

6、根据所述综合疲劳指数判定当前疲劳等级，并根据所述当前疲劳等级和所述当前驾驶模式触发对应的预设分级干预策略。

7、由此，能够根据驾驶模式自适应调整行为数据与生理数据的融合权重，使得在人工驾驶、辅助驾驶和自动驾驶三种场景下均能优先采信与当前控制权归属最为匹配的数据源，从而有了显著降低驾驶员状态误报率和漏报率的效果；同时，基于疲劳等级与驾驶模式双维度触发差异化的分级干预策略，使得干预措施的执行方式与强度能够随驾驶模式动态适配，从而有了提升干预策略与车辆实际控制权归属匹配度的效果。

8、一些实施例中，所述基于所述面部图像识别输出行为状态等级，包括：

9、提取所述面部图像中的面部行为特征，所述面部行为特征包括眨眼频率、头部偏转角度、闭眼比例、单次闭眼时长、打哈欠频率、持续闭眼时长和头部俯仰角中的至少一种；

10、当所述眨眼频率超过第一频率阈值，或所述头部偏转角度超过第一角度阈值并持续超过第一时长阈值时，判定所述行为状态等级为一级行为状态等级；

11、当所述闭眼比例超过第一比例阈值，或所述单次闭眼时长介于第二时长阈值与第三时长阈值之间，或所述打哈欠频率超过第二频率阈值时，判定所述行为状态等级为二级行为状态等级；

12、当所述持续闭眼时长超过第四时长阈值，或所述头部俯仰角超过第二角度阈值时，判定所述行为状态等级为三级行为状态等级。

13、由此，通过提取多种面部行为特征并设定对应的阈值，实现了对驾驶员行为状态的精细化三级分级；不同等级对应不同的疲劳/分心程度，为后续差异化干预提供了精细化的状态依据。

14、一些实施例中，所述生理信号包括心率、血氧饱和度、心率变异性和皮肤温度中的至少一种；

15、其中，所述基于所述生理信号识别输出生理状态等级，包括：

16、当所述心率变异性较基线的下降幅度超过第二比例阈值，或所述皮肤温度的波动幅度超过第一温度阈值时，判定所述生理状态等级为一级生理状态等级；

17、当所述心率持续超过第一心率阈值并持续超过第五时长阈值，或所述心率持续低于第二心率阈值并持续超过所述第五时长阈值，或所述血氧饱和度介于第一血氧阈值与第二血氧阈值之间时，判定所述生理状态等级为二级生理状态等级；

18、当所述心率低于第三心率阈值，或所述心率高于第四心率阈值，或所述血氧饱和度低于第三血氧阈值时，判定所述生理状态等级为三级生理状态等级。

19、由此，通过智能戒指采集心率、血氧、hrv和皮肤温度等多维生理信号，实现了对驾驶员内部生理状态的实时监测；三级分级标准覆盖了从生理预警到突发失能的全频谱生理状态，为突发疾病场景提供了早期预警能力；相比纯视觉方案，生理信号能够反映驾驶员内部健康状态，弥补了视觉方案无法感知内隐生理异常的缺陷。

20、一些实施例中，所述根据所述综合疲劳指数判定当前疲劳等级，包括：

21、当所述综合疲劳指数小于第一指数阈值时，判定所述当前疲劳等级为一级疲劳等级；

22、当所述综合疲劳指数大于或等于所述第一指数阈值且小于第二指数阈值时，判定所述当前疲劳等级为二级疲劳等级；

23、当所述综合疲劳指数大于或等于所述第二指数阈值时，判定所述当前疲劳等级为三级疲劳等级。

24、由此，通过设定明确的指数阈值和判定规则，实现了从连续的综合疲劳指数到离散的疲劳等级的准确映射；三级疲劳等级划分与行为状态等级、生理状态等级的三级分类一一对应，形成了统一的三级分级体系，便于后续分级干预策略的精准匹配。

25、一些实施例中，在所述根据所述综合疲劳指数判定当前疲劳等级之前，所述方法还包括：

26、当所述生理状态等级为三级生理状态等级时，跳过所述加权融合计算以及所述当前疲劳等级的判定流程，直接触发所述预设分级干预策略中对应于三级疲劳等级的干预策略。

27、由此，一票否决机制为突发失能场景提供了最后一道安全防线，这是纯视觉方案完全无法实现的能力。当驾驶员发生心脑血管急症时，能够在最短时间内触发最高等级的救援响应，为驾驶员争取宝贵的抢救时间；跳过融合计算直接触发干预，避免了因计算延迟或融合逻辑冲突导致的安全响应延误。

28、一种实施例中，所述当前驾驶模式包括人工驾驶模式、辅助驾驶模式和自动驾驶模式；

29、其中，所述根据所述当前驾驶模式确定所述行为状态等级对应的第一融合权重以及所述生理状态等级对应的第二融合权重，包括：

30、当所述当前驾驶模式为所述人工驾驶模式时，所述第一融合权重大于所述第二融合权重；

31、当所述当前驾驶模式为所述辅助驾驶模式时，所述第一融合权重等于所述第二融合权重；

32、当所述当前驾驶模式为所述自动驾驶模式时，所述第一融合权重小于所述第二融合权重。

33、由此，通过根据驾驶模式动态调整融合权重，在每种场景下都优先采信最可靠的信号源：人工驾驶时以视觉行为为主，自动驾驶时以生理监测为主，辅助驾驶时二者均衡。显著降低了误报率和漏报率；权重分配规则与车辆控制权归属逻辑相匹配，实现了干预策略与实际控制权的精准适配。

34、一种实施例中，所述根据所述当前疲劳等级和所述当前驾驶模式触发对应的预设分级干预策略，包括：

35、当所述当前疲劳等级为一级疲劳等级时，触发预设一级干预策略：

36、若所述当前驾驶模式为人工驾驶模式，执行所述预设一级干预策略中的第一提示干预；

37、若所述当前驾驶模式为辅助驾驶模式，执行所述预设一级干预策略中的第二提示干预；

38、若所述当前驾驶模式为自动驾驶模式，执行所述预设一级干预策略中的第三提示干预。

39、由此，在一级疲劳等级下，通过视觉提示和/或语音提示对驾驶员进行预警，干预方式温和且不干涉车辆操控，符合轻度疲劳/分心场景下以提醒为主的干预原则；同时根据驾驶模式执行不同类别的提示干预，使提示内容与当前驾驶模式下的注意力要求相匹配。

40、一种实施例中，所述根据所述当前疲劳等级和所述当前驾驶模式触发对应的预设分级干预策略，包括：

41、当所述当前疲劳等级为二级疲劳等级时，触发预设二级干预策略：

42、若所述当前驾驶模式为人工驾驶模式，执行所述预设二级干预策略中的触觉提示和/或环境调节干预；

43、若所述当前驾驶模式为辅助驾驶模式，执行所述预设二级干预策略中的触觉提示和/或驾驶辅助干预；

44、若所述当前驾驶模式为自动驾驶模式，执行所述预设二级干预策略中的环境感知和/或导航干预和/或对外通信干预。

45、由此，在二级疲劳等级下，触觉提示的引入增强了警示强度，驾驶辅助干预（如增大跟车距离）在辅助驾驶模式下直接介入车辆控制以提升安全性，对外通信干预在自动驾驶模式下提前联系紧急联系人，使干预措施与实际控制权归属精准匹配。

46、一种实施例中，所述根据所述当前疲劳等级和所述当前驾驶模式触发对应的预设分级干预策略，包括：

47、当所述当前疲劳等级为三级疲劳等级时，触发预设三级干预策略：

48、基于所述预设三级干预策略控制车辆执行自动安全停车操作，所述自动安全停车操作包括开启危险警示灯、减速、变道、泊车、解锁车门和发出紧急求助信号中的至少一种。

49、由此，在三级疲劳等级下，自动执行完整的自动安全停车操作，即无论何种驾驶模式均执行统一的安全停车操作，确保了在驾驶员完全失能时能够独立完成安全停车和紧急求救，为驾驶员生命安全提供了最高等级的保障。

50、第二方面，本技术提供了一种多模态疲劳监测与干预装置，包括：

51、数据获取模块，用于获取车辆的当前驾驶模式、驾驶员的面部图像以及驾驶员的生理信号；

52、第一处理模块，用于基于所述面部图像识别输出行为状态等级，以及基于所述生理信号识别输出生理状态等级；

53、第二处理模块，用于根据所述当前驾驶模式确定所述行为状态等级对应的第一融合权重以及所述生理状态等级对应的第二融合权重，并基于所述行为状态等级、所述生理状态等级、所述第一融合权重和所述第二融合权重进行加权融合计算，得到综合疲劳指数；

54、策略执行模块，用于根据所述综合疲劳指数判定当前疲劳等级，并根据所述当前疲劳等级和所述当前驾驶模式触发对应的预设分级干预策略。

55、第三方面，本技术提供了一种多模态疲劳监测与干预设备，包括：

56、处理器；

57、存储器，用于存储可执行指令；

58、其中，处理器用于从存储器中读取可执行指令，并执行可执行指令以实现第一方面的多模态疲劳监测与干预方法。

59、第四方面，本技术提供了一种计算机可读存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现第一方面的多模态疲劳监测与干预方法。

60、第五方面，本技术提供了一种车辆，包括如第二方面的多模态疲劳监测与干预装置、如第三方面的电子设备以及如第四方面的计算机可读存储介质，用于实现第一方面的多模态疲劳监测与干预方法。

61、本技术实施例提供的技术方案与现有技术相比具有如下优点：

62、本技术实施例的多模态疲劳监测与干预方法，通过获取车辆的当前驾驶模式、驾驶员的面部图像及生理信号，分别识别输出行为状态等级和生理状态等级，并根据驾驶模式自适应确定两类数据各自的融合权重进行加权融合以得到综合疲劳指数，进而依据该指数判定当前疲劳等级并结合驾驶模式触发对应的分级干预策略。由此，通过驾驶模式自适应的权重分配机制，在人工驾驶、辅助驾驶和自动驾驶三种场景下均能优先采信最可靠的数据源，有效降低了误报率和漏报率；基于疲劳等级与驾驶模式双维度触发分级干预策略，使干预措施与实际车辆控制权归属相匹配，提升了干预策略与车辆实际控制权归属匹配度。