基于行为标注和共识评估的困倦定量评估方法和系统与流程

摘要: 本公开总体上涉及人类状态检测和评估领域,并且更具体地涉及一种用于通过行为观察和专家共识评估来量化人类困倦的方法和系统。背景技术:1、人类状态(诸如警觉性或困倦)...
基于行为标注和共识评估的困倦定量评估方法和系统与流程

本公开总体上涉及人类状态检测和评估领域,并且更具体地涉及一种用于通过行为观察和专家共识评估来量化人类困倦的方法和系统。

背景技术:

1、人类状态(诸如警觉性或困倦)通常以心理和生理参数为特征。用于定义和评估这些状态的传统方案是定性的,依赖于主观的自我评估量表或专家对可观察行为的解读。例如,个体可被要求使用如卡罗林斯卡嗜睡量表(kss)等主观量表来评定他们的嗜睡水平,该主观量表可基于个体对标准的感知和解读而产生显著差异。这种自我评估本质上是主观的,并且可受到评估行为本身的影响,从而潜在地改变被测量状态。

2、除了自我评估外,还采用了专家行为评估来标识困倦状态。经过训练的专家可以观察和解读行为变化,诸如眨眼或打哈欠的频率增加,以及更微妙的指标,如面部表情的变化或不自主的动作。虽然这些观察可以提供宝贵的见解,但是它们易于受到人为错误的影响,并且在解读复杂的人类行为时存在固有歧义。

3、客观因素(诸如昼夜节律和睡眠不足)已知会影响警觉性和困倦状态。这些因素为评估提供了更客观的基础,但是并未考虑困倦的实时行为表现。此外,将此类客观因素与行为观察集成以提供综合且可量化的困倦量度仍然是技术挑战。

4、现有方法的局限性凸显了采用更客观且可量化的方案来评估人类困倦的必要性。一种减少主观性并提供标准化困倦量度的方法对于包括但不限于汽车行业的驾驶员监控系统等各种应用来说是有利的,在该驾驶员监控系统中,准确检测驾驶员疲劳可能是有利的。

5、本公开旨在通过提供一种技术解决方案来解决上述挑战,该技术解决方案能够基于行为标注、共识评估以及将离散行为事件转换为连续数值从而给出可微分的困倦时间轨迹来定量评估困倦。本公开旨在缓解与当前方法相关联的主观性,并提供一种可靠且可实现的方式来建立困倦的数值和可微分的真实值,由此增强人体状态检测系统的客观性和准确性。

技术实现思路

1、在一个实施方案中,一种用于评估参与者困倦的方法包括:接收与指示困倦的一组行为事件相对应的多个标注,其中每个标注都与相应的时间戳相关联并且由多个经过训练的专家中的一个专家基于对该参与者的预先录制的视频片段的分析生成。该方法进一步包括从该多个标注确定第一时间窗口内的该组行为事件中的每个行为事件的共识标注,以产生与该组行为事件相对应的一组共识标注。另外,该方法包括在第二时间窗口内将该组共识标注转换为一组对应的连续行为度量。该方法还涉及:在该第二时间窗口内,通过以下步骤将该组连续行为度量合并为该参与者的统一困倦分数:对于每个行为度量,通过应用预定系数计算对该统一困倦分数的加权贡献;将每个行为度量的每个加权贡献相加以在该第二时间窗口内生成该统一困倦分数;以及输出该参与者的统一困倦分数。

2、在另一个实施方案中,提供了一种用于评估参与者的困倦的系统。该系统包括处理器和存储指令的非暂时性计算机可读介质,该指令在由该处理器执行时使该系统接收与指示困倦的一组行为事件相对应的多个标注,其中每个标注都与相应的时间戳相关联并且由多个经过训练的专家中的一个专家基于对该参与者的预先录制的视频片段的分析生成。该系统进一步被配置为从该多个标注确定第一时间窗口内的该组行为事件中的每个行为事件的共识标注,以产生与该组行为事件相对应的一组共识标注。该系统还适于:在第二时间窗口内将该组共识标注转换为一组对应的连续行为度量;以及在该第二时间窗口内,通过以下步骤将该组连续行为度量合并为该参与者的统一困倦分数:对于每个行为度量,通过应用预定系数计算对该统一困倦分数的加权贡献;将每个行为度量的加权贡献相加以在该第二时间窗口内生成该统一困倦分数;以及输出该参与者的统一困倦分数。

3、在又另一个实施方案中,公开了一种用于评估预先录制的视频片段的持续时间中的参与者困倦的方法。该方法包括接收与指示困倦的一组行为事件相对应的多个标注,其中每个标注都与相应的时间戳相关联并且由多个经过训练的专家中的一个专家基于对该参与者的预先录制的视频片段的分析生成。该方法进一步包括在跨越该预先录制的视频片段的持续时间的多个第一时间窗口内,从该多个标注确定对该组行为事件中的每个行为事件的共识标注以在该多个第一时间窗口中的每个第一时间窗口内产生与该组行为事件相对应的多组共识标注。该方法还涉及:在与该多个第一时间窗口相对应的多个第二时间窗口内,将每组共识标注转换为一组对应的连续行为度量;以及在该第二时间窗口中的每个第二时间窗口内,通过以下步骤将该组连续行为度量合并为该参与者的相应统一困倦分数:对于所述一组内的每个行为度量,通过应用预定系数计算对所述相应的统一困倦分数的加权贡献;将该组内的每个行为度量的每个加权贡献相加以在每个第二时间窗口内生成该相应的统一困倦分数;以及输出该参与者的困倦分数的时间轨迹,该时间轨迹包括该第二时间窗口中的每个第二时间窗口内的相应的统一困倦分数。

4、所公开的实施方案为客观量化参与者的困倦水平的挑战提供了一种技术解决方案,这在诸如自动驾驶员状态监控系统等领域尤为有用。本文所述的方法和系统利用专家评估和共识机制导出可量化的嗜睡量度,由此增强困倦评估的可靠性和客观性。

1.一种用于评估参与者困倦的方法,所述方法包括:

2.根据权利要求1所述的方法,其中从所述多个标注确定所述第一时间窗口内的所述一组行为事件中的每个行为事件的所述共识标注包括:

3.根据权利要求1所述的方法,其中确定所述一组行为事件中的每个行为事件的所述共识标注包括:

4.根据权利要求1所述的方法,其中所述一组行为事件包括以下各者中的至少一者:半闭眼、闭眼、调整坐姿、打哈欠、揉眼睛、低头、频繁闭眼、用力眨眼、嘴部动作和摇头。

5.根据权利要求1所述的方法,其中将所述一组共识标注转换为所述一组对应的连续行为度量包括计算所述第二时间窗口内的每个行为事件的基于数量的度量,所述基于数量的度量表示在所述第二时间窗口的持续时间内归一化的所述行为事件的发生计数。

6.根据权利要求1所述的方法,其中将所述一组共识标注转换为所述一组对应的连续行为度量包括计算所述第二时间窗口内的每个行为事件的基于持续时间的度量,所述基于持续时间的度量表示在所述第二时间窗口的持续时间内归一化的所述行为事件的总持续时间。

7.根据权利要求1所述的方法,其中将所述一组共识标注转换为所述一组对应的连续行为度量包括计算所述第二时间窗口内的每个行为事件的基于比率的度量,所述基于比率的度量表示所述行为事件的发生的总持续时间与所述第二时间窗口的所述行为事件的发生计数的关系。

8.根据权利要求1所述的方法,其中将所述一组共识标注转换为所述第二时间窗口内的所述一组对应的连续行为度量进一步包括:

9.一种用于评估参与者困倦的系统,所述系统包括:

10.根据权利要求9所述的系统,其中所述处理器进一步被配置为接收和处理来自摄像头系统的输入,所述摄像头系统包括彩色摄像头、黑白摄像头和近红外摄像头中的至少一者,所述摄像头系统可操作以捕捉所述参与者的预先录制的视频片段,以供所述多个经过训练的专家进行分析。

11.根据权利要求9所述的系统,其中所述处理器进一步被配置为基于对每个行为事件在形成困倦状态中的贡献的预定评估将不同系数应用于所述行为事件。

12.根据权利要求9所述的系统,其中所述处理器进一步被配置为利用机器学习模型以从所述多个标注确定所述共识标注,所述机器学习模型经过训练以识别指示不同困倦水平的标注模式。

13.根据权利要求9所述的系统,其中所述处理器进一步被配置为生成所述统一困倦分数随时间变化的视觉表示,所述视觉表示包括对每个行为事件对所述统一困倦分数的加权贡献的图形显示。

14.根据权利要求9所述的系统,其中所述处理器进一步被配置为向所述多个经过训练的专家显示标注反馈,所述反馈包括将各个专家标注与所述共识标注进行比较。

15.一种用于评估预先录制的视频片段的持续时间中的参与者困倦的方法,所述方法包括:

16.根据权利要求15所述的方法,其中从所述多个标注确定所述多个第一时间窗口内的所述一组行为事件中的每个行为事件的所述共识标注包括:

17.根据权利要求15所述的方法,其中确定所述一组行为事件中的每个行为事件的所述共识标注包括:

18.根据权利要求15所述的方法,其中所述一组行为事件包括以下各者中的至少一者:半闭眼、闭眼、调整坐姿、打哈欠、揉眼睛、低头、频繁闭眼、用力眨眼、嘴部动作和摇头。

19.根据权利要求15所述的方法,其中将所述每组共识标注转换为所述多个第二时间窗口内的所述一组对应的连续行为度量包括计算所述多个第二时间窗口中的每个第二时间窗口内的每个行为事件的基于数量的度量,所述基于数量的度量表示在所述多个第二时间窗口中的相应的第二时间窗口的持续时间内归一化的所述行为事件的发生计数。

20.根据权利要求15所述的方法,其中将所述每组共识标注转换为所述多个第二时间窗口内的一组对应的连续行为度量包括计算所述多个第二时间窗口中的相应的第二时间窗口内的每个行为事件的基于持续时间的度量,所述基于持续时间的度量表示在所述相应的第二时间窗口的持续时间内归一化的所述行为事件的发生总持续时间。