检测揉眼状态的方法、装置、设备、介质、产品与流程

摘要: 本技术属于计算机,尤其涉及一种检测揉眼状态的方法、装置、设备、介质、产品。背景技术:1、在办公、学习、驾驶等需要专注监测的场景中,揉眼行为常被作为判断用户疲劳程...
检测揉眼状态的方法、装置、设备、介质、产品与流程

本技术属于计算机,尤其涉及一种检测揉眼状态的方法、装置、设备、介质、产品。

背景技术:

1、在办公、学习、驾驶等需要专注监测的场景中,揉眼行为常被作为判断用户疲劳程度或注意力状态的重要指标。

2、相关技术中,通常采用训练分类模型的方式来实现揉眼行为检测。具体地,预先采集大量包含揉眼行为和不包含揉眼行为的图像样本,对样本进行人工标注后输入模型进行训练,使模型学习揉眼行为的特征,从而对输入的图像帧输出是否存在揉眼行为的分类结果。

3、然而,上述方案存在以下问题。分类模型的训练需要大量样本,样本采集和人工标注的成本较高,模型训练周期较长。分类模型的计算量较大,部署模型时对硬件算力要求较高,实施成本也较高。

技术实现思路

1、本技术实施例提供了一种检测揉眼状态的方法、装置、设备、介质、产品,能够解决使用训练模型进行揉眼检测时,训练样本收集困难、部署成本高的问题。

2、第一方面,本技术实施例提供了一种检测揉眼状态的方法,该方法包括:

3、获取连续的多帧图像,多帧图像中至少存在一帧图像包括目标人物的人脸;

4、在对多帧图像中第i帧图像进行揉眼检测时,获取目标人物的面部关键点和手部关键点的坐标,面部关键点包括人眼关键点,i为正整数;

5、根据面部关键点之间的相对位置关系确定目标人物在第i帧图像中的揉眼半径;

6、根据人眼关键点的坐标和手部关键点的坐标之间的距离与揉眼半径之间的大小关系,确定并标记第i帧图像的瞬时状态,瞬时状态包括揉眼状态或非揉眼状态;

7、获取第i帧图像的滑动时间窗口内各帧图像的瞬时状态,并统计滑动时间窗口内标记为揉眼状态的图像占比,滑动时间窗口是以第i帧图像为末帧的预设时长的窗口;

8、若滑动时间窗口内标记为揉眼状态的图像占比大于预设的占比阈值,确定目标人物在滑动时间窗口内处于揉眼状态。

9、第一方面的有益效果如下:

10、通过检测手部关键点与人眼关键点之间的距离关系来判断是否发生揉眼,利用了揉眼状态在空间上表现为手部关键点进入人眼关键点周围的局部区域这一规律,能够将复杂的揉眼姿态识别问题拆解为手部关键点与人眼关键点之间的几何距离计算,使判定规则清晰、简单。通过获取面部关键点之间的距离确定揉眼半径,使揉眼判定区域能够根据人脸在画面中的大小自动变化,人离镜头近时区域相应变大,人离镜头远时区域相应变小,克服了固定阈值方案在不同用户和不同距离下容易漏检或误检的问题。在单帧判定时,计算各个手部关键点与人眼关键点之间的像素距离,当存在任意手部关键点与人眼关键点的距离小于揉眼半径时,判定该帧为揉眼状态。该判定方式基于手与眼之间的实际空间位置关系,将手部不同位置的关键点纳入考虑,能够提高识别结果的准确性。该方法无需单独训练揉眼分类模型,因此不需要采集和标注大量揉眼样本,开发周期短,部署成本低。并且,在获得单帧判定结果的情况下,通过滑动时间窗口统计一段时间内揉眼帧数的占比,只有占比超过阈值时才确认揉眼状态,能够过滤手部偶然抖动和单帧误检带来的干扰,使得判定结果更加稳定,准确性更高。仅需依靠普通的摄像头和终端设备自身的算力即可运行,部署成本低,也能够满足轻量化设备部署的使用需求。

11、在一种可能的实现方式中,面部关键点包括鼻关键点,人眼关键点包括左眼关键点和右眼关键点;

12、根据面部关键点之间的相对位置关系确定目标人物在第i帧图像中的揉眼半径,包括:

13、计算鼻关键点与左眼关键点之间的第一距离;

14、计算鼻关键点与右眼关键点之间的第二距离;

15、计算左眼关键点与右眼关键点之间的第三距离;

16、将第一距离、第二距离、第三距离中的最大值确定为参考距离;

17、获取预设的半径系数,并将半径系数与参考距离的乘积确定为目标人物在第i帧图像中的揉眼半径。

18、在该实现方式中,通过获取面部关键点之间的相对位置关系确定揉眼半径,使揉眼判定区域能够根据人脸在画面中的大小自动变化,人离镜头近时区域相应变大,人离镜头远时区域相应变小,克服了固定阈值方案在不同用户和不同距离下容易漏检或误检的问题。无需单独训练揉眼分类模型,避免了对大量揉眼样本进行采集和标注的高昂成本,开发周期短,部署成本低。

19、在一种可能的实现方式中,手部关键点的数量为多个,人眼关键点包括左眼关键点和右眼关键点;

20、根据人眼关键点的坐标和手部关键点的坐标之间的距离与揉眼半径之间的大小关系,确定并标记第i帧图像的瞬时状态,包括:

21、计算各手部关键点的坐标分别与各人眼关键点的坐标之间的距离;

22、若存在至少一个手部关键点与左眼关键点或右眼关键点之间的距离小于或者等于揉眼半径,确定并标记第i帧图像的瞬时状态为揉眼状态;

23、若各手部关键点与各人眼关键点之间的距离均大于揉眼半径,确定并标记第i帧图像的瞬时状态为非揉眼状态。

24、在该实现方式中,通过手部关键点与眼部关键点之间的像素距离进行单帧判定,利用了揉眼行为在图像平面上表现为手部关键点进入眼部关键点周围局部区域这一空间几何规律。当存在任意手部关键点与眼部关键点的距离小于揉眼半径时,判定该帧为揉眼状态。

25、在一种可能的实现方式中,在对多帧图像中第i帧图像进行揉眼检测时,获取目标人物的面部关键点和手部关键点的坐标,包括:

26、对第i帧图像进行人脸检测,得到目标人物的人脸区域框;

27、根据人脸区域框在第i帧图像中的位置,对第i帧图像进行人体关键点检测,得到目标人物的多个人体关键点的坐标及其对应的置信度,多个人体关键点包括面部关键点和手腕关键点;

28、若面部关键点中的人眼关键点的置信度达到预设的眼置信度阈值,则根据手腕关键点对第i帧图像进行手部关键点检测,得到手部关键点的坐标;

29、该方法还包括:

30、若面部关键点中的人眼关键点的置信度未达到预设的眼置信度阈值,则取消对第i帧图像进行揉眼检测。

31、在该实现方式中,通过人脸检测与人体关键点检测结合的方式,利用手腕关键点定位手部搜索区域,使得手掌框天然归属于该人脸所对应的目标人物,避免了多人场景下手部与面部归属错误的问题。同时,通过置信度对人眼关键点的有效性进行判断,仅在检测结果可信时才执行后续步骤,避免了因模型误检导致的错误判定。

32、在一种可能的实现方式中,该方法还包括:

33、在第i帧图像中未检测到目标人物的人脸区域框的情况下,获取上一次检测到目标人物的人脸区域框的前序图像,并判断前序图像与第i帧图像之间的间隔时长是否超过预设的防抖时长;

34、若前序图像与第i帧图像之间的时长未超过预设的防抖时长,则根据人脸区域框在前序图像中的位置,对第i帧图像进行人体关键点检测;

35、若前序图像与第i帧图像之间的时长超过预设的防抖时长,则取消对第i帧图像进行揉眼检测。

36、在该实现方式中,通过预设防抖时长和复用前序人脸区域框位置的续检机制,在人脸因手部遮挡等原因短暂丢失时,仍能维持人体关键点检测和揉眼判定的连续性。

37、在一种可能的实现方式中,该方法还包括:

38、在对第i帧图像进行人体关键点检测时,若未检测目标人物的人体关键点,则取消对第i帧图像进行揉眼检测。

39、在该实现方式中,通过检测人体关键点是否存在来判定目标人物是否仍在画面中,避免了在目标人物已离开或长时间偏离时继续无效检测,在检测连续性和准确性之间取得了平衡。

40、在一种可能的实现方式中,获取第i帧图像的滑动时间窗口内各帧图像的瞬时状态,并统计滑动时间窗口内标记为揉眼状态的图像占比,包括:

41、获取第i帧图像的滑动时间窗口内各帧图像的实际累计时长,并判断实际累计时长是否达到预设时长;

42、若实际累计时长达到预设时长,则统计滑动时间窗口内标记为揉眼状态的图像占比;

43、该方法还包括:

44、若实际累计时长未达到预设时长,则取消执行判定目标人物在滑动时间窗口内是否处于揉眼状态的步骤。

45、在该实现方式中,通过滑动时间窗口内揉眼帧数的占比进行防抖判定,仅在窗口内揉眼状态图像占比超过预设阈值时才确认揉眼状态,能够有效过滤手部偶然抖动、模型单帧检测误差等因素导致的瞬时误判,提升了检测结果的稳定性和可靠性。并且,只有当滑动窗口内的实际累计图像时长达到预设时长时,才执行揉眼帧占比的计算与最终判定;若时长不足则暂时不输出结果。这一机制保证了用于统计判断的样本量充足且有效,避免了因初始阶段数据不足而产生的误判,进一步提高了最终检测结果的准确性。

46、第二方面,本技术实施例提供了一种检测揉眼状态的装置,包括:

47、数据获取模块,用于获取连续的多帧图像,多帧图像中至少存在一帧图像包括目标人物的人脸;

48、检测模块,用于在对多帧图像中第i帧图像进行揉眼检测时,获取目标人物的面部关键点和手部关键点的坐标,面部关键点包括人眼关键点,i为正整数;

49、数据处理模块,还用于根据面部关键点之间的相对位置关系确定目标人物在第i帧图像中的揉眼半径;

50、数据处理模块,还用于根据人眼关键点的坐标和手部关键点的坐标之间的距离与揉眼半径之间的大小关系,确定并标记第i帧图像的瞬时状态,瞬时状态包括揉眼状态或非揉眼状态;

51、数据处理模块,还用于获取第i帧图像的滑动时间窗口内各帧图像的瞬时状态,并统计滑动时间窗口内标记为揉眼状态的图像占比,滑动时间窗口是以第i帧图像为末帧的预设时长的窗口;

52、判定模块,用于若滑动时间窗口内标记为揉眼状态的图像占比大于预设的占比阈值,确定目标人物在滑动时间窗口内处于揉眼状态。

53、第三方面,本技术还提供了一种电子设备。该电子设备包括存储器、一个或多个处理器以及存储在存储器中并可在处理器上运行的计算机程序。该电子设备执行计算机程序时实现上述第一方面任意一种实现方式的方法。

54、第四方面,本技术还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。

55、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。

56、可以理解的是,上述第二到第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。