检测手部与头部未接触状态的方法、装置、设备、介质、产品与流程
本技术属于计算机,尤其涉及一种检测手部与头部未接触状态的方法、装置、设备、介质、产品。
背景技术:
1、在办公、学习、驾驶等需要专注监测的场景中,揉眼、托腮、挠头等头手接触行为常被用于判断用户的疲劳程度或专注状态。相关技术中,通常采用普通rgb(red,green,blue,红,绿,蓝)摄像头结合姿态识别模型来实现头手接触检测。具体地,姿态识别模型对摄像头采集的图像进行头部区域和手部区域的分割,分别得到头部包围盒与手部包围盒,通过两个包围盒在图像平面上是否存在重叠来判断手部与头部是否发生接触。
2、然而,由于rgb摄像头采集的图像是对三维真实世界的二维平面投影,该方案本质上是在二维像素平面上进行空间关系的判断,不具备处理深度信息的能力。当手部悬空位于头部前方、但并未真正触碰头部时,从摄像头视角观察,手部包围盒与头部包围盒在图像平面上仍可能产生显著重叠,系统会依据二维重叠结果误判为手部与头部已发生接触,而实际上二者在三维空间中仍存在一定距离。换言之,相关技术的方案将二维平面上的所有重叠情形均等价地映射为“手接触脸”状态,无法区分手与“脸是真实触碰”还是与“手悬空遮挡脸”。
3、这种由二维平面投影带来的系统性误判,会导致后续进行揉眼、托腮、挠头等头手姿态检测时,将大量“悬空遮挡”的图像样本误送入模型分析,导致模型输出的行为检测结果的准确率较低,同时,这些被误判为接触的无效样本占用了模型的计算资源,造成不必要的算力开销,降低了模型整体处理效率。
技术实现思路
1、本技术实施例提供了一种检测手部与头部未接触状态的方法、装置、设备、介质、产品,以解决相关技术中因二维平面重叠误判导致大量悬空遮挡样本被误送入后续行为检测模型、造成检测准确率低且算力浪费的问题。
2、第一方面,本技术实施例提供了一种检测手部与头部未接触状态的方法,该方法包括:
3、获取待检测图像,待检测图像中包括目标人物的人脸和手部;
4、对待检测图像进行检测,识别待检测图像中目标人物的人脸和手掌,得到人脸区域框和手掌区域框;
5、在目标人物对应的人脸区域框和手掌区域框存在重叠的情况下,根据手掌区域框的面积与人脸区域框的面积确定目标人物对应的手掌占比值;
6、若手掌占比值大于或者等于目标人物对应的占比阈值,则判定在待检测图像中目标人物的手部与头部处于未接触状态。
7、第一方面的有益效果如下:
8、通过获取待检测图像并识别其中的目标人物的人脸和手掌,在二者存在重叠的情况下,根据手掌区域框与人脸区域框的面积确定手掌占比值,并将该手掌占比值与占比阈值进行比较,以判定手部与头部是否处于未接触状态。由此,当手部悬空位于头部前方时,由于悬空手部离摄像头更近,在图像中呈现的面积相对于人脸区域会明显偏大,手掌占比值相应增大并超过阈值,从而被准确识别为未接触状态,而真实贴脸时手掌占比值维持在正常范围内,不会被误判。该方案无需深度传感器或红外设备,仅依赖普通摄像头即可实现二维图像中“真实触碰”与“悬空遮挡”的区分,克服了相关技术中将所有二维重叠情形均等价映射为“手接触脸”的系统性误判问题。该方法可以作为前端过滤手段,能够将手部悬空遮挡脸部但并未真正接触的明显无效样本提前筛选并剔除,使得其他未过滤的图像样本进入后续的头手姿态检测流程(如揉眼检测、托腮检测、挠头检测等),作为这些行为检测模型的输入。一方面大幅降低了后续模型将无效样本误判为真实头手接触行为的概率,从而提高了行为检测的准确率;另一方面,后续模型无需再对无效样本进行多余的分析处理,有效减少了不必要的计算资源消耗,提升了系统的整体处理效率。
9、在一种可能的实现方式中,对待检测图像进行检测,识别待检测图像中的目标人物的人脸和目标人物的手掌,得到人脸区域框和手掌区域框,包括:
10、识别待检测图像中目标人物的人脸,得到至少一个人脸区域框;
11、根据至少一个人脸区域框对待检测图像进行人体关键点检测,得到每个人脸区域框对应目标人物的多个人体关键点,多个人体关键点包括手肘关键点和手腕关键点;
12、根据每个目标人物的手腕关键点和手肘关键点确定该目标人物对应的手部搜索区域,并对手部搜索区域进行手部检测,得到与每个人脸区域框属于同一目标人物的手掌区域框。
13、在该实现方式中,通过人脸检测得到至少一个人脸区域框,并根据人脸区域框引导人体关键点检测,得到每个人脸区域框对应目标人物的手肘关键点和手腕关键点,进而根据手腕关键点和手肘关键点确定该目标人物对应的手部搜索区域,在手部搜索区域内进行手部检测,得到与每个人脸区域框属于同一目标人物的手掌区域框。由此,利用人体骨架的物理连接关系(手肘和手腕从肩膀延伸而出),将手掌的搜索范围限定在特定目标人物的骨架区域内,使得检测到的手掌天然归属于该人脸所对应的目标人物,避免了将画面中其他人的手误判为当前目标人物的手,解决了多人场景下难以确定手部归属的问题,提高了手脸对应关系的准确性。
14、在一种可能的实现方式中,在目标人物对应的人脸区域框和手掌区域框存在重叠的情况下,根据手掌区域框的面积与人脸区域框的面积确定目标人物对应的手掌占比值,包括:
15、对人脸区域框进行扩展,得到人脸区域框所属目标人物对应的人脸扩展框;
16、将手掌区域框的面积与人脸扩展框的面积之间的面积比值确定为目标人物对应的手掌占比值。
17、在该实现方式中,通过对人脸区域框进行扩展得到人脸扩展框,并将手掌区域框的面积与人脸扩展框的面积之间的面积比值确定为手掌占比值。由此,扩展后的人脸框更贴合头部的实际范围,避免了因原始人脸框过小导致手部在脸颊、额头、下巴等边缘区域接触时不易与脸框相交而产生漏检的问题,使得手部与头部在脸部边缘区域的真实接触也能被准确捕捉,扩展了检测的有效范围。
18、在一种可能的实现方式中,在目标人物对应的人脸区域框和手掌区域框存在重叠的情况下,根据手掌区域框的面积与人脸区域框的面积确定目标人物对应的手掌占比值,包括:
19、对人脸区域框进行扩展,得到人脸区域框所属目标人物对应的人脸扩展框;
20、获取手掌区域框的最长边作为第一边长,以及,获取人脸扩展框的最长边作为第二边长;
21、以第一边长构造第一正方形,以及,以第二边长构造第二正方形;
22、将第一正方形的面积与第二正方形的面积之间的比值确定为目标人物对应的手掌占比值。
23、在该实现方式中,通过对人脸区域框进行扩展得到人脸扩展框,分别获取手掌区域框和人脸扩展框的最长边构造正方形,并将两个正方形的面积比值确定为手掌占比值。由此,采用最长边构造正方形的方式计算面积,消除了手部在画面中因旋转或倾斜导致矩形框面积剧烈变化的问题,无论手部以何种角度呈现,其最长边相对稳定,基于最长边构造的正方形面积波动较小。这提高了手掌占比值在不同手部姿态下的一致性,增强了检测算法的鲁棒性。
24、在一种可能的实现方式中,该方法还包括:
25、获取目标人物已存储的占比阈值;
26、在获取到目标人物已存储的占比阈值的情况下,将已存储的占比阈值作为目标人物对应的占比阈值;
27、在未获取到目标人物已存储的占比阈值的情况下,将默认阈值作为目标人物对应的占比阈值。
28、在该实现方式中,通过获取目标人物已存储的占比阈值,在有存储阈值的情况下直接调用,在无存储阈值的情况下使用默认阈值作为该目标人物的占比阈值。由此,已存储阈值的目标人物无需重复计算,实现了阈值的快速获取;未存储阈值的目标人物仍可使用默认阈值进行检测,确保方案在目标人物首次出现或尚无历史数据时仍然可正常运行。兼顾了个性化适配与初次使用场景的需求,提高了方案的通用性和可行性。
29、在一种可能的实现方式中,获取目标人物已存储的占比阈值,包括:
30、在目标人物已通过人脸识别并录入身份信息的情况下,获取目标人物的身份信息,并根据目标人物的身份信息索引到已存储的占比阈值,其中,目标人物已存储的占比阈值与目标人物的身份信息之间存在关联;
31、或者,在目标人物未录入身份信息的情况下,获取待检测图像的前序图像,前序图像是指时序位于待检测图像之前且相邻的连续多帧图像;
32、根据目标人物的人脸区域框在待检测图像中的位置,在前序图像中对目标人物进行人脸追踪,并在人脸追踪时检测目标人物是否处于举手状态;
33、若前序图像中存在第一图像,检测到目标人物在第一图像中处于举手状态,则根据第一图像里目标人物的手掌区域框的面积与人脸区域框的面积确定目标人物对应的占比阈值,并存储占比阈值。
34、在该实现方式中,通过两种方式获取已存储的占比阈值:一是在目标人物已录入身份信息的情况下,根据身份信息直接索引到对应存储的占比阈值;二是在目标人物未录入身份信息的情况下,获取待检测图像的前序连续多帧图像,通过人脸追踪定位同一目标人物,并在追踪过程中检测举手状态,若在举手状态下则根据手掌区域框与人脸区域框的面积比值确定并存储占比阈值。由此,一方面,已录入身份的目标人物可以快速调用其专属阈值,避免了因个体手脸比例差异导致使用统一阈值时检测精度下降的问题;另一方面,未录入身份的目标人物仍可通过前序连续帧中举手姿态的检测完成阈值的自适应采集与存储,实现了无需预先录入身份信息即可为临时目标人物建立专属阈值的能力。该方案覆盖了有人脸识别和无人脸识别两种应用场景,适用性更广。
35、在一种可能的实现方式中,若目标人物存在任一手臂的手腕关键点与手肘关键点的连线,与竖直方向的夹角小于预设角度,则确定目标人物处于举手状态。
36、在该实现方式中,通过对人体关键点的几何关系进行计算来判定举手状态,无需训练专门的举手姿态分类模型,避免了大量样本标注和模型训练的高昂成本,同时,基于骨架关键点的夹角计算对不同体型、不同距离的目标人物均能稳定工作,克服了传统图像分类方法在低像素或遮挡条件下识别率低的问题,为占比阈值的自适应采集提供了可靠、低成本的触发机制。
37、在一种可能的实现方式中,该方法还包括:
38、获取待检测图像的后续图像,后续图像是指时序位于待检测图像之后且相邻的连续多帧图像;
39、在对后续图像进行检测时,根据目标人物的人脸区域框在待检测图像中的位置,在后续图像中对目标人物进行人脸追踪,并在人脸追踪时检测目标人物是否处于举手状态;
40、若后续图像中存在第二图像,检测到目标人物在第二图像中处于举手状态,且目标人物满足占比阈值更新条件,则根据第二图像里目标人物的手掌区域框的面积与人脸区域框的面积确定目标人物对应的更新占比阈值,并对基于更新占比阈值对目标人物已存储的占比阈值进行更新;
41、其中,占比阈值更新条件包括如下至少一种:目标人物还未存储有对应的占比阈值、目标人物已存储的占比阈值的存储时长达到预设的时长阈值。
42、在该实现方式中,通过获取待检测图像的后续连续多帧图像,在后续图像中对同一目标人物进行人脸追踪并检测举手状态,当检测到举手且目标人物满足占比阈值更新条件时,根据举手状态下的手掌区域框与人脸区域框的面积比值确定更新占比阈值,并对已存储的占比阈值进行更新。由此,占比阈值能够在目标人物后续的行为过程中根据新的举手样本不断刷新,克服了固定阈值因目标人物姿态变化或个体差异导致长期使用后精度下降的问题,确保阈值始终保持对目标人物当前状态的适配性,提高了检测方案在长期使用场景下的稳定性和准确性。
43、第二方面,本技术实施例提供了一种检测手部与头部未接触状态的装置,包括:
44、数据获取模块,用于获取待检测图像,待检测图像中包括目标人物的人脸和手部;
45、检测模块,用于对待检测图像进行检测,识别待检测图像中目标人物的人脸和手掌,得到人脸区域框和手掌区域框;
46、检测模块,还用于在目标人物对应的人脸区域框和手掌区域框存在重叠的情况下,根据手掌区域框的面积与人脸区域框的面积确定目标人物对应的手掌占比值;
47、判定模块,用于若手掌占比值大于或者等于目标人物对应的占比阈值,则判定在待检测图像中目标人物的手部与头部处于未接触状态。
48、第三方面,本技术还提供了一种电子设备。该电子设备包括存储器、一个或多个处理器以及存储在存储器中并可在处理器上运行的计算机程序。该电子设备执行计算机程序时实现上述第一方面任意一种实现方式的方法。
49、第四方面,本技术还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。
50、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述第一方面任意一种实现方式的方法。
51、可以理解的是,上述第二到第五方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com