一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

遮挡检测方法及相关设备与流程

2023-02-10 17:55:10 来源:中国专利 TAG:


1.本技术涉及图像处理技术领域,尤其涉及一种遮挡检测方法及相关设备。


背景技术:

2.为了提升环境的安全性,办公室、工厂、家庭等场所出入口的门锁附近通常设置有摄像头,通过摄像头拍摄图像获取进出该场所的用户。然而,一些恶意用户进出该场所时为了躲避摄像头的拍摄,常常使用肢体(手指,手掌,身体等)、黏性物体(口香糖,胶带纸等)或固定物体(木板,金属块等)遮挡摄像头。
3.当摄像头被遮挡时,如何检测以便及时提醒用户,进而预防恶意事件的发生是现在亟待解决的问题,现有遮挡检测方法大多计算量较大,对设备性能要求较高,检测时间过长,不能满足实时预警的需求。


技术实现要素:

4.本技术实施例公开了一种遮挡检测方法及相关设备,能够实时检测摄像头是否被遮挡,以便及时提醒用户。
5.本技术第一方面公开了一种遮挡检测方法,所述方法包括:
6.确定第一区域集合,其中所述第一区域集合包括至少一个感兴趣区域;
7.在摄像头未被遮挡的情况下,获取所述摄像头采集的检测区域的环境图像;
8.判断所述环境图像中是否存在人脸;
9.若所述环境图像中存在人脸,确定所述人脸在所述环境图像中的目标区域;
10.依据所述目标区域更新所述第一区域集合,以形成第二区域集合;
11.提取所述环境图像的第二区域集合的第一灰度共生矩阵特征;
12.获取所述摄像头采集的检测区域的检测图像;
13.提取所述检测图像的第二区域集合的第二灰度共生矩阵特征;
14.获取所述第一灰度共生矩阵特征和所述第二灰度共生矩阵的第一相似度;
15.依据所述第一相似度与纹理阈值范围判断所述摄像头是否被遮挡。
16.如此,依据摄像头采集环境图像进行人脸检测,以确定环境图像中是否存在人脸,若存在人脸,则基于人脸位置更新检测区域的第一区域集合,以形成第二区域集合,由于第二区域集合是基于实际用户的人脸的位置形成的,第二区域集合可以更准确限定用户的人脸的实际位置。通过提取环境图像和检测图像的第二区域集合的纹理特征,并基于纹理特征的相似性判断摄像头是否被遮挡。由于纹理特征的提取区域仅为第二区域集合,即第二区域集合仅为环境图像和检测图像的部分区域,大幅度减少了纹理特征的提取的区域,也相应减少了纹理特征所包含的内容,进而减少了纹理特征提取和基于纹理特征进行比较的运算量,增强了遮挡检测的实时性,提升了遮挡检测的效率。
17.在一些实施例中,所述纹理阈值范围包括第一阈值和第二阈值,所述第一阈值大于或等于所述第二阈值,所述依据所述第一相似度与纹理阈值范围判断所述摄像头是否被
遮挡,包括:
18.判断所述第一相似度是否大于所述第一阈值或小于所述第二阈值;
19.若所述第一相似度大于所述第一阈值,判定所述摄像头未被遮挡;
20.若所述第一相似度小于所述第二阈值,判定所述摄像头被遮挡。
21.如此,通过将纹理阈值范围分为第一阈值和第二阈值,并将第一相似度分别与第一阈值和第二阈值分别比对,并依据第一相似度与第一阈值和第二阈值的关系进行判断,通过对阈值范围分层设置,以提升比对过程的层次性,提升基于阈值范围判断摄像头是否被遮挡的准确性。
22.在一些实施例中,所述方法还包括:
23.提取所述环境图像的第二区域集合的第一颜色特征;
24.提取所述检测图像的第二区域集合的第二颜色特征;
25.获取所述第一颜色特征和所述第二颜色特征的第二相似度;
26.在所述第一阈值大于所述第二阈值的情况下,若所述第一相似度大于所述第二阈值且小于所述第一阈值,依据所述第二相似度与颜色阈值范围判断所述摄像头是否被遮挡。
27.其中,当基于纹理特征无法准确判断摄像头是否被遮挡时(例如当第一相似度小于第一阈值且大于第二阈值时),可基于提取环境图像和检测图像的颜色进行补充判断,通过纹理特征和颜色特征想配合,以提升遮挡检测的准确性。进一步地,还可单独基于环境图像和检测图像的颜色特征进行遮挡检测,即基于纹理特征和基于颜色特征进行遮挡检测相互独立实现。
28.在一些实施例中,所述颜色阈值范围包括第三阈值和第四阈值,所述第三阈值大于或等于所述第四阈值,所述依据所述第二相似度与颜色阈值范围判断所述摄像头是否被遮挡,包括:
29.判断所述第二相似度是否大于所述第三阈值或小于所述第二阈值;
30.若所述第二相似度大于所述第三阈值,判定所述摄像头未被遮挡。
31.若所述第二相似度小于所述第四阈值,判定所述摄像头被遮挡。
32.如此,通过将颜色阈值范围分为第三阈值和第四阈值,并将第一相似度分别与第三阈值和第四阈值分别比对,并依据第二相似度与第三阈值和第四阈值的关系进行判断,通过对颜色阈值范围分层设置,以提升比对过程的层次性,提升基于颜色阈值范围判断摄像头是否被遮挡的准确性。
33.在一些实施例中,所述摄像头具有热释电红外传感器,所述方法还包括:
34.获取侦测信息,所述侦测信息来自于所述热释电红外传感器感测检测区域并生成的;
35.在所述第三阈值大于所述第四阈值的情况下,若所述第二相似度大于所述第四阈值且小于所述第三阈值,依据所述侦测信息判断所述检测区域是否存在人体;
36.若依据所述侦测信息判断所述检测区域存在人体,判定所述摄像头未被遮挡。
37.若依据所述侦测信息判断所述检测区域不存在人体,判定所述摄像头被遮挡。
38.其中,当基于上述实施例的纹理特征无法判断摄像头是否被遮挡、基于上述实施例的颜色特征无法判断摄像头是否被遮挡、基于上述实施例的纹理特征和颜色特征均无法
判断摄像头是否被遮挡三种场景中满足其中一种时,可通过热释电红外传感器的侦测信号进行遮挡检测,通过侦测信号以判断检测区域内是否存在人体,以防止引人为闯入检测区域导致误检。
39.在一些实施例中,所述依据所述目标区域更新所述第一区域集合,以形成第二区域集合,包括:
40.获取所述目标区域与所述第一区域集合的并集区域;
41.依据所述并集区域形成所述第二区域集合。其中,并集区域是目标区域和第一区域集合的并集,通过目标区域更新第一区域集合的感兴趣区域,例如增加第一区域集合的感兴趣区域的数量、或尺寸等。
42.在一些实施例中,所述依据所述并集区域形成所述第二区域集合,包括:
43.判断所述并集区域中感兴趣区域的数量是否大于数量阈值;
44.若所述并集区域中感兴趣区域的数量大于所述数量阈值,确定所述并集区域中感兴趣区域的数量超过所述数量阈值的多余数量;
45.依据所述并集区域中感兴趣区域的确定时间,删除所述并集区域中所述确定时间最早的多余数量的感兴趣区域,以形成第二区域集合。
46.通过限定感兴趣区域的数量,以保证实现遮挡检测方法的设备的性能,通过删除最早确定的感兴趣区域,以避免第二区域集合中存在无效的感兴趣区域,以提升感兴趣区域的准确性和时效性。
47.在一些实施例中,所述方法还包括:
48.接收用户输入的第一设置信号,依据所述第一设置信号调整所述第二区域集合,所述调整包括;增加感兴趣区域的数量、减少感兴趣区域的数量、变更感兴趣区域的形状、移动感兴趣区域的位置中的至少一种。
49.如此,通过人工手动更新感兴趣区域,以便第二区域集合中的感兴趣区域可以满足个性化的需求和个性化的场景。
50.在一些实施例中,所述确定所述检测区域的第一区域集合,包括:
51.接收用户输入的第二设置信号,依据所述第二设置信号形成第一区域集合。
52.通过人工手动更新感兴趣区域,以便第一区域集合中的感兴趣区域可以满足个性化的需求和个性化的场景。
53.在一些实施例中,所述依据所述第二设置信号形成第一区域集合,包括:
54.依据所述第二设置信号形成第一区域子集合,所述第一区域子集合包括至少一个感兴趣区域;
55.获取系统预设参数,依据系统预设参数形成第二区域子集合,所述第二区域子集合包括至少一个感兴趣区域;
56.依据所述第一区域子集合和所述第二区域子集合形成所述第一区域集合。
57.通过系统预设参数和人工设置配合形成第一区域集合,以保证第一区域集合可更准确满足用户需求,第一区域限定的位置与用户的人脸在检测区域的实际位置更接近。
58.在一些实施例中,在判定所述摄像头被遮挡之后,所述方法还包括:触发遮挡警告。
59.通过触发遮挡警告以便于快速提醒用户。
60.在一些实施例中,所述确定所述检测区域的第一区域集合之后,所述方法还包括:
61.提取所述环境图像的第一区域集合的第三灰度共生矩阵特征;
62.提取所述检测图像的第一区域集合的第四灰度共生矩阵特征;
63.获取所述第三灰度共生矩阵特征和所述第四灰度共生矩阵的第三相似度;
64.依据所述第三相似度与纹理阈值范围判断所述摄像头是否被遮挡。
65.如此,在设定第一感兴趣区域集合之后即可实现摄像头的遮挡检测。
66.本技术第二方面公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,当所述计算机指令在遮挡检测装置上运行时,使得所述遮挡检测装置执行如第一方面所述的遮挡检测方法。
67.本技术第三方面公开了一种遮挡检测装置,所述遮挡检测装置包括处理器和存储器,所述存储器用于存储指令,所述处理器用于调用所述存储器中的指令,使得所述遮挡检测装置执行如第一方面所述的遮挡检测方法。
68.本技术第四方面公开了一种芯片系统,该芯片系统应用于遮挡检测装置;芯片系统包括接口电路和处理器;接口电路和处理器通过线路互联;接口电路用于从遮挡检测装置的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行该计算机指令时,芯片系统执行如第一方面所述的遮挡检测方法。
69.应当理解地,上述提供的第二方面所述的计算机可读存储介质,第三方面所述的遮挡检测装置,第四方面所述的芯片系统均与上述第一方面的方法对应,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
附图说明
70.图1是本技术实施例提供的摄像头的应用场景示意图。
71.图2是本技术实施例提供的智能门锁的结构示意图。
72.图3是本技术实施例提供的遮挡检测方法的流程示意图。
73.图4是本技术实施例提供的感兴趣区域的示意图。
74.图5是本技术一实施例提供的第一区域集合的示意图。
75.图6是本技术另一实施例提供的第一区域集合的示意图。
76.图7是本技术又一实施例提供的第一区域集合的示意图。
77.图8是本技术一实施例提供的第一区域集合的形成示意图。
78.图9是本技术一实施例提供的第二区域集合的形成示意图。
79.图10是本技术另一实施例提供的第二区域集合的形成示意图。
80.图11是本技术又一实施例提供的第二区域集合的形成示意图。
81.图12是本技术一实施例提供的用户设定第二区域集合的示意图。
82.图13是本技术一实施例提供的颜色特征的提取示意图。
83.图14是本技术一实施例提供的灰度共生矩阵特征的提取示意图。
84.图15是本技术一实施例提供的基于相似度和阈值范围判断的流程示意图。
85.图16是本技术另一实施例提供的遮挡检测方法的流程示意图。
86.图17是本技术又一实施例提供的遮挡检测方法的流程示意图。
87.图18是本技术实施例提供的遮挡检测装置的结构示意图。
具体实施方式
88.为了便于理解,示例性的给出了部分与本技术实施例相关概念的说明以供参考。
89.需要说明的是,本技术中“至少一个”是指一个或者多个,“多个”是指两个或多于两个。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b可以表示:单独存在a,同时存在a和b,单独存在b的情况,其中a,b可以是单数或者复数。本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不是用于描述特定的顺序或先后次序。
90.下面首先对本技术实施例可能涉及的相关术语和概念进行介绍。
91.yuv,一种颜色编码方法,其中“y”表示明亮度(luminance或luma),也就是灰阶值,“u”和“v”表示色度(chrominance或chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色,y分量是yuv中的明亮度部分的特征。
92.灰度共生矩阵,(gray-level co-occurrence matrix;glcm)是像素距离和角度的矩阵函数,通过计算图像中一定距离和一定方向的两点灰度之间的相关性,来反映图像在方向、间隔、变化幅度及快慢上的综合信息,灰度共生矩阵特征用于描述图像的纹理特征,灰度共生矩阵特征可以包括asm能量(angular second moment)、对比度(contrast)、逆差矩(inverse different moment)、熵(entropy)、自相关(correlation)、和平均、和方差、和熵、差方差、差平均、差熵、相关信息测度、最大相关系数、均匀性、方差等特征中的一个或多个特征,可以用一个向量将以上特征中的一个或多个特征综合在一起,以形成灰度共生矩阵特征;
93.感兴趣区域,(region of interest,roi),在机器视觉、图像处理中,从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出的需要处理的区域;
94.颜色特征,在图像检索中应用的视觉特征,与其他的视觉特征相比,颜色特征对图像本身的尺寸、方向、视角的依赖性较小,从而具有较高的鲁棒性,颜色特征可为rgb颜色特征、his颜色特征、cmyk颜色特征等,另颜色特征的描述方法包括颜色直方图、颜色矩、颜色集、颜色聚合向量及颜色相关图等。
95.热释电红外传感器(passive infrared ray),是一种依靠被动的吸收热能动物活动时身体散发出的红外热能的红外传感器,红外传感器将接收到的活动人体与背景物体之间的红外热辐射能量的变化转换为相应的电信号,该电信号即为侦测信号。
96.hsv颜色特征,其中hsv中h(hue)代表色度,s(saturation)代表色饱和度,v(value)代表亮度,hsv(hue,saturation,value)颜色空间的模型对应于圆柱坐标系中的一个圆锥形子集,hsv颜色模型所代表的颜色域是cie色度图的一个子集。在圆锥的顶点(即原点)处,v=0,h和s无定义,代表黑色。圆锥的顶面中心处s=0,v=1,h无定义,代表白色。即通过不同的vhs值标识不同的颜色特征。
97.为了获取检测区域的人员信息,通常在预设位置安装摄像头。如图1所示,为了获取进入出入门的人脸信息,在该出入门上设置有摄像头,该摄像头用于采集出入该出入门的人员的图像,恶意用户为了阻止该摄像头捕捉到自己的人脸,常常使用障碍物遮挡摄像头,导致摄像头无法捕捉到检测区域内的人脸信息。
98.当摄像头被遮挡时,为了及时提醒用户,常常使用遮挡前与遮挡后的图像进行相似度的比对,但是,该比对方式计算量较大,对系统性能要求较高,比对时间较长,无法实时
提醒用户。
99.为了便于说明,本技术以智能门锁为例进行说明,图2根据本技术的一些实施例,示出了一种智能门锁的结构示意图。智能门锁100安装于出入门上,智能门锁100包括遮挡检测装置10和摄像头20。遮挡检测装置10和摄像头20电连接。
100.摄像头20用于采集检测区域的环境图像,并将采集的环境图像发送至遮挡检测装置10,遮挡检测装置10依据环境图像判断摄像头20是否被遮挡。
101.摄像头20可包括视场角较大的摄像头,例如猫眼摄像头、鱼眼摄像头等。
102.遮挡检测装置10可包括处理器或微控制器(micro controller unit,mcu),用于基于摄像头20采集的图像进行遮挡检测,当然,遮挡检测装置10还可包括其他部件,例如存储器、显示屏等。
103.进一步地,摄像头20还可以用于采集包含深度信息的3d图像,该3d图像涉及用户生物密码。采用包含深度信息的3d图像进行人脸识别时,可以从该3d图像中提取出更为准确的人脸特征,有助于提高人脸识别的准确度。可用于采集3d图形的摄像头20可包括tof摄像头、结构光摄像头、双目立体成像摄像头、深度摄像头、红外摄像头等。
104.在一些智能门锁技术中,智能门锁首次安装完成,摄像头20采集检测区域未被遮挡时的环境图像,并将该环境图像发送至遮挡检测装置10,遮挡检测装置10提取该环境图像的纹理特征;用户使用智能门锁时,触发摄像头20采集检测区域的检测图像,并将检测图像发送至遮挡检测装置10,遮挡检测装置10提取检测图像的纹理特征,遮挡检测装置10计算环境图像和检测图像的纹理特征的相似度,遮挡检测装置10判断相似度是否小于阈值,若相似度小于阈值,即环境图像和检测图像差异较大,则判断摄像头20被遮挡;若相似度大于阈值,环境图像和检测图像较为相似,则判断摄像头20未被遮挡。
105.上述遮挡检测方法存在以下问题:遮挡检测装置10每次进行遮挡检测时需提取检测图像的纹理特征,由于摄像头20捕捉的图像的区域较大,遮挡检测装置10提取整个检测图像的纹理特征的时间较长,且由于整个检测图像的纹理特征较多,遮挡检测装置10计算检测图像和环境图像的纹理特征的相似度的计算量较大,遮挡检测延迟较大导致实时性较低,对进行遮挡检测的遮挡检测装置10的性能要求较高;另外,由于检测区域较大,误检的概率提升(例如用户a仅从检测区域路过但未使用该门锁,遮挡检测装置10误认为该用户正在使用智能门锁)。
106.为了减小遮挡检测的计算量,提升遮挡检测的实时性,本技术实施例提供了一种遮挡检测的方法,通过确定检测区域中的感兴趣区域,并依据用户的身体特征和使用习惯等参数更新该感兴趣区域,特征提取时仅需提取环境图像和检测图像中感兴趣区域内的纹理特征和颜色特征,以减少特征提取的计算量和相似度的运算量,进而减小遮挡检测的延迟,提升遮挡检测的实时性,同时通过纹理特征和颜色特征配合检测,以提升检测的准确性。
107.下面将以智能门锁的应用场景为例,详细介绍本技术的技术方案。可以理解的是,本技术的技术方案可以应用到任意一种的具有摄像头的电子设备中,包括但不限于智能门锁、安防设备等。
108.请参阅图3所示,下面对本技术实施例提供的一种遮挡检测方法进行示例性说明。
109.s301、确定第一区域集合,第一区域集合包括至少一个感兴趣区域。
110.在一实施例中,第一区域集合为摄像头20拍摄的检测区域内人脸可能出现的区域,其中人脸的位置不限于用户使用智能门锁时人脸所处的区域,还可包括检测区域内的用户执行其他操作时人脸所处的区域(例如近距离注视摄像头)。
111.在一实施例中,智能门锁安装完成之后,遮挡检测装置10依据系统预设参数设定第一区域集合。其中系统预设参数可为用户身高,使用习惯中至少一种,其中使用习惯可包括开门习惯(左手开门、右手开门),站立习惯(开门时站在智能门锁的左侧,开门时站在智能门锁的右侧)等。其中系统预设参数为遮挡检测装置10中预先设置的,例如智能门锁厂家为了便于用户使用智能门锁,依据普通用户的身高和习惯设置的第一区域集合,其中系统预设参数可为感兴趣区域的位置和形状。
112.其中,第一区域集合可为平面坐标,通过平面坐标限定第一区域集合的范围,例如构建以摄像头20为坐标原点的xy坐标系,第一区域集合的坐标为(x1=45cm,x2=80cm,y1=10cm,y2=20cm),x轴坐标为45cm和x轴坐标为80cm及y轴坐标为10cm和y轴坐标为20cm共同围设的区域即为第一区域集合所限定的区域。
113.在一实施例中,第一区域集合为摄像头20拍摄的环境图像中的人脸可能出现的区域,则第一区域集合可为环境图像的像素坐标。例如,环境图像的尺寸的400*400,构建以环境图像的中心为坐标原点的图像坐标系,则像素坐标为a(20,30),b(20,40),c(10,30),d(10,40),像素坐标a、b、c及d围设的区域即为第一区域集合所限定的区域。
114.可以理解,第一区域集合可为基于摄像头实际位置建立的坐标系中的平面坐标,还可为基于摄像头拍摄的图像中的像素坐标,且可通过不同的坐标系实现平面坐标和像素坐标之间的转换。
115.在一实施例中,第一区域集合包括一个感兴趣区域,其中该感兴趣区域可为规则形状,例如圆形、椭圆形、矩形或方形,当然,感兴趣区域还可为不规则形状。即本技术不限定感兴趣区域的形状。
116.示例性地,请参见图4,图4示例第一区域集合包括一个感兴趣区域的示意图,其中图4(a)所示的感兴趣区域为不规则形状,图4(b)所示的感兴趣区域为规则形状且该形状为矩形。
117.在一实施例中,第一区域集合包括至少两个感兴趣区域,至少两个感兴趣区域可相互独立,即至少两个感兴趣区域之间没有重叠区域。
118.示例性的,请参见图5,为本技术提供的第一区域集合的示意图,第一区域集合包括四个感兴趣区域,分别为a、b、c及d,a、b、c及d四个感兴趣区域互独立的,第一区域集合为a、b、c及d四个感兴趣区域的并集区域。本实施例中,感兴趣区域为矩形,可以理解,在其他实施例中,感兴趣区域还可为圆形、椭圆或其他不规则形状。感兴趣区域的数量可以为2个、3个甚至更多。
119.在一实施例中,第一区域集合包括至少两个感兴趣区域,至少两个感兴趣区域之间可以存在重叠区域。
120.示例性地,请参见图6,为本技术提供的环境图像的第一区域集合的示意图,环境图像中包括四个感兴趣区域,分别为a、b、c及d,a、b两个感兴趣区域之间存在重叠区域,第一区域集合为a、b、c及d四个感兴趣区域的并集区域。
121.在一实施例中,遮挡检测装置10还用于接收用户输入的设置信号,并依据所述设
置信号形成第一区域集合。其中用户可通过遮挡检测装置10的案件或触控屏幕实现设置信号的输入。设置信号包括感兴趣区域信息,感兴趣区域信息包括感兴趣区域形状和感兴趣区域位置。感兴趣区域位置为用户设置的区域在检测区域内的位置,可为坐标信息或用户直接用手划定的区域。
122.请参见图7,在一些实施例中,智能门锁首次安装使用时,智能门锁通过客户端显示开机引导过程,如图7(a)所示,在开机引导过程中通过提示语“请设置感兴趣区域”,以引导用户在显示界面通过触控输入设置信号,智能门锁依据设置信号设定感兴趣区域,如图7(b)所示,用户通过手动划定四个矩形区域a、b、c及d,区域a、b、c及d即为用户设定的感兴趣区域,依据用户设定的感兴趣区域形成第一区域集合。其中开机引导过程可呈现于智能门锁的显示器上或与智能门锁连接的显示设备上。
123.在一些实施例中,智能门锁安装完成之后,遮挡检测装置10预设第一区域子集合,其中第一区域子集合包括至少一个感兴趣区域;遮挡检测装置10引导用户通过手动划定或设置参数等方式确定第二区域子集合,第二区域子集合包括至少一个感兴趣区域,依据第一区域子集合和第二区域子集合形成第一区域集合。其中,第一区域集合为第一区域子集合和第二区域子集所限定区域的并集区域。
124.示例性地,请参见图8,图8(a)示意了遮挡检测装置10预设的第一区域子集合,第一区域子集合包括一个矩形的感兴趣区域a,图8(b)示意了用户通过手动划定的第二区域子集合,第二区域子集合包括一个圆形的感兴趣区域b,且感兴趣区域a和感兴趣区域b具有重叠区域,图(c)示意了第一区域集合,第一区域集合是第一区域子集合和第二区域子集合的并集区域,感兴趣区域a和感兴趣区域b的并集区域形成感兴趣区域c,也即第一区域集合。
125.在一些实施例中,智能门锁安装之后,遮挡检测装置10首先确定第一区域集合,并提取第一区域集合的灰度共生矩阵特征和颜色特征;用户使用智能门锁或执行其他操作时,摄像头20采集检测区域的检测图像,遮挡检测装置10提取检测图像的第一区域集合的灰度共生矩阵特征和颜色特征,并分别计算环境图像和检测图像的第一区域集合的灰度共生矩阵特征的相似度和颜色特征的相似度;首先判断环境图像和检测图像的第一区域集合的灰度共生矩阵的相似度是否小于纹理预设阈值;若为是,则判定摄像头被遮挡并触发遮挡警告;若为否,则判断环境图像和检测图像的第一区域集合的颜色特征的相似度是否小于颜色预设阈值,若为是,则判定摄像头被遮挡并触发遮挡警告,若为否,则判定摄像头未被遮挡。即智能门锁安装之后,即可通过提取遮挡检测装置设定的第一区域集合的灰度共生矩阵特征和颜色特征,并通过比较环境图像和检测图像的第一区域集合的灰度共生矩阵特征和颜色特征的相似度,以检测摄像头是否被遮挡。第一区域集合仅为检测区域中用户人脸可能出现的区域,相较于整张环境图像,遮挡检测装置10仅需提取环境图像中第一区域集合所限定的区域的灰度共生矩阵特征和颜色特征,遮挡检测装置10提取特征的区域变小,遮挡检测装置10提取的特征的运算量变小,提升了遮挡检测装置10提取灰度共生矩阵特征和颜色特征的提取速度。可以理解,在其他实施例中,遮挡检测装置10可仅提取环境图像和检测图像的灰度共生矩阵特征和颜色特征中的任一种,并依据提取的灰度共生矩阵特征或颜色特征的相似度与对应的阈值范围进行比对,通过比对结果判断摄像头是否被遮挡。
126.s302、获取摄像头采集的检测区域的环境图像。
127.其中环境图像为摄像头在未被遮挡的情况下采集的图像。
128.本实施例中,如图1所示,检测区域为智能门锁安装之后的摄像头的拍摄区域。
129.具体地,可通过调整摄像头的焦距、光轴方向等参数以调节拍摄区域的大小和位置,以使摄像头的拍摄区域即可包括用户正常使用智能门锁时所处的区域,也应包括用户非正常使用智能门锁时所处的区域(例如用户使用工具破坏智能门锁时所处的区域)。
130.其中环境图像可以包括可见光图像和红外光图像。
131.在一实施例中,摄像头20同时采集可见光图像和红外光图像。可以理解,摄像头20可直接采集可见光图像,但是当环境光线较暗时,摄像头20无法捕捉清晰的可见光图,可通过补光灯补红外光,以使摄像头20采集红外光图像。
132.在一实施例中,摄像头20中设置有环境光传感器和红外补光灯,环境光传感器用于感测检测区域的环境光的亮度,当摄像头20判断环境光的亮度小于亮度阈值,摄像头20向红外补光灯发送控制指令,以打开红外补光灯,红外补光灯向检测区域发送红外光,摄像头20捕捉检测区域的图像,以获得红外补光图。
133.在一实施例中,摄像头20周期性采集检测区域的图像,例如摄像头每隔30秒采集一次检测区域的图像,当然,摄像头20还可在触发条件下采集检测区域的图像,触发条件包括用户使用智能门锁、摄像头20接收到遮挡检测装置或其他电子设备的触发信号等,但不限于此。
134.可选地,摄像头20每次采集的环境图像可为一张,当然,摄像头20每次采集的环境图像也可为多张,例如,每次采集十张环境图像,遮挡检测装置10确定环境图像的品质(例如清晰度参数),并选择品质最优的一张作为环境图像。
135.可以理解,步骤s302和s301的执行顺序可同时执行,当然,s302和s301也可依次执行,即本技术不限定s302和s301的执行顺序。
136.s303、判断环境图像中是否存在人脸。
137.在一实施例中,通过人脸识别技术判断环境图像中是否存在人脸。
138.在其他实施例中,可通过其他技术判断环境图像是否存在人脸,例如机器学习,纹理特征等。
139.若为否,跳转至步骤s302,遮挡检测装置10基于摄像头20采集的环境图像继续进行图像人脸检测,以检测环境图像是否存在人脸。
140.若为是,执行步骤s304;
141.s304、确定人脸在环境图像中的目标区域。
142.在一实施例中,摄像头20周期性采集检测区域的环境图像或依据触发条件采集检测区域的环境图像,遮挡检测装置10依据摄像头20采集的环境图像进行人脸检测,进而依据人脸检测结果确定检测区域内用户的人脸所在的目标区域,通过对摄像头采集的检测区域的环境图像进行持续的人脸检测,以实现准确确定用户的人脸在检测区域内的实际目标区域。
143.s305、依据目标区域更新第一区域集合,以形成第二区域集合。
144.智能门锁安装之后,依据遮挡检测装置10预置的感兴趣区域或用户手动进行设定的感兴趣区域以形成第一区域集合,其中第一区域集合仅为遮挡检测装置10或用户预先设
置的感兴趣区域,该感兴趣区域与用户使用智能门锁时或在检测区域执行其他操作时人脸实际所处的区域存在差异性,通过对摄像头20采集的检测区域的环境图像进行持续的人脸检测,以准确确定用户的人脸在检测区域的实际目标区域,即人脸在检测区域内实际出现的位置,并依据人脸的目标区域更新第一区域集合的感兴趣区域,以使得第二区域集合中的感兴趣区域与人脸实际出现的区域更为接近。
145.示例性地,第一区域集合中的感兴趣区域用于限定身高为170cm的用户的人脸所处位置,但是智能门锁的实际用户的身高为180cm,如此,第一区域集合的感兴趣区域并不能准确限定实际用户的人脸所处的区域,通过遮挡检测装置10检测环境图像中人脸的所处的目标区域,并依据该目标区域更新第一区域集合的感兴趣区域,以使第二区域集合的感兴趣区域能更准确限定用户的人脸在检测区域的实际位置。
146.示例性地,智能门锁所安装的房间的租户发生变化,由于不同租户具有不同的身高特征和使用习惯,比如前租户喜欢站在门锁左侧开门,现租户偏好站在门锁右侧开门,如此,租户的改变导致用户在检测区域内的人脸所处的位置也发生变化,导致遮挡检测装置10存储的感兴趣区域不能准确限定现用户的人脸的实际位置,遮挡检测装置10通过持续对摄像头20捕捉的环境图像进行人脸检测,以确定现租户在检测区域内的人脸所处的实际目标区域,并依据该目标区域更新感兴趣区域,以使更新后的感兴趣区域可以准确限定实际用户的人脸在检测区域的位置。
147.在一实施例中,当用户处于检测区域内时,摄像头20采集检测区域的环境图像,遮挡检测装置10依据摄像头20采集的环境图像进行人脸检测,并确定用户的人脸在检测区域内的实际位置,即目标区域。可以理解,当用户处于检测区域内时,用户的执行的操作不限于使用智能门锁。遮挡检测装置10依据目标区域更新第一区域集合的感兴趣区域,以形成第二区域集合,如此通过不断的对环境图像进行人脸检测,以使第二区域集合所限定的区域与用户在检测区域内时的人脸位置更为接近。
148.其中,通过更新第一区域集合以形成第二区域集合,更新方式包括但不限于增加感兴趣区域的数量、调整感兴趣区域的尺寸、变更感兴趣区域的位置、减少感兴趣区域的数量中的一种或多种。由于不同用户具有不同的行为习惯,导致用户在检测区域内时的人脸的位置、偏向角度、人脸的大小尺寸等存在差异,通过调整感兴趣区域的尺寸、数量、位置等,以使感兴趣区域可准确限定用户在检测区域内的实际位置。
149.示例性地,请参见图9,为本技术一实施例提供的环境图像的第二区域集合的形成示意图,其中,图9左侧的示意图为第一区域集合的感兴趣区域和环境图像中的人脸所在的目标区域,图9右侧的示意图为基于第一区域集合和目标区域的并集形成的第二区域集合。图9左侧的环境图像中包括四个感兴趣区域a、b、c及d,遮挡检测装置10对环境图像进行人脸检测,判断环境图像的区域e存在人脸,且区域e与第一区域集合中的感兴趣区域没有重叠区域,通过确定区域e和第一区域集合的感兴趣区域的并集区域,以形成图9右侧的第二区域集合,通过持续对环境图像进行人脸检测,并依据环境图像中的人脸的目标区域更新感兴趣区域的数量,以使感兴趣区域可更准确限定用户在检测区域内的实际的人脸位置。
150.示例性地,请参见图10,为本技术另一实施例提供的环境图像的第二区域集合的形成示意图,其中,图10左侧的示意图为第一区域集合的感兴趣区域和环境图像中的人脸所在的目标区域的集合,图10右侧的示意图为基于第一区域集合和目标区域的并集区域形
成的第二区域集合,图10左侧的环境图像中第二区域集合包括四个感兴趣区域,分别为a、b、c和d,通过对环境图像进行人脸检测,判断环境图像的区域e存在人脸,且区域e与第一区域集合中的感兴趣区域具有重叠区域,通过将区域e和感兴趣区域b合并形成新的感兴趣区域b,同时与感兴趣区域a、c、d共同形成第二区域集合,通过持续对环境图像进行人脸检测,并依据环境图像中的人脸的目标区域更新感兴趣区域的尺寸,以使感兴趣区域可更准确限定用户在检测区域内的实际的人脸位置。
151.在一实施例中,环境图像中的感兴趣区域的数量是有限制的且满足数量阈值,第二区域集合的感兴趣区域的数量是固定的,例如数量阈值为4,则感兴趣区域的数量为固定值且为4个。
152.示例性地,请参见图11,为本技术另一实施例提供的环境图像的第二区域集合的形成示意图,图11左侧的示意图为第一区域集合的感兴趣区域和环境图像中的人脸所在的目标区域的集合,即并集区域,图11右侧的示意图为基于第一区域集合和目标区域的并集形成的第二区域集合,图11左侧的环境图像中第二区域集合包括四个感兴趣区域,分别为a、b、c和d,通过对环境图像进行人脸检测,判断环境图像的区域e存在人脸,且区域e与第一区域集合中的感兴趣区域不具有重叠区域。遮挡检测装置10确定第一区域集合和目标区域的并集区域的感兴趣区域的数量为5个,通过比较判断该数量与数量阈值(4个)的关系,确定并集区域的感兴趣区域的大于数量阈值。遮挡检测装置10通过获取并集区域中的感兴趣区域的确定时间,依据确定时间确定第一区域集合中最先确定的感兴趣区域为a,删除区域a同时将区域e加入第一区域集合,以使并集区域的感兴趣区域的数量满足数量阈值,以形成第二区域集合。通过持续对环境图像进行人脸检测,并依据环境图像中的人脸的目标区域和感兴趣的确定时间更新感兴趣区域,以保证更新后的感兴趣区域为基于最近的人脸检测确定的目标区域得到的,同时删除第一区域集合中最早确定的感兴趣区域,以保证感兴趣区域可准确限定最近的用户在检测区域的人脸的位置;由于最早确定感兴趣区域与现在的用户在检测区域的人脸位置差异性较大,通过删除最早确定的感兴趣区域,以避免第二区域集合中存在无效的感兴趣区域,以提升感兴趣区域的准确性和时效性。
153.可以理解,上述实施例中目标区域中的感兴趣区域为一个,可以理解,在其他实施例中,目标区域中的感兴趣区域的数量为两个、三个甚至更多,例如张三、李四同时处于检测区域,则遮挡检测装置通过对环境图像进行人脸检测,判断环境图像中存在目标区域,目标区域中包括两个感兴趣区域,分别为张三和李四的人脸所处的区域。如此,上述实施例中并集区域中的感兴趣区域的数量比阈值数量大两个,则需删除两个确定时间较早的感兴趣区域,以使并集区域中的感兴趣区域的数量满足阈值数量。
154.可选地,遮挡检测装置判断并集区域中感兴趣区域的数量是否大于数量阈值;若并集区域中感兴趣区域的数量大于数量阈值,确定并集区域中感兴趣区域超出数量阈值的多余数量,其中多余数量为所述并集区域中感兴趣区域的数量超出所述数量阈值的数量;依据确定时间确定删除所述并集区域中所述确定时间最早的多余数量的感兴趣区域,以形成第二区域集合。其中确定时间为感兴趣区域的依据人脸检测更新的感兴趣区域、用户设置的感兴趣区域或系统预设的感兴趣区域的时间。
155.其中,遮挡检测装置可依据确定时间确定并及区域中感兴趣区域的先后顺序,并依据先后顺序删除删除所述并集区域中所述确定时间为最早的多余数量的感兴趣区域,示
例性的,并集区域中包括六个感兴趣区域a、b、c、d、e、f,数量阈值为4,则多余数量为2个,获取六个感兴趣区域的确定时间并依据确定时间排先后顺序,b、c、d、e、f、a;删除确定时间最早的2个感兴趣区域b和c,则第二区域集合包括d、e、f、a四个感兴趣区域。
156.可以理解,在一些实施例中,第二区域集合的感兴趣区域的数量在预设范围内,例如感兴趣区域的数量大于等于1且小于等于4。可以理解地,感兴趣区域的数量可依据智能门锁的处理能力及实际应用环境进行调整。
157.在一实施例中,智能门锁安装之后,智能门锁中存储有第一区域集合;用户在使用智能门锁过程中,智能门锁通过提示语“请设置感兴趣区域”,以引导用户在显示界面通过触控输入设置信号,智能门锁依据设置信号调整感兴趣区域,例如用户可通过手动划定区域以设定感兴趣区域,遮挡检测装置10依据用户设定的感兴趣区域更新遮挡检测装置10中存储的第一区域集合,以形成第二区域集合。其中提示语可呈现于智能门锁的显示器上或与智能门锁连接的显示设备上。如此,在智能门锁的使用过程中,用户依据实际场景需求及时更新检测区域的感兴趣区域,以保证第二区域集合中感兴趣区域可更及时满足用户的个性化需求。
158.其中,调整感兴趣区域包括增加感兴趣区域的数量、减小感兴趣区域的数量、增大或减小感兴趣区域的尺寸、变更感兴趣区域的形状、移动感兴趣区域的位置中的至少一种。示例性地,用户可通过手动删除感兴趣区域,以减小感兴趣区域的数量。用户可通过滑动调整感兴趣区域的区域,以变更感兴趣区域的范围。当然用户还可通过第一区域集合的感兴趣区域从位置a拖动至位置b,以变更感兴趣区域的位置。示例性地,当智能门锁的环境发生变化,例如检测区域内安装了一根柱子,且柱子所在的区域与第二区域集合中的感兴趣区域重合,如此,用户通过手动划定以删除与柱子重合的感兴趣区域,以保证第二区域集合中的感兴趣区域的准确性。
159.当然,在其他实施例中,在用户使用智能门锁过程中,用户可通过发送控制指令(例如智能门锁的案件或语音提示等)触发感兴趣区域的设定,设定方式不限于手动划定,还可通过显示设定截面设定参数选项的“坐标”、“形状”等以限定感兴趣区域。
160.在另一实施例中,请参见图12,遮挡检测装置10还用于获取待检测用户的特征信息,其中特征信息包括身高信息和使用习惯(例如左手开门、右手开门等),遮挡检测装置10匹配特征信息和检测区域信息以形成匹配结果,依据匹配结果确定设置区域,依据设置区域更新遮挡检测装置10内预存的第一区域集合。
161.在一实施例中,其中预设信息为特征信息与感兴趣区域之间的对应关系,例如,用户特征信息为身高175厘米,习惯用左手开门,遮挡检测装置10则依据检测区域信息中该身高和使用习惯匹配对应的感兴趣区域的坐标信息(x1=10,x2=20;y1=30,y2=40),即x轴坐标10、x轴坐标20、y轴坐标30及y轴坐标40所围设的区域即为该坐标信息对应的感兴趣区域。
162.如此,通过依据环境图像的检测结果更新第一区域集合,以获得第二区域集合,通过持续更新感兴趣区域,以使得第二区域集合的区域可精确定位用户使用智能门锁时人脸所处的区域。
163.s306、提取环境图像的第二区域集合的第一颜色特征和第一灰度共生矩阵特征。
164.在一实施例中,请参见图13,图13为提取颜色特征的示意图,图13示意了可见光图
p1和微光图p2,其中可见光图p1和微光图p2均为摄像头20直接采集的检测区域的可见光环境图像,其中可见光图p1为正常光线条件下摄像头20采集的图像,微光图p2为光线较差的场景下摄像头20采集的图像,遮挡检测装置10提取可见光图p1和微光图p2的颜色特征(例如,红色及红色的比例等),并将颜色特征基于图形化呈现以得到颜色特征图p3。本实施例中颜色特征通过图表方式显示,可以理解,在其他实施例中,颜色特征可为数据参数。本实施例中,通过提取不同光线场景下的检测区域的可见光图像的颜色特征,该提取方式可保证基于颜色特征的遮挡检测适用不同的光线条件。本实施例中,提取颜色特征的可见光图像包括两张,可以理解,在其他实施例中,提取颜色特征的可见光图像可包括多张,例如,基于一天中的不同时刻分配拍摄的5张,6张或更多的可见光图像。
165.下面以提取环境图像的hsv颜色特征为例进行说明:将可见光图转换为hsv色彩空间,并将所述可见光图缩放至预定尺寸后划分为多个单元格,根据设定的hsv色彩空间划分,统计单元格内对应颜色区间的像素数目,并计算所述颜色区间的像素数目比、总像素数以及平均位置,判断每个单元格内图像是否存在主颜色,若单元格内图像存在主颜色,则提取和描述主颜色的特征;若单元格内图像不存在主颜色,则提取和描述颜色分布随机的马赛克情况的特征,结合主颜色的特征及马赛克情况的特征得到颜色特征描述子。主颜色是指颜色的像素数占总像素数的比例大于40%的颜色,根据以上提取的特征构建描述子构建颜色特征向量集,该颜色特征向量集即为hsv颜色特征。可以理解,本技术的颜色特征的提取方法不限于此。
166.在一实施例中,请参见图14,图14为提取灰度共生矩阵的示意图,图14示意了y分量图p4和红外光图p5,其中依据摄像头20采集的可见光图p1形成y分量图p4,提取y分量图p4和红外光图p5的纹理特征,依据纹理特征形成灰度共生矩阵特征图p6。
167.在一实施例中,纹理特征的提取方式包括:根据基本像素块对y分量图p4和红外光图p5进行像素块划分,针对每个像素块,分别计算像素块的灰度均值、方差和0
°
方向、45
°
方向、90
°
方向、135
°
方向的灰度共生矩阵,提取灰度共生矩阵的对比度、相关性、能量、同质性等作为特征描述子,依据特征描述子形成特征向量,该特征向量即为灰度共生矩阵特征,可用于描述图像的纹理特征。
168.通过遮挡检测装置10对摄像头20采集的环境图像进行人脸检测,以确定用户的人脸在检测区域的实际位置,即目标区域,依据目标区域更新遮挡检测装置中存储的第一区域集合的感兴趣区域,以得到第二区域集合,从而使第二区域集合可更为准确限定用户在检测区域内的人脸的实际位置,且第二区域集合限定的区域仅为环境图像中的用户人脸可能存在的区域,遮挡检测装置10仅需提取环境图像中第二区域集合的感兴趣区域内的颜色特征和灰度共生矩阵特征,不用提取环境图像中第二区域集合外的颜色特征和灰度共生矩阵特征,因此,通过减少了遮挡检测装置10提取颜色特征和灰度共生矩阵特征的区域,大幅减少了遮挡检测装置10的计算量,提升遮挡检测装置10特征提取的速度。
169.s307、获取检测图像。
170.其中检测图像为摄像头20采集的检测区域的图像。
171.在一实施例中,摄像头20周期性采集检测区域的图像,该图像可作为检测图像。在其他实施例中,用户使用智能门锁时,摄像头20接收遮挡检测装置10发送的触发信号或智能门锁的其他部件发送的触发信号,以触发摄像头20采集检测区域的图像,并将该做图像
作为检测图像发送至遮挡检测装置10。
172.s308、提取检测图像的第二区域集合的第二颜色特征和第二灰度共生矩阵特征。
173.第二颜色特征和第二灰度共生矩阵特征的提取方法与s306中第一颜色特征和第一灰度共生矩阵特征的提取方法类似。区别在于,s308中第二颜色特征和第二灰度共生矩阵特征是基于检测图像提取的。具体过程可以参考s306,此处不再重复描述。
174.s309、获取第一灰度共生矩阵和第二灰度共生矩阵的第一相似度和第一颜色特征和第二颜色特征的第二相似度并依据第一相似度和第二相似度与阈值范围判断摄像头是否被遮挡,若摄像头被遮挡则触发遮挡警告。
175.其中,相似度的计算方法包括但不限于闵可夫斯基距离法、曼哈顿距离法、欧氏距离方法。
176.其中,第一灰度共生矩阵和第二灰度共生矩阵的第一相似度;第一颜色特征和第二颜色特征的第二相似度,第一相似度和第二相似度可分别与阈值范围判断摄像头进行比较判定。
177.在一实施例中,阈值范围包括纹理阈值范围和颜色阈值范围,其中纹理阈值范围包括第一阈值和第二阈值,颜色阈值范围包括第三阈值和第四阈值。
178.本技术提供的遮挡检测方法首先通过环境图像和检测图像的灰度共生矩阵特征的第一相似度判断摄像头20是否被遮挡,当通过灰度共生矩阵无法准确判断摄像头是否被遮挡时,再基于环境图像和检测图像的颜色特征判断摄像头20是否被遮挡。可以理解,由于图像的颜色特征用于表示每种颜色出现的概率,但没有指明某一种颜色在图像中的具体位置,因此仅基于颜色特征的第二相似度判断环境图像和检测图像是否相同,进而判断摄像头是否被遮挡容易造成偏差,而灰度共生矩阵特征用于描述图像的纹理特征,纹理是相邻像素的灰度或颜色的空间相关性,纹理特征更能描述检测区域内感兴趣区域内的细节纹理。相较于纹理特征,颜色特征对于旋转、平移、尺度变化甚至各种形变都不敏感,因此存在颜色特征相同但是图像中的物品已经发生变化的情况(例如被遮挡了),因此纹理特征相较于颜色特征,更能准确判断感兴趣区域的特征是否发生变化,进而判断摄像头是否被遮挡。同时当基于纹理特征不能准确判断摄像头是否被遮挡时,再基于颜色特征进行判断,综合颜色特征和纹理特征,以提升遮挡检测的判断的准确性。
179.s310:若基于第一相似度和第二相似度与阈值范围无法判断摄像头是否被遮挡,获取侦测信息并依据侦测信息判断检测区域是否存在人体。
180.其中侦测信息来自于热释电红外传感器侦测并生成的侦测信息。
181.若为是,执行步骤s311,判定摄像头未被遮挡。
182.若为否,执行步骤s312,判定摄像头被遮挡,触发遮挡警告。
183.其中遮挡警告可为语音信息、邮件信息、声光告警等,以提醒用户摄像头20被遮挡。
184.进一步地,当通过纹理特征和颜色特征均无法准确判断摄像头是否被遮挡,还可基于被动式红外探测器侦测并生成的侦测信息判断检测区域是否存在人体,例如用户在使用智能门锁过程中挡住了摄像头,如果检测区域存在人体,则可能属于用户正常操作造成的无遮挡,而非恶意遮挡,则遮挡检测装置10不用触发遮挡警告;若检测区域不存在人体,则检测区域可能存在恶意遮挡并触发遮挡警告。如此,基于纹理特征和颜色特征判定且无
法确定摄像头是否被遮挡时,遮挡检测装置10还通过检测检测区域内是否存在人体,以防止因用户在检测区域内正常活动而遮挡摄像头20并引起遮挡警告,进而降低遮挡警告误报的概率。
185.请参见图15,为本技术一实施例提供的s309的具体实施方式,包括:
186.s309a、获取第一灰度共生矩阵和第二灰度共生矩阵的第一相似度并判断第一相似度是否大于第一阈值或小于第二阈值。
187.其中阈值范围包括第一阈值和第二阈值,且第一阈值大于第二阈值。
188.可以理解,第一阈值和第二阈值可依据使用应用环境进行设置。
189.若第一相似度大于第一阈值,执行步骤s309b、判定摄像头未被遮挡。
190.若第一相似度小于第二阈值,执行步骤s309c、判定摄像头被遮挡,触发遮挡警告。
191.示例性地,第一阈值为90%,第二阈值为30%,若第一相似度为91%,则检测图像与环境图像的第二区域集合的相似度较高,可判定该摄像头未被遮挡;当第一相似度为25%,则检测图像与环境图像的第二区域集合的相似度较低,可判定该摄像头被遮挡。
192.若相似度大于第二阈值且小于第一阈值,执行步骤s309d:获取第一颜色特征和第二颜色特征的第二相似度,判断第二相似度是否大于第三阈值或小于第四阈值。
193.其中,第三阈值大于第四阈值。
194.若第二相似度大于第三阈值,执行步骤s309e,判定摄像头未被遮挡。
195.若第二相似度小于第四阈值,执行步骤s309f,判定摄像头被遮挡,触发遮挡警告。
196.若第二相似度小于第三阈值且大于第四阈值,执行步骤s309g:执行步骤s310。此时即为基于第一相似度和第二相似度与阈值范围无法判断摄像头是否被遮挡的情况。
197.本技术首先基于环境图像和检测图像的灰度共生矩阵的相似度与阈值范围的关系进行判断摄像头20是否被遮挡,由于纹理特征更能描述检测区域内感兴趣区域内的细节纹理。而颜色特征对于旋转、平移、尺度变化甚至各种形变都不敏感,因此基于环境图像和检测图像的灰度共生矩阵进行摄像头是否被遮挡的检测相较于颜色特征更为准确。本技术将阈值范围分为第一阈值和第二阈值,并将第一相似度分别与第一阈值和第二阈值分别比对,并依据第一相似度与第一阈值和第二阈值的关系进行判断,通过对阈值范围分层设置,以提升比对过程的层次性,提升基于阈值范围判断摄像头是否被遮挡的准确性。同时当通过环境图像和检测图像的灰度共生矩阵特征可判断摄像头20是否被遮挡时,遮挡检测装置10不用再计算环境图像和检测图像的灰度共生矩阵特征的相似度,减少了判定的流程,提升了遮挡检测的效率。如此,s306中只需要“提取环境图像的第一灰度共生矩阵特征”,s308中只需要“提取检测图像的第二灰度共生矩阵特征”;在s309a中基于灰度共生矩阵无法判断摄像头是否被遮挡时,才“提取环境图像的第一颜色特征、提取检测图像的第二颜色特征”。
198.进一步地,在一些实施例中,第一阈值和第二阈值的值相等,如此,基于纹理特征进行判断时,只需判断第一相似度与第一阈值或第二阈值的关系,即当第一相似度大于第一阈值则可确定摄像头未被遮挡;当第一相似度小于或等于第一阈值则可确定摄像头被遮挡。如此,可仅通过纹理特征即可判断摄像头是否被遮挡。
199.在一些实施例中,第三阈值和第四阈值的值相等,如此,基于颜色特征进行判断时,只需判断第二相似度与第三阈值或第四阈值的关系,即当第二相似度大于第三阈值则
可确定摄像头未被遮挡;当第二相似度小于或等于第三阈值则可确定摄像头被遮挡。
200.请参见图16,为本技术提供的实施例提供的一种遮挡检测方法。
201.s1601、确定第一区域集合,第一区域集合包括至少一个感兴趣区域。
202.s1602、获取摄像头采集的检测区域的环境图像。
203.s1603、判断环境图像中是否存在人脸。
204.若为否,跳转至步骤s1602。
205.若为是,执行步骤s1604;确定人脸在环境图像中的目标区域。
206.s1605、依据目标区域更新第一区域集合,以形成第二区域集合。
207.s1606、提取环境图像的第二区域集合的第一颜色特征。
208.s1607、获取检测图像。
209.s1608、提取检测图像的第二区域集合的第二颜色特征。
210.s1609:获取第一颜色特征和第二颜色特征的第二相似度,判断第二相似度是否大于第三阈值或小于第四阈值。
211.若第二相似度大于第三阈值,执行步骤s1610,判定摄像头未被遮挡。
212.若第二相似度小于第四阈值,执行步骤s1611,判定摄像头被遮挡,触发遮挡警告。
213.若第二相似度小于第三阈值且大于第四阈值,执行步骤s1612:获取侦测信息并依据侦测信息判断检测区域是否存在人体。
214.若为是,执行步骤s1613,判定摄像头未被遮挡。
215.若为否,执行步骤s1614,判定摄像头被遮挡,触发遮挡警告。
216.相较于图3所示的遮挡检测方法,本技术的遮挡检测装置10仅用于提取环境图像和检测图像的颜色特征,并基于环境图像和检测图像的感兴趣区域的颜色特征的相似度判断摄像头是否被遮挡,由于减少了感兴趣区域的灰度共生矩阵特征的提取和相似度的比较,可进一步减少遮挡检测装置的运算量,提升遮挡检测的实时性。
217.请参见图17,为本技术提供的实施例提供的一种遮挡检测方法。
218.s1701、确定第一区域集合,第一区域集合包括至少一个感兴趣区域。
219.s1702、获取摄像头采集的检测区域的环境图像。
220.s1703、判断环境图像中是否存在人脸。
221.若为否,跳转至步骤s1702。
222.若为是,执行步骤s1704;确定人脸在环境图像中的目标区域。
223.s1705、依据目标区域更新第一区域集合,以形成第二区域集合。
224.s1706、提取环境图像的第二区域集合的第一灰度共生矩阵特征。
225.s1707、获取检测图像。
226.s1708、提取检测图像的第二区域集合的第二灰度共生矩阵特征。
227.s1709:获取第一灰度共生矩阵特征和第二灰度共生矩阵特征的第一相似度,判断第一相似度是否大于第一阈值或小于第二阈值。
228.若第一相似度大于第一阈值,执行步骤s1710,判定摄像头未被遮挡。
229.若第一相似度小于第二阈值,执行步骤s1711,判定摄像头被遮挡,触发遮挡警告。
230.若第一相似度小于第一阈值且大于第二阈值,执行步骤s1712:获取侦测信息并依据侦测信息判断检测区域是否存在人体。
231.若为是,执行步骤s1713,判定摄像头未被遮挡。
232.若为否,执行步骤s1714,判定摄像头被遮挡,触发遮挡警告。
233.相较于图3所示的遮挡检测方法,本技术的遮挡检测装置10仅用于提取环境图像和检测图像的灰度共生矩阵特征,并基于环境图像和检测图像的感兴趣区域的灰度共生矩阵特征的相似度判断摄像头是否被遮挡,由于减少了感兴趣区域的颜色特征的提取和相似度的比较,可进一步减少遮挡检测装置的运算量,提升遮挡检测的实时性。
234.图18是本技术实施例提供的一种遮挡检测装置10的结构示意图。如图18所示,遮挡检测装置10可以包括:rf电路901、存储器902、输入单元903、显示单元904、传感器905、音频电路906、wi-fi模块907、处理器908、电源909及pir910。本领域技术人员可以理解,图18中示出的结构并不构成对业务流汇聚转发节点的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
235.rf电路901可用于发送预警信息和接收预警指示信息,对信号进行接收和发送,特别地,接收基站的下行信息后,转给处理器908进行处理;另外,将涉及上行的数据发送给基站。通常,rf电路901包括,但不限于:天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,lna)、双工器等。
236.存储器902可用于存储软件程序以及模块,处理器908通过运行存储在存储器902中的软件程序以及模块,从而执行遮挡检测装置的各种功能应用以及数据处理。存储器902可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据遮挡检测装置的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器902可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
237.输入单元903可用于接收输入的数字或字符信息,以及产生与遮挡检测装置的用户设置以及功能控制有关的键信号输入。具体地,输入单元903可包括触控面板9031以及其他输入设备9032。触控面板9031,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触控笔等适合的物体或附件在触控面板9031上或在触控面板9031附近的操作,以划定设定区域),并根据预先设定的程序驱动相应的连接装置。可选地,触控面板9031可包括触摸检测装置和触摸遮挡检测装置两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸遮挡检测装置;触摸遮挡检测装置从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器908,并接收处理器908发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板9031。除了触控面板9031,输入单元903还可以包括其他输入设备9032。具体地,其他输入设备9032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
238.显示单元904可用于显示由用户输入的信息或提供给用户的信息以及遮挡检测装置的感兴趣区域或环境图像。显示单元904可包括显示面板9041,可选地,可以采用液晶显示器(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板9041。进一步地,触控面板9031可覆盖显示面板9041,当触控面板9031检测到在其上或附近的触摸操作后,传送给处理器908以确定触摸事件的类型,随
后处理器908根据触摸事件的类型在显示面板9041上提供相应的视觉输出,可以将触控面板9031与显示面板9041集成而实现遮挡检测装置的输入和输出功能。
239.遮挡检测装置还可包括至少一种传感器905,比如光传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板9041的亮度,接近传感器可在遮挡检测装置移动到耳边时,关闭显示面板9041和/或背光;此外,遮挡检测装置还可配置气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
240.音频电路906、扬声器9061,传声器9062可提供用户与遮挡检测装置之间的音频接口。音频电路906可将接收到的音频数据转换后的电信号,传输到扬声器9061,由扬声器9061转换为声音信号输出;另一方面,传声器9062将收集的声音信号转换为电信号,由音频电路906接收后转换为音频数据,再将音频数据输出处理器908处理后,经rf电路901发送给另一遮挡检测装置,或者将音频数据输出至存储器902以便进一步处理。
241.wi-fi属于短距离无线传输技术,遮挡检测装置通过wi-fi模块907可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图18示出了wi-fi模块907,但是可以理解的是,其并不属于遮挡检测装置的必需构成,完全可以根据需要、在不改变发明本质的范围内进行省略。
242.处理器908是遮挡检测装置的控制中心,利用各种接口和线路连接整个遮挡检测装置的各个部分,通过运行或执行存储在存储器902内的软件程序和/或模块,以及调用存储在存储器902内的数据,执行遮挡检测装置的各种功能和处理数据,从而对遮挡检测装置进行整体监控。可选地,处理器908可包括一个或多个处理单元;优选的,处理器908可集成应用处理器和调制解调器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器908中。
243.遮挡检测装置还包括给各个部件供电的电源909(比如电池),可选地,电源可以通过电源管理系统与处理器908逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
244.遮挡检测装置还包括pir910,pir910为被动式红外侦测器,用于获取检测区域的侦测信息。
245.遮挡检测装置还可以包括摄像头、蓝牙模块等,在此不再赘述。
246.图18中描述的遮挡检测装置可以用于实施本技术图3介绍的方法实施例中的部分或全部流程,可参见前述图3所述实施例中的相关阐述,这里不再赘述。
247.本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当该计算机指令在遮挡检测装置上运行时,使得遮挡检测装置执行上述相关方法步骤实现上述实施例中的遮挡检测方法。
248.本实施例还提供了一种计算机程序产品,当该计算机程序产品在遮挡检测装置上运行时,使得遮挡检测装置执行上述相关步骤,以实现上述实施例中的遮挡检测方法。
249.另外,本技术的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中的遮
挡检测方法。
250.其中,本实施例提供的遮挡检测装置、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
251.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
252.在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,该模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其他的形式。
253.作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
254.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
255.该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
256.以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献