一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

检测方法及电子设备与流程

2023-02-10 18:06:51 来源:中国专利 TAG:


1.本技术涉及电子技术领域,尤其涉及检测方法及电子设备。


背景技术:

2.目前,更多用户热衷于皮肤问题的预防。皮肤问题可包括黑头、色斑、皱纹等。其中,有许多皮肤问题可由紫外线照射产生。这种情况下,采取一些物理或化学方式降低紫外线的伤害就显得尤为重要。在化学防晒措施中,用户可以在需要防晒的部位涂抹防晒霜,如此可以吸收一部分紫外线,减轻紫外线对涂抹防晒霜部位的伤害。
3.但在一些场景中,用户经常忘记涂抹防晒霜,或者即便用户涂抹防晒霜,也可能涂抹的并不均匀,用户仍会暴露在强紫外线下的照射下,用户的一系列皮肤问题仍没有得到有效的解决方法。为此,本技术实施例提供一种检测方法。该检测方法可以但不限于检测防晒霜涂抹情况。


技术实现要素:

4.本技术提供的检测方法及电子设备,电子设备具有紫外摄像头,通过紫外摄像头和rgb摄像头分别采集紫外图像和彩色图像,并将识别的紫外图像中的第一区域匹配到对应的彩色图像中,提高用户的使用体验。
5.为达到上述目的,本技术采用如下技术方案:
6.第一方面,本技术提供一种检测方法,该方法应用于电子设备或能够实现或匹配实现电子设备功能的装置(比如芯片),以电子设备为例,电子设备包括第一摄像头和第二摄像头;其中,第一摄像头为彩色摄像头,第二摄像头为紫外摄像头,方法包括:
7.通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,其中,彩色图像包括第一内容。
8.其中,第一内容可以是彩色图像采集的待检测对象。待检测对象是待检测防晒霜涂抹情况的对象。待检测对象包括人体部位,比如脸部、手、胳膊等需要进行防晒的部位。待检测对象还可包括其他对象,比如,需要隔离紫外线进行防晒的车辆等物体。
9.基于紫外摄像头能够捕捉紫外线信息,且防晒霜能够吸收紫外线的特性,电子设备可根据紫外图像记录的紫外线信息能够确定防晒霜的涂抹情况,以便在紫外图像上确定防晒霜涂抹情况相关的区域,比如第一区域。之后,电子设备在彩色图像上确定与第一区域对应的第二区域,并显示用户界面,用户界面包括第一内容和用于指示第二区域的第一信息,即在彩色图像中标记防晒霜涂抹情况相关的第二区域。如此,用户可通过彩色图像观察防晒霜涂抹情况相关的第二区域。由于彩色图像成像细节更丰富,用户可根据彩色图像中标记的第二区域清晰准确的判断防晒霜涂抹情况,提高用户的使用体验。并且,用户能够根据防晒霜涂抹情况采取防晒措施,比如补涂防晒霜。可见,通过本技术实施例的技术方案,能够对用户防晒进行精细化指导,降低用户被晒伤的概率。
10.在第一方面的一种可能的设计中,第一内容包含第一人脸;第二图像包含第二人
脸,第一人脸和第二人脸属于同一用户;
11.在第二图像上确定第一区域,具体包括:
12.在第二图像的第二人脸上,确定第一区域;
13.在第一图像上确定与第一区域对应的第二区域,具体包括:
14.在第一图像的第一人脸上,确定与第一区域对应的第二区域。
15.如此一来,能够在紫外图像的人脸上确定防晒霜涂抹相关的区域,并将该区域匹配到彩色图像的人脸上的相应区域,使得用户能够根据彩色图像的人脸上的相应区域了解防晒霜涂抹情况,视觉效果更加直观,便于用户理解。
16.在第一方面的一种可能的设计中,第一区域为如下任一种或多种区域:涂抹防晒霜的区域,未涂抹防晒霜的区域,防晒霜涂抹不均匀的区域,防晒霜涂抹厚度大于第一阈值的区域,防晒霜涂抹厚度小于第二阈值的区域。
17.也就是说,电子设备能够精准检测到紫外图像的上述一种或多种区域,如此,能够提供给用户丰富的防晒提示,对用户防晒进行精细化指导。
18.在第一方面的一种可能的设计中,在通过第一摄像头采集第一图像,通过第二摄像头采集第二图像后,方法还包括:
19.通过第一摄像头采集第三图像,当第三图像满足第二条件时,通过第二摄像头采集第四图像;
20.确定第四图像上的第三区域;
21.根据第一区域,在第一图像上确定与第一区域对应的第二区域,包括:
22.根据第一区域和第三区域,在第一图像上确定与第一区域和第三区域对应的第二区域;
23.第二条件,包括:第三图像包括人脸,且第三图像包括的人脸相对于电子设备的角度在预设角度范围内。
24.该方案中,通过采集不同角度的紫外图像进行防晒霜涂抹信息的联合分析,能够提高检测的精准度,能够对用户防晒进行精细化指导。
25.在第一方面的一种可能的设计中,通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,包括:在同一时刻,通过第一摄像头采集第一图像以及通过第二摄像头采集第二图像。
26.其中,紫外图像可用于检测防晒霜涂抹情况。彩色图像可用于检测人脸,还可用于识别人脸相对于电子设备的角度。
27.由于同一时刻,用户的脸部相对于电子设备的角度固定,因此,第一摄像头与第二摄像头同步采集图像,可以使得第一摄像头和第二摄像头所采集图像中人脸相对于电子设备的角度相同。这样一来,电子设备可以根据彩色图像中人脸相对于电子设备的角度推知紫外图像中人脸相对于电子设备的角度,以便确定紫外图像的可用性。
28.在第一方面的一种可能的设计中,通过第一摄像头采集第一图像,通过第二摄像头采集第二图像,包括:
29.通过第一摄像头采集第五图像;
30.当第五图像满足第一条件时,通过第一摄像头采集第一图像以及通过第二摄像头采集第二图像;
31.第一条件,包括:第五图像包括人脸。
32.在该检测方案中,电子设备先通过彩色摄像头采集彩色图像,在确定彩色图像中包括人脸,即存在待检测防晒霜涂抹情况的对象时,电子设备再通过紫外摄像头采集紫外图像(用于检测防晒霜涂抹情况),以及通过彩色摄像头采集彩色图像,以防止较早开启紫外摄像头导致的功耗问题。
33.在第一方面的一种可能的设计中,电子设备还包括紫外补光灯,通过第二摄像头采集第二图像,包括:打开紫外补光灯,通过第二摄像头采集第二图像。此种联动设置方式中,由于能够联动开启紫外摄像头和紫外补光灯,进而可使得采集紫外图像的实现复杂度较低。
34.在第一方面的一种可能的设计中,方法还包括:
35.确定环境紫外线强度;
36.通过第二摄像头采集第二图像,包括:
37.在环境紫外线强度小于第三阈值时,打开紫外补光灯,通过第二摄像头采集第二图像。
38.也就是说,只有在环境紫外线强度较小时,才开启紫外补光灯,因此,能够降低紫外补光灯对人体的伤害。
39.在第一方面的一种可能的设计中,在通过第一摄像头采集第一图像,通过第二摄像头采集第二图像后,以及通过第二摄像头采集第四图像之前,方法还包括:显示第二信息,第二信息用于提示用户调整人脸相对于电子设备的角度。通过向用户提示调整角度,使得电子设备能够采集多个角度的紫外图像,进而能够通过不同角度的紫外图像进行防晒霜涂抹信息的联合分析,提高检测的精准度。
40.在第一方面的一种可能的设计中,在第二图像的第二人脸上,确定第一区域,包括:
41.在第二图像的第二人脸上确定第四区域;
42.根据第四区域包含的像素的像素值,在第二图像的第四区域中确定第一区域。
43.在第一方面的一种可能的设计中,根据第四区域包含的像素的像素值,在第二图像的第四区域中确定第一区域,包括:
44.根据第四区域包含的像素的像素值,在第四区域中确定多个目标子区域,将多个目标子区域中面积大于或等于第四阈值的目标子区域确定为第一区域,目标子区域满足第三条件,第三条件包括:目标子区域的像素均值小于第五阈值,目标子区域包含的像素的像素值小于第六阈值。
45.采用该方案,手机可以在候选的防晒霜涂抹区域中排除黑痣等小面积区域,从而降低黑痣等部位被误判为涂抹防晒霜区域的概率,提高检测准确度。
46.在第一方面的一种可能的设计中,在第二图像上确定第一区域之前,方法还包括:
47.根据第一图像中的第一人脸,确定第二图像中的第二人脸。
48.该方案中,考虑到彩色图像比紫外图像的成像细节更丰富,画质更高。因此,手机可以在彩色图像中准确的识别人脸,并将识别出的人脸相应区域匹配到紫外图像中。
49.在第一方面的一种可能的设计中,第三区域为如下任一种或多种区域:涂抹防晒霜的区域,未涂抹防晒霜的区域,防晒霜涂抹不均匀的区域,防晒霜涂抹厚度大于第一阈值
的区域,防晒霜涂抹厚度小于第二阈值的区域。
50.在第一方面的一种可能的设计中,第四区域不包括人脸中的眼睛、眉毛、嘴巴对应的区域。第四区域通常是无需涂抹防晒霜的区域。该方案中,从紫外图像的人脸中确定第四区域,并在第四区域中确定第一区域。由于能够不计算眼睛、眉毛、嘴巴等区域的像素值,因此能够降低计算量,提高电子设备的检测效率。
51.在第一方面的一种可能的设计中,第一信息还用于指示第二区域的防晒霜涂抹均匀程度和/或防晒霜涂抹薄厚程度和/或是否涂抹防晒霜。如此,用户能够通过电子设备显示的第一信息,获悉准确的防晒霜涂抹情况,便于防晒指导。
52.第二方面,提供一种电子设备,电子设备包括处理器、显示屏、第一摄像头和第二摄像头;其中,第一摄像头为彩色摄像头,第二摄像头为紫外摄像头;
53.第一摄像头,用于采集第一图像;
54.第二摄像头,用于采集第二图像,其中,第一图像包含第一内容;
55.处理器,用于在第二图像上确定第一区域;根据第一区域,在第一图像上确定与第一区域对应的第二区域;
56.显示屏,用于显示用户界面,用户界面包括第一内容和第一信息,第一信息用于指示第二区域。
57.在第二方面的一种可能的设计中,第一内容包含第一人脸;第二图像包含第二人脸,第一人脸和第二人脸属于同一用户;
58.在第二图像上确定第一区域,具体包括:
59.在第二图像的第二人脸上,确定第一区域;
60.在第一图像上确定与第一区域对应的第二区域,具体包括:
61.在第一图像的第一人脸上,确定与第一区域对应的第二区域。
62.在第二方面的一种可能的设计中,第一区域为如下任一种或多种区域:涂抹防晒霜的区域,未涂抹防晒霜的区域,防晒霜涂抹不均匀的区域,防晒霜涂抹厚度大于第一阈值的区域,防晒霜涂抹厚度小于第二阈值的区域。
63.在第二方面的一种可能的设计中,第一摄像头,还用于采集第三图像,第二摄像头,用于当第三图像满足第二条件时,采集第四图像;
64.处理器,用于确定第四图像上的第三区域;
65.根据第一区域,在第一图像上确定与第一区域对应的第二区域,包括:
66.根据第一区域和第三区域,在第一图像上确定与第一区域和第三区域对应的第二区域;
67.第二条件,包括:第三图像包括人脸,且第三图像包括的人脸相对于电子设备的角度在预设角度范围内。
68.在第二方面的一种可能的设计中,第一摄像头,用于采集第一图像,第二摄像头,用于采集第二图像,包括:在同一时刻,第一摄像头采集第一图像以及第二摄像头采集第二图像。
69.在第二方面的一种可能的设计中,第一摄像头,用于采集第一图像,第二摄像头,用于采集第二图像,包括:
70.第一摄像头,用于采集第五图像;当第五图像满足第一条件时,采集第一图像,以
及第二摄像头,用于采集第二图像;
71.第一条件,包括:第五图像包括人脸。
72.在第二方面的一种可能的设计中,电子设备还包括紫外补光灯,第二摄像头,用于采集第二图像,包括:打开紫外补光灯,第二摄像头采集第二图像。
73.在第二方面的一种可能的设计中,处理器,还用于确定环境紫外线强度;
74.第二摄像头,用于采集第二图像,包括:
75.在环境紫外线强度小于第三阈值时,打开紫外补光灯,第二摄像头采集第二图像。
76.在第二方面的一种可能的设计中,显示屏,还用于显示第二信息,第二信息用于提示用户调整人脸相对于电子设备的角度。
77.在第二方面的一种可能的设计中,在第二图像的第二人脸上,确定第一区域,包括:
78.在第二图像的第二人脸上确定第四区域;
79.根据第四区域包含的像素的像素值,在第二图像的第四区域中确定第一区域。
80.在第二方面的一种可能的设计中,根据第四区域包含的像素的像素值,在第二图像的第四区域中确定第一区域,包括:
81.根据第四区域包含的像素的像素值,在第四区域中确定多个目标子区域,将多个目标子区域中面积大于或等于第四阈值的目标子区域确定为第一区域,目标子区域满足第三条件,第三条件包括:目标子区域的像素均值小于第五阈值,目标子区域包含的像素的像素值小于第六阈值。
82.在第二方面的一种可能的设计中,处理器,还用于根据第一图像中的第一人脸,确定第二图像中的第二人脸。
83.在第二方面的一种可能的设计中,第三区域为如下任一种或多种区域:涂抹防晒霜的区域,未涂抹防晒霜的区域,防晒霜涂抹不均匀的区域,防晒霜涂抹厚度大于第一阈值的区域,防晒霜涂抹厚度小于第二阈值的区域。
84.在第二方面的一种可能的设计中,第四区域不包括人脸中的眼睛、眉毛、嘴巴对应的区域。第四区域通常是无需涂抹防晒霜的区域。
85.在第二方面的一种可能的设计中,第一信息还用于指示第二区域的防晒霜涂抹均匀程度和/或防晒霜涂抹薄厚程度和/或是否涂抹防晒霜。
86.第三方面,本技术提供一种电子设备,该电子设备具有实现如上述任一方面及其中任一种可能的实现方式中的检测方法的功能。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。
87.第四方面,本技术提供一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如任一方面及其中任一种可能的实现方式中任一项的检测方法。
88.第五方面,本技术提供一种计算机程序产品,当计算机程序产品在电子设备上运行时,使得电子设备执行如任一方面及其中任一种可能的实现方式中任一项的检测方法。
89.第六方面,提供一种电路系统,电路系统包括处理电路,处理电路被配置为执行如上述任一方面及其中任一种可能的实现方式中的检测方法。
90.第七方面,本技术实施例提供一种芯片系统,包括至少一个处理器和至少一个接
口电路,至少一个接口电路用于执行收发功能,并将指令发送给至少一个处理器,当至少一个处理器执行指令时,至少一个处理器执行如上述任一方面及其中任一种可能的实现方式中的检测方法。
附图说明
91.图1为本技术实施例提供的紫外成像原理的示意图;
92.图2a-图2e为本技术实施例提供的电子设备的形态示意图;
93.图2f为本技术实施例提供的电子设备的结构示意图;
94.图3为本技术实施例提供的电子设备的软件架构示意图;
95.图4为本技术实施例提供的界面图;
96.图5为本技术实施例提供的识别脸部角度的方法示意图;
97.图6为本技术实施例提供的界面图;
98.图7为本技术实施例提供的方法流程的示意图;
99.图8为本技术实施例提供的检测方法流程以及界面示意图;
100.图9为本技术实施例提供的检测方法流程以及界面示意图;
101.图10为本技术实施例提供的界面图;
102.图11为本技术实施例提供的检测方法流程以及界面示意图;
103.图12a为本技术实施例提供的检测方法流程的示意图;
104.图12b为本技术实施例提供的检测方法流程的示意图;
105.图13为本技术实施例提供的检测方法流程以及界面示意图;
106.图14为本技术实施例提供的检测方法流程的示意图;
107.图15为本技术实施例提供的分类器的训练以及使用的示意图;
108.图16为本技术实施例提供的检测方法流程的示意图;
109.图17为本技术实施例提供的检测方法流程的示意图;
110.图18为本技术实施例提供的检测方法流程的示意图;
111.图19、图20为本技术实施例提供的界面示意图;
112.图21为本技术实施例提供的装置的示意图;
113.图22为本技术实施例提供的芯片系统的示意图。
具体实施方式
114.首先,对本技术实施例涉及的一些技术术语进行介绍。
115.紫外线成像:紫外线的波长不在可见光波段范围内,因此,对于人眼来说,紫外线不可见。在一些方案中,可以利用紫外线作为光源,使用紫外线成像系统进行摄像,这种使用紫外线成像系统捕捉紫外线并成像的技术可称为紫外线成像技术。通过紫外线成像,用户可以观察物体在紫外线照射下形成的紫外图像。
116.紫外线成像系统包括紫外线摄像模组。紫外线摄像模组比如可以是可以捕获紫外线的摄像头,称为紫外线摄像头。如图1所示,紫外线摄像头可包括镜头、图像传感器等部件。该镜头可以是诸如但不限于石英玻璃一类的材质,可以透过紫外线。图像传感器可以记录穿过镜头的光线的信息。
117.本技术实施例中,考虑到紫外线成像系统的特点,可以将紫外线成像系统应用到皮肤检测(包括但不限于防晒霜涂抹检测)中,以便检测皮肤对紫外线的吸收或反射情况。
118.如图1所示,当紫外线照射到人物的不同部位,可产生反射或被人体部位吸收。比如,在没有涂抹防晒霜的脖颈等部位,会反射紫外线,反射的紫外线可以穿过紫外线镜头,进而在图像传感器上记录到紫外线的信息。相应的,脖颈等部位的成像区域的像素值较高。在涂抹有防晒霜的脸部区域,防晒霜会保护皮肤,吸收部分紫外线,进而没有紫外线或较少紫外线被反射进紫外线镜头,在图像传感器也就记录不到或较少记录脸部涂抹防晒霜部位的光线信息。相应的,人脸的防晒霜涂抹部位的成像区域的像素值较低,比如图1所示的涂抹防晒霜的人脸部位的成像区域1为黑色。
119.可以理解,在其他条件相同时,某个部位防晒霜涂抹越厚,则对紫外线的吸收能力通常越强,那么,该部位在紫外图像中的成像像素值通常越低(颜色越深)。反之,某个部位防晒霜涂抹越薄,则对紫外线的吸收能力通常越弱,那么,该部位在紫外图像中的成像像素值通常越高(颜色越浅)。仍以图1为例,与区域1相比,区域2的防晒霜涂抹更薄,那么,紫外图像中区域2的成像像素值更高,颜色越浅。
120.本技术实施例提供一种检测方法,可以应用在电子设备中,该电子设备上安装有紫外补光灯以及紫外摄像头。本技术实施例中的电子设备可以是手机、平板电脑、可穿戴设备、车载设备、笔记本电脑、智能化妆镜(比如图2a所示)等,本技术实施例中的手机可以是折叠屏手机或非折叠屏手机,本技术实施例对电子设备的具体类型不作任何限制。
121.示例性的,电子设备100上摄像头的布局可以参见图2b,其中,电子设备100正面为显示屏194所在的平面。如图2b中(a)所示,摄像头1931位于电子设备100正面,则摄像头为前置摄像头。如图2b中(b)所示,摄像头1932位于电子设备100背面,则摄像头为后置摄像头。摄像头可包括紫外摄像头和彩色摄像头。彩色摄像头包括但不限于红绿蓝三基色(red,green,blue,rgb)摄像头。
122.可选的,本技术实施例的方案可以应用于具有多个显示屏的折叠屏(即显示屏能够折叠)的电子设备100上。
123.在一些实施例中,折叠屏可以为柔性折叠屏。其中,柔性折叠屏包括采用柔性材质制作的折叠轴。该柔性折叠屏的部分或全部采用柔性材质制作。例如:该柔性折叠屏中只有可折叠的部分(如折叠轴)采用柔性材质制作,其它部分采用刚性材质制作;或者,该柔性折叠屏全部采用柔性材质制作。该折叠屏可沿折叠轴折叠形成至少两个子屏。
124.示例性的,图2b中(c)示出了一种折叠屏电子设备100。响应于用户的操作,如图2b中(d)所示,沿折叠边向内折叠(或向外折叠)可折叠屏幕,使得可折叠屏幕形成至少两个子屏(例如a子屏和b子屏)。可选的,如图2b中(e)所示,在折叠的外侧有显示屏(例如c屏)。若电子设备100在c屏所在表面设置有摄像头。那么,在如图2b中(c)所示的电子设备100未折叠场景中,c屏上的摄像头在电子设备100的背面,可以视为后置摄像头。在如图2b中(e)所示的电子设备100已折叠场景中,c屏上的摄像头变为在电子设备100的正面,可以视为前置摄像头。也就是说,本技术中前置摄像头和后置摄像头并不对摄像头本身的性质进行限制,仅为一种位置关系的说明。
125.以图2b中的折叠屏手机为例,紫外摄像头可设置在诸如c屏(以挖孔或屏下摄像头等方式设置)上。这样一来,用户可通过该摄像头采集用户面部图像,并通过c屏查看防晒霜
涂抹情况。紫外摄像头还可设置在a屏(或b屏)上,这样一来,用户可通过该摄像头采集面部图像,并通过a屏(或b屏)查看防晒霜涂抹情况。
126.可选的,折叠屏电子设备的折叠屏可形成多个(比如2个、3个等)子屏。示例性的,如图2c中(1)所示的柔性折叠屏,可以包括折叠线030和折叠线031。在沿折叠线030纵向折叠后,可以形成如图2c中(2)所示的子屏032、子屏033和子屏034。
127.可选的,折叠屏电子设备的屏幕排列方式可以是诸如图2b中(d)所示的上下屏幕排列,或者,也可以为诸如图2d中(1)或(2)所示的左右屏幕排列等。本技术实施例对折叠屏电子设备的屏幕排列方式不做限制。如图2d中(1)所示的柔性折叠屏,在沿折叠线040横向折叠后,可以形成如图2d中(2)所示的子屏041、和子屏042。例如,该折叠屏设备在折叠状态(可参见图2e的(1)所示状态)可以为手机,在展开状态可以为平板电脑。
128.在本技术的实施例中,折叠屏可以是单面屏(即只有一面可以显示用户界面)也可以是双面屏(即相对的两面均可显示用户界面)。
129.对于单面折叠屏来说,折叠屏朝可显示用户界面的一面(即单面折叠屏的正面)进行翻折的情况,可以称为正向翻折;折叠屏朝可显示用户界面的一面的相对面(即单面折叠屏的背面)进行翻折的情况,可以称为反向翻折。例如,图2d中(2)表示正向翻折的示意图,图2e中(2)表示反向翻折的示意图。折叠屏设备可以确定当前是正向翻折还是反向翻折。
130.示例性的,图2f示出了电子设备100的一种结构示意图。电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,usb)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,sim)卡接口195等。
131.处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,ap),调制解调处理器,图形处理器(graphics processing unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
132.其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
133.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
134.在本技术的一些实施例中,处理器110用于在检测到触发检测的操作时,调用紫外摄像头拍摄紫外图像,并根据紫外图像对防晒霜涂抹情况进行检测。之后,处理器110可以控制通过显示屏向用户提示防晒霜涂抹情况。其中,防晒霜涂抹情况包括但不限于用户是否涂抹防晒霜、涂抹防晒霜的位置、未涂抹防晒霜的位置、涂抹防晒霜的位置防晒霜是否涂抹均匀、防晒霜未涂抹均匀的位置、各区域防晒霜涂抹的薄厚信息、防晒霜推荐信息。
135.作为一种可能的实现方式,处理器110控制紫外摄像头拍摄紫外图像,可以是控制紫外摄像头拍摄多张不同角度的紫外图像。之后,处理器110可以根据多张不同角度的紫外图像检测防晒霜涂抹情况。如此一来,可以抵消掉部分角度紫外图像中诸如反光区域导致的检测误差,提升检测结果的准确性。
136.作为一种可能的实现方式,处理器110控制通过显示屏向用户提示防晒霜涂抹情况,可以是在彩色图像中标记不同的面部区域,比如在彩色图像中标记防晒霜未涂抹均匀的位置等,彩色图像能够记录更加清晰的皮肤细节,有助于用户清晰辨别防晒霜涂抹情况,指导用户进行更加精细的防晒措施,比如,用户可以根据防晒霜涂抹情况进行精细的补涂。
137.充电管理模块140用于从充电器接收充电输入。
138.电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,显示屏194,摄像头193等供电。
139.电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
140.移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks,wlan)(如无线保真(wireless fidelity,wi-fi)网络),蓝牙(bluetooth,bt)等无线通信的解决方案。
141.电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
142.显示屏194用于显示图像,视频等。显示屏194包括显示面板。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n为大于1的正整数。
143.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
144.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。例如,isp可以根据拍摄参数控制感光元件进行曝光和拍照。
145.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。
146.在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。其中,摄像头193可以位于电子设备的边缘区域,可以为屏下摄像头,也可以是可升降的摄像头,或者挖孔摄像头。摄像头193可以包括后置摄像头,还可以包括前置摄像头。本技术实施例对摄像头193的具体位置和形态不予限定。
147.在本技术实施例中,摄像头193包括普通摄像头以及紫外摄像头。
148.其中,普通摄像头包括彩色摄像头。彩色摄像头比如可以但不限于是rgb摄像头。
149.本技术实施例中,彩色摄像头可用于采集图像,采集的图像可被用来确定是否存在人脸等待检测部位。采集的图像还可用来标记防晒霜涂抹情况。比如,手机可以在彩色图像中标记防晒霜没有涂抹均匀的位置。
150.紫外摄像头,可用来拍摄紫外图像,电子设备100可根据拍摄的紫外图像检测防晒霜涂抹情况。紫外摄像头,还可用来捕获当前环境中的紫外线。具体的,紫外摄像头中的图像传感器(比如cmos)捕获当前环境下的紫外线。电子设备100可根据捕获的紫外线确定当前环境下的紫外线强度。
151.本技术实施例中,电子设备100还可以包括紫外补光灯。该紫外补光灯可发射紫外线,可用于紫外摄像头的成像光源。作为一种可能的实现方式,为了避免紫外补光灯对用户的紫外线照射过度,仅在环境紫外线强度低于一定阈值,即环境紫外线强度达不到紫外摄像头成像所需的紫外线强度的情况下,才开启紫外补光灯。在环境紫外线强度高于阈值的情况下,电子设备不开启紫外补光灯。
152.其中,电子设备100获取环境紫外线强度,可以是通过自身的传感器检测紫外线强度,或者,可以从云侧获取环境紫外线强度。本技术实施例对电子设备100获取环境紫外线强度的方式不做限制。
153.数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
154.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,mpeg)1,mpeg2,mpeg3,mpeg4等。
155.npu为神经网络(neural-network,nn)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
156.在一些实施例中,npu利用图像识别技术,识别摄像头193采集到的图像中是否包含人脸图像。
157.外部存储器接口120可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
158.内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
159.电子设备100可以通过音频模块170,扬声器170a,受话器170b,麦克风170c,耳机接口170d,以及应用处理器等实现音频功能。例如音乐播放,录音等。
160.音频模块170用于将数字音频数据转换成模拟音频电信号输出,也用于将模拟音频电信号输入转换为数字音频数据,音频模块170可以包括模/数转换器和数/模转换器。例
如,音频模块170用于将麦克风170c输出的模拟音频电信号转换为数字音频数据。音频模块170还可以用于对音频数据进行编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
161.扬声器170a,也称“喇叭”,用于将模拟音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐,或收听免提通话。
162.受话器170b,也称“听筒”,用于将模拟音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170b靠近人耳接听语音。
163.麦克风170c,也称“话筒”,“传声器”,用于将声音信号转换为模拟音频电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170c发声,将声音信号输入到麦克风170c。其中,该麦克风170c可以是电子设备100的内置部件,也可以是电子设备100的外接配件。
164.在一些实施例中,电子设备100可以包括一个或多个麦克风170c,其中每一麦克风或多个麦克风合作可以实现采集各个方向的声音信号,并将采集到的声音信号转换为模拟音频电信号的功能,还可以实现降噪,识别声音来源,或定向录音功能等。
165.其中传感器模块180可以包括压力传感器180a,陀螺仪传感器180b,气压传感器180c,磁传感器180d,加速度传感器180e,距离传感器180f,接近光传感器180g,指纹传感器180h,温度传感器180j,触摸传感器180k,环境光传感器180l,骨传导传感器180m等。
166.其中,陀螺仪传感器180b,可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180b检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180b还可以用于导航,体感游戏场景。
167.距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,在拍摄场景下,电子设备100可以利用距离传感器180f测距以实现快速对焦。
168.触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。
169.可以理解的是,本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
170.电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构为例,示例性说明电子设备100的软件结构。
171.图3是本发明实施例的电子设备100的软件结构框图。
172.分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将电子设备的操作系统(例如and待检测区域d系统)分为四层,从下至上分别为内核层,硬件抽象层(hardware abstract layer,hal),应用程序框架层,以及应用程序层。
173.内核层是硬件和软件之间的层。内核层至少包含摄像头驱动,音频驱动,显示驱动,传感器驱动。传感器驱动包括但不限于图像传感器驱动、声敏传感器驱动。
174.在一些实施例中,比如在人脸识别场景中,内核层的诸如摄像头驱动被调用以开启摄像头。再比如,通过图像传感器驱动调用图像传感器完成图像采集。
175.硬件抽象层(hardware abstract layer,hal)位于内核层和应用程序框架层之间,用于定义驱动应用程序硬件实现的接口,将驱动硬件实现的值转化为软件实现程序语言。例如识别摄像头驱动的值,将其转化为软件程序语言上传至应用程序框架层,进而实现调用相应功能。
176.在一些实施例中,hal可以将摄像头193采集到的人脸图像上传至应用程序框架层进行进一步的处理。
177.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层从内核层经由hal获取原始输入事件,识别该输入事件所对应的控件。应用程序框架层包括一些预先定义的函数。
178.如图3所示,应用程序框架层可以包括视图系统,电话管理器,资源管理器,通知管理器,窗口管理器等。
179.在一些实施例中,应用框架层包括第一模块。第一模块用于通过摄像头驱动调用第一摄像头采集第一图像,通过摄像头驱动调用第二摄像头采集第二图像。之后,在所述第二图像上确定第一区域,并根据所述第一区域,在所述第一图像上确定与所述第一区域对应的第二区域。之后,第一模块可调用显示驱动显示用户界面,所述用户界面包括所述第一人脸和第一信息,所述第一信息用于指示所述第二区域。
180.可选的,第一模块还可以是设置在其他层中,并且,第一模块还可以划分为更多子模块。每个子模块用于执行相应功能。
181.视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
182.电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
183.资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
184.通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
185.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
186.应用程序层可以包括一系列应用程序包。
187.如图3所示,应用程序包可以包括相机,视频,通话,wlan,音乐,短信息,蓝牙,地图,日历,图库,导航等应用程序。
188.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
189.以下将以电子设备为具有诸如图2f和图3所示结构的手机为例,在一些实施例中,手机可以在检测到用户开启了诸如相机、镜子等应用时,开启本技术实施例的防晒霜涂抹检测方法。或者,手机也可以是在检测到用户向手机输入了预设指令之后,开启本技术实施例的防晒霜涂抹检测方法。本技术实施例并不限制开启防晒霜涂抹检测功能的方式。如下,以通过镜子应用中的开启防晒检测的开关开启防晒霜涂抹检测方法为例,对本技术实施例的技术方案进行介绍。
190.可选的,用户可以通过触摸操作、按键操作、隔空手势操作或语音操作等方式,指示手机启动镜子应用,并显示拍摄预览界面。示例性的,手机显示如图4中(a)所示的主界面,在检测到用户的诸如点击镜子应用图标的操作时,手机启动启动镜子应用,并调用普通摄像头(比如rgb摄像头)采集图像,显示图4中(b)所示的拍摄预览界面。或者,在检测到用户打开镜子应用的语音指示操作时,手机启动镜子应用,并调用普通摄像头捕捉图像,得到图4中(b)所示的拍摄预览界面。拍摄预览界面可包括一个或多个控件,用于实现不同功能。比如,包括设置控件401、防晒检测控件402。其中,设置控件401可用于对镜子应用的功能进行设置。防晒检测控件402可用于开启本技术实施例的防晒检测功能。
191.可选的,拍摄预览界面还可以包括其他控件。比如,可用于开启或关闭滤镜功能的控件、可用于开启或关闭闪光灯功能的控件、可用于观看美妆教程的控件、控制拍照的控件、用于调整焦距的控件、调整屏幕亮度的控件。
192.在一些实施例中,手机检测到诸如用户在拍摄预览界面的对防晒检测控件402的点击操作,则开启防晒霜涂抹检测功能。在开启防晒霜涂抹检测功能的情况下,手机可检测防晒霜的涂抹情况。作为一种可能的实现方式,考虑到紫外摄像头(第二摄像头的一种示例)可以捕捉紫外线的成像特点以及防晒霜有吸收紫外线的特点,手机可以调用紫外摄像头采集一张或多张紫外图像,并根据该一张或多张紫外图像检测防晒霜的涂抹情况。
193.作为一种可能的实现方式,在触发手机开启防晒检测功能,比如用户点击如图4的(b)所示的防晒检测控件402后,手机可继续调用彩色摄像头(第一摄像头的一种示例)采集彩色图像。
194.在一些实施例中,若通过彩色摄像头检测到采集的图像(第五图像的一个示例)满足第一条件,比如该图像中存在人脸,则手机可以自动调用紫外摄像头采集紫外图像,通过彩色摄像头采集彩色图像。其中,紫外摄像头与彩色摄像头可以是同步采集,或者交替采集图像。
195.在一些实施例中,考虑到紫外线对人体的副作用以及紫外摄像头成像的效果,手机可以设置紫外补光灯,手机可以检测并基于环境紫外线强度判断是否在采集紫外图像时开启紫外补光灯。作为一种可能的实现方式,若通过彩色摄像头检测到采集的图像(第五图像的一个示例)存在人脸,则手机可以调用紫外摄像头捕获环境紫外线,并根据捕获的紫外线确定环境紫外线强度。在一些情况下,若环境的当前紫外线强度低于第三阈值,说明环境的紫外线强度达不到紫外摄像头成像的所需强度,则手机开启紫外补光灯,在开启紫外补光灯的情况下调用紫外摄像头采集预设数目的紫外图像,以及调用彩色摄像头采集彩色图
像。在另一些情况下,若环境的当前紫外线强度高于第三阈值,则手机调用紫外摄像头(可以不开启紫外补光灯)采集预设数目的紫外图像。可选的,在采集完预设数目的紫外图像后,关闭紫外摄像头,以降低紫外摄像头工作带来的功耗。
196.需要说明的是,在开启紫外摄像头后,手机可以不关闭彩色摄像头。其中,彩色摄像头采集的图像可以显示在预览界面中,提供给用户观看。紫外摄像头采集的图像可用来确定防晒霜的涂抹情况。
197.其中,在开启紫外补光灯用以补充紫外摄像头的光源强度的情况下,为降低紫外补光灯对用户的紫外照射,还需及时关闭紫外补光灯。本技术实施例中,关闭紫外补光灯,可以是:在检测到预设数目的紫外图像采集完成后,自动关闭紫外补光灯。或者,在检测到紫外补光灯的开启时长达到t1时,自动关闭紫外补光灯。或者,还可以结合开启时长和预设数目的紫外图像是否采集完成来判断是否关闭紫外补光灯。比如,在检测到紫外补光灯的开启时长达到t1,且预设数目的紫外图像采集完成后,自动关闭紫外补光灯。
198.在另一些实施例中,可以设置紫外补光灯与紫外摄像头联动。此种设置下,若通过普通摄像头检测到图像中存在人脸,则可以开启紫外摄像头以及联动的紫外补光灯,并可以通过紫外摄像头采集预设数目的紫外图像。此种联动设置方式中,由于能够联动开启紫外摄像头和紫外补光灯,进而可使得采集紫外图像的实现复杂度较低。
199.在另一些实施例中,手机开启紫外摄像头,还可以由用户的操作触发。比如,用户界面中设置用于触发紫外摄像头采集紫外图像的控件,当检测到用户对该控件的预设操作后,手机可开启紫外摄像头采集紫外图像。可选的,彩色摄像头同步采集彩色图像。
200.之后,手机可根据采集的紫外图像,检测防晒霜的涂抹情况。在检测到防晒霜的涂抹情况后,手机向用户提示防晒霜的涂抹信息。其中,防晒霜的涂抹信息包括但不限于如下任一项或多项信息:用户是否涂抹防晒霜、涂抹防晒霜的位置、未涂抹防晒霜的位置、防晒霜是否涂抹均匀、防晒霜未涂抹均匀的位置、各区域防晒霜涂抹的薄厚信息、防晒霜推荐信息。
201.示例性的,如图4的(b)所示,手机检测到用户对防晒检测控件402的点击操作,则检测防晒霜的涂抹情况,并可以向用户呈现图4的(c)所示提示框403。
202.通过本技术实施例的防晒霜涂抹检测方案,用户可以直观的从手机的标记确定防晒霜没有涂抹均匀或者涂抹较薄的精确位置,以便根据该精确位置进行防晒霜补涂,能够对用户进行精细的防晒指导。
203.可选的,为了提升检测结果的精确度,还可以采集特定角度的紫外图像,并根据特定角度的紫外图像确定防晒霜涂抹情况。比如,手机可以采集正脸的紫外图像,并根据正脸的紫外图像确定防晒霜涂抹情况。可选的,手机可以在采集正脸的紫外图像前,向用户提示“将正脸对准手机”,以便用户在提示下将正脸对准手机。
204.可选的,考虑到在某些场景中,人脸的某些部位在所采集的某个角度紫外图像中出现诸如反光等问题,导致由该角度紫外图像判断防晒霜涂抹情况时判断不准确,本技术实施例中,可以采集不同角度的脸部紫外图像,并根据不同角度的脸部紫外图像判断防晒霜涂抹情况。也就是说,紫外线摄像头采集的上述预设数目的紫外图像可以为多张紫外图像,且该多张紫外图像为用户脸部转到不同角度时采集的图像,多张紫外图像包括不同角度的人脸图像信息。不同紫外图像可以对应不同的面部角度。这里的角度可以是用户脸部
相对于手机的角度。
205.如此一来,对人脸的某个部位来说,可以有不同角度的图像信息,根据该部位的不同角度的图像信息,可以更准确地判断该部位的防晒霜涂抹情况。
206.作为一种可能的实现方式,手机可以基于图像中检测到的部分人脸关键点之间的位置关系确定该图像中人脸相对于手机的角度。其中,用于检测角度、位置等关系的面部关键点可以是左脸关键点p1,鼻翼附近关键点p2,右脸关键点p3,关键点之间的位置关系比例=(p2-p1)/(p3-p2)。手机可根据关键点的位置关系比例与实际左右转动角度之间的关系,得到所采集图像的角度。其中,p2-p1表示p2与p1之间的距离,p3-p2表示p3与p2之间的距离。示例性的,当手机采集到的图像为如图5的(a)所示的图像1401,则手机根据计算面部关键点的位置关系比例,并确定该比例对应正脸角度。当手机采集到的图像为如图5的(b)所示图像1402,则手机根据计算面部关键点的位置关系比例,并确定该比例对应用户的脸部向右转动了30度。其中,图像1401、1402可以是彩色图像或紫外图像。
207.作为一种可能的实现方式,rgb摄像头与紫外摄像头可同步工作,意味着,在同一时刻,手机同时调用rgb摄像头以及紫外摄像头。并且,手机可识别rgb摄像头采集的rgb图像的人脸关键点,并根据rgb图像的人脸关键点判断rgb图像中人脸对于手机的角度,这样一来,手机可据此推知与该rgb图像同步采集的紫外图像中人脸相对于手机的角度。
208.作为另一种可能的实现方式,rgb摄像头可以不与紫外摄像头同步工作。此种情况下,手机可以确定rgb图像中的人脸关键点,并根据图像匹配算法以及rgb图像中的人脸关键点识别紫外图像中的人脸关键点。之后,手机可根据紫外图像中的人脸关键点确定紫外图像中人脸相对于手机的角度。
209.可选的,手机采集多个角度的多个脸部紫外图像,可以是用户主动转动头部(向左转动或向右转动头部)过程中,手机采集多个角度的脸部紫外图像。示例性的,用户打开镜子应用,并通过诸如点击图4的(b)所示防晒检测控件402指示手机开启防晒检测功能,手机可以通过紫外摄像头实时或按照一定周期采集紫外图像,并在采集紫外图像的同时通过rgb摄像头采集rgb图像。可选的,手机可以计算每张rgb图像中人脸相对于手机的角度,并根据计算得到的角度,从多张rgb图像中选择角度符合预设条件的目标rgb图像,目标rgb图像对应的紫外图像可作为用来计算防晒霜涂抹情况的紫外图像。角度符合预设条件可以指,rgb图像中人脸相对于手机的角度在左转第一预设角度范围内,或者在右转第二预设角度范围内,或者在正对手机的角度范围内。示例性的,以第一预设角度、第二预设角度均为10-30度,人脸正对手机是人脸相对于手机的角度在左转5度到右转5度之间为例,手机了10张rgb图像,且其中1张rgb图像中人脸相对于手机的角度为左转25度,1张rgb图像中人脸相对于手机的角度为右转20度,1张rgb图像中人脸相对于手机的角度为右转25度,1张rgb图像中人脸相对于手机的角度为左转2度,那么,手机将这4张rgb图像作为符合预设条件的目标rgb图像,这4张rgb图像对应的紫外图像可作为用来计算防晒霜涂抹情况的紫外图像。
210.当然,第一预设角度,第二预设角度,正对角度可以另行灵活设置。预设条件也可以另行设置,本技术实施例对此不做限制。
211.示例性的,手机采集10张rgb图像(rgb图像1-10)和10张紫外图像(紫外图像1-10),其中,rgb图像l(l是正整数,l大于或等于1,且小于或等于10)与紫外图像l是同步采集的。其中,rgb图像3-rgb图像5在左转30度至右转30度范围内,则手机可以将rgb图像3-rgb
图像5对应的紫外图像3-5作为用来计算防晒霜涂抹情况的紫外图像。
212.或者,可选的,手机采集多个角度的多个脸部紫外图像,也可以是手机提示用户转动头部,用户在手机的提示下转动头部的过程中,手机采集不同角度的脸部紫外图像。手机检测到用户的诸如点击图4的(b)所示防晒检测控件402的操作,则手机开启防晒检测功能。可选的,如图6的(a)所示,手机可在预览界面中提示用户正脸对准手机,并通过rgb图像采集rgb图像,并通过紫外摄像头采集紫外图像。手机可根据rgb图像判断rgb图像中人脸相对于手机的角度,在确定人脸正对手机,即采集到正脸的rgb图像(第三图像的一个示例)以及正脸的紫外图像(人脸相对于手机的角度满足第二条件,即符合正脸角度范围)的情况下,手机可继续采集其他角度的rgb图像以及采集其他角度的紫外图像。可选的,在确定已采集到正脸的rgb图像以及正脸的紫外图像后,手机还可以在预览界面中呈现图6的(b)所示提示框405(第二信息的一个示例),以提示用户向左转动头部。手机通过rgb图像采集rgb图像(第四图像),并通过紫外摄像头采集紫外图像(第六图像)。在手机根据采集的rgb图像确定人脸角度满足左转一定角度的情况下,手机可继续采集其他角度的rgb图像以及采集其他角度的紫外图像。之后,可选的,在确定已采集到左侧脸的rgb图像以及左侧脸的紫外图像后,手机还可以再预览界面中呈现图6的(c)所示提示框406,以提示用户向右转动头部。可选的,预览界面呈现的图像可以是彩色图像。在用户转动头部的过程中,手机可调用紫外摄像头相应采集多张紫外图像以及调用彩色摄像头采集多张彩色图像。其中,彩色图像可用来呈现预览界面以及辅助确定紫外图像中人脸相对于手机的角度,多张紫外图像可用来确定防晒霜涂抹情况。之后,手机可呈现诸如图6的(d)所示提示框,以便向用户提示防晒霜的涂抹情况,对用户防晒进行有效精细的指导。
213.当然,手机提示用户转动头部的界面不限于图6所示界面。比如,直接提示用户“请向左或向右转动头部,以便采集多角度的人脸图像”。
214.需要说明的是,本技术实施例中提及的正脸图像,可以是在一定角度偏差范围内的图像,并非限制为人脸严格正对手机的图像。
215.可选的,手机呈现图6的(a)所示提示框,可以是在检测到用户的诸如点击图4的(b)所示防晒检测控件402的操作之后即刻呈现提示框405。也可以是在检测到用户的诸如点击防晒检测控件402的操作之后,在预设时段(可以灵活设置)内没有检测到用户转动头部的情况下呈现提示框405。本技术实施例并不限制手机提示用户转动头部的时机。
216.如下,仍以在镜子应用开启防晒检测功能为例,对基于紫外图像检测防晒霜涂抹情况的具体实现方法进行详细阐述。
217.首先,介绍检测是否涂抹防晒霜的流程。如图7所示,该流程包括如下步骤:
218.s101、手机识别rgb图像中的人脸图像。
219.作为一种可能的实现方式,考虑到rgb图像比紫外图像的成像细节更丰富,画质更高。因此,手机可以在rgb图像中识别人脸,并将识别出的人脸相应区域匹配到紫外图像中。
220.其中,rgb图像可以是在用户打开镜子应用后,手机调用rgb摄像头采集的,并不限制采集rgb图像的时机。比如,可以是在紫外摄像头采集紫外图像同时,rgb摄像头同步采集rgb图像,或者rgb摄像头与紫外摄像头交替采集。本技术实施例中主要以开启紫外摄像头后,rgb摄像头与紫外摄像头同步采集为例进行说明,但本技术实施例的技术方案不限于此。
221.作为一种可能的实现方式,手机基于人脸识别算法识别rgb图像中的人脸图像。可选的,手机可从识别出的人脸图像中提取面部特征点,并根据提取的面部特征点标记人脸图像中的眼睛、眉毛、嘴巴等通常不会涂抹防晒霜的面部部位。后续,手机在计算防晒霜的涂抹情况时,可以不对人脸图像的眼睛、眉毛等区域进行计算处理。如此,能够降低手机的计算量。示例性的,如图8的(a)所示,手机提取人脸图像中的面部特征点,并可以图8的(b)所示,在人脸图像中标记面部特征点中眼部、嘴巴等各自特征点包围的区域。
222.需要说明的是,图8中以包围眼部等成像区域的轮廓为方框,并标记方框区域为例进行举例,在另一些实施例中,包围眼部等成像区域的轮廓还可以为其他形状,比如圆形,再比如还可以为贴合眼部等成像区域边缘轮廓的形状。
223.本技术实施例中,可以在人脸图像中剔除眼部、嘴唇等无需涂抹防晒霜的区域,得到第四区域,后续,也就是后续步骤中所处理的人脸区域是剔除眼睛、嘴唇、眉毛等区域的区域(第四区域)。比如,手机可根据第四区域包含的像素的像素值,在所述第二图像的第四区域中确定第一区域,而不对第四区域外的像素进行遍历处理。
224.或者,并不剔除这部分区域,而是仅对这部分区域做出标记,后续,手机可以根据做出的标记选择不处理这部分区域的像素。
225.s102、手机根据rgb图像(第一图像的一个示例)中的人脸(第一人脸),获取紫外图像(第二图像的一个示例)中的人脸(第二人脸的一个示例)。
226.其中,第一人脸和所述第二人脸属于同一用户。
227.作为一种可能的实现方式,在手机获取rgb图像中的人脸图像后,手机可通过诸如图像匹配算法,获取紫外图像中的人脸图像。示例性的,图像匹配算法包括但不限于尺度不变特征变换(scale-invariant feature transform,sitf)算法。在sitf算法中,手机可以在rgb图像中提取人脸图像的关键点。关键点可以但不限于是不会因光照、尺度、旋转等因素而消失的点,比如下巴最下缘点、鼻翼最高点等。手机还可以获取人脸各关键点的特征向量,并根据rgb图像中人脸各关键点的特征向量在紫外图像中定位各关键点。如此,手机能够根据紫外图像的人脸关键点确定人脸图像。
228.以在紫外图像中定位下巴最下缘点、鼻翼最高点为例,手机获取rgb图像中下巴最下缘点的特征向量1,鼻翼最高点的特征向量2,并在紫外图像中查找特征向量最接近特征向量1的像素点作为下巴最下缘点,在紫外图像中查找特征向量最接近特征向量2的像素点作为鼻翼最高点。
229.示例性的,如图8的(b)以及(c)所示,手机可以根据rgb图像中的人脸图像识别紫外图像中的人脸图像。其中,手机还可以根据rgb图像中的眼部、嘴唇等位置识别紫外图像中的眼部、嘴唇等位置,后续,对眼部、嘴唇等位置的处理过程可以不同于脸部的其他区域。
230.本技术实施例中,可选的,获取紫外图像中的人脸图像后,手机还可以执行s103。
231.需要说明的是,上述实施例主要以彩色摄像头为rgb摄像头,且采集的采集彩色图像为rgb图像为例进行说明,本技术实施例中的彩色摄像头还可以是其他类型的摄像头,相应的,采集的彩色图像可以为其他类型。
232.s103、手机对紫外图像中的人脸图像进行预处理。
233.其中,预处理包括但不限于滤波处理,以便消除图像中噪声的影响。滤波可以包括但不限于均值滤波、中值滤波、高斯滤波等。
234.在一些实施例中,手机可以对紫外图像中人脸图像的全部区域进行预处理。或者,为了降低预处理的计算量,手机还可以对人脸图像中除眼部、嘴唇等(即通常无需涂抹防晒霜的区域)区域,即标记区域之外的区域进行预处理。
235.s104、手机基于紫外图像中的人脸图像,识别防晒霜涂抹情况。
236.本技术实施例中,手机可根据紫外图像的图像特征,在紫外图像(第二图像)的第二人脸上,确定第一区域,并确定第一区域的防晒霜涂抹情况。
237.其中,所述第一区域为如下任一种或多种区域:涂抹防晒霜的区域,未涂抹防晒霜的区域,防晒霜涂抹不均匀的区域,防晒霜涂抹均匀的区域,防晒霜涂抹厚度大于第一阈值的区域,防晒霜涂抹厚度小于第二阈值的区域。图像特征包括但不限于如下一个或多个特征:图像区域的平均像素值、最大像素值、最小像素值、图像区域中相邻像素的像素值的差值、图像区域中各像素的颜色、图像区域的对比度、直方图、方向梯度直方图(histogram of oriented gradients,hog)、标准差、色阶、均方差、方差。像素的颜色值包括rgb各通道的像素值。
238.如下介绍根据紫外图像的图像特征确定第一区域的原理。
239.首先,介绍基于紫外图像特征中的像素值确定涂抹防晒霜区域的原理。上文已提及,防晒霜能够吸收紫外线,因此,在紫外图像中,涂抹防晒霜的区域的亮度较低,对应的像素值通常较低,未涂抹防晒霜的区域的亮度较高,对应的像素值通常较高。基于该原理,手机可以检测人脸图像的像素值,并将像素值高于阈值的区域作为未涂抹防晒的区域,将将像素值小于或等于阈值的区域作为涂抹防晒的区域。
240.本技术实施例中,像素值高于像素阈值的区域,可称为高亮区域。像素值小于或等于阈值的区域,可称为非高亮区域。
241.作为一种可能的实现方式,可以设置大小为w1*w2的像素窗口。可通过滑动窗口遍历紫外图像中的人脸图像,窗口每滑动到一个位置时,就统计一次人脸图像在窗口区域内的像素均值-f,并将-f﹤t1的窗口区域划分为非高亮区域,将-f》t1的窗口区域划分为高亮区域。
242.示例性的,仍参见图8的(c),手机检测到紫外图像中像素均值高于阈值(颜色较浅)的成像区域为区域408a,那么,区域408a可被手机视为没涂抹防晒霜的部位对应的成像区域。反之,像素均值小于阈值(颜色较深)的成像区域407a被手机视为涂抹防晒霜部位对应的成像区域。
243.或者,手机可以遍历每个像素的像素值,将像素值大于阈值的像素划分进高亮区域,将像素值小于或等于该阈值的像素划分进非高亮区域。
244.可以理解,在其他条件相同时,某个部位防晒霜涂抹越厚,则对紫外线的吸收能力通常越强,那么,该部位在紫外图像中的成像像素值通常越低(颜色越深)。反之,某个部位防晒霜涂抹越薄,则对紫外线的吸收能力通常越弱,那么,该部位在紫外图像中的成像像素值通常越高(颜色越浅)。基于该原理,手机还可以根据紫外图像中包括的像素值确定防晒霜的涂抹均匀程度,以及涂抹薄厚程度。以图1为例,与区域1相比,区域2的防晒霜涂抹更薄,那么,紫外图像中区域2的成像像素值更高,颜色越浅。
245.手机在确定防晒霜涂抹情况(比如涂抹防晒霜的区域,没有涂抹防晒霜的区域)后,可以向用户提示防晒霜涂抹情况。本技术实施例中,可以在彩色图像或灰度图像中标记
防晒霜涂抹情况。图8介绍了在彩色图像中标记防晒霜涂抹情况的过程,图9介绍了在灰度图像中标记防晒霜涂抹情况的过程。如下结合图8、图9进行具体阐述。其中,图9的(a)、(b)的实现过程可参见图8的(a)、(b),本文不再赘述。
246.在一些实施例中,手机可以在彩色图像的人脸(第一人脸)中标记提示信息(第一信息)。其中,该彩色图像可以是在用户打开镜子应用后,手机调用彩色摄像头采集的。本技术实施例并不限制采集彩色图像的时机。比如,可以是在紫外摄像头采集紫外图像同时,彩色摄像头同步采集彩色图像,或者彩色摄像头与紫外摄像头交替采集。
247.作为一种可能的实现方式,手机可通过图像匹配算法,在所述彩色图像的所述人脸上,确定与上述第一区域对应的第二区域,即,将紫外图像中的第一区域匹配到彩色图像的第二区域。也就是说,可以在彩色图像中标记防晒霜提示信息。示例性的,手机根据图8的(c)所示紫外图像确定出防晒霜涂抹的区域为407a(第一区域的一个示例),并通过图像匹配算法将涂抹防晒霜的区域407a匹配到图8的(d)所示rgb图像的407a’(第二区域的一个示例),并在该rgb图像中标记出涂抹防晒霜的区域407a’。可以理解,手机还可以将紫外图像的未涂抹防晒霜区域408a(第一区域的又一示例)匹配到rgb图像的区域408a’,并在rgb图像中标记区域408a’(第二区域的又一示例)。
248.其中,彩色图像中的第二区域是紫外图像中第一区域对应的区域。所述第二区域为如下任一种或多种区域:涂抹防晒霜的区域,未涂抹防晒霜的区域,防晒霜涂抹不均匀的区域,防晒霜涂抹厚度大于第一阈值的区域,防晒霜涂抹厚度小于第二阈值的区域。
249.可选的,为了用户能够清晰辨别防晒霜的涂抹情况,可以用不同颜色标记防晒霜的不同涂抹情况。可选的,为了更加容易区分不同区域,用于表征不同涂抹情况的颜色之间的差异可以比较大。比如,用绿色轮廓线(第一信息的一个示例)标记涂抹防晒霜的区域,以便提示有防晒霜涂抹的位置,用红色轮廓线标记未涂抹防晒霜的区域,以便提示没有防晒霜涂抹的位置。再比如,仅标记没有涂抹防晒霜的位置,或者,仅标记涂抹防晒霜的位置。在彩色图像中标记防晒霜涂抹信息,可以更便于用户理解这些标记信息。并且,彩色图像往往能记录更加精细的皮肤状态,更利于指导用户进行防晒霜补涂。
250.可选的,手机可以在彩色图像的脸部相应区域呈现提示文本。比如,在涂抹防晒霜的区域附近,向用户提示该区域为涂抹防晒霜的区域。
251.可选的,手机可以隐藏提示文本,待检测到用户点击相应区域的情况下,手机呈现提示文本。比如,当检测到用户点击涂抹防晒霜的区域后,手机再向用户提示该区域是涂抹防晒霜的区域。
252.本实施例中,通过在彩色图像中标记诸如不同颜色的轮廓线,自动标记提示文本,基于用户操作标记提示文本等方式,能够显式或隐式向用户提示防晒霜涂抹情况。
253.可选的,所述第一信息还用于指示所述第二区域的防晒霜涂抹均匀程度和/或防晒霜涂抹薄厚程度和/或是否涂抹防晒霜。示例性的,如图4所示,手机还可以显式的以文本等形式提示防晒霜的涂抹薄厚程度,均匀程度等。或者,在用户点击虚线框包围的区域时,手机显示文本提示防晒霜的涂抹均匀度、薄厚程度等。
254.在另一些实施例中,手机在根据紫外图像确定防晒霜涂抹情况后,还可以在灰度图像中标记防晒霜涂抹情况。灰度图像可以是对紫外图像进行处理得到的图像。
255.作为一种可能的实现方式,可以对紫外图像进行处理,以加大涂抹防晒霜区域与
未涂抹防晒霜区域之间的像素差值差异。比如,可以将紫外图像中涂抹有防晒霜的区域的颜色加深,将紫外图像中没有涂抹防晒霜的区域的颜色变浅,使得紫外图像中涂抹有防晒霜的区域和没有涂抹防晒霜的区域的颜色深浅对比加深。
256.可选的,用于标记防晒霜涂抹情况的灰度图像可以是二值图像。也就是说,可以对紫外图像进行处理,得到相应的二值图像,并在该二值图像上标记防晒霜涂抹情况。其中,二值图像,即图像中像素的像素值有两种情况。可选的,为了加大涂抹区域与未涂抹区域之间的像素值差异,可以设置二值图像的两种像素值之间的差异大于一定阈值。示例性的,二值图像中任意像素的像素值可以是255(表示白色),或者0(表示黑色)。
257.以二值图像包括黑色像素和白色像素为例,作为一种可能的实现方式,手机计算紫外图像对应的二值图像,可以实现为:手机遍历紫外图像中人脸图像所包括的像素,对于遍历到的像素值大于阈值的像素,该像素在二值图像中相应位置的像素值被手机设置为诸如白色(白色像素的像素值比如可以是255),对于遍历到的像素值小于或等于阈值的像素,该像素在二值图像中相应位置的像素值被手机设置为诸如黑色(黑色像素的像素值比如可以是0)。示例性的,手机遍历如图9的(c)所示紫外人脸图像中所包括的各个像素,其中,紫外人脸图像的阴影区域407a所包括像素(对应涂抹防晒霜的区域)的像素值小于二值化阈值,那么,紫外图像的该阴影区域407a在二值图像中相应位置,即区域407a”所包括像素的像素值被设置为黑色。白色区域408a所包括像素的像素值大于阈值(对应可能没有涂抹防晒霜的区域),那么,紫外图像的白色区域408a在二值图像中相应位置,即区域408a’所包括像素的像素值被设置为白色。
258.需要说明的是,本技术实施例对手机计算二值图像的具体实现,以及计算二值图像时使用的阈值不做限制。
259.示例性的,如图9的(c)所示,假设紫外图像中阴影区域407a表示涂抹防晒霜的区域,其中,阴影中斜线的密度越高,表示防晒霜涂抹的越厚(对应区域的像素值越低),斜线的密度越低,表示防晒霜涂抹的越薄(对应区域的像素值越高)。用户肉眼观察的情况下,很可能难以辨别一些像素值比较接近的区域,比如,防晒霜涂抹薄的区域的像素值与没有涂抹防晒霜的区域的像素值比较接近,则用户可能将涂抹防晒霜的区域误判断为未涂抹防晒霜的区域,无法清晰辨别防晒霜的涂抹情况。为了提高涂抹和未涂抹区域之间的辨识度,手机可以通过二值图像标记是否涂抹防晒霜。示例性的,手机可以计算如图9的(c)所示紫外图像对应的二值图像,该二值图像如图9的(d)所示。由图9的(d)可以看出,该二值图像中两种像素值之间的差异较大。如此一来,涂抹防晒霜的区域和未涂抹防晒霜的区域之间的色彩对比加深,用户可更加方便直观的辨别出哪些部位涂抹了防晒霜,哪些部位没有涂抹防晒霜。
260.在另一些实施例中,在灰度图像中标记防晒霜涂抹情况,也可以是直接在紫外图像中标记防晒霜涂抹情况。比如,对于紫外图像中没有涂抹防晒霜的区域,用阴影或虚线框标记出该区域。
261.在另一些实施例中,如图10所示,手机可提供灰度视图和彩色视图两种选项控件。在检测到用户指示使用彩色视图的操作时,比如,手机检测到用户点击彩色视图控件时,在彩色图像上标记防晒霜涂抹情况。在检测到用户指示使用灰度视图的操作时,比如,手机检测到用户点击灰度视图控件时,则呈现灰度图像(比如二值图像),并通过灰度图像标记防
晒霜涂抹情况。
262.考虑到某些情况下,可能有干扰因素影响检测。比如,在紫外图像中,面部黑痣的成像特征与涂抹有防晒霜的部位的成像特征类似,因此,如果用户脸部有黑色痣,那么,黑痣有可能被误判为涂抹防晒霜的部位,意味着,黑痣很可能干扰防晒霜的检测结果。再比如,在紫外图像中,涂抹防晒霜但反光部位的成像特征与未涂抹防晒霜部位的成像特征类似,像素值均较高。基于该反光部位的该特点,在检测过程中,涂抹防晒霜但反光部位有可能误判为未涂抹防晒霜的部位。
263.可选的,为了降低检测结果的误判,进一步提升检测的识别准确度。比如,为了降低黑痣等部位被误判为涂抹防晒霜部位的概率,手机可以排除诸如黑痣等干扰因素的成像区域,即不将干扰区域确定为涂抹防晒霜的区域。考虑到用户涂抹防晒霜时,通常涂抹防晒霜的面积会较大。作为一种可能的实现方式,手机根据所述第四区域(人脸不包括眼睛、眉毛、嘴唇的区域)包含的像素的像素值,在所述第四区域中确定多个目标子区域,将所述多个目标子区域中面积大于或等于第四阈值的目标子区域确定为所述第一区域。所述目标子区域满足第三条件,所述第三条件包括但不限于如下任一项或多项:所述目标子区域的像素均值小于第一阈值,所述目标子区域包含的像素的像素值小于第二阈值。也就是说,对于紫外图像中面积小于面积阈值的非高亮区域,手机不将其确定为涂抹防晒霜的区域。对于紫外图像中面积大于或等于面积阈值的非高亮区域,手机将其确定为涂抹防晒霜的区域。
264.示例性的,如图11的(a)、(b)、(c)所示,紫外图像中像素值小于像素值阈值(颜色较深)的区域为407a、409a。其中,对于面积大于或等于阈值的区域407a,手机将其对应的部位确定为涂抹防晒霜的部位。对于面积小于阈值的区域409a,由于其可能是干扰因素的成像,手机不将其对应的部位确定为涂抹防晒霜的部位。最终,手机计算得到的涂抹防晒霜的部位为区域407a对应的部位,手机计算出的未涂抹防晒霜的部位为区域408a对应的部位。可选的,手机可显示图11的(d)所示的提示框,以提示用户对没有涂抹防晒霜的部位进行补涂。
265.可选的,为了降低反光部位被误判为未涂抹防晒霜部位的概率,本技术实施例中可以对多个角度的脸部紫外图像进行处理,并根据多角度的脸部紫外图像的处理结果筛查反光部位,以便确定涂抹防晒霜的区域以及未涂抹防晒霜的区域。具体的,作为一种可能的实现方式,参见图12a,上述步骤s104可包括如下步骤:
266.s201a、手机获取紫外图像901中人脸图像的高亮区域408a以及非高亮区域407a。
267.如图13所示,紫外图像901-903是开启防晒检测功能后,手机通过紫外摄像头采集的三张紫外图像。紫外图像901-903满足预设的角度条件,比如满足图像中人脸相对于手机的角度在左转30度至右转30度范围内。其中,紫外图像901可以是从多角度的多张紫外图像中选择的基准图像。可选的,基准图像是包括更多成像细节的图像。在一个示例中,基准图像可以是正脸角度的紫外图像。当然,基准图像可以是灵活确定的,并不限制基准图像的确定方式。
268.作为一种可能的实现方式,手机可按照上述实施例的方案确定紫外图像901中的人脸图像,并可以在人脸图像的眼部、嘴唇(通常不涂抹防晒霜的区域)之外的区域查找高亮区域以及非高亮区域,以便降低计算复杂度。
269.作为一种可能的实现方式,对紫外图像901,可根据像素值进行阈值分割,以定位
紫外图像901中的高亮区域以及非高亮区域。比如,设置阈值为t1(可灵活设置),手机可遍历图像901的像素,对于图像901中的像素,当像素值f(x,y)》t1,则手机将该像素作为高亮区域的构成像素,反之,当像素值f(x,y)《t1,则手机将该像素作为非高亮区域的构成像素。可选的,手机还可以计算高亮区域相对于眼睛、鼻子、嘴唇中一个或多个特定部位的相对位置坐标,以及手机可以计算非高亮区域相对于眼睛、鼻子、嘴唇中一个或多个特定部位的相对位置坐标。
270.示例性的,如图13的(a)所示,手机计算出紫外图像901中的高亮区域是408a以及非高亮区域407a。
271.s202a、根据紫外图像901的高亮区域408a,获取紫外图像902中与高亮区域408a对应的目标区域408b,以及获取紫外图像903中与高亮区域408a对应的目标区域408c。
272.作为一种可能的实现方式,可以采用图像匹配算法匹配不同角度紫外图像中的相应区域。
273.示例性的,仍参见图13,根据高亮区域408a在紫外图像901中的位置以及图像匹配算法,手机可获取高亮区域408a在紫外图像902中对应的目标区域408b。其中,高亮区域408a与紫外图像901中鼻子、眼部等特定部位的位置关系,目标区域408b与紫外图像902中鼻子、眼部等特定部位的位置关系,这两个位置关系一致。
274.再示例性的,仍参见图13,根据高亮区域408a在紫外图像901中的位置坐标以及图像匹配算法,手机可获取高亮区域408a在紫外图像903中对应的目标区域408c。
275.s203a、判断目标区域408b、408c是否包括目标非高亮区域。若至少一个目标区域包括目标非高亮区域,则执行步骤s204a,若目标区域均不包括目标非高亮区域,则执行步骤s205a。
276.以紫外图像902为例,如图13所示,若紫外图像902的目标区域408b包括非高亮区域,则说明紫外图像901中的高亮区域408a很可能包括反光区域和未涂抹防晒霜区域。此种情况下,将高亮区域408a直接确定为没有涂抹防晒霜的区域,可能导致误判。为了避免此种误判,可执行下述步骤s204a,从高亮区域408a中剔除可能导致误判的区域,被剔除的该区域可以由相应的非高亮区域替代。反之,若正脸紫外图像中高亮区域对应的一个或多个目标区域(比如图13的(b)所示目标区域408b、图13的(c)所示目标区域408c)均不包括非高亮区域,即全部角度的紫外图像的该区域全部为高亮区域,则说明正脸紫外图像中的高亮区域408a确实由未涂抹防晒霜导致,那么,可以不调整待检测区域,直接执行下述步骤s205a。
277.再示例性的,仍参见图13,对于高亮区域408a对应的目标区域408c(包括在紫外图像903中),手机检测其中是否包括非高亮区域。经检测,目标区域408c包括非高亮区域411a。
278.s204a、根据紫外图像901的高亮区域408a,非高亮区域407a以及目标非高亮区域,确定涂抹防晒霜的区域以及没有涂抹防晒霜的区域。
279.示例性的,如图13所示,手机可以根据紫外图像901、紫外图像902、紫外图像903筛查反光部位。具体的,如图13的(a)所示,阴影区域407a的像素值小于像素值阈值,区域408a的像素值大于像素值阈值。手机可以根据上述方法将区域408a对应的部位初步确定为可能没有涂抹防晒霜的部位,将区域407a初步确定为涂抹防晒霜的区域。其中,区域408a的白色像素可能是由于该区域408a对应的部位未涂抹防晒霜,或者,也可能由于区域408a对应的
部分部位未涂抹防晒霜,另外部分虽涂抹防晒霜但反光。为了进一步检测区域408a是否确实对应未涂防晒霜部位,手机可以在图13的(b)所示紫外图像902以及图13的(c)所示紫外图像903的相应位置,即区域408b、408c中查找是否存在目标非高亮区域。经查找,区域408b中存在目标非高亮区域410a,这说明目标非高亮区域410a对应的部位很可能涂抹有防晒霜但在正脸角度下产生了反光。那么,手机将区域410a确定为涂抹防晒霜的区域。类似的,对于紫外图像903的目标区域408c中存在目标非高亮区域411a,那么,手机将区域目标非高亮区域411a确定为涂抹防晒霜的区域。如此,手机最终计算的涂抹防晒霜的区域包括区域407a,区域410a以及区域411a,没有涂抹防晒霜的区域为408a中除区域410a以及区域411a外的区域。可选的,图13的(d)示出了防晒霜涂抹区域以及未涂抹区域。需要说明的是,图13的(d)仅示例性示出了防晒霜涂抹区域以及未涂抹区域,手机在实际处理过程中,也可以不生成图13的(d)所示图像。
280.可选的,手机可以可显示图13所示的提示框801,其中,虚线框包围区域是涂抹防晒霜的部位,虚线框之外的区域是没有涂抹防晒霜的区域。
281.s205a、根据图像901的非高亮区域407a以及高亮区域408a,确定涂抹防晒霜的区域以及没有涂抹防晒霜的区域。
282.在另一些情况下,手机初步确定可能未涂抹防晒霜的候选区域(比如图13所示的区域408a)后,结合其他角度的紫外图像,没有发现诸如反光区域,这意味着,候选区域确实为未涂抹防晒霜的区域。仍以图13为例,手机根据紫外图像901初步确定未涂抹防晒霜的区域408a之后,查找紫外图像902以及紫外图像903,若紫外图像902的相应位置(区域408b)、紫外图像903的相应位置(408c)中均不存在目标非高亮区域,则说明不存在诸如反光问题导致的误判问题,区域408a确实是未涂抹防晒霜的区域。即,手机最终确定没有涂抹防晒霜的区域为408a,涂抹防晒霜的区域为407a。
283.本技术实施例还提供一种检测方法,使用该方法可以确定涂抹防晒霜的区域以及没有涂抹防晒霜的区域。参见图12b,该方法包括:
284.s201b、手机获取多张紫外图像中人脸图像的高亮区域和/或非高亮区域。
285.对于一张紫外图像来说,该紫外图像可包括高亮区域和/或非高亮区域。手机可根据该紫外图像中的高亮区域确定该紫外图像中的非高亮区域,类似的,手机可根据该紫外图像中的非高亮区域确定非高亮区域。基于该原理,步骤s201b可实现为:手机获取多张紫外图像的每张紫外图像中人脸图像的高亮区域,并可以根据高亮区域确定非高亮区域。或者,手机获取每张紫外图像中人脸图像的非高亮区域,并可以根据非高亮区域确定高亮区域。或者,手机获取每张紫外图像中人脸图像的非高亮区域以及高亮区域。
286.示例性的,仍参见图13,在开启防晒检测功能后,手机通道紫外摄像头采集的紫外图像包括紫外图像901-903。手机可按照上述实施例的方法分别确定紫外图像901-903中的人脸图像1-3,并分别确定人脸图像1-3中的高亮区域以及非高亮区域。示例性的,在图13中,紫外图像901中人脸图像1的高亮区域为408a,非高亮区域为407a,紫外图像902中人脸图像2的高亮区域为408b,非高亮区域为410a以及407b,紫外图像903中人脸图像的高亮区域为408c,非高亮区域为407c以及411a。
287.s202b、手机根据高亮区域和/或非高亮区域,确定涂抹防晒霜的区域以及未涂抹防晒霜的区域。
288.示例性的,在紫外图像901中人脸图像1的高亮区域为408a,非高亮区域为407a,紫外图像902中人脸图像2的高亮区域为408b,非高亮区域为410a以及407b,紫外图像903中人脸图像的高亮区域为408c,非高亮区域为407c以及411a中,紫外图像中的区域407a对应紫外图像902中的407b,对应紫外图像903中的407c,紫外图像中的区域408a对应紫外图像902中的408b,对应紫外图像903中的408c。紫外图像903中的区域411a与紫外图像902中的区域410a并不具有对应关系,且紫外图像901中不存在于区域410a、411a对应的非高亮区域,手机确定涂抹防晒霜的区域为图13的(d)所示407a、410a、411a,没有涂抹防晒霜的区域为408a中除410a以及411a外的区域。
289.再示例性的,手机可获取紫外图像901中的非高亮区域407a,紫外图像902的非高亮区域407b,410a,紫外图像903中的非高亮区域407c,以及411a,并根据这些非高亮区域,确定高亮区域,并确定涂抹防晒霜的区域以及未涂抹防晒霜的区域。
290.再示例性的,手机可获取紫外图像901中的高亮区域408a,紫外图像902的高亮区域,即人脸中除眼睛、眉毛、嘴巴、407b、410a之外的区域,紫外图像903中的高亮区域,即人脸中除眼睛、眉毛、嘴巴、407c、411a之外的区域,并根据这些高亮区域,确定非高亮区域,并确定涂抹防晒霜的区域以及未涂抹防晒霜的区域。
291.本技术实施例还提供一种检测方法,使用该方法可以对涂抹防晒霜的涂抹均匀度进行检测。作为一种可能的实现方式,参见图14,本技术实施例中,可以从待检测区域提取多个图像特征,并将多个图像特征构成的特征向量输入分类器,由分类器输出相应部位防晒霜涂抹的均匀度。
292.其中,待检测区域可以是涂抹防晒霜的区域。可选的,确定防晒霜涂抹区域的方式可参见图12a或图12b等对应的实施例,这里不再赘述。
293.其中,特征向量包括多个图像特征。
294.首先,对本技术实施例涉及的分类器的训练过程进行介绍。训练过程如图15所示,训练用于识别防晒霜是否涂抹均匀的分类器,需要提供n(n为正整数)个样本,样本是涂抹均匀度已知的图像区域的特征向量及其标签(表征图像区域对应的部位是否均匀涂抹防晒霜),对多个样本进行训练即可得到分类器。
295.可选的,在训练分类器之前,可以对训练特征向量等数据进行处理,比如进行平滑处理,归一化处理。其中,归一化处理可降低算法的复杂度。平滑处理可进一步包括降噪、拟合等操作,以减少统计误差带来的影响。
296.可选的,为了提升分类器的识别准确率,可以对分类器进行评估、测试。当分类器的识别率达到一定阈值,说明该分类器已训练好。当分类器的识别率较低,可以继续训练分类器,直至分类器的识别准确率达到一定阈值。
297.可选的,分类器的训练过程可以在端侧(比如手机等终端)或云侧(比如服务器)。训练可以是离线训练或在线训练。本技术实施例对分类器的具体训练方式不做限制。后续,训练好的分类器可根据输入的涂抹均匀度未知的图像区域的特征向量,输出相应图像区域的防晒霜是否涂抹均匀。
298.图16示出了基于分类器识别防晒霜涂抹均匀度的方法流程。如图16所示,该方法包括:
299.s301、将待检测区域划分为多块子区域,分别提取多块子区域的特征向量。
300.其中,待检测区域即涂抹防晒霜的区域。确定涂抹防晒霜区域的具体实现可参见图12a或图12b等对应的实施例,这里不再赘述。
301.示例性的,如图17所示,手机将该待检测区域(即涂抹防晒霜的区域)分块,得到多块图像区域分别是图17的(b)所示区域1-区域3,并分别提取区域1-3的特征向量。假设区域1的特征向量为[f
11 f
12
... f
1i
],区域2的特征向量为[f
21 f
22 ... f
2i
],区域3的特征向量为[f
31 f
32 ... f
3i
],其中,f
ji
为区域j(j为1,2,3)的第i(i为正整数)个图像特征。三个特征向量可组合为如下特征矩阵:
[0302]
其中,图17的(a)所示待检测区域中,未标注斜线的方框,即白色方框表示没有涂抹防晒霜部位的像素。标注斜线的方框表示涂抹防晒霜部位的像素。斜线的密度可表征像素值高低。在一个示例中,斜线密度越高,像素值越小。可选的,像素值高低用用来表征涂抹薄厚。
[0303]
302、将多块区域的特征向量输入分类器,得到分类器对该多块区域的识别结果。
[0304]
示例性的,仍参见图17,手机将图像区域1-区域3的特征向量输入分类器,即将[f
11 f
12 ... f
1i
]、[f
21 f
22 ... f
2i
]、[f
31 f
32 ... f
3i
]这三个特征向量分别输入分类器,或者,将三个特征向量进行组合,形成特征矩阵,将特征矩阵输入分类器。之后,分类器根据输入的特征向量检测图像区域1-区域3的防晒霜涂抹是否均匀。经运算,分类器输出区域1-区域3的分类结果:区域1<->1,区域2<->0,区域3<->0。其中,1表示防晒霜涂抹不均匀,0表示防晒霜涂抹均匀。即,图像区域1的防晒霜涂抹不均匀,图像区域2、3的防晒霜涂抹均匀。
[0305]
s303、判断待检测区域划分成的每块区域的面积是否小于阈值。若是,则执行步骤s304。若否,则从待检测区域划分成的多块区域中选择分类结果为防晒霜未涂抹均匀的图像区域,将这部分图像区域更新为待检测区域,并跳转到步骤s301。
[0306]
可以理解,为了对皮肤防晒霜涂抹情况进行更精细的检测,可以对更小皮肤尺寸内的防晒霜涂抹均匀度进行检测。因此,可以设置阈值。当待检测区域划分成的图像区域的面积小于阈值t3时,认为满足皮肤防晒霜涂抹均匀度的检测粒度要求,可以不再进一步划分更小的图像区域。反之,当待检测区域划分成的图像区域的面积大于阈值时,需要再将较大的图像区域进行划分,形成较小的图像区域,并对较小的图像区域,进行涂抹均匀度检测,直至涂抹均匀度检测的图像区域尺寸粒度满足阈值,执行步骤s304。
[0307]
示例性的,经判断,假设如图17所示,区域1-区域3中每块图像区域的面积大于阈值,则手机根据区域1-区域3的分类结果:区域1<->1(涂抹不均匀),区域2<->0(涂抹均匀),区域3<->0,从区域1-区域3中选择分类结果为防晒霜未涂抹均匀的图像区域,即选择区域1,并将区域1更新为后续步骤中的待检测区域。
[0308]
之后,手机可跳转到步骤s301,将待检测区域(区域1)划分为多块区域,如图18所示,区域1被划分为区域4-区域6。并且,手机可分别提取多块区域4-区域6的特征向量,比如,[f
41 f
42 ... f
4i
]...[f
61 f
62 ... f
6i
]。区域4-区域6的特征向量还可组合为如下特征
矩阵:
[0309]
需要说明的是,每次划分更小的图像区域时,将一块大区域划分成的小区域的数目可以不同或相同。
[0310]
作为一种可能的实现方式,手机可根据m=n/iter划分更小图像区域。其中,iter为预设系数,m为n 1次分块的数目,n为第n次分块的数目,iter,m,n均为正整数,n为大于或等于1的整数。
[0311]
示例性的,在首次划分图像区域时,待检测区域可以划分为m=16块图像区域j。以iter=2为例,第二次划分图像区域时,n=16,iter=2,那么,对于首次划分形成的图像区域j,将图像区域j划分为m=16/2=8块图像区域k。第三次划分图像区域时,n=8,iter=2,那么,对于第二次划分形成的图像区域k,将图像区域k划分为m=8/2块图像区域,以此类推。当然,手机划分图像区域的方式还可以为其他,本技术实施例对此不进行限制。
[0312]
s304、根据分类器对待检测区域包括的多个图像区域的分类结果,获取防晒霜的涂抹均匀度。
[0313]
需要说明的是,待检测区域包括的图像区域的面积可以不同。比如,待检测区域包括图17所示区域1-区域3,区域1可进一步包括图18所示的区域4-区域6其中,区域1-3的分类结果如图17所示,区域4-区域6的分类结果如图18所示。可以看出,区域4为防晒霜涂抹不均匀的区域,防晒霜涂抹均匀的区域为区域2、35、6。
[0314]
作为一种可能的实现方式,手机计算待检测区域包括的每块图像区域的像素均值,并根据像素均值判断每块图像区域的防晒霜涂抹薄厚程度。通过检测均匀区域以及非均匀区域像素平均值-f。作为一种可能的设计,可以根据像素均值将防晒霜涂抹薄厚程度划分为几个层次。比如,划分为[0,t4)、[t4,t5)、[t5,t6)、[t6,t7)、[t7,255]这几个像素值区间,若某区域的像素均值-f<阈值t4,则确定该区域的防晒霜涂抹非常厚(过厚),若t4≤-f<阈值t5,则确定防晒霜涂抹厚度适中,若t5≤-f<阈值t6,则确定防晒霜涂抹较薄,若t7>-f≥t6,则确定防晒霜非常薄(过薄),若-f>t7,则确定没有涂抹防晒霜。示例性的,手机计算图17所示区域2、区域3、图18所示区域4-区域6中每块图像区域的像素均值,假设区域2,3,5,6的像素均值t4≤-f<阈值t5,则确定区域2,3,5,6的防晒霜涂抹厚度适中,区域4的像素均值f<t4,则手机可确定该区域的防晒霜涂抹厚度较厚。可以看出,由防晒霜涂抹均匀度检测流程,手机可以确定防晒霜涂抹不均匀的位置,还可以确定防晒霜涂抹不均匀位置的涂抹薄厚程度。在一些实施例中,手机还可以通过防晒霜涂抹均匀度检测流程确定防晒霜涂抹的其他信息,比如没有涂抹防晒霜的位置,防晒霜涂抹均匀位置的涂抹薄厚程度等。
[0315]
手机确定防晒霜涂抹情况后,可向用户提示防晒霜涂抹情况。包括但不限于提示未涂抹防晒霜的位置,提示涂抹不均匀的位置,提示指定区域的防晒霜涂抹薄厚程度。
[0316]
作为一种可能的实现方式,手机在向提示防晒霜涂抹情况时,可以在彩色图像中标记提示信息,用不同颜色、界面效果标记不同的涂抹情况。界面效果包括但不限于闪烁效果、发光效果、阴影效果。比如,某个区域为防晒霜涂抹不均匀的区域,其中,该区域的子区域a为涂抹厚度薄的区域,则子区域a被手机以红色且闪烁效果标记,这样一来,用户的注意
力会集中在防晒霜涂抹较薄的区域,并对该区域进行防晒霜补涂。
[0317]
在另一些实施例中,灰度图像中也可以通过一些界面效果来区分防晒霜涂抹情况。比如,灰度图像中均为黑色像素区域,黑色像素区域1标记闪烁效果,闪烁效果可表示防晒霜涂抹较薄,黑色像素区域2未标记闪烁效果,未标记闪烁效果可表示防晒霜涂抹厚度适中。
[0318]
需要说明的是,本技术实施例还可以根据实际应用场景另行划分像素值区间,并且,对各像素值区间代表的防晒霜涂抹薄厚程度不做限制。
[0319]
并且,本技术实施例中以像素值在0到255之间为例进行举例,在另一些实施例中,当采用更多或更少位(bit)表示颜色时,像素值还可以有其他数值范围,在此统一说明。
[0320]
可选的,不同区域的颜色、界面效果可以由系统预设,也可以由用户设置。
[0321]
可选的,手机可在提示界面上以文字等形式解释每种颜色、界面效果代表的防晒霜涂抹情况的含义。或者,也可以是用户点击相应区域后,手机以文字等形式说明每种颜色、界面效果代表的防晒霜涂抹情况的含义。
[0322]
本技术实施例还提供一种检测方法,在第六图像上确定第三区域,并根据上述实施例的第一区域和该第三区域,在第一图像的第一人脸上确定与第一区域和所述第三区域对应的所述第二区域。其中,第一图像、第六图像为不同角度的图像。所述第三区域为如下任一种或多种区域:涂抹防晒霜的区域,未涂抹防晒霜的区域,防晒霜涂抹不均匀的区域,防晒霜涂抹厚度大于第一阈值的区域,防晒霜涂抹厚度小于第二阈值的区域。
[0323]
示例性的,以图13为例,第一图像是紫外图像901,第六图像是图像902,假设手机在紫外图像901上确定的第一区域为非高亮区域407a,手机在紫外图像902上确定的第三区域是非高亮区域407b以及410a,那么,手机可根据第一区域和第三区域,在紫外图像901上确定与407b、410a、407a对应的第二区域,即407a以及410a。因此,手机可确定涂抹防晒霜的区域为407a以及410a。
[0324]
再示例性的,手机还可以采集多张不同角度的图像,比如,采集图13所示的紫外图像901-903,手机可根据三张紫外图像中的区域确定防晒霜涂抹情况。
[0325]
本技术实施例还提供一种检测方法,手机可以获取当前的天气状态,包括但不限于获取环境当前的紫外线强度。如此,手机可以根据当前的天线状态向用户推荐适合当前天气状态的防晒霜的信息。包括但不限于向用户提示适合当前天气状态的防晒霜的防晒指数(sun protection factor,spf),防晒霜涂抹薄厚程度。
[0326]
通常,紫外线强度可分为5级(当然不同分级方式下还可以划分为更多或更少级别),通常紫外线强度的级数越高则紫外线越强,需要用户进行更强的防晒措施。当手机获取到当前紫外线强度较强,则可以通过如下一种或多种方式指导用户防晒:向用户推荐更高防晒指数的防晒霜,向用户提示需要加厚涂抹的防晒霜。
[0327]
需要说明的是,防晒指数越高的防晒霜对紫外线的吸收能力通常越强,对皮肤的刺激通常越大,因此,手机在向用户推荐防晒霜时,并非向用户推荐防晒指数最高的防晒霜,而是可根据室外紫外线强度选择合适的防晒霜,以避免推荐过高防晒指数的防晒霜导致刺激用户肌肤。
[0328]
可选的,手机还可以检测用户的皮肤信息,比如肤质信息,是敏感型肌肤,油性肌肤,混合型肌肤等。手机可以根据用户的皮肤信息和其他信息(包括但不限于天气状态信
息)向用户推荐适合用户肤质的防晒霜,比如,推荐合适的防晒指数、涂抹厚度等。
[0329]
本技术实施例中,手机获取天气状态信息,可以是从云侧(比如服务器)获取,还可以是手机自己检测天气状态信息。
[0330]
以手机获取紫外线强度为例,手机可以检测当前的位置信息,当当前在室内时,手机可以从服务器获取紫外线强度。当当前在室外时,手机可以通过紫外摄像头中的图像传感器捕获紫外线,并判断紫外线强度。比如,手机在采集紫外图像的过程中根据紫外摄像头捕获的紫外线判断紫外线强度。
[0331]
以用户在室外使用手机进行检测为例,用户在室外使用手机的相机或者镜子等应用查看自己妆容时,当检测到用户触发防晒检测功能(比如点击防晒检测控件)时,手机可以调用诸如彩色摄像头检测人脸。在检测到人脸后,手机可以调用紫外摄像头采集紫外图像,并根据紫外图像对用户面部的防晒霜涂抹情况进行检测。该过程中,手机可以根据紫外摄像头捕获的紫外线确定环境紫外线强度。之后,手机可以根据环境紫外光强度以及用户面部的防晒霜涂抹情况,通过用户界面(user interface,ui)提示用户防晒霜涂抹的相关信息,包括但不限于如下一种或多种信息:当前紫外线的强度情况,推荐用户使用防晒霜的防晒指数,面部防晒霜涂抹是否均匀,面部不均匀涂抹防晒霜的位置,面部未涂抹防晒霜的位置。示例性的,如图19所示,手机在检测到当前紫外线强度以及用户的防晒霜涂抹情况后,显示提示框2401,用于向用户提示当前紫外线强度,需要补涂防晒霜的位置,以及向用户提示所需的防晒霜指数。再比如,如图20所示,手机在检测到当前紫外线强度以及用户的防晒霜涂抹情况后,显示提示框,用于向用户提示当前紫外线强度,以及向用户提示面部防晒霜涂抹均匀。
[0332]
本技术实施例还提供一种检测方法,在检测到用户触发防晒检测功能的情况下,手机可以检测预设时段内是否存在上一次检测结果。如果在预设时段内没有执行过检测,则手机可以对防晒霜涂抹情况进行检测,并向用户提示防晒霜涂抹情况。如果在预设时段内已执行过检测,则手机可以向用户提示最近一次防晒霜涂抹情况的检测结果。也就是说,并非在所有情况下,手机都会重新进行检测,如此,能够降低手机的运算量。
[0333]
其中,预设时段可以与防晒霜的防晒作用时间等相关。比如,假设经统计发现防晒霜通常能够作用3-4小时,那么3-4小时内通常无需补涂防晒霜。
[0334]
示例性的,手机检测到用户的诸如点击防晒检测控件402的操作后,若手机检测到3小时内已执行过防晒检测流程,则提示用户无需补涂。可选的,手机还可以将上一次防晒霜的检测结果呈现给用户。反之,若手机检测到3小时内没有执行过防晒检测流程,则向用户提示本次检测结果。
[0335]
再示例性的,当检测到用户触发防晒检测功能时,手机可以判断早上是否有进行检测,若早上没有进行检测,则进行检测,并向用户提示检测结果。若手机检测到早上已进行检测,并且防晒霜已涂抹到位或已补涂到位,则获取当前时间信息,并判断当前时间是否属于预设的防晒检测的时间段(比如12:00-14:00)。若当前时间没有在12:00-14:00,则说明早上涂抹的防晒霜还没有失效,无需重新进行检测。若当前时间在12:00-14:00,则说明早上涂抹的防晒霜可能已失效,那么,手机重新进行检测,并向用户提示本次检测的结果。
[0336]
需要说明的是,上述方法流程中的某些步骤还可以替换为其他步骤,或者增加或减少部分步骤。本技术实施例中并不限制方法流程包括的具体步骤。
[0337]
示例性的,在一些实施例中,还可以将镜子等应用中的防晒检测功能单独设置一个快捷图标。当检测到用户的诸如点击该快捷图标的操作后,手机可进行检测。可选的,手机可提示用户正在检测防晒霜涂抹情况。手机检测完成后,可提示用户检测结果。可以看出,该场景中,触发手机开启防晒检测流程的操作为用户打开防晒检测这一快捷应用。
[0338]
在一些实施例中,用户还可以进行诸如长按镜子应用等操作,触发手机弹出镜子功能框2801。用户可以通过诸如点击防晒检测选项开启防晒检测功能,那么,手机会检测防晒霜涂抹情况,并可以向用户提示防晒霜涂抹情况。
[0339]
再示例性的,检测是否涂抹防晒霜,还可以实现为:手机将人脸图像输入用于检测是否涂抹防晒霜的分类器,之后手机根据分类器的分类结果确定涂抹防晒霜的区域以及没有涂抹防晒霜的区域。再比如,本技术实施例中的防晒霜涂抹情况均可以根据分类器的识别结果确定。用于检测是否涂抹防晒霜的分类器的训练以及使用过程可参见图15对应的实施例,这里不再赘述。
[0340]
在一些实施例中,当手机向用户提示了防晒霜涂抹情况后,若用户仍未退出镜子应用,手机通过诸如rgb摄像头检测到用户仍使用镜子应用进行补涂,则手机可持续检测用户的防晒霜补涂情况。比如,手机可按一定时间间隔开启紫外摄像头采集人脸图像,以便检测用户的防晒霜补涂情况,直至用户补涂的防晒霜足以抵抗当前环境的紫外线。
[0341]
当然,当手机向用户提示了防晒霜涂抹情况后,手机可以并不主动检测用户的防晒霜补涂情况,而是在检测到用户的诸如点击防晒检测控件的操作之后,才再次触发检测流程。
[0342]
本技术实施例列举的界面均是示例性的,本技术实施例并不限制各界面的实现形式。比如,在一些界面中,还可以提示没有涂抹防晒霜的位置以及涂抹防晒霜但未涂抹均匀的位置。再比如,在向用户提示防晒霜涂抹情况的界面,均可提供彩色视图和灰度视图两种选项。再比如,在检测到用户点击防晒检测控件402后的预设时间段内,手机可以停止显示防晒检测控件402,以便屏幕有更多的显示空间来显示其他必要控件。
[0343]
需要说明的是,上述实施例中主要以面部检测作为实例,但应理解,本技术实施例的检测方法还可适用于其他各种需要防晒的对象。比如包括但不限于人脸、身体的其他部位。或者,也可以适用于非人体对象,比如,需要进行防晒的车辆的部位。
[0344]
且,上述实施例主要以通过rgb图像识别人脸图像,再根据rgb图像中的人脸图像查找紫外图像的人脸图像为例对人脸图像识别过程进行说明。在另一些实施例中,还可以直接使用人脸识别算法处理紫外图像,以便识别紫外图像中的人脸图像,以及提取眼部、嘴唇等特征点。本技术实施例并不限制获取紫外图像中人脸图像的具体实现方式。
[0345]
此外,上述实施例主要以根据不同角度的三张紫外图像排除反光部位对防晒检测的影响为例,需要说明的是,为了排除反光等对防晒检测的影响,不同角度的紫外图像的数目还可以为其他。
[0346]
本技术实施例中,彩色摄像头与紫外摄像头同步采集,可以是同一时刻采集,也可以在预设时间间隔内采集,可以是紫外摄像头先采集,在预设时间间隔内,彩色摄像头采集,或者,彩色摄像头先采集,在预设时间间隔内,紫外摄像头采集。本技术实施例不限制两者的采集时机以及采集条件。
[0347]
本技术实施例主要以基于紫外图像的像素值确定防晒霜涂抹情况为例进行说明,
还可以基于紫外图像的其他图像特征确定防晒霜涂抹情况。比如,基于图像特征中的方差、标准差、最大像素值,最小像素值等确定防晒霜涂抹均匀程度、涂抹薄厚程度。
[0348]
本技术另一些实施例提供了一种装置,该装置可以是上述电子设备(比如折叠屏手机)。该装置可以包括:显示屏、存储器和一个或多个处理器。该显示屏、存储器和处理器耦合。该存储器用于存储计算机程序代码,该计算机程序代码包括计算机指令。当处理器执行计算机指令时,电子设备可执行上述方法实施例中手机执行的各个功能或者步骤。该电子设备的结构可以参考图2a-图2f所示的电子设备。
[0349]
其中,该电子设备的核心结构可以表示为图21所示的结构,该核心结构可包括:处理模块1301、输入模块1302、存储模块1303、显示模块1304。
[0350]
处理模块1301,可包括中央处理器(cpu)、应用处理器(application processor,ap)或通信处理器(communication processor,cp)中的至少一个。处理模块1301可执行与用户电子设备的其他元件中的至少一个的控制和/或通信相关的操作或数据处理。具体地,处理模块1301可用于根据一定的触发条件,控制主屏上显示的内容。或者根据预设规则确定屏幕上显示的内容。处理模块1301还用于将输入的指令或数据进行处理,并根据处理后的数据确定显示样式。
[0351]
输入模块1302,用于获取用户输入的指令或数据,并将获取到的指令或数据传输到电子设备的其他模块。可选的,输入模块1302的输入方式可以包括触摸、手势、接近屏幕等,也可以是语音输入。例如,输入模块可以是电子设备的屏幕,获取用户的输入操作并根据获取到的输入操作生成输入信号,将输入信号传输至处理模块1301。在本技术实施例中,输入模块可用于接收用户输入的防晒检测指令,和/或执行其他步骤。
[0352]
采集模块1306,用于采集数据,并将采集到的数据传输到电子设备的其他模块。可选的,采集模块1306可以是电子设备的摄像头,摄像头可以将采集的图像传输至处理模块1301,和/或执行其他步骤。摄像头包括但不限于彩色摄像头、紫外摄像头。
[0353]
存储模块1303,可包括易失性存储器和/或非易失性存储器。存储模块用于存储用户终端设备的其他模块中的至少一个相关的指令或数据,具体地说,存储模块可记录摄像头采集的图像。
[0354]
显示模块1304,可包括例如液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器、微机电系统(mems)显示器或电子纸显示器。用于显示用户可观看的内容(例如,文本、图像、视频、图标、符号等)。在本技术实施例中,显示模块可实现为显示屏幕。
[0355]
可选的,图21所示结构还可通信模块1305,用于支持电子设备与其他电子设备通信。例如,通信模块可经由无线通信或有线通信连接到网络,以与其他个人终端或网络服务器进行通信。无线通信可采用蜂窝通信协议中的至少一个,诸如,长期演进(lte)、高级长期演进(lte-a)、码分多址(cdma)、宽带码分多址(wcdma)、通用移动通信系统(umts)、无线宽带(wibro)或全球移动通信系统(gsm)。无线通信可包括例如短距通信。短距通信可包括无线保真(wi-fi)、蓝牙、近场通信(nfc)、磁条传输(mst)或gnss中的至少一个。
[0356]
本技术实施例还提供一种芯片系统,如图22所示,该芯片系统包括至少一个处理器1401和至少一个接口电路1402。处理器1401和接口电路1402可通过线路互联。例如,接口电路1402可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路1402可
用于向其它装置(例如处理器1401)发送信号。示例性的,接口电路1402可读取存储器中存储的指令,并将该指令发送给处理器1401。当所述指令被处理器1401执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本技术实施例对此不作具体限定。
[0357]
本技术实施例还提供一种计算机存储介质,该计算机存储介质包括计算机指令,当所述计算机指令在上述电子设备上运行时,使得该电子设备执行上述方法实施例中手机执行的各个功能或者步骤。
[0358]
本技术实施例还提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行上述方法实施例中手机执行的各个功能或者步骤。
[0359]
通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
[0360]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0361]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0362]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0363]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0364]
以上内容,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献