一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种拍摄方法及设备与流程

2022-02-24 14:46:08 来源:中国专利 TAG:


1.本技术实施例涉及电子技术领域,尤其涉及一种拍摄方法及设备。


背景技术:

2.在目前的图像拍摄过程中,手机或平板电脑等电子设备通常采用自动对焦方法,根据对焦策略将待拍摄的中间人脸或最大的人脸作为对焦目标,同时根据对焦目标的深度信息推动摄像头中的马达,使得摄像头对焦到对焦目标所在的位置。
3.这样,当待拍摄对象包括前后位置不同的多个人时,拍摄获得的图像上通常只有一个人脸图像清晰,比如中间位置的人脸图像清晰或者离摄像头最近的最大人脸的图像清晰,而其他的人脸图像明显模糊,从而导致用户的多人合影体验较差。示例性的,参见图1,在多人合影场景下,人脸1的图像是清晰的,人脸2和人脸3的图像是模糊的。


技术实现要素:

4.本技术实施例提供一种拍摄方法及设备,能够在多人合影场景下,使得尽可能多的目标人脸在摄像头的景深范围内,从而使得拍摄获得的目标图像上尽可能多的目标人脸成像清晰,提高多人合影的拍摄体验。
5.为达到上述目的,本技术实施例采用如下技术方案:
6.一方面,本技术实施例提供了一种拍摄方法,应用于电子设备,电子设备包括摄像头。该方法包括:电子设备打开相机应用后,在拍照预览界面上显示第一预览图像,第一预览图像上包括n个目标人脸,n为大于1的整数,n个目标人脸包括第一目标人脸和第二目标人脸,第一目标人脸图像清晰,第二目标人脸图像模糊。电子设备根据n个目标人脸的深度信息,确定目标对焦位置。电子设备在摄像头对焦至目标对焦位置后,在预览界面上显示第二预览图像,第二预览图像包括n个目标人脸,且第二预览图像上的第一目标人脸和第二目标人脸的图像均清晰。
7.在该方案中,在多人合影的拍摄预览状态下,电子设备可以根据多个目标人脸的深度信息进行对焦调节,从而使得对焦调节后尽量多的目标人脸能够在预览界面上清晰成像,提高多人合影的拍摄体验。
8.在一种可能的设计中,该方法还包括:电子设备检测到用户的拍摄操作后,拍摄获得目标图像,目标图像上包括n个目标人脸,且目标图像上的第一目标人脸和第二目标人脸的图像均清晰。
9.在该方案中,电子设备根据多个目标人脸的深度信息进行对焦调节后,可以根据调节后的对焦位置拍摄目标图像,从而使得尽量多的目标人脸能够在目标图像上清晰成像,提高多人合影的拍摄体验。
10.在另一种可能的设计中,第一预览图像上显示有n个目标人脸的人脸框,且目标人脸的人脸框的面积大于或者等于第一预设值。
11.也就是说,目标人脸可以是电子设备自动确定的人脸,且目标人脸的人脸框较大,
目标人脸离摄像头较近。
12.例如,在一种方案中,第一预览图像上不显示非目标人脸的人脸框;在另一种方案中,第一预览图像上也显示非目标人脸的人脸框,但非目标人脸的人脸框小于第一预设值。
13.在另一种可能的设计中,n个目标人脸为用户基于第一预览图像指定的人脸。
14.也就是说,目标人脸可以不是电子设备自动确定的,而是用户选择的。
15.在另一种可能的设计中,电子设备在摄像头对焦至目标对焦位置的过程中提示用户,正在进行对焦调节以使得更多人脸成像清晰。
16.这样,电子设备可以将对焦调节提示给用户,以便用户获知当前正在进行对焦调节而并未发生卡顿,帮助用户获知更多人脸成像清晰的原因。
17.在另一种可能的设计中,电子设备根据n个目标人脸的深度信息,确定目标对焦位置,包括:电子设备响应于用户的预设操作进入合影模式后,根据n个目标人脸的深度信息,确定目标对焦位置。
18.在该方案中,电子设备在进入合影模式后,才根据n个目标人脸的深度信息确定目标对焦位置,从而自动进行对焦调节。
19.在另一种可能的设计中,电子设备按照从小到大的顺序对n个目标人脸的深度信息d1,d2,...,dn排序后得到的序列为d'1,d'2,...,d'n。电子设备根据n个目标人脸的深度信息,确定目标对焦位置,包括:电子设备将对焦距离从序列中的d'1开始逐个往后移动,直至找到对焦到第m个目标人脸时,满足式一:
20.m=minm
21.st.d'
m-d'1≤δl1&&d'
n-d'm≤δl222.其中,m≤n,st.表示“满足”,&&表示“与”,min表示“求最小值”,δl1表示摄像头的前景深,δl2表示摄像头的后景深,d'm对应的第m个目标人脸所在的位置即为目标对焦位置。这样,当对焦到目标对焦距离对应的第m个目标人脸所在的目标对焦位置时,第1至m-1个目标人脸在前景深范围内,第m 1至第n个目标人脸在后景深范围内,各目标人脸均在景深范围内因而可以清晰成像。
23.若不存在满足式一的d'm,则将对焦距离从序列中的d'1开始逐个往后移动,直至找到对焦到第m个目标人脸时,满足式二:
24.m=minm
25.st.d'
m-d'1≤δl126.其中,m≤n,d'm对应的第m个目标人脸所在的位置即为目标对焦位置。
27.这样,当对焦到目标对焦距离对应的目标对焦位置时,目标对焦位置即为第m个目标人脸,可以使得第m个目标人脸的成像最清晰;还可以至少使得前m-1个目标人脸在前景深范围内从而能够清晰成像;m 1至n中可能有一个或多个目标人脸在后景深范围内从而也能清晰成像。
28.在另一种可能的设计中,电子设备根据n个目标人脸的深度信息,确定目标对焦位置,包括:电子设备在满足第一预设条件时,根据n个目标人脸的深度信息,确定目标对焦位置。第一预设条件包括:第一预览图像上的第一目标人脸为离摄像头最近的第一个目标人脸,第一预览图像对应的对焦位置位于第一个目标人脸所在的位置,且d'
n-d'1>δl2。也就是说,在对焦到第一个目标人脸的情况下,若d'
n-d'1>δl2,即n个目标人脸不都在后景深
范围内,不能均成像清晰,因而可以根据n个目标人脸的深度信息确定目标对焦位置,从而进行对焦调节,以使得尽量多的目标人脸在景深范围内从而清晰成像。或者,第一预设条件包括:第一预览图像对应的对焦位置位于d's对应的第s个目标人脸所在的位置,s≤n,且d'
s-d'1>δl1||d'
n-d's>δl2。也就是说,在对焦到第s个目标人脸的情况下,若d'
s-d'1>δl1||d'
n-d's>δl2,即n个目标人脸不都在景深范围内,不能均成像清晰,因而可以根据n个目标人脸的深度信息确定目标对焦位置,从而进行对焦调节,以使得尽量多的目标人脸在景深范围内从而清晰成像。
29.在另一种可能的设计中,电子设备根据n个目标人脸的深度信息,确定目标对焦位置,包括:电子设备统计对焦距离分别为n个目标人脸中的每个目标人脸对应的深度信息时,深度信息在景深范围内的目标人脸的数量。若对焦距离为dm时,深度信息在景深范围内的目标人脸的数量最多,则dm对应的目标人脸所在的位置即为目标对焦位置。
30.这样,当摄像头对焦至dm对应的目标人脸所在的位置时,摄像头景深范围内的目标人脸的数量最多,能够清晰成像的目标人脸的数量最多。
31.在另一种可能的设计中,电子设备根据n个目标人脸的深度信息,确定目标对焦位置,包括:电子设备计算离摄像头最近的第一个目标人脸对应的深度信息d'1与前景深之和u。电子设备根据1/f=1/u 1/v计算像距v,f表示摄像头的焦距。电子设备根据像距v计算摄像头马达的驱动code值k,k个code对应的位置即为目标对焦位置。
32.这样,第一个目标人脸位于靠近摄像头方向的前景深范围的边缘位置,这样可以在保证第一个目标人脸清晰成像的情况下,使得前景深范围内的目标人脸的数量最多,从而可以使得后景深范围内的目标人脸的数量也较多,整个景深范围内可清晰成像的目标人脸的数量较多。
33.在另一种可能的设计中,电子设备根据n个目标人脸的深度信息,确定目标对焦位置,包括:电子设备计算n个目标人脸中的每个目标人脸对应的深度信息d1,d2,...,dn分别与前景深之和,得到u1,u2,...,un。电子设备分别将u1,u2,...,un作为物距确定在前景深范围内的目标人脸的数量。若物距为根据深度信息dm计算的物距um时,在前景深范围内的目标人脸的数量最多,则电子设备根据1/f=1/um 1/vm计算对应的像距vm,f表示摄像头的焦距。电子设备根据像距vm计算摄像头马达的驱动code值k,k个code对应的位置即为目标对焦位置。
34.这样,d'm对应的第m个目标人脸在前景深范围内靠近摄像头方向的边缘位置,且前景深范围内的目标人脸的数量最多,从而可以使得后景深范围内的目标人脸的数量也较多,整个景深范围内可清晰成像的目标人脸的数量较多。
35.另一方面,本技术实施例提供了一种拍摄装置,该装置包含在电子设备中。该装置具有实现上述方面及可能的设计中任一方法中电子设备行为的功能,使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。该功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如,该装置可以包括显示单元、确定单元和处理单元等。
36.又一方面,本技术实施例提供了一种电子设备,包括:摄像头,用于采集图像;屏幕,用于显示界面,一个或多个处理器;以及存储器,存储器中存储有代码。当代码被电子设备执行时,使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
37.又一方面,本技术实施例提供了一种电子设备,包括:一个或多个处理器;以及存储器,存储器中存储有代码。当代码被电子设备执行时,使得电子设备执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
38.另一方面,本技术实施例提供了一种计算机可读存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行上述方面任一项可能的设计中的拍摄方法。
39.又一方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方面任一项可能的设计中电子设备执行的拍摄方法。
40.另一方面,本技术实施例提供了一种芯片系统,该芯片系统应用于电子设备。该芯片系统包括一个或多个接口电路和一个或多个处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,使得电子设备执行上述方面任一项可能的设计中的拍摄方法。
41.上述其他方面对应的有益效果,可以参见关于方法方面的有益效果的描述,此处不予赘述。
附图说明
42.图1为现有技术中拍摄获得的一种图像效果示意图;
43.图2a为本技术实施例提供的一种电子设备的硬件结构示意图;
44.图2b为本技术实施例提供的一种电子设备的软件结构示意图;
45.图3a为本技术实施例提供的一种摄像头的结构示意图;
46.图3b为本技术实施例提供的一种成像示意图;
47.图4为本技术实施例提供的一种拍摄方法流程图;
48.图5为本技术实施例提供的一组界面示意图;
49.图6a为本技术实施例提供的一种界面示意图;
50.图6b为本技术实施例提供的另一种界面示意图;
51.图6c为本技术实施例提供的另一种界面示意图;
52.图7a为本技术实施例提供的另一种界面示意图;
53.图7b为本技术实施例提供的另一种界面示意图;
54.图8为本技术实施例提供的另一组界面示意图;
55.图9为本技术实施例提供的另一组界面示意图;
56.图10为本技术实施例提供的另一组界面示意图;
57.图11为本技术实施例提供的一种测距方法示意图;
58.图12为本技术实施例提供的另一种测距方法示意图;
59.图13a为本技术实施例提供的一种对焦效果示意图;
60.图13b为本技术实施例提供的另一种对焦效果示意图;
61.图13c为本技术实施例提供的另一种对焦效果示意图;
62.图13d为本技术实施例提供的另一种对焦效果示意图;
63.图13e为本技术实施例提供的另一种对焦效果示意图;
unit,gpu),图像信号处理器(image signal processor,isp),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,dsp),基带处理器,和/或神经网络处理器(neural-network processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
76.其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
77.处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
78.电子设备100通过gpu,显示屏194,以及应用处理器等实现显示功能。gpu为图像处理的微处理器,连接显示屏194和应用处理器。gpu用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个gpu,其执行程序指令以生成或改变显示信息。
79.显示屏194用于显示图像,视频,界面等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,lcd),有机发光二极管(organic light-emitting diode,oled),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,amoled),柔性发光二极管(flex light-emitting diode,fled),miniled,microled,micro-oled,量子点发光二极管(quantum dot light emitting diodes,qled)等。在一些实施例中,电子设备100可以包括1个或n个显示屏194,n为大于1的正整数。
80.电子设备100可以通过isp,摄像头193,视频编解码器,gpu,显示屏194以及应用处理器等实现拍摄功能。
81.isp用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给isp处理,转化为肉眼可见的图像。isp还可以对图像的噪点,亮度,肤色进行算法优化。isp还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,isp可以设置在摄像头193中。
82.摄像头193用于捕获静态图像或视频。参见图3a,摄像头193包括镜头、感光元件和摄像头马达等组件。物体通过镜头生成光学图像投射到感光元件上。感光元件可以是电荷耦合器件(charge coupled device,ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,cmos)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb,yuv等格式的图像信号。在一些实施例中,电子设备100可以包括1个或n个摄像头193,n为大于1的正整数。
83.其中,如图3a所示,镜头可以包括多组镜片(或称镜片组)和光圈等组件。镜片用于将待拍摄对象反射的光线汇聚至感光元件的焦平面上进行成像。光圈用于控制光线透过镜头进入感光元件感光面的光量大小。摄像头马达可以推动一组或多组镜片移动或者推动感光元件移动,以改变镜片或感光元件的位置,从而改变对焦距离,改变镜头的焦点位置。
84.如图3b所示,位于焦点的待拍摄物体成像最为清晰,对应的成像平面为焦点平面,镜头的景深δl为前景深δl1与后景深δl2之和。其中,前景深δl1对应焦点前面δl1的距
离范围,该距离范围内的待拍摄对象在镜头清晰成像的范围内。后景深δl2对应焦点后面δl2的距离范围,该距离范围内的待拍摄对象也在镜头清晰成像的范围内。根据成像原理可知,镜头景深的计算式如下:
[0085][0086][0087][0088]
在式1-3中,δ表示容许弥散圆直径;f表示镜头焦距,即镜头光学后主点到焦点的距离,是平行光入射时从镜头的镜片组光心到光聚集之焦点的距离;f表示镜头的拍摄光圈值;l表示对焦距离。其中,式1-3是目前业界公认的一种镜头景深的计算方法,是根据人眼清晰范围定义的。当待拍摄对象在景深范围内时,待拍摄对象成像清晰;当待拍摄对象不在景深范围内时,待拍摄对象成像模糊。
[0089]
在本技术的实施例中,镜头的焦点也可以称为镜头的对焦位置、对焦点,或摄像头193的对焦点等。
[0090]
在本技术的实施例中,摄像头193可以包括以下一种或多种摄像头:长焦摄像头、广角摄像头、超广角摄像头、变焦摄像头或深度摄像头等。其中,长焦摄像头的拍摄范围小,适用于拍摄远处的景物;广角摄像头的拍摄范围较大;超广角摄像头的拍摄范围大于广角摄像头,适用于拍摄全景等较大画面的景物。深度摄像头可以用于测量待拍摄对象的物距,即测量待拍摄对象的深度信息,例如可以包括三维(3 dimensions,3d)深感摄像头、飞行时间(time of flight,tof)深度摄像头或双目深度摄像头等。
[0091]
其中,摄像头193可以包括主摄和副摄。主摄可以用于拍摄图像,例如可以包括长焦摄像头、广角摄像头、超广角摄像头或变焦摄像头等。副摄可以用于测距或其他辅助功能,例如可以包括深度摄像摄像头。
[0092]
摄像头193可以包括前置摄像头和/或后置摄像头。前置摄像头可以包括一个或多个主摄,后置摄像头也可以包括一个或多个主摄。在拍摄图像时,电子设备用于采集图像的目标主摄可以为默认的主摄,或者用户选择的主摄。
[0093]
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
[0094]
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,ufs)等。
[0095]
在本技术的实施例中,处理器110通过运行存储在内部存储器121的指令,可以结
合多个目标对象的深度信息,确定目标对焦距离和目标对焦位置,从而使得尽可能多的目标对象在电子设备摄像头的景深范围内从而能够清晰成像。
[0096]
距离传感器180f,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180f测距以实现快速对焦。
[0097]
触摸传感器180k,也称“触控面板”。触摸传感器180k可以设置于显示屏194,由触摸传感器180k与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器180k可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型,实现人机交互。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180k也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
[0098]
可以理解的是,本技术实施例示意的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
[0099]
在本技术的实施例中,在多目标对象合影场景下,目标主摄可以采集图像,辅助摄像头等检测部件可以测量多个目标对象的深度信息。处理器110通过运行存储在内部存储器121的指令,可以根据多个目标对象的深度信息确定目标对焦位置,使得尽可能多的目标对象在电子设备摄像头的景深范围内,从而使得拍摄获得的目标图像上尽可能多的目标对象的图像能够清晰成像,提高多目标对象合影的拍摄体验。
[0100]
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本技术实施例以分层架构的android系统为例,示例性说明电子设备100的软件结构。
[0101]
图2b是本技术实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(android runtime)和系统库,硬件抽象层(hardware abstraction layer,hal)以及内核层。应用程序层可以包括一系列应用程序包。
[0102]
如图2b所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,wlan,蓝牙,音乐,视频,短信息等应用程序。
[0103]
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface,api)和编程框架。应用程序框架层包括一些预先定义的函数。
[0104]
如图2b所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
[0105]
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
[0106]
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
[0107]
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示
界面,可以包括显示文字的视图以及显示图片的视图。
[0108]
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
[0109]
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
[0110]
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
[0111]
android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
[0112]
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
[0113]
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
[0114]
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:opengl es),2d图形引擎(例如:sgl)等。
[0115]
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2d和3d图层的融合。
[0116]
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:mpeg4,h.264,mp3,aac,amr,jpg,png等。
[0117]
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
[0118]
2d图形引擎是2d绘图的绘图引擎。
[0119]
hal层是位于操作系统内核与硬件电路之间的接口层,可以将硬件抽象化。hal层包括对焦模块,用于根据硬件测量的多个目标对象的深度信息,确定目标对焦距离和目标对焦位置,从而使得尽可能多的目标对象在电子设备摄像头的景深范围内,使得拍摄获得的目标图像上尽可能多的目标对象的图像能够清晰成像。
[0120]
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。内核层也可以称为驱动层。
[0121]
可以理解的是,在具有多个待拍摄目标对象的场景下,多个目标对象的成像是否清晰与目标对象的物距以及镜头的对焦位置和景深相关。在多个目标对象的拍摄场景下,当多个目标对象对应不同的物距时,在对焦位置和景深确定后,靠近镜头的目标对象的物距较小容易超出镜头的前景深范围,远离镜头的目标对象的物距较大容易超出镜头的后景深范围,从而导致超出景深的目标对象成像模糊。
[0122]
并且,由上述式1-3可知,景深与对焦距离成正比关系。其中,对焦距离l为物距与像距之和。由于实际拍摄过程中,物距远大于像距,因此对焦距离l通常使用物距代替。也就是说,景深与物距成正比关系,物距越大,景深也就越大,即前景深δl1与后景深δl2之和越
大;相对应的,物距越小,景深也越小。因此,在具有多个待拍摄目标对象的前置拍摄场景下,待拍摄对象的物距较小,因而景深也较小,容易导致较多的目标对象超出景深范围,超出景深范围的目标对象的成像比较模糊。
[0123]
在本技术实施例提供的拍摄方法中,电子设备可以结合多个目标对象的深度信息,确定目标对焦距离和目标对焦位置,使得尽可能多的目标对象在电子设备摄像头的景深范围内,从而使得拍摄获得的目标图像上尽可能多的目标对象能够清晰成像,提高多目标对象合影的拍摄体验。
[0124]
本技术实施例提供的拍摄方法可以应用于,目标对象距离电子设备的摄像头较近的情况下,多个目标对象与摄像头的距离不同,且多个目标对象的深度信息的差别也较大的拍摄场景。例如,某个目标对象距离摄像头的距离为一米,另一个目标对象距离摄像头的距离为两米。
[0125]
本技术实施例提供的拍摄方法可以应用于前置多目标对象拍摄场景,也可以应用于后置多目标对象拍摄场景。在多目标对象拍摄场景下,不同目标对象的深度信息之间容易有较大的差别,容易导致较多的目标对象超出景深范围,超出景深范围的目标对象的成像比较模糊。例如,该拍摄方法可以用于多个人自拍合影,或者人与景物自拍合影等场景。
[0126]
以下将以电子设备为具有图2a和图2b所示结构的手机为例,对本技术实施例提供的拍摄方法进行阐述。其中,手机的屏幕为上述触控屏,可以用于界面显示或人机交互等操作。参见图4,本技术实施例提供的一种拍摄方法可以包括:
[0127]
401、手机启动拍照功能,在预览界面上显示预览图像。
[0128]
用户想要使用手机进行拍照时,可以启动手机的拍照功能。例如,手机可以启动相机应用,或者启动具有拍照或录像功能的其他应用(比如抖音或河图cyberverse等ar应用),从而启动手机的拍照功能。
[0129]
示例性的,手机检测到用户点击图5中的(a)所示的相机图标501的操作后启动相机应用,从而启动拍照功能,并显示如图5中的(b)所示的预览界面。再示例性的,手机显示桌面或非相机应用的界面,检测到用户打开相机应用的语音指令后启动拍照功能,并显示如图5中的(b)所示的预览界面。需要说明的是,手机还可以响应于用户的其他触摸操作、语音指令或快捷手势等操作启动拍照功能,本技术实施例对触发手机启动拍照功能的操作不作限定。
[0130]
在预览状态下,手机采用目标摄像头采集图像,并生成预览图像显示在预览界面上。该目标摄像头为目标主摄,例如可以是手机默认使用的主摄或用户选择的主摄。
[0131]
在本技术的一些实施例中,在刚启动拍照功能后,与现有技术类似预览图像上通常仅距离手机的目标摄像头最近的对象或最中间的对象成像清晰,其他对象成像模糊。例如,刚启动拍照功能后,如图5中的(b)所示,预览图像上距离手机的目标摄像头最近的人脸成像清晰,其他人脸成像模糊。
[0132]
402、手机基于预览图像确定待拍摄的多个目标对象。
[0133]
手机启动拍照功能后,可以通过预览图像确定待拍摄的多个目标对象。该多个目标对象可以包括以下一种或多种类型:人脸(人眼,或人),标志物(例如标志牌),动物,玩偶,景点,雕塑,艺术品或植物等。本技术实施例对目标对象的具体类型不予限定。
[0134]
其中,该目标对象可以是手机自动识别的,也可以是用户指定的,以下分别进行说
明。
[0135]
(1)、多个目标对象是手机自动识别的
[0136]
在一些实施例中,手机上设置有一种或多种预设物体类型,手机在预览图像上识别到的属于预设物体类型的对象即为目标对象。例如,预设物体类型包括人脸,在多人自拍场景下,手机识别到预览界面上包括两个人脸、一只猫、一棵树和建筑等物体,则确定两个人脸为目标对象。
[0137]
再例如,预设物体类型包括人脸和动物,参见图6a,手机识别到预览界面上包括两个人脸、一只猫、一棵树和建筑等物体,则确定两个人脸和一只猫为目标对象。
[0138]
再例如,预设物体类型包括人脸和建筑,参见图6b,手机识别到预览界面上包括两个人脸、一只猫、一棵树和建筑等物体,则确定两个人脸和建筑为目标对象。
[0139]
再例如,预设物体类型包括人脸,或著名建筑物(如长城、埃菲尔铁塔、金字塔等),当手机识别到预览界面上包括人脸、金字塔和骆驼,则确定人脸和金字塔为目标对象。
[0140]
再例如,预设物体类型包括人脸和景点标志牌,参见图6c,在自拍场景下,手机识别到预览界面上包括一个人脸、一个景点标识牌,一棵树和建筑等物体,则确定一个人脸和景点标识牌为目标对象。
[0141]
在另一些实施例中,手机可以测量目标摄像头视场角内各待拍摄对象的深度信息,并确定深度信息小于或者等于预设值1的待拍摄对象为目标对象。也即,目标对象距离目标摄像头较近,本技术实施例提供的拍摄方法可用于拍摄距离目标摄像头较近的多目标对象的拍摄场景。
[0142]
一方面,由于用户想要拍摄的感兴趣的目标对象通常离目标摄像头较近;另一方面,受限于测距器件(例如深度摄像头)的能力限制,距离目标摄像摄像头较近的对象才能准确测得其深度信息。因而,目标对象可以离目标摄像头较近。并且,不同测距器件可准确测得待拍摄对象的深度信息的测量范围不同。
[0143]
在另一些实施例中,用户感兴趣的目标对象通常离目标摄像头较近,目标对象的图像在预览图像上占用的面积较大,因而手机可以确定预览图像上,占用的图像面积大于预设值2的对象为目标对象。
[0144]
在另一些实施例中,手机上设置有一种或多种预设物体类型,手机在预览图像上识别到的属于预设物体类型且满足预设条件的对象即为目标对象。例如,预设物体类型为人脸,预设条件为人脸框大于或者等于预设值3。也就是说,手机可以检测预览图像上的人脸框,并确定人脸框大于或者等于预设值的人脸为目标对象。比如,手机中预置的人脸检测模块可以对摄像头图像传感器的出图进行下采样,以减小待处理的数据量。人脸检测模块对下采样后的图像进行人脸检测,输出人脸框。其中,用户感兴趣的人脸通常离目标摄像头较近,人脸框较大;而背景中用户不感兴趣的路人的人脸通常离目标摄像头较远,人脸框较小。因而,为避免背景中的路人被误识别为目标对象,手机可以将人脸框大于或者等于预设值3的多个人脸确定为目标对象。
[0145]
再例如,预设物体类型为人脸,预设条件为人脸深度信息小于或者等于预设值1。也就是说,手机可以确定深度信息小于或者等于预设值1的人脸为目标对象。也即,目标对象距离目标摄像头较近,本技术实施例提供的拍摄方法可用于拍摄距离目标摄像头较近的多人脸拍摄场景。
[0146]
其中,当人脸距离目标摄像头较近时,人脸框也较大。在一些情况下,当某个人脸的人脸框大于或者等于预设值3时,该人脸的深度信息也小于或者等于预设值1。
[0147]
在其他一些实施例中,手机进入合影模式后,才自动确定多个目标对象;而在普通拍照模式下并不自动确定多个目标对象。在合影模式下,手机可以采用上述实施例描述的方法自动确定多个目标对象。
[0148]
其中,手机进入合影模式的方式可以有多种,本技术实施例对具体方式不予限定。示例性的,参见图7a,手机打开相机应用后,预览界面上包括合影模式控件701。手机检测到用户点击合影模式控件701的操作后,进入合影模式。再示例性的,手机打开相机应用后,若基于预览图像检测到属于预设物体类型的多个待拍摄对象,则如图7b所示提示用户是否进入合影模式;手机响应于用户选择“是”的操作后进入合影模式。再示例性的,手机在未启动相机应用的情况下,响应于用户进入合影模式的语音指令,打开相机应用并进入合影模式。
[0149]
在预览状态下,若某个对象移出预览图像的画面,且该对象属于目标对象,则手机将该对象从目标对象中删除。若某个对象移入预览图像的画面,则手机识别该对象是否为目标对象。
[0150]
在本技术的一些实施例中,手机确定多个目标对象后,可以通过显示信息或语音播报等方式将该多个目标对象提示给用户。例如,手机可以在目标对象上显示一个圆圈或方框等标记来进行提示,或者手机可以通过文字信息来提示。示例性的,参见图6a,手机通过方框来提示目标对象;再示例性的,参见图6b,手机通过文字信息来提示目标对象。
[0151]
在一些现有技术中,手机识别到人脸后会在预览界面上显示人脸框。在本技术实施例的一些技术方案中,当目标对象为人脸时,手机在预览界面上显示的目标对象的人脸框区别于其他人脸框。例如,预览界面上目标对象的人脸框的颜色不同于其他人脸框的颜色,或者预览界面上目标对象的人脸框大于其他人脸框,或者目标对象的人脸框为圆形框其他人脸框为方形框。在本技术实施例的另一些技术方案中,当目标对象为人脸时,手机在预览界面上仅显示目标对象的人脸框,而不显示非目标对象的人脸框。
[0152]
在本技术的一些实施例中,手机确定并提示多个目标对象后,还可以响应于用户的预设操作增加或删除目标对象。其中,该预设操作可以是触摸操作、语音指令操作或手势操作等,本技术实施例不予限定。例如,该触摸操作可以是单击、双击、长按、压力按或圈定对象的操作(例如在对象上划圈或划框等的操作)等。示例性的,参见图8中的(a),手机检测到用户长按图8中的(a)所示的预览图像上猫801的操作后,如图8中的(b)所示将猫加入目标对象。再示例性的,手机检测到用户在预览图像上长按图8中的(b)所示的人脸图像802的操作后,如图8中的(c)所示将该人脸从目标对象中删除。
[0153]
在其他一些技术方案中,手机确定并提示多个目标对象后,可以进入修改模式,而后响应于用户的预设操作修改目标对象。例如,预览界面上显示有控件1,手机检测到用户点击控件1的操作后进入修改模式,而后响应于用户的预设操作增加或删除目标对象。在用户完成目标对象的修改后,手机可以退出修改模式。例如,在修改模式下,预览界面上包括确定/完成控件,手机检测到用户点击确定/完成控件的操作后,退出修改模式。
[0154]
(2)、多个目标对象是用户指定的
[0155]
手机启动拍照功能后,可以响应于用户在预览界面上的预设操作确定多个目标对象。该预设操作用于指定某些对象为目标对象。其中,该预设操作可以是触摸操作、语音指
令操作或手势操作等,本技术实施例不予限定。例如,该触摸操作可以是单击、双击、长按、压力按或圈定对象的操作等。
[0156]
在一些实施例中,用户指定的多个目标对象可以是离目标摄像头较近的对象。目标对象之间的深度信息可差别较大。
[0157]
示例性的,在图9中的(a)所示的情况下,手机检测到用户双击人脸图像901的操作后,如图9中的(b)所示将对应的人脸确定为目标对象;手机检测到用户双击图9中的(b)所示的人脸图像902的操作后,如图9中的(c)所示将对应的人脸也确定为目标对象。
[0158]
在另一些实施例中,手机启动拍照功能后,可以提示用户是否指定目标对象。示例性的,参见图10中的(a),手机可以显示提示信息:“是否指定多个目标对象,以使得拍摄获得的图像上目标对象清晰成像?”手机检测到用户单击“是”控件的操作后,可以响应于用户在预览界面上的预设操作确定目标对象。手机检测到用户划圈圈定图10中的(b)所示的人脸图像1001和人脸图像1002的操作后,如图10中的(c)所示将对应的两个人脸均确定为目标对象。
[0159]
再示例性的,在目标对象为预设物体类型且预设物体类型为人脸的情况下,手机可以显示提示信息:“检测到多个人脸,是否指定多个目标人脸,以使得拍摄获得的图像上目标人脸清晰成像?”[0160]
在其他一些实施例中,手机进入合影模式后,才响应于用户在预览界面上的预设操作确定多个目标对象;在普通拍照模式下并不会响应于用户在预览界面上的预设操作确定多个目标对象。
[0161]
在一些实施例中,手机还可以响应于用户的预设操作修改指定的多个目标对象,例如增加或删除目标对象。
[0162]
在情况(2)的预览状态下,若某个对象移出预览图像的画面,且该对象属于目标对象,则手机将该对象从目标对象中删除。若某个对象移入预览图像的画面,且手机检测到用户指定该对象为目标对象的操作,则将该对象加入目标对象。
[0163]
403、手机获取多个目标对象中每个目标对象的深度信息。
[0164]
手机确定多个目标对象后,可以获取每个目标对象的空间深度信息。在一些实施例中,若手机在步骤402中已经测量获得每个目标对象的深度信息,则此处在步骤403中不再测量获得每个目标对象的深度信息,可以直接使用之前获得的深度信息。在其他一些实施例中,预览状态下目标对象的深度信息可能会发生变化,因而手机可以周期性地测量每个目标对象的深度信息。
[0165]
手机测量获得目标对象的深度信息的方法可以有多种,例如双目测距方法、标准人头模型方法或相位检测(phase detection,pd)方法等。本技术实施例对测量获得目标对象的深度信息的具体方法不予限定。
[0166]
比如,参见图11所示,在双目测距方法中,手机根据两个摄像头之间的距离y,以及目标对象相对于每个摄像头的拍摄角度θ1和θ2,再结合三角形的正弦定理可以得到计算式4,通过计算式4可获得每个目标对象的深度信息z。其中,θ1和θ2可以根据两个摄像头分别拍摄获得的图像上同一目标对象的位移差来计算获得。
[0167]
[0168]
再比如,当目标对象为人脸时,在标准人头模型方法中,手机可以利用人脸高度(或人眼间距),估算不同人脸的距离。例如,如图12所示,假设标准人头模型中的人脸高度为a,摄像头采集的图像上的人脸高度为a,则手机利用摄像头已知的对焦距离efl,再结合比例关系可以得到计算式5,通过计算式5可获得目标对象的深度信息d。
[0169][0170]
在一些实施例中,若某个目标对象距离目标摄像头太远,超出了测距器件的测量范围,手机无法准确测得该目标对象的深度信息,则手机可以舍弃该目标对象。
[0171]
404、手机根据多个目标对象的深度信息确定目标对焦位置,该目标对焦位置使得尽可能多的目标对象在目标摄像头的景深范围内,并将目标摄像头对焦至目标对焦位置。
[0172]
手机获取多个目标对象的深度信息后,可以根据多个目标对象的深度信息确定目标对焦位置。例如,手机可以直接根据多个目标对象的深度信息确定目标对焦位置。或者,手机也可以在确定多个目标对象的深度信息满足预设条件的情况下,才根据多个目标对象的深度信息确定目标对焦位置。
[0173]
在一些实施例中,该预设条件包括:存在至少两个目标对象的深度信息小于预设阈值。也就是说,当存在至少两个目标对象距离目标摄像头较近时,手机才采用以下实施例中的算法根据多个目标对象的深度信息确定目标对焦位置,从而使得尽量多的目标对象成像清晰。当只有一个目标对象离目标摄像头较近,或者所有目标对象均离目标摄像头较远时,手机难以准确测得较远的目标对象的深度信息,从而难以采用以下实施例中的算法根据多个目标对象的深度信息确定目标对焦位置。
[0174]
在另一些实施例中,手机测距器件能够准确测量的待测对象的深度信息的测量范围为[a1,a2]。该预设条件包括:d
max
小于或者等于a2,且d
min
大于或者等于a1。也就是说,当n个目标对象的深度信息在手机可准确测量的测量范围内时,手机才采用以下实施例中的算法根据多个目标对象的深度信息确定目标对焦位置,从而使得尽量多的目标对象成像清晰。当d
max
大于a2,或d
min
小于a1时,手机无法准确测得每个目标对象的深度信息,因而可以放弃使用以下实施例中的算法进行对焦调节,继续根据当前对焦状态进行拍摄。
[0175]
在其他一些实施例中,手机仅保留n个目标对象中,深度信息在手机测距器件的测量范围[a1,a2]内的多个目标对象,舍弃深度信息在测量范围[a1,a2]外的目标对象,从而根据保留的手机能够准确测量其深度信息的多个目标对象,采用以下实施例中的算法确定目标对焦位置,从而使得深度信息在[a1,a2]范围内的尽量多的目标对象成像清晰。
[0176]
以下以多个目标对象为目标人脸为例,对手机根据多个目标对象的深度信息确定目标对焦位置的方法进行举例说明。该方法可以包括:
[0177]
(a)、手机分别根据上述式1和式2,结合目标摄像头的器件参数计算前景深δl1,后景深δl2和景深δl。例如,目标摄像头的器件参数可以包括容许弥散圆直径δ,镜头焦距f,镜头的拍摄光圈值f,以及对焦距离l等。
[0178]
(b)、如果当前对焦状态下的对焦位置在离目标摄像头最近(即深度信息最小)的第一个目标人脸的位置,则手机确定深度信息最大的目标人脸对应的物距d
max
与深度信息最小的目标人脸对应的物距d
min
的差值,与后景深δl2之间的大小关系。参见图13a,如果d
max-d
min
≤δl2,则可以表明在以深度信息最小的目标人脸(即第一个目标人脸)为对焦位
置的情况下,其他目标人脸都可以在后景深范围内获得清晰的图像。因而,目标对焦位置即为深度信息最小的目标人脸所在的当前对焦位置,手机继续采用当前对焦位置来拍摄图像。
[0179]
如果d
max-d
min
》δl2,则手机按照从小到大的顺序对d1,d2,...,dn进行排序,排序后标记为序列d'1,d'2,...,d'n。即:d'1为d
min
,d'n为d
max
,d'
n-d'1》δl2。而后,手机执行以下步骤(d)或(e)。
[0180]
(c)、如果当前对焦状态下的对焦位置不在离目标摄像头最近(即深度信息最小)的第一个目标人脸的位置,例如当前对焦到最中间位置的人脸上或者对焦到用户指定的多个目标人脸中最近的一个目标人脸上,则手机按照从小到大的顺序对d1,d2,...,dn进行排序,排序后标记为d'1,d'2,...,d'n。即:d'1为d
min
,d'n为d
max
。参见图13b,如果手机当前对焦在第s个目标人脸对应的深度信息d's的位置,且d'
s-d'1≤δl1&&d'
n-d's≤δl2,则可以表明以d's对应的第s个目标人脸为对焦位置的情况下,其他目标人脸都可以在前景深或后景深范围内可以获得清晰的图像。其中,第1至第s-1个目标人脸可以在前景深范围内,第s 1至第n个目标人脸在后景深范围内。因而,目标对焦位置即为第s个目标人脸所在的当前对焦位置,手机继续采用当前对焦位置来拍摄图像。其中,&&表示“与”。
[0181]
如果不满足d'
s-d'1≤δl1&&d'
n-d's≤δl2,即d'
s-d'1>δl1||d'
n-d's>δl2,||表示“或”,则手机执行以下步骤(d)或(e)。
[0182]
在步骤(d)和(e)中,手机以目标人脸为对焦距离的移动调节精度(或称调节粒度),来确定目标对焦距离。
[0183]
(d)、手机将对焦距离从d'1,d'2,...,d'n中逐个往后移动,直到找到对焦到第m(m≤n)个目标人脸时,可以同时满足:距离最近的目标人脸到对焦位置的距离小于或者等于前景深,同时距离最远的人脸到对焦位置的距离小于或者等于后景深。即:
[0184][0185]
其中,st.表示“满足”,&&表示“与”,min表示“求最小值”。满足式6的最小的m对应的距离d'm即为目标对焦距离。这样,参见图13c,当对焦到目标对焦距离对应的第m个目标人脸所在的目标对焦位置时,第1至m-1个目标人脸在前景深范围内,第m 1至第n个目标人脸在后景深范围内,各目标人脸均在景深范围内因而可以清晰成像。
[0186]
需要说明的是,在不满足(b)中d
max-d
min
≤δl2的条件下,d'
n-d'1>δl2,即当m为1时不满足式6。因而,该种情况下,手机可以从d'2,...,d'n中逐个往后移动,以确定是否存在满足式6的d'm。
[0187]
如果未能找到满足式6的m,则手机将对焦距离从d'1,d'2...逐个往后移动,直到找到对焦到第m(m≤n)个目标人脸时,可以满足距离最近的目标人脸到对焦位置的距离小于或者等于前景深。即:
[0188][0189]
满足式7的距离d'm即为目标对焦距离。这样,参见图13d,当对焦到目标对焦距离对应的目标对焦位置时,目标对焦位置即为第m个目标人脸,可以使得第m个目标人脸的成
像最清晰;还可以至少使得前m-1个目标人脸在前景深范围内从而能够清晰成像;m 1至n中可能有一个或多个目标人脸在后景深范围内从而也能清晰成像。如果未能找到满足式7的m,则手机继续采用当前对焦位置来拍摄图像。
[0190]
(e)、手机将对焦距离分别设置为每个目标人脸对应的深度信息d'1,d'2,...,d'n。手机统计对焦距离为每个目标人脸对应的深度信息时,深度信息在景深范围内的目标人脸的数量。若对焦距离为d'm时,深度信息在景深范围内的目标人脸的数量最多,则d'm即为目标对焦距离。这样,参见图13e,当目标摄像头对焦至目标对焦距离对应的目标对焦位置时,目标摄像头对焦至第m个目标人脸的位置,目标摄像头景深范围内的目标人脸的数量最多,能够清晰成像的目标人脸的数量最多。
[0191]
在另一些实施例中,在步骤(e)中,手机将对焦距离分别设置为未进行大小排序的每个目标人脸对应的深度信息d1,d2,...,dn。手机统计对焦距离分别为每个目标人脸对应的深度信息时,深度信息在景深范围内的目标人脸的数量。若对焦距离为dm时,深度信息在景深范围内的目标人脸的数量最多,则dm即为目标对焦距离。这样,当目标摄像头对焦至目标对焦距离对应的目标对焦位置时,目标摄像头对焦至dm对应的目标人脸的位置,目标摄像头景深范围内的目标人脸的数量最多,能够清晰成像的目标人脸的数量最多。例如,在上述(b)中,如果d
max-d
min
》δl2,则手机将对焦距离分别设置为每个目标人脸对应的深度信息d1,d2,...,dn,进而确定目标对焦距离。
[0192]
在又一些实施例中,步骤(d)或(e)描述的方案不需要在满足d
max-d
min
》δl2或d'
s-d'1>δl1||d'
n-d's>δl2的情况下再执行,而可以作为一个完整的方案来独立执行。
[0193]
在其他一些实施例中,手机可以以目标摄像头中的马达的驱动code值为对焦距离的移动调节精度,来确定目标对焦距离。其中,马达的code值表示一个量化的电流大小,这个电流大小可以转变为相应的马达推力,从而可以推动摄像头马达移动。一般摄像头马达是固定在镜头组件上的,因此可以推动镜头移动,从而改变像距。摄像头马达的code值与像距相对应。具体的,摄像头马达类型有多种,其转化为马达位置变化的原理和机制也有多种,在此不作限制。
[0194]
在上述步骤(b)中,如果d
max-d
min
》δl2,则手机可以执行以下步骤(f)。
[0195]
(f)、手机计算离目标摄像头最近的第一个目标人脸对应的深度信息d'1与前景深δl1之和u,并根据1/f=1/u 1/v计算像距v。手机根据像距v计算摄像头马达的code值k。其中,这里的前景深与d'1相关,为d'1对应的前景深,对应关系为参见图13f,该k个code对应的距离即为目标对焦距离,手机可以对焦至目标对焦距离对应的目标对焦位置。这样,第一个目标人脸在前景深范围内,因而可以清晰成像。并且,第一个目标人脸位于靠近目标摄像头方向的前景深范围的边缘位置,这样可以在保证第一个目标人脸清晰成像的情况下,使得前景深范围内的目标人脸的数量最多,从而可以使得后景深范围内的目标人脸的数量也较多,整个景深范围内可清晰成像的目标人脸的数量较多。
[0196]
在上述步骤(b)中,如果d
max-d
min
》δl2;或者,在上述步骤(c)中,如果d'
s-d'1>δl1||d'
n-d's>δl2,则手机可以执行步骤(f)或(g)。
[0197]
(g)、手机计算每个目标人脸对应的深度信息d'1,d'2,...,d'n分别与前景深δl1之和u1,u2,...,un。手机分别将u1,u2,...,un作为物距,确定在前景深范围内的目标人脸的
数量。若手机确定物距为根据深度信息d'm计算的物距um时,在前景深δl1范围内的目标人脸的数量最多,则手机根据1/f=1/u 1/v以及um,计算对应的像距vm。手机根据vm计算摄像头马达的code值k。其中,这里与d'1,d'2,...,d'n相加的前景深,为d'1,d'2,...,d'n分别对应的前景深。即d'j与对应的前景深之间的对应关系为j为1到n的整数。参见图13g,该k个code对应的距离即为目标对焦距离,手机可以对焦至目标对焦距离对应的目标对焦位置。这样,d'm对应的第m个目标人脸在前景深范围内靠近目标摄像头方向的边缘位置,且前景深范围内的目标人脸的数量最多,从而可以使得后景深范围内的目标人脸的数量也较多,整个景深范围内可清晰成像的目标人脸的数量较多。
[0198]
在另一些实施例中,在步骤(g)中,手机计算前景深δl1分别与未进行排序的每个目标人脸对应的深度信息d1,d2,...,dn之和u1,u2,...,un。手机分别将u1,u2,...,un作为物距,确定在前景深范围内的目标人脸的数量。若手机确定物距为根据深度信息dm计算的物距um时,在前景深δl1范围内的目标人脸的数量最多,则手机根据1/f=1/u 1/v以及um,计算对应的像距vm。手机根据vm计算摄像头马达的code值k。该k个code对应的距离即为目标对焦距离,手机可以对焦至目标对焦距离对应的目标对焦位置。这样,dm对应的目标人脸在前景深范围内靠近目标摄像头方向的边缘位置,且前景深范围内的目标人脸的数量最多,从而可以使得后景深范围内的目标人脸的数量也较多,整个景深范围内可清晰成像的目标人脸的数量较多。
[0199]
在其他一些实施例中,步骤(f)或(g)描述的方案不需要在上述步骤(b)或(c)所示的条件限制下再执行,而可以作为一个完整的方案来独立执行。
[0200]
其中,手机可以通过摄像头马达来移动目标摄像头的镜头中一组或多组镜片的位置,或者移动目标摄像头中感光元件的位置,从而将镜头的对焦位置移动至目标对焦距离对应的目标对焦位置。
[0201]
在步骤(f)和(g)中,手机可以通过摄像头马达将镜头的对焦位置移动至k个code值对应的目标对焦位置处。
[0202]
在步骤(d)和(e)中,手机可以通过摄像头马达将镜头的对焦位置移动至目标对焦距离对应的目标人脸处。
[0203]
需要说明的是,由于马达实际是根据code值来调节对焦位置的,因而当目标对焦距离不等于某个code值对应的距离时,可以将对焦位置移动到离目标对焦距离对应的目标人脸最近的code值对应的位置。可以理解的是,由于code的精度很小,因而离目标对焦距离对应的目标人脸最近的code值对应的位置与目标对焦距离对应的目标人脸所在的位置之间的差距很小。
[0204]
在本技术的一些实施例中,在预览状态下,手机可以周期性地测量目标对象的深度信息,当手机检测到目标对象的深度信息发生变化时,可以重新根据目标对象的深度信息计算目标对焦距离,并将目标摄像头对焦至实时的目标对焦距离对应的目标对焦位置处。
[0205]
在一些实施例中,在预览状态下,当手机检测到目标对象的数量发生变化时,可以重新根据新的目标对象的深度信息计算目标对焦距离,并将目标摄像头对焦至实时的目标对焦距离对应的目标对焦位置处。
[0206]
也就是说,手机在预览状态下可以根据实时的目标对象的数量和深度信息确定实时的目标对焦距离,并将目标摄像头对焦至实时的目标对焦距离对应的目标对焦位置处。
[0207]
需要说明的是,如果手机检测到用户针对预览图像指示对焦到某个对象的操作,那么手机对焦到用户指示的对象所在的位置来采集图像,而不再使用本技术实施例提供的方法来确定目标对焦位置。
[0208]
405、手机对焦到目标对焦位置后获取预览图像,并在预览界面上显示该预览图像,预览图像上有尽可能多的目标对象成像清晰。
[0209]
如步骤404所述,目标对焦位置可以使得尽可能多的目标对象在手机目标摄像头的景深范围内,从而使得尽可能多的目标对象能够清晰成像。手机对焦到目标对焦位置后采集图像,并生成预览图像显示在预览界面上,预览图像上有尽可能多的目标对象成像清晰。
[0210]
例如,当目标对焦位置与式6中的目标对焦距离对应时,预览图像上各目标人脸均在前景深和后景深的范围内,可以清晰成像。当目标对焦位置与式7中的目标对焦距离对应时,预览图像上第m个目标人脸的成像最清晰;前m个目标人脸在前景深范围内,因而在预览图像上的成像也清晰;预览图像上m 1至n中的一个或多个目标人脸可能也成像清晰。
[0211]
示例性的,手机对焦到目标对焦位置后显示的预览图像可以参见图14中的(a)。与图5中的(b)相比,对焦调节后的图14中的(a)所示的预览图像上,更多的目标人脸能够清晰成像。
[0212]
需要说明的是,当目标对象为目标人脸时,目标人脸和人的其他部位通常位于同样的深度,因而当目标人脸的图像清晰时,整个人的图像也清晰。目标对象为人脸,也可以理解为目标对象为人。
[0213]
并且,一些技术可以精确识别到人眼,并针对人脸进行相应处理,因而目标对象具体可以是人脸、人眼或整个人等,本技术实施例对目标对象的具体内容不做限制。
[0214]
406、手机检测到用户的拍摄操作后,在对焦到目标对焦位置的情况下拍摄获得目标图像,目标图像上有尽可能多的目标对象成像清晰。
[0215]
如步骤404所述,目标对焦位置可以使得尽可能多的目标对象在手机目标摄像头的景深范围内,从而使得尽可能多的目标对象能够清晰成像。手机检测到用户的拍摄操作后,在对焦到目标对焦位置的情况下拍摄获得目标图像,目标图像上有尽可能多的目标对象成像清晰。
[0216]
例如,手机检测到用户点击拍摄控件的操作后,在目标摄像头对焦到目标对焦位置的情况下拍摄获得目标图像。可以理解的是,手机还可以响应于其他触摸操作、语音指令操作或手势操作等执行拍摄操作,本技术实施例对触发手机进行拍摄操作的操作方式不予限定。
[0217]
例如,当目标对焦位置与式6中的目标对焦距离对应时,手机拍摄获得的目标图像上各目标人脸均在前景深和后景深的范围内,可以清晰成像。当目标对焦位置与式7中的目标对焦距离对应时,目标图像上第m个目标人脸的成像最清晰;前m个目标人脸在前景深范围内,因而在预览图像上的成像也清晰;目标图像上m 1至n中的一个或多个目标人脸可能也成像清晰。
[0218]
示例性的,手机在对焦到目标对焦位置的情况下拍摄获得目标图像可以参见图14
中的(b)。与图5中的(b)相比,对焦调节后拍摄获得的目标图像上更多的目标人脸能够清晰成像。
[0219]
以另一示例来进行说明。手机启动拍照功能后的预览图像可以参见图15中的(a),其中的人脸1的图像清晰,人脸2和人脸3的图像模糊。手机确定目标对象包括人脸1、人脸2和人脸3。手机根据多个目标对象的深度信息确定目标对焦距离并对焦至目标对焦位置后,显示的预览图像可以参见图15中的(b),其中的人脸1、人脸2和人脸3的图像均清晰。手机检测到用户点击图15中的(b)所示的拍摄控件后,拍摄获得的为目标图像可以参见图15中的(c)。目标图像上的人脸1、人脸2和人脸3的图像均清晰。
[0220]
在以上实施例描述的过程中,在刚启动拍照功能后,与现有技术类似预览图像上通常仅距离手机的目标摄像头最近的对象或最中间的对象成像清晰,其他对象成像模糊。在本技术的其他一些实施例中,手机刚启动拍照功能后,并不显示仅距离手机的目标摄像头最近的对象或最中间的对象成像清晰而其他对象成像模糊的预览图像(例如显示各对象均模糊的预览图像),而在根据目标对象的深度信息对焦至目标对焦位置后,在预览界面上显示尽可能多的目标对象成像清晰的预览图像。在一些技术方案中,参见图16中的(a)-(c),手机在刚启动拍照功能后,还可以在根据目标对象的深度信息对焦至目标对焦位置的过程中提示用户“正在进行对焦调节以使得更多人脸成像清晰
…”
,而后在对焦至目标对焦位置后在预览界面上显示尽可能多的目标对象成像清晰的预览图像。该提示可以方便用户获知当前正在进行对焦调节而并未发生卡顿,帮助用户获知更多人脸成像清晰的原因。
[0221]
在本技术的一些实施例中,手机拍摄获得的多个目标对象均成像清晰的目标图像可以区别于其他图像而呈现给用户。例如,目标图像上显示有文字信息“多人清晰”或显示有其他特定的标记。
[0222]
在上述步骤401-406描述的拍摄方法中,手机可以确定待拍摄的多个目标对象,并根据多个目标对象的深度信息进行对焦调节,使得尽可能多的目标对象在电子设备摄像头的景深范围内,从而使得拍摄获得的目标图像上尽可能多的目标对象能够清晰成像,提高多目标对象合影的拍摄体验。
[0223]
在上述拍摄方法中,手机结合目标摄像头的器件参数来计算景深,根据景深进一步确定目标对焦距离,使得根据目标对焦距离进行对焦调节后尽可能多的目标对象在电子设备摄像头的景深范围内。也就是说,手机可以同时考虑目标摄像头的器件规格与对焦算法,在调节对焦距离的同时调整拍摄的景深范围,达到目标图像上尽可能多的目标对象的图像均清晰的优化效果。
[0224]
在一种现有技术中,手机使用对焦到不同对象所在位置的多帧图像进行融合,得到多个对象均成像清晰的图像。该种方案需要多次推动马达,且出帧时间长,容易导致运动模糊;而多帧融合也容易形成鬼影。并且,多帧融合的算法复杂度高,容易与其他多帧融合算法(例如高动态范围算法)存在冲突。本技术实施例提供的方法,仅通过推动马达到目标对焦位置后,拍摄一帧目标图像即可,不存在现有技术中的这些问题。
[0225]
此外,以上拍摄方法中描述的对焦调节方法也可以用在视频录制过程中。在录制视频时,由于多个目标对象的深度信息可能是变化的,因而手机可以采用上述方法实时确定目标对焦距离和目标对焦位置,从而在对焦到实时的目标对焦位置后采集图像并生成视频中的图像。
[0226]
以上是电子设备为手机为例对本技术实施例提供的拍摄方法进行阐述的。当电子设备为平板电脑或手表等其他设备时,仍可以采用上述方法拍摄获得多个目标对象均能够清晰成像的图像,此处不予赘述。
[0227]
需要说明的是,以上实施例中关于景深、前景深和后景深的定义,可以是目前业界公认的一种定义方法,在该种定义下的景深、前景深和后景深范围内人眼看到的对象是清晰的。本技术实施例对人眼看到的对象是清晰的“景深、前景深和后景深”的范围,也可以有比目前业界公认的定义方法更严格或更宽泛的定义,本技术实施例对具体的定义方式不予限制。
[0228]
举例来说,如上述式1-3所示,景深、前景深和后景深的范围与容许弥散圆直径δ相关,本技术实施例可以通过定义不同的δ,来对景深、前景深和后景深的范围进行更严格或者更宽泛的定义。其中,弥散圆是指物点成像时,由于像差的原因,使得其成像光束不能会聚于一点,在像平面上形成一个扩散的圆形投影,成为弥散圆。当使点光源经过镜头在像平面成像,如果此时保持镜头与像平面距离不变,沿光轴方向前后移动点光源,则像平面上成的像就会成为有一定直径的圆形,就叫弥散圆。对于人眼看到的一个点对应成像为某个弥散圆的直径时,人眼认为这个点是清晰的,则这个人眼认为清晰的弥散圆的大小界限定义为容许弥散圆直径δ。容许弥散圆直径δ的定义不同,景深、前景深和后景深的范围也不同。
[0229]
可以理解的是,为了实现上述功能,电子设备包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
[0230]
本实施例可以根据上述方法示例对电子设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是,本实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0231]
本技术实施例还提供一种电子设备,包括一个或多个处理器以及一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
[0232]
本技术的实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机指令,当该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施例中的拍摄方法。
[0233]
本技术的实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行上述相关步骤,以实现上述实施例中电子设备执行的拍摄方法。
[0234]
另外,本技术的实施例还提供一种装置,这个装置具体可以是芯片,组件或模块,该装置可包括相连的处理器和存储器;其中,存储器用于存储计算机执行指令,当装置运行时,处理器可执行存储器存储的计算机执行指令,以使芯片执行上述各方法实施例中电子设备执行的拍摄方法。
[0235]
其中,本实施例提供的电子设备、计算机可读存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果,此处不再赘述。
[0236]
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
[0237]
在本技术所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0238]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0239]
另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0240]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0241]
以上内容,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以所述权利要求的保护范围为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献