一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质与流程

2021-11-18 01:53:00 来源:中国专利 TAG:


1.本技术涉及图像处理技术领域,特别是涉及一种对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质。


背景技术:

2.随着电子设备的发展,越来越多的用户通过电子设备拍摄图像。为了保证拍摄的图像清晰,通常需要对电子设备的摄像模组进行对焦,即通过调节镜头与图像传感器之间的距离,以使拍摄对象在焦平面上。传统的对焦方式包括相位检测自动对焦(英文:phase detection auto focus;简称:pdaf)。
3.传统的相位检测自动对焦,主要是基于rgb像素阵列来计算相位差,然后再基于相位差来控制马达,进而由马达驱动镜头移动至合适的位置进行对焦,以使拍摄对象成像在焦平面上。
4.然而,由于rgb像素阵列在不同的光线强度下的感光度不同,因此,在部分光线强度下,通过rgb像素阵列所计算出的相位差的准确性较低,进而导致对焦的准确性也大幅降低。


技术实现要素:

5.本技术实施例提供了一种对焦控制方法、装置、成像设备、电子设备、计算机可读存储介质,可以提高对焦控制的准确性。
6.一种对焦控制方法,应用于电子设备,所述电子设备包括图像传感器,所述图像传感器包括rgbw像素阵列,所述方法包括:
7.根据当前拍摄场景的光线强度,从所述rgbw像素阵列中确定与所述当前拍摄场景的光线强度对应的目标像素;所述目标像素包括所述rgbw像素阵列中的w像素或至少一种彩色像素;
8.获取所述目标像素的相位信息,根据所述目标像素的相位信息计算相位差;
9.基于所述相位差进行对焦控制。
10.一种成像设备,包括透镜、滤光片及图像传感器,所述透镜、滤光片及图像传感器依次位于入射光路上;
11.所述图像传感器包括阵列排布的多个rgbw像素阵列,每个所述rgbw像素阵列包括多个像素单元,在每个所述像素单元中包括呈对角线排列的w像素及呈另一对角线排列的彩色像素,且每个像素对应一个微透镜及多个感光元件;每个像素包括阵列排布的多个子像素,每个子像素对应一个感光元件;所述彩色像素包括r像素、g像素、b像素。
12.一种对焦控制装置,应用于电子设备,所述电子设备包括图像传感器,所述图像传感器包括rgbw像素阵列,所述装置包括:
13.目标像素确定模块,用于根据当前拍摄场景的光线强度,从所述rgbw像素阵列中
确定与所述当前拍摄场景的光线强度对应的目标像素;所述目标像素包括所述rgbw像素阵列中的w像素或至少一种彩色像素;
14.相位差计算模块,用于获取所述目标像素的相位信息,根据所述目标像素的相位信息计算相位差;
15.对焦控制模块,用于基于所述相位差进行对焦控制。
16.一种电子设备,包括存储器及处理器,所述存储器中储存有计算得到机程序,所述计算得到机程序被所述处理器执行时,使得所述处理器执行如上所述的对焦控制方法的步骤。
17.一种计算得到机可读存储介质,其上存储有计算得到机程序,所述计算得到机程序被处理器执行时实现如上所述的对焦控制方法的步骤。
18.上述对焦控制方法,由于rgb像素阵列在不同的光线强度下的感光度不同,因此,在部分光线强度下,通过rgb像素阵列所计算出的相位差的准确性较低,进而导致对焦的准确性也大幅降低。在本技术中,根据当前拍摄场景的光线强度,从rgbw像素阵列的w像素或至少一种彩色像素中确定与当前拍摄场景的光线强度对应的目标像素。因此,就可以在不同的光线强度下,若基于rgbw像素阵列中至少一种彩色像素的相位信息所计算出的相位差的准确性较低时,就选择基于w像素的相位信息计算相位差,最终提高相位对焦的准确性。同理,若基于rgbw像素阵列中w像素的相位信息所计算出的相位差的准确性较低时,就选择基于至少一种彩色像素的相位信息计算相位差,最终提高了相位对焦的准确性。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
20.图1为相位检测自动对焦的原理示意图;
21.图2为在图像传感器包括的像素点中成对地设置相位检测像素点的示意图;
22.图3为一个实施例中一个rgbw像素阵列的部分结构示意图;
23.图4为一个实施例中对焦控制方法的流程图;
24.图5为一个实施例中对焦控制方法的示意图;
25.图6为一个实施例中在基于相位差进行对焦控制之后,生成目标图像的方法的流程图;
26.图7为一个实施例中在基于相位差进行对焦控制之后,生成目标图像的方法的示意图;
27.图8为图4中获取目标像素所采集的相位信息,根据目标像素的相位信息计算相位差方法的流程图;
28.图9为另一个实施例中对焦控制方法的示意图;
29.图10为另一个实施例中在基于相位差进行对焦控制之后,生成目标图像的方法的流程图;
30.图11为另一个实施例中在基于相位差进行对焦控制之后,生成目标图像的方法的
示意图;
31.图12为图4中获取目标像素所采集的相位信息,根据目标像素的相位信息计算相位差方法的流程图;
32.图13为再一个实施例中对焦控制方法的示意图;
33.图14为又一个实施例中rgbw像素阵列的示意图;
34.图15为再一个实施例中rgbw像素阵列的示意图;
35.图16为一个实施例中对焦控制装置的结构框图;
36.图17为一个实施例中电子设备的内部结构示意图。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
38.可以理解,本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本技术的范围的情况下,可以将第一客户端称为第二客户端,且类似地,可将第二客户端称为第一客户端。第一客户端和第二客户端两者都是客户端,但其不是同一客户端。
39.图1为相位检测自动对焦(phase detection auto focus,pdaf)的原理示意图。如图1所示,m1为成像设备处于合焦状态时,图像传感器所处的位置,其中,合焦状态指的是成功对焦的状态。当图像传感器位于m1位置时,由物体w反射向镜头lens的不同方向上的成像光线g在图像传感器上会聚,也即是,由物体w反射向镜头lens的不同方向上的成像光线g在图像传感器上的同一位置处成像,此时,图像传感器成像清晰。
40.m2和m3为成像设备不处于合焦状态时,图像传感器所可能处于的位置,如图1所示,当图像传感器位于m2位置或m3位置时,由物体w反射向镜头lens的不同方向上的成像光线g会在不同的位置成像。请参考图1,当图像传感器位于m2位置时,由物体w反射向镜头lens的不同方向上的成像光线g在位置a和位置b分别成像,当图像传感器位于m3位置时,由物体w反射向镜头lens的不同方向上的成像光线g在位置c和位置d分别成像,此时,图像传感器成像不清晰。
41.在pdaf技术中,可以获取从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异,例如,如图1所示,可以获取位置a和位置b的差异,或者,获取位置c和位置d的差异;在获取到从不同方向射入镜头的成像光线在图像传感器中所成的像在位置上的差异之后,可以根据该差异以及摄像机中镜头与图像传感器之间的几何关系,得到离焦距离,所谓离焦距离指的是图像传感器当前所处的位置与合焦状态时图像传感器所应该处于的位置的距离;成像设备可以根据得到的离焦距离进行对焦。
42.由此可知,合焦时,计算得到的pd值为0,反之算出的值越大,表示离合焦点的位置越远,值越小,表示离合焦点越近。采用pdaf对焦时,通过计算出pd值,再根据标定得到pd值与离焦距离之间的对应关系,可以求得离焦距离,然后根据离焦距离控制镜头移动达到合焦点,以实现对焦。
43.相关技术中,可以在图像传感器包括的像素点中成对地设置一些相位检测像素点,如图2所示,图像传感器中可以设置有相位检测像素点对(以下称为像素点对)a,像素点对b和像素点对c。其中,在每个像素点对中,一个相位检测像素点进行左侧遮挡(英文:left shield),另一个相位检测像素点进行右侧遮挡(英文:right shield)。
44.对于进行了左侧遮挡的相位检测像素点而言,射向该相位检测像素点的成像光束中仅有右侧的光束才能在该相位检测像素点的感光部分(也即是未被遮挡的部分)上成像,对于进行了右侧遮挡的相位检测像素点而言,射向该相位检测像素点的成像光束中仅有左侧的光束才能在该相位检测像素点的感光部分(也即是未被遮挡的部分)上成像。这样,就可以将成像光束分为左右两个部分,通过对比左右两部分成像光束所成的像,即可得到相位差。
45.电子设备包括图像传感器,图像传感器包括阵列排布的多个rgbw像素阵列。图3所示为一个rgbw像素阵列的示意图。rgbw pattern(像素阵列)由于相比于一般的bayer pattern(拜耳像素阵列)增加了通光量,提高了所采集信号的信噪比。每个rgbw像素阵列包括多个像素单元z,如图3所示,每个rgbw像素阵列包括4个像素单元z。其中,这4个像素单元z分别为红色像素单元、绿色像素单元、绿色像素单元及红色像素单元。当然,在其他实施例中,每个rgbw像素阵列包括6个或8个像素单元z,本技术对此不做限定。
46.在每个像素单元z中包括呈对角线排列的w像素(白色像素)d及呈另一对角线排列的彩色像素d,且每个像素d对应一个微透镜及多个感光元件;每个像素包括阵列排布的多个子像素,每个子像素对应一个感光元件。其中,彩色像素d包括r像素(红色像素)、g像素(绿色像素)及b像素(蓝色像素)。具体的,针对红色像素单元,包括呈对角线排列的2个w像素及呈另一对角线排列的2个r像素;针对绿色像素单元,包括呈对角线排列的2个w像素及呈另一对角线排列的2个g像素;针对蓝色像素单元,包括呈对角线排列的2个w像素及呈另一对角线排列的2个b像素。
47.其中,每个w像素d包括阵列排布的多个子像素d,每个彩色像素d包括阵列排布的多个子像素d,且每个子像素d对应一个感光元件。其中,感光元件是一种能够将光信号转化为电信号的元件。例如,感光元件可为光电二极管。如图3所示,每个w像素d包括阵列排布的4个子像素d(即4个光电二极管),每个彩色像素d包括阵列排布的4个子像素d(即4个光电二极管)。例如,针对绿色像素d包括阵列排布的4个光电二极管(up

left photodiode、up

right photodiode、down

left photodiode及down

right photodiode)。
48.图4为一个实施例中对焦控制方法的流程图。本技术实施例中的对焦控制方法,以运行于具有拍摄功能的电子设备上为例进行描述。电子设备可以是手机、平板电脑、pda(personal digital assistant,个人数字助理)、穿戴式设备(智能手环、智能手表、智能眼镜、智能手套、智能袜子、智能腰带等)、vr(virtual reality,虚拟现实)设备、智能家居、无人驾驶汽车等任意终端设备。电子设备包括图像传感器,图像传感器包括rgbw像素阵列,如图4所示,对焦控制方法包括步骤420至步骤460。
49.步骤420,根据当前拍摄场景的光线强度,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素;目标像素包括rgbw像素阵列中的w像素或至少一种彩色像素。
50.在不同拍摄场景或不同时刻,当前拍摄场景的光线强度均不尽相同,而由于rgb像素阵列在不同的光线强度下的感光度不同,因此,在部分光线强度下,通过rgb像素阵列所
计算出的相位差的准确性较低,进而导致对焦的准确性也大幅降低。其中,光线强度又称之为光照强度,光照强度是一种物理术语,指单位面积上所接受可见光的光通量,简称照度,单位勒克斯(lux或lx)。光照强度用于指示光照的强弱和物体表面积被照明程度的量。下表为不同天气及位置下的光照强度值:
51.表1
‑152.天气及位置光照强度值晴天阳光直射地面100000lx晴天室内中央200lx阴天室外50

500lx阴天室内5

50lx月光(满月)2500lx晴朗月夜0.2lx黑夜0.0011lx
53.从上述表1

1中可知,在拍摄场景或不同时刻,当前拍摄场景的光线强度相差较大。
54.为了解决这个问题,将传统方法中图像传感器的rgb像素阵列,替换为rgbw像素阵列。由于rgbw像素阵列相对于rgb像素阵列,在rgb三色color filter增加一个白色区域可以提高光线的透过率。因为w像素的感光度较强,那么,rgbw像素阵列相对于rgb像素阵列在光线强度较弱的场景下,就能够更加准确地计算出相位差,进而提高对焦的准确性。
55.具体地,根据当前拍摄场景的光线强度,从rgbw像素阵列的w像素或至少一种彩色像素中确定与当前拍摄场景的光线强度对应的目标像素。首先,获取当前拍摄场景的光线强度即光照强度,这里可以是通过电子设备上的传感器来获取当前拍摄场景的光线强度。然后,基于当前拍摄场景的光线强度与光线强度的预设阈值之间的大小关系,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素。例如,若当前拍摄场景的光线强度小于光线强度的预设阈值,则说明此时的光线较弱,那么确定w像素为目标像素,以通过w像素获取到更多的相位信息。若当前拍摄场景的光线强度大于或等于光线强度的预设阈值,则确定rgb像素中的至少一种为目标像素。因为此时通过rgb像素就可以获取到准确的相位信息,而w像素的感光度较强,反而w像素容易饱和进而影响所得到的相位信息的准确性。
56.步骤440,获取目标像素的相位信息,根据目标像素的相位信息计算相位差。
57.在确定了目标像素之后,可以读取目标像素所包含的子像素所采集的相位信息。然后,可以分别计算目标像素中处于第一方向、第二方向、对角线(包括第一对角线方向,及与第一对角线方向垂直的第二对角线方向)这四个方向的子像素的相位信号的信号差,得到这四个方向的相位差。其中,第一方向为rgbw像素阵列的竖直方向,第二方向为rgbw像素阵列的水平方向,且第一方向与第二方向相互垂直。当然,还可以计算目标像素所包含的子像素在其他方向上的相位差,本技术对此不做限定。
58.步骤460,基于相位差进行对焦控制。
59.在基于所计算的相位差进行对焦控制时,由于针对预览图像上某一方向的纹理特征,所采集到的平行于该方向的相位差几乎为0,显然不能基于所采集的平行于该方向的相
位差进行对焦。因此,若当前拍摄场景对应的预览图像中包括第二方向的纹理特征,则基于第一方向的相位差进行对焦控制。例如,假设第一方向为rgbw像素阵列的竖直方向,第二方向为rgbw像素阵列的水平方向,且第一方向与第二方向相互垂直。那么,预览图像中包括第二方向的纹理特征,指的是预览图像中包括水平方向的条纹,可以是纯色的、水平方向的条纹。此时,当前拍摄场景对应的预览图像中包括水平方向的纹理特征,则基于竖直方向的相位差进行对焦控制。
60.若当前拍摄场景对应的预览图像中包括第一方向的纹理特征,则基于第二方向的相位差进行对焦控制。若当前拍摄场景对应的预览图像中包括第一对角线方向的纹理特征,则基于第二对角线方向的相位差进行对焦控制,反之同理。如此,针对不同方向的纹理特征,才能够准确地采集到相位差。
61.本技术实施例中的对焦控制方法,由于rgb像素阵列在不同的光线强度下的感光度不同,因此,在部分光线强度下,通过rgb像素阵列所计算出的相位差的准确性较低,进而导致对焦的准确性也大幅降低。在本技术中,根据当前拍摄场景的光线强度,从rgbw像素阵列的w像素或至少一种彩色像素中确定与当前拍摄场景的光线强度对应的目标像素。因此,就可以在不同的光线强度下,若基于rgbw像素阵列中至少一种彩色像素的相位信息所计算出的相位差的准确性较低时,就选择基于w像素的相位信息计算相位差,最终提高相位对焦的准确性。同理,若基于rgbw像素阵列中w像素的相位信息所计算出的相位差的准确性较低时,就选择基于至少一种彩色像素的相位信息计算相位差,最终提高相位对焦的准确性。
62.在一个实施例中,步骤420,根据当前拍摄场景的光线强度,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素,包括:
63.根据当前拍摄场景的光线强度与光线强度的预设阈值,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素。
64.其中,光线强度的预设阈值即为光照强度阈值,基于上述表1

1可以设定阴天室内与室外的光照强度值50lx为第一预设光线强度阈值(下文简称第一预设阈值)。当然,本技术中并不对第一预设阈值的具体数值进行限定。
65.若当前拍摄场景的光线强度小于或等于第一预设阈值,则说明此时的光线较弱,那么确定w像素为目标像素,以通过w像素获取到更多的相位信息。若当前拍摄场景的光线强度大于第一预设阈值,则确定rgb像素中的至少一种为目标像素。因为此时通过rgb像素就可以获取到准确的相位信息,而w像素的感光度较强,反而w像素容易饱和进而影响所得到的相位信息的准确性。
66.本技术实施例中,在光线较弱时,由于w像素的感光度较强,则采用w像素作为目标像素,然后通过w像素可以准确地计算相位差,进而进行对焦控制。反之,在光线较弱时,采用rgb像素中的至少一种作为目标像素,然后通过rgb像素中的至少一种可以准确地计算相位差,进而进行对焦控制。最终,实现了在不同的光线强度下,均可以实现准确地进行对焦控制。
67.在一个实施例中,根据当前拍摄场景的光线强度与预设光线强度阈值,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素,包括:
68.若当前拍摄场景的光线强度超过第一预设阈值时,则将rgbw像素阵列中的至少一种彩色像素作为目标像素。
69.本技术实施例中,若当前拍摄场景的光线强度大于或等于第一预设阈值,则确定rgb像素中的至少一种为目标像素。因为此时通过rgb像素就可以获取到准确的相位信息,而w像素的感光度较强,反而w像素容易饱和进而影响所得到的相位信息的准确性。
70.在一个实施例中,步骤440,获取目标像素所采集的相位信息,根据目标像素的相位信息计算相位差,包括:
71.若当前拍摄场景的光线强度超过第二预设阈值,则获取目标像素中每个像素的子像素的相位信息;第二预设阈值大于第一预设阈值;
72.针对目标像素中两个色彩相同的像素,根据两个色彩相同的像素中的各对子像素的相位信息,计算目标像素的相位差;其中,两个色彩相同的像素沿像素阵列的对角线相邻,各对子像素分别位于两个色彩相同的像素中,且在各像素中的位置相同。
73.具体的,由于若当前拍摄场景的光线强度超过第一预设阈值时,则将rgbw像素阵列中的至少一种彩色像素作为目标像素。而第二预设阈值大于第一预设阈值,因此,那么若当前拍摄场景的光线强度超过第二预设阈值,则目标像素同样也是rgbw像素阵列中的至少一种彩色像素。
74.因此,若当前拍摄场景的光线强度超过第二预设阈值,则获取目标像素中每个像素的子像素的相位信息。即为获取rgbw像素阵列中的至少一种彩色像素中子像素的相位信息。再从目标像素中确定沿像素阵列的对角线相邻的两个色彩相同的像素。然后,针对目标像素中这两个色彩相同的像素,根据两个色彩相同的像素中的各对子像素的相位信息,计算目标像素的相位差。其中,各对子像素分别位于两个色彩相同的像素中,且在各像素中的位置相同。
75.假设当前拍摄场景的光线强度超过第二预设阈值,将rgbw像素阵列中的至少一种彩色像素作为目标像素。这里,可以是将r像素、g像素、b像素中的任何一种作为目标像素,例如,将r像素作为目标像素,或将g像素作为目标像素,或将b像素作为目标像素。也可以是将r像素、g像素、b像素中的任何两种作为目标像素,例如,将rg像素作为目标像素,或将rb像素作为目标像素,或将gb像素作为目标像素。也可以是将r像素、g像素、b像素全部作为目标像素。本技术中并不对此进行限定。
76.下面以将r像素、g像素、b像素全部作为目标像素的情况进行举例说明。如图5所示,为一个实施例中对焦控制的示意图。在分别读取了r像素、g像素、b像素中每个子像素的相位信息之后,从r像素中确定两个色彩相同的像素,该两个色彩相同的像素沿像素阵列的对角线相邻。再从两个色彩相同的像素中确定各对子像素,该各对子像素分别位于两个色彩相同的像素中,且在各像素中的位置相同。将各对子像素的相位信息输入至isp,通过isp计算r像素的相位差。这里将rgbw像素阵列划分为第一像素单元(r像素单元)、第二像素单元(g像素单元)、第三像素单元(g像素单元)及第四像素单元(b像素单元)。例如,对第一像素单元中左上角的r像素的4个子像素按照从上到下、从左到右的方向编号为子像素1、子像素2、子像素3及子像素4。对第一像素单元中右下角的r像素的4个子像素按照从上到下、从左到右的方向编号为子像素5、子像素6、子像素7及子像素8。那么,根据r像素中处于同一位置的两个子像素的相位信息,计算r像素的第一相位差。即为根据r像素中子像素1及子像素5的相位信息,计算r像素的第二相位差;根据r像素中子像素2及子像素6的相位信息,计算r像素的相位差;根据r像素中子像素3及子像素7的相位信息,计算r像素的第三相位差;根据
r像素中子像素4及子像素8的相位信息,计算r像素的第四相位差。最终,基于r像素的第一相位差、第二相位差、第三相位差及第四相位差就可以得到r像素的相位差。这里,具体可以是求加权平均值的方法来进行计算,本技术对此不做限定。
77.同理,针对每个像素单元中的沿像素阵列的对角线相邻的g像素也进行上述操作,分别得到g像素的相位差。针对每个像素单元中的沿像素阵列的对角线相邻的b像素也进行上述操作,分别得到b像素的相位差。
78.然后,就可以基于r像素、g像素、b像素的相位差,计算镜头距离清晰位置的距离,进而根据该距离计算马达驱动的code值,然后马达的driver ic将code值转换为驱动电流,并基于驱动电流驱动镜头移动到清晰位置。至此,实现了对焦控制的过程。
79.本技术实施例中,若当前拍摄场景的光线强度超过第二预设阈值,则获取目标像素中每个像素的子像素的相位信息;第二预设阈值大于第一预设阈值。因为此时的光线强度比较大,则通过rgb像素的子像素所采集到的相位信息比较准确,所以针对目标像素中沿像素阵列的对角线相邻的色彩相同的像素,直接根据色彩相同的像素中各对子像素的相位信息,计算目标像素的相位差。再基于目标像素的相位差进行对焦,最终提高了相位对焦的准确性。
80.接上一个实施例,如图6所示,在基于相位差进行对焦控制之后,方法还包括:
81.步骤620,控制rgbw像素阵列曝光,获取rgbw像素阵列中所有子像素的像素值。
82.在通过上一个实施例中的对焦控制方法实现了对焦之后,控制rgbw像素阵列曝光,获取rgbw像素阵列中所有子像素的像素值。即获取rgbw像素阵列中每个r像素、g像素、b像素及w像素的子像素的像素值。如图7所示,为一个实施例中生成目标图像的示意图。其中,获取rgbw像素阵列中子像素的像素值,构成了原始raw图像702。
83.步骤640,从子像素的像素值中获取彩色像素的子像素的像素值,对彩色像素的子像素的像素值进行插值运算,生成拜耳阵列图像。
84.从原始raw图像702中获取r像素、g像素、b像素的子像素的像素值,生成rgb像素对应的raw图像704。对rgb像素对应的raw图像704中的r像素、g像素、b像素的子像素的像素值进行插值运算,生成拜耳阵列图像706。其中,拜耳阵列图像是一个4
×
4阵列,由8个绿色、4个蓝色和4个红色像素组成,在将灰度图像转换为彩色图片时会以2
×
2矩阵进行9次运算,最后生成一幅彩色图像。具体的,可以采用remosaic插值算法来进行插值处理,其中remosaic插值算法,主要是通过像素互换,或通过像素与周围相关像素之间的联系,根据像素与周围相关像素之间的距离远近计算出权重比例。然后,基于权重比例与该像素的像素值生成周围相关像素的像素值。
85.步骤660,从子像素的像素值中获取w像素的子像素的像素值,对w像素的子像素的像素值进行插值运算,生成w像素图像。
86.从原始raw图像702中获取w像素的子像素的像素值,生成w像素对应的raw图像708。对w像素对应的raw图像708中的w像素的子像素的像素值进行插值运算,生成w像素图像710。
87.步骤680,将拜耳阵列图像与w像素图像进行融合,生成目标图像。
88.最后,将拜耳阵列图像706与w像素图像710进行融合,生成目标图像712。这里,在将拜耳阵列图像706与w像素图像710进行融合时,可以是直接将拜耳阵列图像706中每个子
像素的像素值与w像素图像710中每个子像素的像素值进行合并,生成目标图像712中对应位置的子像素的像素值。
89.本技术实施例中,若当前拍摄场景的光线强度超过第二预设阈值,则获取目标像素中每个像素的子像素的相位信息。因为此时的光线强度比较大,则通过rgb像素的子像素所采集到的相位信息比较准确,所以针对目标像素中相邻的色彩相同的像素,直接根据色彩相同的像素中处于同一位置的两个子像素的相位信息,计算目标像素的相位差。再基于目标像素的相位差进行对焦,最终提高了相位对焦的准确性。
90.然后,控制rgbw像素阵列曝光,获取rgbw像素阵列中所有子像素的像素值。因为此时的光线强度比较大,则每个子像素的像素值的信噪比较大。因此,从子像素的像素值中获取彩色像素的子像素的像素值,直接对彩色像素的子像素的像素值进行插值运算,生成拜耳阵列图像。直接从子像素的像素值中获取w像素的子像素的像素值,对w像素的子像素的像素值进行插值运算,生成w像素图像。将拜耳阵列图像与w像素图像进行融合,生成目标图像。由于此时光线强度比较大,直接对每个子像素的像素值进行插值处理,可以在保证较大的信噪比的同时,提高最终所生成的目标图像的分辨率。
91.在一个实施例中,如图8所示,每个rgbw像素阵列包括多个像素单元,每个像素单元包括多个像素,每个像素包括多个子像素;步骤440,获取目标像素所采集的相位信息,根据目标像素的相位信息计算相位差,包括:
92.步骤820,若当前拍摄场景的光线强度超过第一预设阈值,且不大于第二预设阈值,获取目标像素中每个像素的子像素的相位信息。
93.具体的,由于若当前拍摄场景的光线强度超过第一预设阈值时,则将rgbw像素阵列中的至少一种彩色像素作为目标像素。因此,那么若当前拍摄场景的光线强度超过第一预设阈值,且不大于第二预设阈值,则目标像素同样也是rgbw像素阵列中的至少一种彩色像素。然后,获取目标像素中每个像素的子像素的相位信息。即为获取rgbw像素阵列中的至少一种彩色像素中子像素的相位信息。
94.假设当前拍摄场景的光线强度超过第一预设阈值,且不大于第二预设阈值,将rgbw像素阵列中的至少一种彩色像素作为目标像素。这里,可以是将r像素、g像素、b像素中的任何一种作为目标像素,例如,将r像素作为目标像素,或将g像素作为目标像素,或将b像素作为目标像素。也可以是将r像素、g像素、b像素中的任何两种作为目标像素,例如,将rg像素作为目标像素,或将rb像素作为目标像素,或将gb像素作为目标像素。也可以是将r像素、g像素、b像素全部作为目标像素。本技术中并不对此进行限定。
95.步骤840,针对每个像素单元,将色彩相同的像素中在第一方向上处于色彩相同的像素内相同区域的子像素的相位信息进行合并,得到各像素单元内色彩相同的像素在第一方向上的合并相位信息,根据每个像素在第一方向上的合并相位信息计算第一方向的相位差;或,
96.结合图3所示,rgbw像素阵列包括4个像素单元。针对每个像素单元,首先,确定色彩相同的像素中在第一方向上处于色彩相同的像素内相同区域的子像素。其中,第一方向为rgbw像素阵列的竖直方向,第二方向为rgbw像素阵列的水平方向,且第一方向与第二方向相互垂直。当然,还可以计算目标像素所包含的子像素在其他方向上的相位差,本技术对此不做限定。
97.下面以将r像素作为目标像素的情况进行举例说明。
98.如图9所示,为一个实施例中对焦控制的示意图。针对rgbw像素阵列920中的r像素单元,首先,确定r像素在第一方向上处于r像素内相同区域的子像素。例如,对第一像素单元(r像素单元)中左上角的r像素的4个子像素按照从上到下、从左到右的方向编号为子像素1、子像素2、子像素3及子像素4(可参考图5)。对第一像素单元(r像素单元)中右下角的r像素的4个子像素按照从上到下、从左到右的方向编号为子像素5、子像素6、子像素7及子像素8(可参考图5)。那么,确定左上角的r像素在第一方向上处于r像素内相同区域的子像素为子像素1、子像素3,确定右下角的r像素在第一方向上处于r像素内相同区域的子像素为子像素4、子像素6。
99.其次,将r像素单元中r像素在第一方向上处于同一区域的子像素的相位信息进行合并。即将子像素1、子像素3的相位信息(left signal)进行合并,生成左侧相位信息;将子像素4、子像素6的相位信息(right signal)进行合并,生成右侧相位信息;最后,将左侧相位信息及右侧相位信息进行合并得到各r像素单元内r像素在第一方向上的合并相位信息,生成合并后的rgb像素阵列940。
100.根据每个像素在第一方向上的合并相位信息计算第一方向的相位差。例如,针对合并后的rgb像素阵列940,根据r像素单元中的两个r像素在第一方向上的合并相位信息,计算r像素在第一方向的相位差。
101.同理,若将g像素作为目标像素,则针对每个像素单元中的g像素也进行上述操作,根据各g像素单元中的两个g像素在第一方向上的合并相位信息,计算g像素在第一方向的相位差。
102.同理,若将b像素作为目标像素,则针对每个像素单元中的b像素也进行上述操作,根据各b像素单元中的两个b像素在第一方向上的合并相位信息,计算b像素在第一方向的相位差。
103.若将r像素、g像素、b像素中的任何两种作为目标像素,或将r像素、g像素、b像素全部作为目标像素。则从上述计算所得的r像素在第一方向的相位差、g像素在第一方向的相位差及b像素在第一方向的相位差中选取对应的相位差,进行合并生成第一方向的相位差。
104.步骤860,针对每个像素单元,将色彩相同的像素中在第二方向上处于色彩相同的像素内相同区域的子像素的相位信息进行合并,得到各像素单元内色彩相同的像素在第二方向上的合并相位信息,根据每个像素在第二方向上的合并相位信息计算第二方向的相位差;第一方向与第二方向相互垂直。
105.下面以将r像素作为目标像素的情况进行举例说明。
106.针对rgbw像素阵列中的r像素单元,首先,确定r像素在第二方向上处于色彩相同的像素内相同区域的子像素。例如,对第一像素单元(r像素单元)中左上角的r像素的4个子像素按照从上到下、从左到右的方向编号为子像素1、子像素2、子像素3及子像素4。对第一像素单元(r像素单元)中右下角的r像素的4个子像素按照从上到下、从左到右的方向编号为子像素5、子像素6、子像素7及子像素8。那么,确定左上角的r像素在第二方向上处于r像素内相同区域的子像素为子像素1、子像素2,确定右下角的r像素在第二方向上处于r像素内相同区域的子像素为子像素4、子像素5。
107.其次,将r像素单元中r像素在第二方向上处于r像素内相同区域的子像素的相位
信息进行合并。即将子像素1、子像素2的相位信息进行合并,生成上方相位信息;将子像素4、子像素5的相位信息进行合并,生成下方相位信息;最后,将上方相位信息及下方相位信息进行合并得到每个像素在第二方向上的合并相位信息,生成合并后的rgb像素阵列。
108.根据每个像素在第二方向上的合并相位信息计算第二方向的相位差。例如,针对合并后的rgb像素阵列940,根据r像素单元中的两个r像素在第二方向上的合并相位信息,计算r像素在第二方向的相位差。
109.同理,若将g像素作为目标像素,则针对每个像素单元中的g像素也进行上述操作,根据各g像素单元中的两个g像素在第二方向上的合并相位信息,计算g像素在第二方向的相位差。
110.同理,若将b像素作为目标像素,则针对每个像素单元中的b像素也进行上述操作,根据各b像素单元中的两个b像素在第二方向上的合并相位信息,计算b像素在第二方向的相位差。
111.若将r像素、g像素、b像素中的任何两种作为目标像素,或将r像素、g像素、b像素全部作为目标像素。则从上述计算所得的r像素在第二方向的相位差、g像素在第二方向的相位差及b像素在第二方向的相位差中选取对应的相位差,进行合并生成第二方向的相位差。
112.本技术实施例中,若当前拍摄场景的光线强度超过第一预设阈值,小于第二预设阈值,则获取目标像素中每个像素的子像素的相位信息。因为此时的光线强度稍弱,则通过rgb像素的子像素所采集到的相位信息不是很准确,部分rgb像素可能未采集到相位信息。因此,针对每个像素单元,将色彩相同的像素中在第一方向/第二方向上处于色彩相同的像素内相同区域的子像素的相位信息进行合并,得到各像素单元内色彩相同的像素在第一方向/第二方向上的合并相位信息,根据每个像素在第一方向/第二方向上的合并相位信息计算第一方向/第二方向的相位差。通过将相位信息进行合并的方式,可以实现提高所获取的相位信息的准确性,提高相位信息的信噪比。再基于第一方向/第二方向的相位差进行对焦,最终提高了相位对焦的准确性。
113.在一个实施例中,如图10所示,在基于相位差进行对焦控制之后,方法还包括:
114.步骤1010,控制rgbw像素阵列曝光,获取所rgbw像素阵列中子像素的像素值。
115.在通过上一个实施例中的对焦控制方法实现了对焦之后,控制rgbw像素阵列曝光,获取rgbw像素阵列中子像素的像素值。即获取rgbw像素阵列中每个r像素、g像素、b像素及w像素的子像素的像素值。如图11所示,为一个实施例中生成目标图像的示意图。其中,获取rgbw像素阵列中子像素的像素值,构成了原始raw图像1102。
116.步骤1030,根据各彩色像素的子像素的像素值,计算彩色像素的像素值。
117.从子像素的像素值中获取r像素、g像素及b像素的子像素的像素值,将r像素的子像素的像素值合并得到r像素的像素值,将g像素的子像素的像素值合并得到g像素的像素值,将b像素的子像素的像素值合并得到b像素的像素值。
118.如图11所示,从原始raw图像1102中获取r像素、g像素、b像素的子像素的像素值,生成rgb像素对应的raw图像1104。将r像素的子像素的像素值合并得到r像素的像素值,将g像素的子像素的像素值合并得到g像素的像素值,将b像素的子像素的像素值合并得到b像素的像素值。基于r像素的像素值、g像素的像素值及b像素的像素值,生成rgb像素对应的合并raw图像1106。
119.步骤1050,对彩色像素的像素值进行插值运算,生成拜耳阵列图像。
120.对rgb像素对应的合并raw图像1106中的r像素、g像素、b像素的像素值进行插值运算,生成拜耳阵列图像1108。具体的,可以采用remosaic插值算法来进行插值处理,其中remosaic插值算法,主要是通过像素互换,或通过像素与周围相关像素之间的联系,根据像素与周围相关像素之间的距离远近计算出权重比例。然后,基于权重比例与该像素的像素值生成周围相关像素的像素值。
121.步骤1070,根据w像素的子像素的像素值,计算w像素的像素值,对w像素的像素值进行插值运算,生成w像素图像。
122.从子像素的像素值中获取w像素的子像素的像素值,将w像素的子像素的像素值进行合并得到w像素的像素值。
123.从原始raw图像1102中获取w像素的子像素的像素值,生成w像素对应的raw图像1110。将w像素的子像素的像素值合并得到w像素的像素值,生成w像素对应的合并w图像1112。对w像素对应的合并raw图像1212中的w像素的像素值进行插值运算,生成w像素图像1114。
124.步骤1190,将拜耳阵列图像与w像素图像进行融合,生成目标图像。
125.将拜耳阵列图像1108与w像素图像1114进行融合,生成目标图像1116。这里,在将拜耳阵列图像1108与w像素图像1114进行融合时,可以是直接将拜耳阵列图像1108中每个像素的像素值与w像素图像1114中每个像素的像素值进行合并,生成目标图像1116中对应位置的像素的像素值。
126.本技术实施例中,若当前拍摄场景的光线强度超过第一预设阈值,且不大于第二预设阈值,在按照上述实施例中的对焦方法进行对焦之后,控制rgbw像素阵列曝光,获取所rgbw像素阵列中子像素的像素值。因为此时的光线强度稍弱,则每个子像素的像素值的信噪比较小。将各彩色像素的子像素的像素值进行合并,生成彩色像素的像素值,提高了彩色像素的像素值的信噪比。然后,再对彩色像素的像素值进行插值运算,生成拜耳阵列图像。将各w像素的子像素的像素值进行合并,生成w像素的像素值,提高了w像素的像素值的信噪比。再对w像素的像素值进行插值运算,生成w像素图像。将拜耳阵列图像与w像素图像进行融合,生成目标图像。
127.虽然最终生成的目标图像的分辨率降低了,但是所采集的像素值对应的信号增大了,因此提高了目标图像的信噪比。
128.在一个实施例中,彩色像素包括r像素、g像素及b像素;根据各彩色像素的子像素的像素值,计算彩色像素的像素值,包括:
129.从子像素的像素值中获取r像素、g像素及b像素的子像素的像素值,将r像素的子像素的像素值合并得到r像素的像素值,将g像素的子像素的像素值合并得到g像素的像素值,将b像素的子像素的像素值合并得到b像素的像素值。
130.本技术实施例中,将r像素的子像素的像素值合并得到r像素的像素值时,可以是直接对r像素的子像素的像素值计算加权平均值,生成r像素的像素值。同理,计算出g像素的像素值、b像素的像素值。将各彩色像素的子像素的像素值进行合并,生成彩色像素的像素值,提高了彩色像素的像素值的信噪比。
131.在一个实施例中,根据w像素的子像素的像素值,计算w像素的像素值,包括:
132.从子像素的像素值中获取w像素的子像素的像素值,将w像素的子像素的像素值进行合并得到w像素的像素值。
133.本技术实施例中,将w像素的子像素的像素值进行合并得到w像素的像素值,可以是直接对w像素的子像素的像素值计算加权平均值,生成w像素的像素值。将各w像素的子像素的像素值进行合并,生成w像素的像素值,提高了w像素的像素值的信噪比。
134.在一个实施例中,根据当前拍摄场景的光线强度与光线强度的预设阈值,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素,包括:
135.若当前拍摄场景的光线强度小于或等于第一预设阈值,则将rgbw像素阵列中的w像素作为目标像素。
136.本技术实施例中,若当前拍摄场景的光线强度小于或等于第一预设阈值,则说明此时的光线较弱。由于w像素的感光度较强,那么确定w像素为目标像素,以通过w像素可以获取到更多的相位信息。
137.接上一个实施例,每个rgbw像素阵列包括多个像素单元,如图12所示,步骤440,获取目标像素所采集的相位信息,根据目标像素的相位信息计算相位差,包括:
138.步骤1220,针对w像素,获取w像素中的各子像素的相位信息。
139.如图13所示,为一个实施例中对焦控制的示意图。若当前拍摄场景的光线强度小于或等于第一预设阈值,因为此时的光线强度非常弱,则将rgbw像素阵列1320中的w像素作为目标像素。进而,获取rgbw像素阵列中的w像素中子像素的相位信息,生成w像素阵列1320。
140.步骤1240,针对每个像素单元,将w像素中在第一方向上处于同一区域的子像素的相位信息进行合并,得到w像素在第一方向上的合并相位信息,根据w像素在第一方向上的合并相位信息计算第一方向的相位差;或,
141.针对w像素阵列1320中的w像素单元,首先,确定w像素在第一方向上处于同一区域的子像素。例如,对第一像素单元(r像素单元)中右上角的w像素的4个子像素按照从上到下、从左到右的方向编号为子像素1、子像素2、子像素3及子像素4。对第一像素单元(r像素单元)中左下角的w像素的4个子像素按照从上到下、从左到右的方向编号为子像素5、子像素6、子像素7及子像素8。那么,确定右上角的w像素在第一方向上处于同一区域的子像素为子像素1、子像素3,确定左下角的w像素在第一方向上处于同一区域的子像素为子像素4、子像素6。
142.其次,将r像素单元中w像素在第一方向上处于同一区域的子像素的相位信息进行合并。即将子像素1、子像素3的相位信息(left signal)进行合并,生成左侧相位信息;将子像素4、子像素6的相位信息(right signal)进行合并,生成右侧相位信息;最后,将左侧相位信息及右侧相位信息进行合并得到每个像素在第一方向上的合并相位信息,生成合并后的w像素阵列1340。
143.根据每个像素在第一方向上的合并相位信息计算第一方向的相位差。例如,针对合并后的w像素阵列1340,根据r像素单元中的两个w像素在第一方向上的合并相位信息,计算w像素在第一方向的相位差。
144.或者,可以继续对合并后的w像素阵列1340中w像素的合并相位信息再次进行合并,生成w像素阵列1360。根据w像素阵列1360,计算w像素在第一方向的相位差。
145.步骤1260,针对每个像素单元,将w像素中在第二方向上处于同一区域的子像素的相位信息进行合并,得到w像素在第二方向上的合并相位信息,根据w像素在第二方向上的合并相位信息计算第二方向的相位差;第一方向与第二方向相互垂直。
146.针对w像素阵列1320中的w像素单元,首先,确定w像素在第二方向上处于同一区域的子像素。例如,对第一像素单元(r像素单元)中右上角的w像素的4个子像素按照从上到下、从左到右的方向编号为子像素1、子像素2、子像素3及子像素4。对第一像素单元(r像素单元)中左下角的w像素的4个子像素按照从上到下、从左到右的方向编号为子像素5、子像素6、子像素7及子像素8。那么,确定右上角的w像素在第二方向上处于同一区域的子像素为子像素1、子像素2,确定左下角的w像素在第二方向上处于同一区域的子像素为子像素4、子像素5。
147.其次,将r像素单元中w像素在第二方向上处于同一区域的子像素的相位信息进行合并。即将子像素1、子像素2的相位信息(left signal)进行合并,生成上方相位信息;将子像素4、子像素5的相位信息(right signal)进行合并,生成下方相位信息;最后,将上方相位信息及下方相位信息进行合并得到每个像素在第二方向上的合并相位信息,生成合并后的w像素阵列。
148.根据每个像素在第二方向上的合并相位信息计算第二方向的相位差。例如,针对合并后的w像素阵列1340,根据r像素单元中的两个w像素在第二方向上的合并相位信息,计算w像素在第二方向的相位差。
149.或者,可以继续对合并后的w像素阵列1340中w像素的合并相位信息再次进行合并,生成w像素阵列1360。根据w像素阵列1360,计算w像素在第一方向的相位差。
150.本技术实施例中,若当前拍摄场景的光线强度小于或等于第一预设阈值,则将rgbw像素阵列中的w像素作为目标像素。因为此时的光线强度非常弱,则将rgbw像素阵列中的w像素作为目标像素。针对每个像素单元,将w像素中在第一方向/第二方向上处于同一区域的子像素的相位信息进行合并,得到w像素在第一方向/第二方向上的合并相位信息,根据w像素在第一方向/第二方向上的合并相位信息计算第一方向/第二方向的相位差,第一方向与第二方向相互垂直。通过将相位信息进行合并的方式,可以实现提高所获取的相位信息的准确性,提高相位信息的信噪比。再基于第一方向/第二方向的相位差进行对焦,最终提高了相位对焦的准确性。
151.在一个实施例中,像素对应的多个感光元件呈中心对称方式排布。
152.结合图3所示,为一个实施例中图像传感器的一部分的结构示意图。图像传感器包括阵列排布的多个rgbw像素阵列。图3所示为一个rgbw像素阵列的示意图。每个rgbw像素阵列包括多个像素单元z,如图3所示,每个rgbw像素阵列包括4个像素单元z。其中,这4个像素单元z分别为红色像素单元、绿色像素单元、绿色像素单元及红色像素单元。
153.在每个像素单元z中包括呈对角线排列的w像素d及彩色像素d,且每个像素d对应一个微透镜。其中,彩色像素d包括r像素、g像素及b像素。具体的,针对红色像素单元,包括呈对角线排列的2个w像素及2个r像素;针对绿色像素单元,包括呈对角线排列的2个w像素及2个g像素;针对蓝色像素单元,包括呈对角线排列的2个w像素及2个b像素。
154.其中,每个w像素d包括阵列排布的多个子像素d,每个彩色像素d包括阵列排布的多个子像素d,且每个子像素d对应一个感光元件。由于像素对应的多个感光元件呈中心对
称方式排布,因此,w像素、r像素、g像素及b像素包括呈中心对称方式排布的多个子像素。即这些子像素对应的感光元件可以以各种排布方式、或各种形状进行中心对称排布,不限定于图3所示的以正方形来进行排布。
155.本技术实施例中,子像素对应的感光元件可以以各种排布方式、或各种形状进行中心对称排布,每个子像素d对应一个感光元件。因此,w像素、r像素、g像素及b像素包括呈中心对称方式排布的多个子像素。为子像素提供了多样化的排布方式,因此,子像素能够采集到多样化的相位信息,进而提高后续对焦的准确性。
156.在一个实施例中,像素对应的多个感光元件以梯形方式进行中心对称排布。
157.如图14所示,为一个rgbw像素阵列的示意图。每个rgbw像素阵列包括4个像素单元z。其中,这4个像素单元z分别为红色像素单元、绿色像素单元、绿色像素单元及红色像素单元。在每个像素单元z中包括呈对角线排列的w像素d及彩色像素d,且每个像素d对应一个微透镜。其中,彩色像素d包括r像素、g像素及b像素。
158.每个w像素包括阵列排布的多个子像素d,这些子像素以梯形方式进行中心对称排布。同理,每个r像素包括阵列排布的多个子像素d,这些子像素以梯形方式进行中心对称排布。每个g像素包括阵列排布的多个子像素d,这些子像素以梯形方式进行中心对称排布。每个b像素包括阵列排布的多个子像素d,这些子像素以梯形方式进行中心对称排布。且每个子像素d对应一个感光元件。感光元件可以为光电二极管(pd,photodiode)。如图14中,左侧pd与右侧pd均为梯形结构,且左侧pd与右侧pd呈中心对称排布。
159.可选的,rgbw像素阵列中的w像素、r像素、g像素及b像素还可以采用多种不同排布方式进行组合,本技术对此不做具体限定。
160.本技术实施例中,子像素对应的感光元件可以以各种排布方式、或各种形状进行中心对称排布,每个子像素d对应一个感光元件。因此,w像素、r像素、g像素及b像素包括以梯形方式进行中心对称排布的多个子像素。为子像素提供了多样化的排布方式,因此,子像素能够采集到多样化的相位信息,进而提高后续对焦的准确性。
161.在一个实施例中,像素对应的多个感光元件以l形方式进行中心对称排布。
162.如图15所示,为一个rgbw像素阵列的示意图。每个rgbw像素阵列包括4个像素单元z。其中,这4个像素单元z分别为红色像素单元、绿色像素单元、绿色像素单元及红色像素单元。在每个像素单元z中包括呈对角线排列的w像素d及彩色像素d,且每个像素d对应一个微透镜。其中,彩色像素d包括r像素、g像素及b像素。
163.每个w像素包括阵列排布的多个子像素d,这些子像素以l形方式进行中心对称排布。同理,每个r像素包括阵列排布的多个子像素d,这些子像素以l形方式进行中心对称排布。每个g像素包括阵列排布的多个子像素d,这些子像素以l形方式进行中心对称排布。每个b像素包括阵列排布的多个子像素d,这些子像素以l形方式进行中心对称排布。且每个子像素d对应一个感光元件。感光元件可以为光电二极管(pd,photodiode)。如图15中,左侧pd与右侧pd均为l形结构,且左侧pd与右侧pd呈中心对称排布。
164.可选的,rgbw像素阵列中的w像素、r像素、g像素及b像素还可以采用多种不同排布方式进行组合,本技术对此不做具体限定。
165.本技术实施例中,子像素对应的感光元件可以以各种排布方式、或各种形状进行中心对称排布,每个子像素d对应一个感光元件。因此,w像素、r像素、g像素及b像素包括以l
形方式进行中心对称排布的多个子像素。为子像素提供了多样化的排布方式,因此,子像素能够采集到多样化的相位信息,进而提高后续对焦的准确性。
166.在一个实施例中,如图16所示,提供了一种对焦控制装置1600,应用于电子设备,电子设备包括图像传感器,图像传感器包括rgbw像素阵列,装置包括:
167.目标像素确定模块1620,用于根据当前拍摄场景的光线强度,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素;目标像素包括rgbw像素阵列中的w像素或至少一种彩色像素;
168.相位差计算模块1640,用于获取目标像素的相位信息,根据目标像素的相位信息计算相位差;
169.对焦控制模块1660,用于基于相位差进行对焦控制。
170.在一个实施例中,目标像素确定模块1620,还用于根据当前拍摄场景的光线强度与光线强度的预设阈值,从rgbw像素阵列中确定与当前拍摄场景的光线强度对应的目标像素。
171.在一个实施例中,目标像素确定模块1620,包括:
172.第一目标像素确定单元,用于若当前拍摄场景的光线强度超过第一预设阈值时,则将rgbw像素阵列中的至少一种彩色像素作为目标像素。
173.在一个实施例中,相位差计算模块1640,用于若当前拍摄场景的光线强度超过第二预设阈值,则获取目标像素中每个像素的子像素的相位信息;第二预设阈值大于第一预设阈值;针对目标像素中两个色彩相同的像素,根据两个色彩相同的像素中的各对子像素的相位信息,计算目标像素的相位差;其中,两个色彩相同的像素沿像素阵列的对角线相邻,各对子像素分别位于两个色彩相同的像素中,且在各像素中的位置相同。
174.在一个实施例中,提供了一种对焦控制装置,该装置还包括:
175.第一目标图像生成模块,用于控制rgbw像素阵列曝光,获取rgbw像素阵列中子像素的像素值;从子像素的像素值中获取彩色像素的子像素的像素值,对彩色像素的子像素的像素值进行插值运算,生成拜耳阵列图像;从子像素的像素值中获取w像素的子像素的像素值,对w像素的子像素的像素值进行插值运算,生成w像素图像;将拜耳阵列图像与w像素图像进行融合,生成目标图像。
176.在一个实施例中,每个rgbw像素阵列包括多个像素单元,每个像素单元包括多个像素,每个像素包括多个子像素;相位差计算模块1640包括:
177.第一相位差计算单元,用于:若当前拍摄场景的光线强度超过第一预设阈值,且不大于第二预设阈值,获取目标像素中每个像素的子像素的相位信息;
178.针对每个像素单元,将色彩相同的像素中在第一方向上处于色彩相同的像素内相同区域的子像素的相位信息进行合并,得到各像素单元内色彩相同的像素在第一方向上的合并相位信息,根据每个像素在第一方向上的合并相位信息计算第一方向的相位差;或,
179.针对每个像素单元,将色彩相同的像素中在第二方向上处于色彩相同的像素内相同区域的子像素的相位信息进行合并,得到各像素单元内色彩相同的像素在第二方向上的合并相位信息,根据每个像素在第二方向上的合并相位信息计算第二方向的相位差;第一方向与第二方向相互垂直。
180.在一个实施例中,对焦控制模块1660,还用于若当前拍摄场景对应的预览图像中
包括第二方向的纹理特征,则基于第一方向的相位差进行对焦控制;或,若当前拍摄场景对应的预览图像中包括第一方向的纹理特征,则基于第二方向的相位差进行对焦控制。
181.在一个实施例中,提供了一种对焦控制装置,该装置还包括:
182.第二目标图像生成模块,用于控制rgbw像素阵列曝光,获取所rgbw像素阵列中子像素的像素值;
183.根据各彩色像素的子像素的像素值,计算彩色像素的像素值;
184.对彩色像素的像素值进行插值运算,生成拜耳阵列图像;
185.根据w像素的子像素的像素值,计算w像素的像素值,对w像素的像素值进行插值运算,生成w像素图像;
186.将拜耳阵列图像与w像素图像进行融合,生成目标图像。
187.在一个实施例中,彩色像素包括r像素、g像素及b像素;第二目标图像生成模块,还用于从子像素的像素值中获取r像素、g像素及b像素的子像素的像素值,将r像素的子像素的像素值合并得到r像素的像素值,将g像素的子像素的像素值合并得到g像素的像素值,将b像素的子像素的像素值合并得到b像素的像素值。
188.在一个实施例中,第二目标图像生成模块,还用于从子像素的像素值中获取w像素的子像素的像素值,将w像素的子像素的像素值进行合并得到w像素的像素值。
189.在一个实施例中,目标像素确定模块1620,包括:
190.第二目标像素确定单元,用于若当前拍摄场景的光线强度小于或等于第一预设阈值,则将rgbw像素阵列中的w像素作为目标像素。
191.在一个实施例中,相位差计算模块1640包括:
192.第二相位差计算单元,用于针对w像素,获取w像素中的各子像素的相位信息;
193.针对每个像素单元,将w像素中在第一方向上处于同一区域的子像素的相位信息进行合并,得到w像素在第一方向上的合并相位信息,根据w像素在第一方向上的合并相位信息计算第一方向的相位差;或,
194.针对每个像素单元,将w像素中在第二方向上处于同一区域的子像素的相位信息进行合并,得到w像素在第二方向上的合并相位信息,根据w像素在第二方向上的合并相位信息计算第二方向的相位差;第一方向与第二方向相互垂直。
195.在一个实施例中,图像传感器包括阵列排布的多个rgbw像素阵列,每个rgbw像素阵列包括多个像素单元,在每个像素单元中包括呈对角线排列的w像素及呈另一对角线排列的彩色像素,且每个像素对应一个微透镜及多个感光元件;每个像素包括阵列排布的多个子像素,每个子像素对应一个感光元件;彩色像素包括r像素、g像素、b像素。
196.在一个实施例中,提供了一种成像设备,包括透镜、滤光片及图像传感器,其特征在于,透镜、滤光片及图像传感器依次位于入射光路上;
197.图像传感器包括阵列排布的多个rgbw像素阵列,每个rgbw像素阵列包括多个像素单元,在每个像素单元中包括呈对角线排列的w像素及呈另一对角线排列的彩色像素,且每个像素对应一个微透镜及多个感光元件;每个像素包括阵列排布的多个子像素,每个子像素对应一个感光元件;彩色像素包括r像素、g像素、b像素。
198.在一个实施例中,像素对应的多个感光元件呈中心对称方式排布。
199.应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这
些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
200.上述对焦控制装置中各个模块的划分仅仅用于举例说明,在其他实施例中,可将对焦控制装置按照需要划分为不同的模块,以完成上述对焦控制装置的全部或部分功能。
201.关于对焦控制装置的具体限定可以参见上文中对于对焦控制方法的限定,在此不再赘述。上述对焦控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
202.图17为一个实施例中电子设备的内部结构示意图。该电子设备可以是手机、平板电脑、笔记本电脑、台式电脑、pda(personal digital assistant,个人数字助理)、pos(point of sales,销售终端)、车载电脑、穿戴式设备等任意终端设备。该电子设备包括通过系统总线连接的处理器和存储器。其中,该处理器可以包括一个或多个处理单元。处理器可为cpu(central processing unit,中央处理单元)或dsp(digital signal processing,数字信号处理器)等。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行,以用于实现以下各个实施例所提供的一种对焦控制x方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。
203.本技术实施例中提供的对焦控制装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在电子设备的存储器上。该计算机程序被处理器执行时,实现本技术实施例中所描述方法的步骤。
204.本技术实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器执行时,使得处理器执行对焦控制方法的步骤。
205.本技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行对焦控制方法。
206.本技术所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括rom(read

only memory,只读存储器)、prom(programmable read

only memory,可编程只读存储器)、eprom(erasable programmable read

only memory,可擦除可编程只读存储器)、eeprom(electrically erasable programmable read

only memory,电可擦除可编程只读存储器)或闪存。易失性存储器可包括ram(random access memory,随机存取存储器),它用作外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如sram(static random access memory,静态随机存取存储器)、dram(dynamic random access memory,动态随机存取存储器)、sdram(synchronous dynamic random access memory,同步动态随机存取存储器)、双数据率ddr sdram(double data rate synchronous dynamic random access memory,双数据率同步
动态随机存取存储器)、esdram(enhanced synchronous dynamic random access memory,增强型同步动态随机存取存储器)、sldram(sync link dynamic random access memory,同步链路动态随机存取存储器)、rdram(rambus dynamic random access memory,总线式动态随机存储器)、drdram(direct rambus dynamic random access memory,接口动态随机存储器)。
207.以上实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术专利的保护范围应以所附权利要求为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献