包括图像传感器的电子设备及其操作方法与流程

1.本公开涉及包括图像传感器的电子设备和操作该电子设备的方法。


背景技术：

2.图像传感器是将光学图像转换为电信号的设备。随着计算机和通信行业的发展，在诸如数字相机、便携式摄像机、个人通信系统(pcs)、游戏控制台、安全相机、医用微型相机和机器人的各种电子设备中，对高性能图像传感器的需求日益增加。
3.图像传感器可以包括至少一个微透镜。至少一个像素可以设置在微透镜下方。
4.在包括其中多个像素设置在单个微透镜下方的单元像素(unit pixel)的图像传感器中，可能难以使用左图像和右图像来生成具有高分辨率的图像。


技术实现要素：

5.技术解决方案
6.本公开旨在解决上述问题和缺点，并至少提供下述优点。
7.根据本公开的一个方面，提供了一种电子设备包括图像传感器，该图像传感器包括第一单元像素和第二像素单元，第一单元像素包括彼此面对的第一微透镜和多个第一光电二极管，其中第一滤色器插入在多个第一光电二极管之间，并且第二单元像素包括彼此面对的第二微透镜和多个第二光电二极管，其中第二滤色器插入在多个第二光电二极管之间；包括图像传感器的相机模块，以及可操作地与图像传感器连接的处理器。第一单元像素包括以方形形状设置，使得光电二极管的水平数量等于光电二极管的垂直数量的第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管。第二单元像素包括以方形形状布置，使得光电二极管的水平数量等于光电二极管的垂直数量的第五光电二极管、第六光电二极管、第七光电二极管和第八光电二极管。图像传感器识别相机模块的操作设置和外部环境条件，并且在识别出操作设置是预览模式并且外部环境条件是高照度环境时，识别与第一光电二极管和第二光电二极管的信号相对应的第一区域信号，第一光电二极管和第二光电二极管彼此串接并且包括在第一单元像素中，并且识别与第五光电二极管和第六光点二极管的信号相对应的第二区域信号，第五光点二极管包括在第二单元像素中且与第一光电二极管的位置相对应，第六光点二极管包括在第二单元像素中且与第二光电二极管的位置相对应，并且基于第一区域信号和第二区域信号来形成第一自动聚焦(auto focus，af)信息。
8.根据本公开的另一个方面，提供了一种电子设备的操作方法，该电子设备包括图像传感器，该图像传感器包括第一单元像素和第二单元像素，第一单元像素包括第一微透镜和以方形形状布置，使得光电二极管的水平数量等于光电二极管的垂直数量的多个光电二极管，第二单元像素包括彼此面对的第二微透镜和多个光电二极管，多个光电二极管以方形形状布置，使得光电二极管的水平数量与光电二极管的垂直数量相同；包括图像传感器的相机模块；以及可操作地与图像传感器连接的处理器；该方法包括由图像传感器识别
相机模块的操作设置和外部环境条件，并且在识别出操作设置是预览模式并且外部环境条件是高照度环境时、或者在识别出操作设置是视频模式并且外部环境条件是低照度环境时，识别与第一光电二极管和第二光电二极管的信号相对应的第一区域信号，第一光电二极管和第二光电二极管彼此串接并且包括在第一单元像素中；识别与第五光电二极管和第六光电二极管的信号相对应的第二区域信号，第五光电二极管与第一光电二极管的位置相对应，第六光电二极管与第二光电二极管的位置相对应，其中，第五光电二极管和第六光电二极管包括在第二单元像素中；并且基于第一区域信号和第二区域信号来形成第一af信息。
9.发明的有益效果
10.根据本说明书中公开的实施例，可以通过取决于相机操作设置和外部环境条件不同地应用af信息和图像传感器的输出来实现高分辨率图像。
11.此外，可以提供通过说明书直接或间接理解的多种效果。
附图说明
12.通过以下结合附图的描述，本公开的特定实施例的上述和其他方面、特征和优点将更加清楚，其中：
13.图1是根据实施例的网络环境100中的电子设备的框图；
14.图2是根据实施例的示出相机模块的框图；
15.图3是根据实施例的示出图像传感器的图；
16.图4是根据实施例的用于描述单元像素的图；
17.图5是根据实施例的示出图4中沿线z-z’截取的单个单元像素的截面的截面图；
18.图6是根据实施例的用于描述图像传感器的操作的流程图；
19.图7是根据实施例的示出包括在图像传感器中的硬件的框图；
20.图8是根据实施例的示出包括在图像传感器中的单元像素的图；
21.图9是根据实施例的示出基于图像传感器的信号形成拜耳图案图像的示例的图；
22.图10是根据实施例的示出输出图像传感器的信号的两种情况的图；
23.图11是根据实施例的示出计算图像传感器的视差的方法的图；以及
24.图12是根据实施例的示出包括在图像传感器的像素阵列中的单元像素的图。
具体实施方式
25.本技术基于2019年12月23日向韩国知识产权局提交的第10-2019-0172916号韩国专利申请，并要求其优先权，其公开内容通过引用整体结合于此。
26.本公开的一个方面是提供一种能够实现高分辨率图像的图像传感器。
27.下文将参考附图描述本公开的各种实施例。然而，应当理解，这并不旨在将本公开限制于特定的实现形式，而是包括本公开的实施例的各种修改、等同物和/或替代物。
28.图1是根据各种实施例的示出网络环境中的电子设备的图。参考图1，在网络环境100中，电子设备101可以通过第一网络198(例如，短程无线通信网络)与电子设备102通信、或者可以通过第二网络199(例如，长程无线通信网络)与电子设备104或服务器108通信。根据实施例，电子设备101可以通过服务器108与电子设备104通信。根据实施例，电子设备101
可以包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、订户识别模块196或天线模块197。根据一些实施例，可以省略电子设备101的组件中的至少一个、或者可以向电子设备101添加一个或多个其他组件。根据一些实施例，上述组件中的一些可以用一个集成电路来实现。例如，传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)可以嵌入在显示设备160(例如，显示器)中。
29.处理器120可以执行例如软件(例如程序140)以控制连接到处理器120的电子设备101的其他组件(例如硬件或软件组件)中的至少一个，并且可以处理或计算各种数据。根据实施例，作为数据处理或操作的部分，处理器120可以将从其他组件(例如，传感器模块176或通信模块190)接收到的命令集或数据加载到易失性存储器132中，可以处理加载到易失性存储器132中的命令或数据，并且可以将结果数据存储到非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理单元或应用处理器)和辅助处理器123(例如，图形处理设备、图像信号处理器、传感器中枢处理器或通信处理器)，辅助处理器123独立于主处理器121或与主处理器121一起操作。附加地或可替代地，辅助处理器123可以使用比主处理器121更少的功率或者专用于指定的功能。辅助处理器123可以与主处理器121分离地实现或者作为主处理器121的部分来实现。
30.例如，当主处理器121处于非活动(例如，睡眠)状态时，辅助处理器123(而不是主处理器121)可以控制与电子设备101的组件中的至少一个组件(例如，显示设备160、传感器模块176或通信模块190)相关联的功能或状态中的至少一些、或者当主处理器121处于活动(例如，应用执行)状态时，辅助处理器123可以与主处理器121一起控制与电子设备101的组件中的至少一个组件(例如，显示设备160、传感器模块176或通信模块190)相关联的功能或状态中的至少一些。根据实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可以被实现为功能上与辅助处理器123相关的另外的组件(例如，相机模块180或通信模块190)的部分。
31.存储器130可以存储由电子设备101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。例如，数据可以包括软件(例如，程序140)和关于与软件相关联的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。
32.程序140可以作为软件存储在存储器130中，并且可以包括例如操作系统142、中间件144或应用146。
33.输入设备150可以从电子设备101的外部(例如，用户)接收用于电子设备101的组件(例如，处理器120)的命令或数据。输入设备150可以包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
34.声音输出设备155可以向电子设备101的外部输出声音信号。声音输出设备155可以包括例如扬声器或接收器。扬声器可以用于通用目的，诸如多媒体播放或录音播放，而接收器可以用于接收呼叫。根据实施例，接收器和扬声器可以集成或分离地实现。
35.显示设备160可以向电子设备101的外部(例如，用户)提供视觉信息。例如，显示设备160可以包括显示器、全息设备或投影仪以及用于控制对应的设备的控制电路。根据实施例，显示设备160可以包括被配置为感测触摸的触摸电路或者用于测量触摸上的压力强度的传感器电路(例如，压力传感器)。
36.音频模块170可以双向地转换声音和电信号。根据实施例，音频模块170可以通过输入设备150获得声音、或者可以通过声音输出设备155或直接或无线地连接到电子设备101的外部电子设备(例如，电子设备102(例如，扬声器或耳机))输出声音。
37.传感器模块176可以生成与电子设备101内部的操作状态(例如，功率或温度)或外部的环境状态(例如，用户状态)相对应的电信号或数据值。根据实施例，传感器模块176可以包括例如姿势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、颜色传感器、红外传感器、生物测定传感器、温度传感器、湿度传感器或照度传感器。
38.接口177可以支持一种或多种指定协议，以允许电子设备101直接或无线地连接到外部电子设备(例如，电子设备102)。根据实施例，接口177可以包括例如hdmi(高清多媒体接口)、usb(通用串行总线)接口、sd卡接口或音频接口。
39.连接端子178可以包括将电子设备101物理连接到外部电子设备(例如，电子设备102)的连接器。根据实施例，连接端子178可以包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
40.触觉模块179可以将电信号转换为机械刺激(例如，振动或移动)或用户通过触觉或动觉感知到的电刺激。根据实施例，触觉模块179可以包括例如电机、压电元件或电刺激器。
41.相机模块180可以拍摄静止图像或视频图像。根据实施例，相机模块180可以包括例如至少一个或多个透镜、图像传感器、图像信号处理器或闪光灯。
42.电力管理模块188可以管理供应至电子设备101的电源。根据实施例，电力管理模块188可以被实现为电源管理集成电路(pmic)的至少部分。
43.电池189可以向电子设备101的至少一个组件供电。根据实施例，电池189可以包括例如不可充电(一次)电池、可充电(二次)电池或燃料电池。
44.通信模块190可以在电子设备101和外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立直接(例如，有线)或无线通信信道，并通过建立的通信信道来支持通信执行。通信模块190可以包括至少一个通信处理器，该通信处理器独立于处理器120(例如，应用处理器)操作，并且支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短程无线通信模块或gnss(全球导航卫星系统)通信模块)或有线通信模块194(例如，lan(局域网)通信模块或电力线通信模块)。上述通信模块中对应的通信模块可以通过第一网络198(例如，诸如蓝牙、wifi direct或irda(红外数据协会)的短距离通信网络)或第二网络199(例如，诸如蜂窝网络、互联网或计算机网络(例如，lan或wan)的长距离无线通信网络)与外部电子设备104通信。上述各种通信模块可以分别实现在一个组件(例如，单个芯片)或分离的组件(例如，多个芯片)中。无线通信模块192可以使用存储在诸如第一网络198或第二网络199的通信网络中的订户识别模块196中的用户信息(例如，国际移动订户身份(imsi))来识别和认证电子设备101。
45.天线模块197可以向或从电子设备101的外部(例如，外部电子设备)发送或接收信号或功率。根据实施例，天线模块197可以包括天线，该天线包括由形成在基底(例如，pcb)中或基底上的导电材料或导电图案构成的辐射元件。根据实施例，天线模块197可以包括多个天线。在这种情况下，例如，可以由通信模块190(例如，无线通信模块192)从多个天线中
选择适合于在诸如第一网络198或第二网络199的通信网络中使用的通信方案的至少一个天线。然后可以经由所选至少一个天线在通信模块190和外部电子设备之间发送或接收信号或功率。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(rfic))可以另外形成为天线模块197的部分。
46.组件中的至少一些组件可以通过外围设备之间使用的通信方法(例如，总线、gpio(通用输入和输出)、spi(串行外围接口)或mipi(移动工业处理器接口))彼此连接，以彼此交换信号(例如，命令或数据)。
47.根据实施例，可以通过连接到第二网络199的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102和104中的每一个都可以是与电子设备101相同或不同的类型。根据实施例，由电子设备101执行的操作中的全部或一些可以由外部电子设备102、104或108中的一个或多个外部电子设备来执行。例如，当电子设备101自动地或通过来自用户或另一个设备的请求执行一些功能或服务时，除了或代替自己执行功能或服务，电子设备101还可以请求一个或多个外部电子设备来执行与功能或服务相关的功能中的至少一些。接收到请求的一个或多个外部电子设备可以执行所请求的功能或服务的至少部分或者与请求相关联的附加功能或服务，并且将执行结果发送到电子设备101。电子设备101可以原样或在附加处理之后提供结果，作为对请求的响应的至少部分。为此，例如，可以使用云计算、分布式计算或客户端-服务器计算技术。
48.图2是根据各种实施例的示出相机模块180的框图200。参考图2，相机模块180可以包括镜头组件(lens assembly)210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或图像信号处理器260。镜头组件210可以收集从要拍摄其图像的对象发射的光。镜头组件210可以包括一个或多个透镜。根据实施例，相机模块180可以包括多个镜头组件210。在这种情况下，相机模块180可以形成例如双相机、360度相机或球面相机。多个镜头组件210中的一些可以具有相同的镜头属性(例如，视角、焦距、自动聚焦、f数或光学变焦)、或者至少一个镜头组件可以具有与另一个镜头组件不同的一个或多个镜头属性。镜头组件210可以包括例如广角镜头或远摄镜头。
49.闪光灯220可以发射用于增强从对象发射或反射的光的光。根据实施例，闪光灯220可以包括一个或多个发光二极管(led)(例如，红绿蓝(rgb)led、白led、红外(ir)led或紫外(uv)led)或氙灯。图像传感器230可以通过将从对象发射或反射并经由镜头组件210透射的光转换为电信号来获得与对象相对应的图像。根据实施例，图像传感器230可以包括从具有不同属性的图像传感器中选择的一个图像传感器(诸如rgb传感器、黑白(bw)传感器、ir传感器或uv传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。包括在图像传感器230中的每个图像传感器都可以使用例如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器来实现。
50.图像稳定器240可以在特定方向上移动图像传感器230或包括在镜头组件210中的至少一个透镜、或者响应于相机模块180或包括相机模块180的电子设备101的移动来控制图像传感器230的操作属性(例如，调整读出定时)。这允许补偿所述移动对被捕获的图像造成的至少部分负面影响(例如，图像模糊)。根据实施例，图像稳定器240可以使用设置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子设备101的这种移动。根据实施例，图像稳定器240可以被实现为例如光学图像稳
定器。存储器250可以至少临时地存储经由图像传感器230获得的图像的至少部分以用于后续的图像处理任务。例如，当图像捕获由于快门滞后而被延迟或者多个图像被快速捕获时，所获得的原始图像(例如，拜耳图案图像、高分辨率图像)可以被存储在存储器250中，并且其对应的副本图像(例如，低分辨率图像)可以经由显示设备160来预览。此后，当(例如，通过用户的输入或系统命令)满足指定的条件时，存储在存储器250中的原始图像的至少部分可以被例如图像信号处理器260获得和处理。根据实施例，存储器250可以被配置为存储器130的至少部分、或者被配置为独立于存储器130操作的分离的存储器。
51.图像信号处理器260可以对经由图像传感器230获得的图像或存储在存储器250中的图像进行一个或多个图像处理。一个或多个图像处理可以包括例如深度图生成、三维(3d)建模、全景生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊化、锐化或柔化)。附加地或可替代地，图像信号处理器260可以控制(例如，曝光时间控制或读出定时控制)包括在相机模块180中的组件中的至少一个(例如，图像传感器230)。经图像信号处理器260处理的图像可以被存储回存储器250中以用于进一步处理、或者可以被提供给相机模块180外部的外部组件(例如，存储器130、显示设备160、电子设备102、电子设备104或服务器108)。根据实施例，图像信号处理器260可以被配置为处理器120的至少部分、或者被配置为独立于处理器120操作的分离的处理器。当图像信号处理器260被配置为与处理器120分离的处理器时，经图像信号处理器260处理的至少一个图像可以由处理器120经由显示设备160原样显示或者在被进一步处理之后显示。
52.根据实施例，电子设备101可以包括具有不同属性或功能的多个相机模块180。在这种情况下，多个相机模块180中的至少一个可以形成例如广角相机，并且多个相机模块180中的至少另外一个可以形成远摄相机。类似地，多个相机模块180中的至少一个可以形成例如前置相机，并且多个相机模块180中的至少另外一个可以形成后置相机。
53.在下文中，将参考图3、图4和图5描述电子设备。为了清楚起见，简要描述或省略与上述细节相同的内容。
54.图3是根据实施例的示出图像传感器300的图。图4是根据实施例的示出用于描述单元像素的图400。图5是根据实施例的示出图4中沿着线z-z’截取的单个单元像素的截面的截面图500。
55.参考图3，图像传感器300包括像素阵列332、第一扫描电路331、第二扫描电路333和读取电路335。
56.像素阵列332可以包括多个像素单元，包括第一像素单元310、第二像素单元311、第三像素单元312、第四像素单元320、第五像素单元321和第六像素单元322。多个像素单元中还可以包括附加的像素单元。多个单元像素可以沿着x方向(例如，行方向)和y方向(例如，列方向)布置。
57.多个单元像素中的每一个都可以包括一个微透镜。例如，第一单元像素310可以包括第一微透镜305和/或第二单元像素311可以包括第二微透镜306。
58.多个单元像素中的每一个都可以包括至少一个光电二极管(例如，第一光电二极管301、第二光电二极管302、第三光电二极管303和第四光电二极管304)。包括在多个单元像素的每一个中的光电二极管的数量可以基于包括在多个单元像素的每一个中的像素的数量。
59.第一扫描电路331和第二扫描电路333可以在处理器的控制下检测多个像素单元中的每一个的信号，多个像素单元包括第一像素单元310、第二像素单元311、第三像素单元312、第四像素单元320、第五像素单元321和第六像素单元322。第一扫描电路331可以在y方向上检测包括第一像素单元310、第二像素单元311、第三像素单元312、第四像素单元320、第五像素单元321和第六像素单元322的多个像素单元中的每一个的信号。第二扫描电路333可以在x方向上检测包括第一像素单元310、第二像素单元311、第三像素单元312、第四像素单元320、第五像素单元321和第六像素单元322的多个像素单元中的每一个的信号。读取电路335可以读取检测到的信号。
60.包括第一像素单元310、第二像素单元311、第三像素单元312、第四像素单元320、第五像素单元321和第六像素单元322的多个像素单元中的每一个都可以包括nxn个像素(其中“n”是大于1的自然数)。第一单元像素310可以包括与第一微透镜305重叠的nxn个像素，和/或第二单元像素311可以包括与第二微透镜306重叠的nxn个像素。nxn个像素中的每一个都可以对应于单个光电二极管。
61.包括第一像素单元310、第二像素单元311、第三像素单元312、第四像素单元320、第五像素单元321和第六像素单元322的多个像素中的每一个都可以包括单个微透镜、多个光电二极管和一种颜色(例如，绿色)的滤色器。
62.下文将参考图4和图5详细描述图3的图像传感器300的像素阵列332中包括的单元像素。
63.参考图4，多个单元像素中的每一个都包括2x2个光电二极管。例如，第一单元像素310可以包括被布置为与第一微透镜305重叠的第一光电二极管301、第二光电二极管302、第三光电二极管303和第四光电二极管304。第一光电二极管301和第三光电二极管303可以沿着第一行来布置。第二光电二极管302和第四光电二极管304可以沿着第二行来布置。第一光电二极管301和第二光电二极管302可以沿着第一列来布置。第三光电二极管303和第四光电二极管304可以沿着第二列来布置。第一光电二极管301、第二光电二极管302、第三光电二极管303和第四光电二极管304中的每一个都可以对应于单个像素。
64.第一单元像素310可以包括一个微透镜305、第一光电二极管301、第二光电二极管302、第三光电二极管303、第四光电二极管304和绿色(g)滤色器。第二单元像素311可以具有与第一单元像素310相同的结构，因此将省略对其的描述。然而，包括在单元像素中的每一个中滤色器的颜色可以是绿色(g)，也可以彼此不同，诸如是红色(r)或蓝色(b)。
65.参考图5，在第一单元像素310中，第一微透镜305、第一光电二极管301和第二光电二极管302可以被设置为彼此面对且滤色器501插入其间。入射到图像传感器上的光可以通过第一微透镜305汇聚，并且可以入射到不同的光电二极管上。入射到每个光电二极管上的光的信号可以由第一扫描电路331或第二扫描电路333来检测。
66.在下文中，将参考图6、图7、图8和图9描述根据实施例的电子设备的操作。为了清楚起见，简要描述或省略与上述细节相同的内容。
67.在下文中，假设图3的图像传感器300执行图6的过程。被描述为由图像传感器300执行的操作可以由包括在图像传感器300中的合成信号形成单元701、视差计算单元702和/或重马赛克(remosaic)处理单元703来执行。
68.图6是根据实施例的用于描述图像传感器300的操作的流程图600。图7是根据实施
例的示出包括在图像传感器300中的硬件的框图700。图8是根据实施例的示出包括在图像传感器300中的单元像素的图800。图9是根据实施例的示出基于图像传感器的信号形成拜耳图案图像的示例的图900。
69.参考图6，在步骤610中，图像传感器识别相机操作设置和/或外部环境条件。
70.相机操作设置可以指示包括在电子设备101中的相机模块180的模式对应于预览模式、照片模式和视频模式中的哪一个。预览模式可以是其中当相机模块不执行照片拍摄或视频拍摄时将图像传感器捕获到的屏幕作为预览提供给用户的模式。照片模式可以是其中相机模块拍摄照片的模式。视频模式可以是其中相机模块捕获视频的模式。
71.外部环境条件可以指示电子设备的外部环境对应于高照度和低照度中的哪一个。高照度可以指示与勒克斯(lux)相对应的亮度值(bv)不小于特定阈值。低照度可以指示bv小于特定阈值。
72.图像传感器可以不直接识别相机操作设置和外部环境条件，但可以从电子设备的处理器接收由处理器120识别出的信息。
73.在步骤620中，图像传感器基于在步骤610中识别出的相机操作设置和/或外部环境条件来确定图像传感器的操作和待输出的信号。在下文中，将参考下面的表1详细描述根据识别出的相机操作设置和/或外部环境条件的图像传感器的操作和输出信号。
74.【表1】
[0075][0076]
在表1中，第一相机操作设置、第二相机操作设置和第三相机操作设置可以分别是相机模块180的不同模式。例如，第一相机操作设置可以是预览模式；第二相机操作设置可以是视频模式；第三相机操作设置可以是照片模式。
[0077]
在表1中，第一外部环境条件和第二外部环境条件可以指示相机模块180的周围环境的不同条件。例如，第一外部环境条件可以是高照度条件；第二外部环境条件可以是低照
度条件。
[0078]
在表1中，取决于识别出的相机操作设置和/或外部环境条件，图像传感器的操作可以指示图像传感器的哪个信号由图像传感器读出。
[0079]
在表1中，af信息可以是关于自动对焦的信息，并且可以表示图像传感器取决于识别出的相机操作设置和/或外部环境条件形成并输出到处理器120的af信息。
[0080]
在表1中，输出信号可以是由电子设备的显示设备160输出的信号，并且可以表示图像传感器取决于识别出的相机操作设置和/或外部环境条件形成并输出到处理器120的输出信号。
[0081]
参考表1，基于第一相机操作设置和第一外部环境条件，图像传感器可以检测第一垂直区域信号、第二垂直区域信号、第三垂直区域信号和第四垂直区域信号，并且可以生成和输出第一af信息、第二af信息和第一输出信号。在下文中，将参考图7和图8详细描述垂直区域信号、af信息和输出信号。
[0082]
参考图7和图8，图像传感器300包括合成信号形成单元701、视差计算单元702和重马赛克处理单元703。图7的合成信号形成单元701、视差计算单元702和重马赛克处理单元703被示为包括在图像传感器300中的硬件的框图。然而，合成信号形成单元701、视差计算单元702和重马赛克处理单元703可以用软件来实现。
[0083]
基于第一相机操作设置和第一外部环境条件，图像传感器300可以检测第一垂直区域信号、第二垂直区域信号、第三垂直区域信号和第四垂直区域信号。
[0084]
基于第一相机操作设置和第一外部环境条件，图像传感器300可以通过扫描电路来检测第一垂直区域信号816(其是通过第一单元像素810的第一微透镜815入射到第一光电二极管811和第二光电二极管812上的光的信号)，并且可以将第一垂直区域信号816发送到图像传感器300的合成信号形成单元701。
[0085]
以相同的方式，基于第一相机操作设置模式和第一外部环境条件，图像传感器300可以将第三垂直区域信号826(其是通过第二单元像素820的第二微透镜825入射到第五光电二极管821和第六光电二极管822上的光的信号)发送到合成信号形成单元701。
[0086]
以相同的方式，基于第一相机操作设置模式和第一外部环境条件，图像传感器300可以将第二垂直区域信号817(其是入射到第三光电二极管813和第四光电二极管814上的光的信号)发送到合成信号形成单元701。
[0087]
以相同的方式，基于第一相机操作设置模式和第一外部环境条件，图像传感器300可以将第四垂直区域信号827(其是入射到第七光电二极管823和第八光电二极管824上的光的信号)发送到合成信号形成单元701。
[0088]
通过这种方式，图像传感器300不检测第一光电二极管811、第二光电二极管812、第三光电二极管、第四光电二极管、第五光电二极管和第六光电二极管中每一个的信号，而是通过将每个区域的光电二极管编组来检测信号的原因可能是，由于预览模式需要实时输出屏幕，因此在高照度环境下以高分辨率实时输出屏幕时，电子设备的功耗可能过大。因此，可以通过将每个区域的光电二极管编组来检测信号，将由图像传感器检测到的信号减少1/2，因此这可以降低功耗。
[0089]
基于第一相机操作设置和第一外部环境条件，图像传感器300可以形成第一af信息和第二af信息，并且可以将第一af信息和第二af信息输出到处理器120。
[0090]
图像传感器300的合成信号形成单元701可以合成接收到的第一垂直区域信号816和接收到的第三垂直区域信号826，以形成第一af信息。
[0091]
图像传感器300的合成信号形成单元701可以合成接收到的第二垂直区域信号817和接收到的第四垂直区域信号827，以形成第二af信息。
[0092]
图像传感器300可以将形成的第一af信息和形成的第二af信息输出到处理器120。
[0093]
图像传感器300可以仅向处理器120输出第一af信息和第二af信息(其是水平聚焦(focus)信息)的事实可以是，因为在高照度环境下易于调整聚焦，所以通过仅利用水平聚焦信息而不使用垂直聚焦信息调整聚焦来降低电子设备的功耗。因此，描述了向处理器输出水平聚焦信息的图像传感器。然而，图像传感器也可以仅向处理器输出垂直聚焦信息。稍后将描述垂直聚焦信息。
[0094]
基于第一相机操作设置和第一外部环境条件，图像传感器300可以形成第一输出信号，以将第一输出信号输出到处理器120。基于第一相机操作设置和第一外部环境条件，图像传感器300可以生成作为第一单元像素810的第一垂直区域信号816和第二垂直区域信号817之和的第一输出信号，以将第一输出信号输出到处理器。基于第一相机操作设置和第一外部环境条件，图像传感器300可以生成与像素阵列332中包括的单元像素中的每一个的第一输出信号相对应的输出信号，以将输出信号输出到处理器。
[0095]
图像传感器300可以将单元像素中包括的多个光电二极管作为单个信号输出，而无需处理单元像素中包括的多个光电二极管中的每一个的信号的事实可以降低电子设备的功耗，即使分辨率降低，因为分辨率在预览模式下具有低重要性。
[0096]
回到表1，基于第一相机操作设置和第二外部环境条件，图像传感器300可以检测第一单元像素810的第一像素信号、第二像素信号、第三像素信号和第四像素信号；可以检测第二单元像素820的第五像素信号、第六像素信号、第七像素信号和第八像素信号；并且可以生成并输出第一af信息、第二af信息、第三af信息、第四af信息和第二输出信号。在下文中，将参考图7和图9对此进行详细描述。
[0097]
参考图7和图9，基于第一相机操作设置和第二外部环境条件，图像传感器300可以检测第一单元像素810的第一像素信号、第二像素信号、第三像素信号和第四像素信号。第一像素信号可以对应于入射到第一光电二极管811上的光的信号。第二像素信号可以对应于入射到第二光电二极管812上的光的信号。第三像素信号可以对应于入射到第三光电二极管813上的光的信号。第四像素信号可以对应于入射到第四光电二极管814上的光的信号。
[0098]
图像传感器300可以通过扫描电路来检测检测到的第一像素信号、检测到的第二像素信号、检测到的第三像素信号和检测到的第四像素信号，以将检测到的第一像素信号、检测到的第二像素信号、检测到的第三像素信号和检测到的第四像素信号发送到图像传感器300的合成信号形成单元701。
[0099]
基于第一相机操作设置和第二外部环境条件，图像传感器300可以检测第二单元像素820的第五像素信号、第六像素信号、第七像素信号和第八像素信号。第五像素信号可以对应于入射到第五光电二极管821上的光的信号。第六像素信号可以对应于入射到第六光电二极管822上的光的信号。第七像素信号可以对应于入射到第七光电二极管823上的光的信号。第八像素信号可以对应于入射到第八光电二极管824上的光的信号。
[0100]
图像传感器300可以通过扫描电路来检测检测到的第五像素信号、检测到的第六像素信号、检测到的第七像素信号和检测到的第八像素信号，以将检测到的第五像素信号、检测到的第六像素信号、检测到的第七像素信号和检测到的第八像素信号发送到图像传感器300的合成信号形成单元701。
[0101]
基于第一相机操作设置和第二外部环境条件，图像传感器300可以形成第一af信息、第二af信息、第三af信息和第四af信息，以将第一af信息、第二af信息、第三af信息和第四af信息输出到处理器120。
[0102]
图像传感器300的合成信号形成单元701可以合成接收到的第一像素信号、接收到的第二像素信号、接收到的第五像素信号和接收到的第六像素信号，以形成第一af信息。
[0103]
图像传感器300的合成信号形成单元701可以合成接收到的第三像素信号、接收到的第四像素信号、接收到的第七像素信号和接收到的第八像素信号，以形成第二af信息。
[0104]
图像传感器300的合成信号形成单元701可以合成接收到的第一像素信号、接收到的第三像素信号、接收到的第五像素信号和接收到的第七像素信号，以形成第三af信息。
[0105]
图像传感器300的合成信号形成单元701可以合成接收到的第二像素信号、接收到的第四像素信号、接收到的第六像素信号和接收到的第八像素信号，以形成第四af信息。
[0106]
图像传感器300可以向处理器120输出形成的第一af信息、形成的第二af信息、形成的第三af信息和形成的第四af信息。
[0107]
图像传感器300可以形成作为水平聚焦信息的第一af信息和第二af信息以及作为垂直聚焦信息的第三af信息和第四af信息的全部，以将第一af信息、第二af信息、第三af信息和第四af信息输出到处理器120的事实可以使垂直聚焦信息和水平聚焦信息彼此补充，以通过使用垂直聚焦信息和水平聚焦信息二者来调整聚焦，因为在低照度环境中可能难以调整聚焦。
[0108]
基于第一相机操作设置和第二外部环境条件，图像传感器300可以形成第二输出信号，以将第二输出信号输出到处理器120。基于第一相机操作设置和第二外部环境条件，图像传感器300可以生成通过对第一像素信号、第二像素信号、第三像素信号和第四像素信号求和而获得的第二输出信号，以将求和的结果输出到处理器。基于第一相机操作设置和第二外部环境条件，图像传感器300可以生成与像素阵列332中包括的单元像素中的每一个的第二输出信号相对应的输出信号。
[0109]
图像传感器300对单元像素中包括的多个光电二极管的信号进行求和，以将求和的结果作为单个信号(第二输出信号)输出的原因可能是，因为显示的屏幕的分辨率在预览模式下重要性低。
[0110]
回到表1，基于第二相机操作设置和第一外部环境条件，图像传感器300可以检测第一单元像素810的第一像素信号、第二像素信号、第三像素信号和第四像素信号；可以检测第二单元像素820的第五像素信号、第六像素信号、第七像素信号和第八像素信号；并且可以生成并输出第一af信息、第二af信息、第三af信息、第四af信息和第三输出信号。关于图像传感器300基于第二相机操作设置和第一外部环境条件的操作和af信息输出的描述可以与在第一相机操作设置和第二外部环境条件的情况下的描述相同，因此将省略该描述。第三输出信号可以对应于拜耳图案图像。在下文中，将参考图7和图9详细描述第三输出信号。
[0111]
参考图7和图9，图像传感器300的像素阵列910可以包括多个光电二极管，包括第一光电二极管811、第二光电二极管812、第三光电二极管813、第四光电二极管814、第五光电二极管821、第六光电二极管822、第七光电二极管823和第八光电二极管824。附加的光电二极管也可以包括在多个光电二极管中。基于第二相机操作设置和第一外部环境条件，图像传感器300可以分别检测来自包括第一光电二极管811、第二光电二极管812、第三光电二极管813、第四光电二极管814、第五光电二极管821、第六光电二极管822、第七光电二极管823和第八光电二极管824的多个光电二极管的第一像素信号、第二像素信号、第三像素信号、第四像素信号、第五像素信号、第六像素信号、第七像素信号和第八像素信号。
[0112]
图像传感器300的重马赛克处理单元703可以通过转换检测到的第一像素信号、检测到的第二像素信号、检测到的第三像素信号、检测到的第四像素信号、检测到的第五像素信号、检测到的第六像素信号、检测到的第七像素信号和检测到的第八像素信号来形成拜耳图案图像920。
[0113]
拜耳图案图像可以表示其中取决于人类的视觉特性，绿色(g)与红色(r)和蓝色(b)中的每一种彼此交叉，使得绿色(g)为50％，红色(r)和蓝色(b)中的每一种为25％的图案。此外，当图像信号处理器260执行图像信号处理(isp)时，可能有必要将图像传感器检测到的信号转换为拜耳图案图像。
[0114]
将图像传感器检测到的信号(第一像素信号、第二像素信号、第三像素信号、第四像素信号、第五像素信号、第六像素信号、第七像素信号和第八像素信号)转换为拜耳图案图像920的过程可以包括例如重新排列、合成、平均、加权和调整图像传感器300检测到的信号的边缘部分的对比度的过程。应用于由图像传感器300检测到的信号以形成拜耳图案图像920的算法可以被称为重马赛克算法。对于每个图像传感器制造商，重马赛克算法的内容可能不同。应用于由图像传感器检测到的信号以形成图像的算法可以被统称为重马赛克算法。
[0115]
基于第二相机操作设置和第一外部环境条件，图像传感器300可以形成第三输出信号(即拜耳图案图像920)，以将第三输出信号输出到处理器120。
[0116]
图像传感器300可以检测单元像素中包括的多个光电二极管中的每一个的信号以通过处理形成并输出拜耳图案图像的原因可能是因为在视频模式下，保持分辨率可能比降低电子设备的功耗更重要。回到表1，基于第二相机操作设置和第二外部环境条件，图像传感器300可以检测第一垂直区域信号、第二垂直区域信号、第三垂直区域信号和第四垂直区域信号，并且可以生成和输出第一af信息、第二af信息和第一输出信号。关于图像传感器300基于第二相机操作设置和第二外部环境条件的操作、af信息和输出信号的描述可以与第一相机操作设置和第一外部环境条件的情况下的描述相同，因此将省略该描述。
[0117]
当图像传感器300处于第二相机操作设置和第二外部环境条件时，图像传感器300可以通过按区域对多个光电二极管进行分组来检测信号，而无需检测单元像素中包括的多个光电二极管中的每一个的信号，并且仅将第一af信息和第二af信息(其是水平聚焦信息)输出到处理器的事实可以是，通过减少由图像传感器检测到的信号来减少检测噪声(读出噪声)，以补充视频在低照度环境中的质量，因为在低照度下不能保证足够的曝光时间。
[0118]
回到表1，基于第三相机操作设置和第一外部环境条件，图像传感器300可以检测第一单元像素810的第一像素信号、第二像素信号、第三像素信号和第四像素信号；可以检
测第二单元像素820的第五像素信号、第六像素信号、第七像素信号和第八像素信号；并且可以生成并输出第三输出信号。关于图像传感器300基于第三相机操作设置和第一外部环境条件的操作和输出信号的描述可以与在第二相机操作设置和第一外部环境条件的情况下的描述相同，因此将省略该描述。
[0119]
在第三相机操作设置和第一外部环境条件的情况下，图像传感器300可不生成af信息。这可能是因为只要使用了在预览模式中形成的af信息，就不需要在照片模式中单独形成af信息。此外，当图像传感器300处于第三相机操作设置和第一外部环境条件时，图像传感器300形成第三输出信号(拜耳图案图像)的事实可以是在高照度环境中输出高分辨率照片。回到表1，基于第三相机操作设置和第二外部环境条件，图像传感器300可以检测第一单元像素信号和第二单元像素信号，并且可以输出第一单元像素信号和第二单元像素信号。
[0120]
当图像传感器300处于第三相机操作设置和第二外部环境条件下时，图像传感器300可以检测第一单元像素信号，其是与第一单元像素810相对应的信号。此外，图像传感器300可以检测第二单元像素信号，其是与第二单元像素820相对应的信号。图像传感器300可以将检测到的第一单元像素信号和检测到的第二单元像素信号输出到处理器。图像传感器300在第三相机操作设置和第二外部环境条件下对单元像素中包括的多个光电二极管的信号进行分组和检测的原因可能侧重到降低电子设备的功耗上，因为在低照度环境下的照片分辨率可能是无意义的。
[0121]
在第三相机操作设置和第二外部环境条件的情况下，图像传感器300可不生成af信息。这可能是因为只要使用了在预览模式中形成的af信息，就不需要在照片模式中单独形成af信息。
[0122]
在下文中，将参考图10和图11描述图像传感器的输出信号。与上述实施例的配置相同的配置可以用相同的附图标记表示，并且可以省略对其的描述。
[0123]
图10是示出根据实施例的图像传感器的输出信号的第一情况1010和第二情况1040的图。图11是示出根据实施例的计算图像传感器的视差的方法的图1100。
[0124]
参考图10，图像传感器300向处理器120输出第一输出信号1011或第二输出信号1021。首先将描述图像传感器300输出第一输出信号1011的情况。第一输出信号1011可以是用于输出单个帧的信号。在第一相机操作设置和第二外部环境条件的情况下、或者在第二相机操作设置和第一外部环境条件的情况下，第一输出信号1011可以是允许图像传感器300输出单个帧的信号。
[0125]
图像传感器300可以在发送包括单个帧的部分信号1012、部分信号1015和部分信号1018的所有图像信号后，不发送包括部分信号1013、部分信号1016和部分信号1019的所有水平聚焦信息(水平y)和包括部分信号1014、部分信号1017和部分信号1020的所有垂直聚焦信息(垂直y)，而是交替发送信号，例如图像信号的部分信号1012、水平聚焦信息的部分信号1013、垂直聚焦信息的部分信号1014、图像信号的部分信号1015、水平聚焦信息的部分信号1016和垂直聚焦信息的部分信号1017。如上所述，水平聚焦信息可以包括第一af信息和第二af信息。此外，垂直聚焦信息可以包括第三af信息和第四af信息。
[0126]
单个帧的信号1012至1020中的每一个可以被划分为单独信号规范(例如，移动工业处理器接口(mipi))的虚拟通道(vc)和数据类型(dt)，并且可以被发送到处理器。在下面
的表2中示出每个信号的vc和dt的示例。
[0127]
【表2】
[0128] 虚拟通道(vc)数据类型(dt)图像信号00x12水平聚焦信息(水平y)10x12垂直聚焦信息(垂直y)20x12处置视差信息(垂直视差)30x12
[0129]
在表2中，将稍后描述垂直视差信息(垂直视差)。
[0130]
下文描述了图像传感器300输出第二输出信号1021的情况。第二输出信号1021可以是用于输出单个帧的信号。在第一相机操作设置和第二外部环境条件的情况下、或者在第二相机操作设置和第一外部环境条件的情况下，第二输出信号1021可以是允许图像传感器300输出单个帧的信号。
[0131]
图像传感器300可以交替发送信号，例如，图像信号的部分信号1022、水平聚焦信息的部分信号1023、垂直视差信息的部分信号1024(垂直视差)、图像信号的部分信号1025、水平聚焦信息的部分信号1026和垂直视差信息的部分信号1027。
[0132]
在下文中，将参考图10和图11详细描述视差信息。与上述实施例的配置相同的配置可以用相同的附图标记表示，并且可以省略对其的描述。
[0133]
图像传感器300可以通过合成第一垂直区域信号816和第三垂直区域信号826来形成左信号图像1120。也就是说，图像传感器300可以基于第一af信息来形成左信号图像1120。
[0134]
此外，图像传感器230可以通过合成第二垂直区域信号817和第四垂直区域信号827来形成右信号图像1121。也就是说，图像传感器300可以基于第二af信息来形成右信号图像1121。
[0135]
图像传感器230的视差计算单元702可以计算水平视差信息(水平视差)，其是包括部分信号1013、部分信号1016或部分信号1019的左信号图像与包括部分信号1013、部分信号1016或部分信号1019的右信号图像之间的视差。水平视差可以是包括部分信号1013、部分信号1016或部分信号1019的左信号图像的中心线c1和包括部分信号1013、部分信号1016或部分信号1019的右信号图像的中心线c2之间的距离。水平视差越大，可能意味着由图像传感器300捕获到的图像失焦的程度越大。当包括部分信号1013、部分信号1016或部分信号1019的左信号图像的中心线c1与包括部分信号1013、部分信号1016或部分信号1019的右信号图像的中心线c2完全重叠时，水平视差1130为0。这可能意味着图像传感器300处于聚焦状态。同样，图像传感器230的视差计算单元702可以计算包括部分信号1024、部分信号1027或部分信号1030的垂直视差信息(垂直视差)，其是包括部分信号1014、部分信号1017或部分信号1020的上信号图像和包括部分信号1014、部分信号1017或部分信号1020的下信号图像之间的视差。
[0136]
回到图10，图像传感器300可以向处理器输出包括部分信号1024、部分信号1027或部分信号1030的垂直视差信息(垂直视差)，而不是包括部分信号1014、部分信号1017或部分信号1020的垂直聚焦信息(垂直y)。
[0137]
下文将参考图12详细描述图像传感器的像素阵列中包括的单元像素包括3x3光电
二极管阵列的实施例。
[0138]
图12是示出根据实施例的图像传感器的像素阵列中包括的单元像素的图1200。图像传感器的操作与上述实施例中的相同，因此将仅描述在单元像素包括3x3光电二极管阵列的情况下对垂直区域信号和af信息的定义。
[0139]
参考图12，多个单元像素中的每一个都包括3x3个光电二极管。例如，第一单元像素1210包括被布置为与第一微透镜1231重叠的第一光电二极管1211、第二光电二极管1212、第三光电二极管1213、第四光电二极管1214、第五光电二极管1215、第六光电二极管1216、第七光电二极管1217、第八光电二极管1218和第九光电二极管1219。对第一单元像素1210的描述也可以应用于第二单元像素1220。
[0140]
第一单元像素1210的第一垂直区域信号可以表示在第一光电二极管1211、第二光电二极管1212、第三光电二极管1213、第四光电二极管1214、第五光电二极管1215和第六光电二极管1216中检测到的信号。第一单元像素1210的第二垂直区域可以包括第四光电二极管1214、第五光电二极管1215、第六光电二极管1216、第七光电二极管1217、第八光电二极管1218和第九光电二极管1219。
[0141]
第二单元像素1220的第三垂直区域可以包括第十光电二极管1221、第十一光电二极管1222、第十二光电二极管1223、第十三光电二极管1224、第十四光电二极管1225和第十五光电二极管1226。第二单元像素1220的第四垂直区域可以包括第十三光电二极管1224、第十四光电二极管1225、第十五光电二极管1226、第十六光电二极管1227、第十七光电二极管1228和第十八光电二极管1229。
[0142]
第一af信息可以基于第一单元像素1210的第一垂直区域信号和第二单元像素1220的第三垂直区域信号来形成。第二af信息可以基于第一单元像素1210的第二垂直区域信号和第二单元像素1220的第四垂直区域信号来形成。
[0143]
单元像素不限于2x2个光电二极管或3x3个光电二极管。例如，图像传感器可以每单元像素包括nxn个光电二极管。
[0144]
根据本公开的实施例，一种电子设备可以包括图像传感器，该图像传感器包括第一单元像素和第二单元像素，第一单元像素包括彼此面对的第一微透镜和多个第一光电二极管，其中第一滤色器插入在多个第一光电二极管之间，并且第二单元像素包括彼此面对的第二微透镜和多个第二光电二极管，其中第二滤色器插入在多个第二光电二极管之间；包括图像传感器的相机模块；以及可操作地与图像传感器连接的处理器。第一单元像素包括以方形形状设置，使得光电二极管的水平数量等于光电二极管的垂直数量的第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管。第二单元像素包括以方形形状布置，使得光电二极管的水平数量等于光电二极管的垂直数量的第五光电二极管、第六光电二极管、第七光电二极管和第八光电二极管。图像传感器可以识别相机模块的操作设置和外部环境条件，并且在识别出操作设置是预览模式并且外部环境条件是高照度环境时，图像传感器可以识别相机模块的操作设置和外部环境条件，并且在识别出操作设置是预览模式并且外部环境条件是高照度环境时，图像传感器识别与第一光电二极管和第二光电二极管的信号相对应的第一区域信号，第一光电二极管和第二光电二极管彼此串接并且包括在第一单元像素中，并且图像传感器识别与第五光电二极管和第六光点二极管的信号相对应的第二区域信号，第五光点二极管包括在第二单元像素中且与第一光电二极管的位置相
对应，第六光点二极管包括在第二单元像素中且与第二光电二极管的位置相对应，并且图像传感器可以基于第一区域信号和第二区域信号来形成第一af信息。
[0145]
在识别出操作设置是预览模式并且外部环境条件是高照度环境时，图像传感器可以识别与第三光电二极管和第四光电二极管的信号相对应的第三区域信号，第三光电二极管和第四光电二极管彼此串接并且包括在第一单元像素中，可以与第二单元像素中的第七光电二极管和第八光电二极管的信号相对应的第四区域信号，可以第三区域信号和第四区域信号来形成第二af信息，并且可以将形成的第一af信息和形成的第二af信息输出到处理器。
[0146]
图像传感器可以向处理器输出预览图像的图像信号，该图像信号可以包括通过合成第一区域信号和第二区域信号获得的信号，以及通过合成第三区域信号和第四区域信号获得的信号。
[0147]
在识别出操作设置是预览模式并且外部环境条件是低照度环境时，图像传感器可以基于第一光电二极管的第一像素信号、第二光电二极管的第二像素信号、第五光电二极管的第五像素信号和第六光电二极管的第六像素信号来形成第一af信息；可以基于第三光电二极管的第三像素信号、第四光电二极管的第四像素信号、第七光电二极管的第七像素信号和第八光电二极管的第八像素信号来形成第二af信息；可以基于第一光电二极管的第一像素信号、第三光电二极管的第三像素信号、第五光电二极管的第五像素信号和第七光电二极管的第七像素信号来形成第三af信息；可以基于第二光电二极管的第二像素信号、第四光电二极管的第四像素信号、第六光电二极管的第六像素信号和第八光电二极管的第八像素信号来形成第四af信息；可以将形成的第一af信息和形成的第二af信息输出到处理器；并且可以将形成的第三af信息和形成的第四af信息输出到处理器。
[0148]
图像传感器向处理器输出预览图像的图像信号，该图像信号可以包括通过合成第一像素信号、第二像素信号、第三像素信号和第四像素信号获得的信号，以及通过合成第五像素信号、第六像素信号、第七像素信号和第八像素信号获得的信号。
[0149]
在识别出操作设置是视频模式并且外部环境条件是高照度环境时，图像传感器可以识别第一光电二极管的第一像素信号、第二光电二极管的第二像素信号、第三光电二极管的第三像素信号、第四光电二极管的第四像素信号、第五光电二极管的第五像素信号、第六光电二极管的第六像素信号、第七光电二极管的第七像素信号和第八光电二极管的第八像素信号；可以通过对第一像素信号、第二像素信号、第三像素信号、第四像素信号、第五像素信号、第六像素信号、第七像素信号和第八像素信号应用重马赛克算法来形成拜耳图案图像；并且可以将拜耳图案图像作为图像信号输出到处理器。
[0150]
图像传感器可以基于第一像素信号、第二像素信号、第五像素信号和第六像素信号来形成第一af信息；可以基于第三像素信号、第四像素信号、第七像素信号和第八像素信号来形成第二af信息；可以基于第一像素信号、第三像素信号、第五像素信号和第七像素信号来形成第三af信息；可以基于第二像素信号、第四像素信号、第六像素信号和第八像素信号来形成第四af信息；可以将形成的第一af信息和形成的第二af信息输出到处理器；并且可以将形成的第三af信息和形成的第四af信息输出到处理器。
[0151]
在识别出操作设置是视频模式并且外部环境条件是低照度环境时，图像传感器可以识别与第一光电二极管和第二光电二极管的信号相对应的第一区域信号，可以识别与第
五光电二极管和第六光电二极管的信号相对应的第二区域信号，可以基于第一区域信号和第二区域信号来形成第一af信息，可以识别与第三光电二极管和第四光电二极管的信号相对应的第三区域信号，可以识别与第七光电二极管和第八光电二极管的信号相对应的第四区域信号，可以基于第三区域信号和第四区域信号来形成第二af信息，并且可以将形成的第一af信息和形成的第二af信息输出到处理器。
[0152]
图像传感器可以向处理器输出用相机模块捕获到的视频的图像信号，该图像信号可以包括通过合成第一区域信号和第二区域信号获得的信号，以及通过合成第三区域信号和第四区域信号获得的信号。
[0153]
在识别出操作设置是照相模式并且外部环境条件是高照度环境时，图像传感器可以识别第一光电二极管的第一像素信号、第二光电二极管的第二像素信号、第三光电二极管的第三像素信号、第四光电二极管的第四像素信号、第五光电二极管的第五像素信号、第六光电二极管的第六像素信号、第七光电二极管的第七像素信号和第八光电二极管的第八像素信号；可以通过对第一像素信号、第二像素信号、第三像素信号、第四像素信号、第五像素信号、第六像素信号、第七像素信号和第八像素信号应用重马赛克算法来形成拜耳图案图像；并且可以将拜耳图案图像作为图像信号输出到处理器。
[0154]
在识别出操作设置是照片模式并且外部环境条件是低照度环境时，图像传感器可以识别第一单元像素信号，第一单元像素信号是第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管的信号；可以识别第二单元像素信号，第二单元像素信号第五光电二极管、第六光电二极管、第七光电二极管和第八光电二极管的信号；并且可以将包括第一单元像素信号和第二单元像素信号的图像信号输出到处理器。
[0155]
根据本公开的实施例，一种电子设备的操作方法，该电子设备包括图像传感器，该图像传感器包括第一单元像素和第二单元像素，第一单元像素包括第一微透镜和以方形形状布置，使得光电二极管的水平数量等于光电二极管的垂直数量的多个光电二极管，第二单元像素包括彼此面对的第二微透镜和多个光电二极管，多个光电二极管以方形形状布置，使得光电二极管的水平数量与光电二极管的垂直数量相同；包括图像传感器的相机模块；以及可操作地与图像传感器连接的处理器，该方法可以包括：由图像传感器识别相机模块的操作设置和外部环境条件；在识别出操作设置是预览模式并且外部环境条件是高照度环境时、或者在识别出操作设置是视频模式并且外部环境条件是低照度环境时，识别与第一光电二极管和第二光电二极管的信号相对应的第一区域信号，第一光电二极管和第二光电二极管彼此串接并且包括在第一单元像素中；识别与第五光电二极管和第六光电二极管的信号相对应的第二区域信号，第五光电二极管与第一光电二极管的位置相对应，第六光电二极管与第二光电二极管的位置相对应，其中，第五光电二极管和第六光电二极管包括在第二单元像素中；以及基于第一区域信号和第二区域信号来形成第一af信息。
[0156]
在识别出操作设置是预览模式并且外部环境条件是高照度环境时、或者在识别出操作设置是视频模式并且外部环境条件是低照度环境时，该方法还可以包括由图像传感器识别与第三光电二极管和第四光电二极管的信号相对应的第三区域信号，第三光电二极管和第四光电二极管彼此串接并且包括在第一单元像素中；由图像传感器识别与第七光电二极管和第八光电二极管的信号相对应的第四区域信号，第七光电二极管和第八光电二极管包括在第二单元像素中；由图像传感器基于第三区域信号和第四区域信号来形成第二af信
息；由图像传感器将形成的第一af信息和形成的第二af信息输出到处理器。
[0157]
该方法还可以包括由图像传感器将预览图像的图像信号输出到处理器。图像信号可以包括通过合成第一区域信号和第二区域信号获得的信号，以及通过合成第三区域信号和第四区域信号获得的信号。
[0158]
在识别出操作设置是预览模式并且外部环境条件是低照度环境时、或者在识别出操作设置是视频模式并且外部环境条件是高照度环境时，该方法还可以包括基于第一光电二极管的第一像素信号、第二光电二极管的第二像素信号、第五光电二极管的第五像素信号和第六光电二极管的第六像素信号来形成第一af信息；基于第三光电二极管的第三像素信号、第四光电二极管的第四像素信号、第七光电二极管的第七像素信号和第八光电二极管的第八像素信号来形成第二af信息；基于第一光电二极管的第一像素信号、第三光电二极管的第三像素信号、第五光电二极管的第五像素信号和第七光电二极管的第七像素信号来形成第三af信息；基于第二光电二极管的第二像素信号、第四光电二极管的第四像素信号、第六光电二极管的第六像素信号和第八光电二极管的第八像素信号来形成第四af信息；将形成的第一af信息和形成的第二af信息输出到处理器；以及将形成的第三af信息和形成的第四af信息输出到处理器。
[0159]
在识别出操作设置是预览模式并且外部环境条件是低照度环境时，图像传感器可以向处理器输出预览图像的图像信号。图像信号可以包括通过合成第一像素信号、第二像素信号、第三像素信号和第四像素信号获得的信号，以及通过合成第五像素信号、第六像素信号、第七像素信号和第八像素信号获得的信号。
[0160]
在识别出操作设置是视频模式且外部环境条件是高照度环境时，该方法还可以包括通过对第一像素信号、第二像素信号、第三像素信号、第四像素信号、第五像素信号、第六像素信号、第七像素信号和第八像素信号应用重马赛克算法来形成拜耳图案图像，并且将拜耳图案图像作为图像信号输出到处理器。
[0161]
在识别出操作设置是照片模式并且外部环境条件是高照度环境时，该方法还可以包括识别第一光电二极管的第一像素信号、第二光电二极管的第二像素信号、第三光电二极管的第三像素信号、第四光电二极管的第四像素信号、第五光电二极管的第五像素信号、第六光电二极管的第六像素信号、第七光电二极管的第七像素信号和第八光电二极管的第八像素信号；通过对第一像素信号、第二像素信号、第三像素信号、第四像素信号、第五像素信号、第六像素信号、第七像素信号和第八像素信号应用重马赛克算法来形成拜耳图案图像；以及将拜耳图案图像作为图像信号输出到处理器。
[0162]
在识别出操作设置是照片模式并且外部环境条件是低照度环境时，该方法还可以包括识别第一单元像素信号，第一单元像素信号是第一光电二极管、第二光电二极管、第三光电二极管和第四光电二极管的信号；识别第二单元像素信号，第二单元像素信号是第五光电二极管、第六光电二极管、第七光电二极管和第八光电二极管的信号；以及将包括第一单元像素信号和第二单元像素信号的图像信号输出到处理器。
[0163]
应当理解，本公开的各种实施例及实施例中使用的术语并非旨在将技术特征限制于本文公开的特定实施例；相反，本公开应当被解释为覆盖本公开的实施例的各种修改、等同物或替代物。针对附图的描述，相似或相关的组件可以用相似的附图标记来表示。如本文中所使用的，与一个项目相对应的单数形式的词语可以包括一个或多个项目，除非上下文
另有明确。在本公开中，表述“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的一个或多个”或“a、b或c中的一个或多个”中的每一个都可以包括相关所列项目中的一个或多个的任何和所有组合。诸如“第一”、“第二”、“第一个”或“第二个”的表述可以仅用于区分一个组件与其他组件区的目的，而不是在其他方面(例如，重要性或次序上)限制对应的组件。应当理解，如果一个元件(例如，第一元件)被称为“与另一个元件(例如，第二元件)耦合”、“耦合到另一个元件(例如，第二元件)”、“与另一个元件(例如，第二元件)连接”或“连接到另一个元件(例如，第二元件)”，无论是否使用术语“可操作地”或“通信地”，都意味着该元件可以直接(例如，有线地)、无线地或经由第三个元件与另一个元件耦合。
[0164]
本公开中使用的术语“模块”可以包括以硬件、软件或固件实现的单元，并且可以与术语“逻辑”、“逻辑块”、“部件”和“电路”互换使用。“模块”可以是集成部件的最小单元、或者可以是其部件。“模块”可以是用于执行一个或多个功能的最小单元或其部件。“模块”可以包括专用集成电路(asic)。
[0165]
本公开的各种实施例可以通过包括存储在机器(例如，电子设备101)可读的机器可读存储介质(例如，内部存储器136或外部存储器138)中的指令的软件(例如，程序140)来实现。例如，机器(例如，电子设备101)的处理器(例如，处理器120)可以从机器可读存储介质调用指令，并执行如此调用的指令。这意味着机器可以基于所调用的至少一个指令来执行至少一个功能。一个或多个指令可以包括由编译器生成的或由解释器可执行的代码。机器可读存储介质可以以非暂时性存储介质的形式来提供。这里，本文使用的术语“非暂时性”意味着存储介质是有形的，但是不包括信号(例如，电磁波)。术语“非暂时性”并不区分数据永久存储在存储介质中的情况和数据暂时存储在存储介质中的情况。
[0166]
根据本公开中公开的各种实施例的方法可以作为计算机程序产品的部分来提供。计算机程序产品可以作为产品在卖方和买方之间交易。计算机程序产品可以以机器可读存储介质(例如，紧凑盘只读存储器(cd-rom))的形式分发、或者可以通过应用商店(例如，play store
tm
)在线直接分发(例如，下载或上传)、或者在两个用户设备(例如，智能手机)之间分发。在在线分发的情况下，计算机程序产品的至少部分可以临时存储或生成在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。
[0167]
上述组件中的每个组件(例如，模块或程序)可以包括一个或多个实体。根据各种实施例，可以省略上述组件或操作中的至少一个或多个组件、或者可以添加一个或多个组件或操作。附加地或可替代地，一些组件(例如，模块或程序)可以集成在一个组件中。在这种情况下，集成的组件可以执行由每个对应的组件在集成之前执行的相同或相似的功能。根据各种实施例，由模块、程序或其他组件执行的操作可以顺序地、并行地、重复地或以启发式方法来执行、或者至少一些操作可以以不同的顺序来执行、被省略、或者可以添加其他操作。
[0168]
根据本说明书中公开的实施例，可以通过取决于相机操作设置和外部环境条件不同地应用af信息和图像传感器的输出来实现高分辨率图像。
[0169]
此外，可以提供通过说明书直接或间接理解的多种效果。
[0170]
尽管已参考本公开的特定实施例具体示出和描述了本公开，但本领域普通技术人员应当理解，可以在不脱离所附权利要求及其等同物所限定的本公开的精神和范围的情况
下在形式和细节上对本公开进行各种改变。