具有多相机模块的移动电子装置的制作方法

具有多相机模块的移动电子装置
1.相关申请的交叉引用
2.本技术要求于2020年8月11日向韩国知识产权局提交的韩国专利申请no.10-2020-0100472的权益，其公开内容通过引用整体并入本文。
技术领域
3.本公开涉及具有多相机(multi-camera)模块的移动电子装置。


背景技术：

4.近来，诸如智能手机和平板计算机的各种移动电子装置已使用多相机模块来提供各种功能。
5.关于包括多相机模块的电子装置，已经开发了用于改善性能、质量和功能以满足各种用户需求的技术。特别地，近来已经积极地研究了用于提高图像质量的技术。


技术实现要素：

6.本公开的一方面是提供包括用于创建具有高动态范围(hdr)的图像的多相机模块的移动电子装置。
7.根据一些示例实施例，一种移动电子装置可以包括第一相机，所述第一相机被配置为捕获第一视场中的对象的第一图像。所述第一相机可以包括具有rgb像素阵列的第一图像传感器，所述rgb像素阵列包括红色(r)像素、绿色(g)像素和蓝色(b)像素。所述移动电子装置可以包括第二相机，所述第二相机被配置为捕获第二视场中的所述对象的第二图像。所述第二视场可以不同于所述第一视场。所述第二相机可以包括具有rgbw像素阵列的第二图像传感器，所述rgbw像素阵列包括红色(r)像素、绿色(g)像素、蓝色(b)像素和白色(w)像素。所述移动电子装置可以包括图像处理器，所述图像处理器被配置为根据从多个模式中选择的被选中模式使用所述第一图像和所述第二图像中的至少一个来生成目标图像。所述多个模式可以包括多个静止图像模式和多个视频模式。所述多个静止图像模式和所述多个视频模式可以与输出速度和位深度的单独的、相应的组合相关联，使得所述图像处理器被配置为基于所述被选中模式来控制所述第二相机的输出具有输出速度和位深度的不同组合。
8.根据一些示例实施例，一种移动电子装置可以包括第一相机，所述第一相机被配置为捕获第一视场中的对象的第一图像。所述第一相机可以包括具有rgb像素阵列的第一图像传感器，所述rgb像素阵列包括红色(r)像素、绿色(g)像素和蓝色(b)像素。所述移动电子装置可以包括第二相机，所述第二相机被配置为捕获第二视场中的所述对象的第二图像。所述第二视场可以宽于所述第一视场。所述第二相机可以包括rgbw像素阵列，所述rgbw像素阵列包括红色(r)像素、绿色(g)像素、蓝色(b)像素和白色(w)像素。所述移动电子装置可以包括第三相机，所述第三相机被配置为捕获第三视场中的所述对象的第三图像。所述第三视场可以宽于所述第二视场。所述第三相机可以包括具有单独的rgb像素阵列的第三
图像传感器，所述单独的rgb像素阵列包括红色(r)像素、绿色(g)像素和蓝色(b)像素。所述移动电子装置可以包括图像处理器，所述图像处理器被配置为根据从多个模式中选择的被选中模式使用所述第一图像、所述第二图像和所述第三图像中的至少一个来生成目标图像。所述多个模式可以包括多个静止图像模式和多个视频模式，所述多个静止图像模式和所述多个视频模式与输出速度和位深度的单独的、相应的组合相关联，使得所述图像处理器被配置为基于所述被选中模式来控制所述第二相机的输出具有输出速度和位深度的不同组合。
9.根据一些示例实施例，一种移动电子装置可以包括第一相机，所述第一相机被配置为捕获第一视场中的对象的第一图像，所述第一相机包括具有rgb像素阵列的第一图像传感器，所述rgb像素阵列包括红色(r)像素、绿色(g)像素和蓝色(b)像素。所述移动电子装置可以包括第二相机，所述第二相机被配置为捕获第二视场中的所述对象的第二图像。所述第二视场可以宽于所述第一视场。所述第二相机可以包括具有rgbw像素阵列的第二图像传感器，所述rgbw像素阵列包括红色(r)像素、绿色(g)像素、蓝色(b)像素和白色(w)像素。所述移动电子装置可以包括第三相机，所述第三相机被配置为捕获第三视场中的所述对象的第三图像。所述第三视场可以宽于所述第二视场。所述第三相机可以包括具有单独的rgb像素阵列的第三图像传感器，所述单独的rgb像素阵列包括红色(r)像素、绿色(g)像素和蓝色(b)像素。所述移动电子装置可以包括图像处理器，所述图像处理器被配置为根据从多个模式中选择的模式使用所述第一图像、所述第二图像和所述第三图像中的至少一个来生成目标图像。所述多个模式可以包括多个静止图像模式和多个视频模式。所述图像处理器可以被配置为根据所述多个静止图像模式中的至少一个和所述多个视频模式中的至少一个来控制所述第二相机，以将所述第二相机的多条像素数据通过分箱作为多条rgb颜色数据和多条白色(w)数据传递到所述图像处理器。
附图说明
10.根据以下结合附图的详细描述，将更加清楚地理解本公开的上述和其它方面、特征和优点，在附图中：
11.图1是示出根据本公开的一些示例实施例的包括多相机模块的移动电子装置的框图；
12.图2a和图2b是分别示出根据一些示例实施例的在第一图像传感器和第二图像传感器中采用的像素阵列的示例的平面图；
13.图3是示出根据一些示例实施例的在第一图像传感器(或第三图像传感器)中采用的像素阵列的另一示例的平面图；
14.图4是示出根据一些示例实施例的在第二图像传感器中采用的像素阵列的另一示例的平面图；
15.图5是示出根据在一些示例实施例中采用的图像捕获模式的示例创建图像的处理的框图；
16.图6是示出根据一些示例实施例的移动电子装置的第二图像传感器的框图；以及
17.图7是示出根据一些示例实施例的包括多相机模块的移动电子装置的框图。
具体实施方式
18.在下文中，将参考附图来描述本公开的各种示例实施例。
19.图1是示出根据本公开的一些示例实施例的包括多相机模块的移动电子装置的框图，多相机模块在本文中也被简单地称为“相机”。
20.参照图1，电子装置500(也可互换地称为移动电子装置)可以包括相机模块组100、应用处理器200、电力管理集成电路(pmic)300和外部存储器400。例如，移动电子装置可以包括便携式通信终端，诸如智能电话或平板pc。
21.相机模块组100可以包括第一相机模块100a至第三相机模块100c(在本文中也被称为“相机”)。在一些示例实施例中，相机模块组100被例示为具有三个相机模块100a至100c，但是不限于此。在一些示例实施例中，相机模块组100包括两个相机模块(参见图7)或n个(其中n是4或更大的整数)相机模块。
22.第一相机模块100a至第三相机模块100c中的至少两个(例如，100b和100c)可以具有不同的视场。在这种情况下，第一相机模块100a至第三相机模块100c中的至少两个相机模块(例如，100b和100c)可以具有不同的光学透镜。
23.在一些示例实施例中，第一相机模块100a至第三相机模块100c中的每个相机模块的视场可以彼此不同。例如，第一相机模块100a可以是长焦相机，第二相机模块100b可以是宽相机，而第三相机模块100c是超宽相机。在这种情况下，多个相机模块100a至100c的光学透镜可以彼此不同。
24.在一些示例实施例中，第一相机模块100a至第三相机模块100c中的一个(例如，100b)可以是包括棱镜和光路折叠元件(opfe)的折叠透镜形式的相机模块，而其余的相机模块(例如，100a和100c)可以不包括棱镜和opfe并且可以是竖直形式的相机模块，但不限于此，并且可以以不同的形式和通过其它组合来实施其余的相机模块(例如，100a和100c)。
25.在一些示例实施例中，第一相机模块100a至第三相机模块100c中的一个(例如，100a)可以是例如被配置为使用红外线(ir)来提取深度信息的竖直形式的深度相机。在这种情况下，应用处理器200将从这种深度相机接收的图像信息和从另一相机模块(例如，100b或100c)接收的图像信息合并以生成3d深度图像。稍后将与图像处理器210一起详细描述这种合并处理。
26.在一些示例实施例中采用的第一相机模块100a至第三相机模块100c可以被物理地分离和设置。具体地，第一相机模块100a至第三相机模块100c可以与图像传感器独立地设置，而不是共享和划分单个图像传感器的感测区域。第一相机模块100a至第三相机模块100c的图像传感器的一部分的像素阵列结构可不同于其它部分的像素阵列结构。
27.此外，第一相机模块100a至第三相机模块100c中的一个可包括具有rgb像素阵列的第一图像传感器，rgb像素阵列包括红色像素(r)、绿色(g)像素和蓝色(b)像素或由红色像素(r)、绿色(g)像素和蓝色(b)像素组成，并且其余相机模块可包括rgbw像素阵列，rgbw像素阵列包括rgb像素和白色(w)像素或由rgb像素和白色(w)像素组成。红色像素可被配置为检测(例如，吸收和/或光电转换)红光，绿色像素可被配置为检测(例如，吸收和/或光电转换)绿光，蓝色像素可被配置为检测(例如，吸收和/或光电转换)蓝光，并且白色像素可被配置为检测(例如，吸收和/或光电转换)白光(例如，一些或所有可见光)。
28.在一些示例实施例中，第一相机模块100a和第三相机模块100c包括具有rgb像素
阵列的图像传感器(例如，cmos图像传感器、有机cmos图像传感器等)，而第二相机模块100b包括具有rgbw像素阵列的图像传感器(例如，cmos图像传感器、有机cmos图像传感器等)。例如，第一相机模块100a和第三相机模块100c可包括具有图2a所示的rgb拜耳图案的rgb像素阵列，而第二相机模块100b可具有图2b所示的rgbw像素阵列。
29.将理解，至少第一相机模块100a可被配置为获得(例如，生成、捕获等)第一视场101a中的对象102的第一图像，其中第一相机模块100a至少包括具有rgb像素阵列的第一图像传感器，该rgb像素阵列包括第一组红色(r)像素、绿色(g)像素和蓝色(b)像素(统称为rgb像素)或由第一组红色(r)像素、绿色(g)像素和蓝色(b)像素(统称为rgb像素)组成。将理解，第二相机模块100b可被配置为获得(例如，生成、捕获等)第二视场101b中的对象102(其可与上述第一视场101a中的对象102相同或不同)的第二图像，其中第二视场101b可与第一视场101a不同(例如，比第一视场宽)，其中第二相机模块100b至少包括具有rgbw像素阵列的第二图像传感器，该rgbw像素阵列包括第二组红色(r)像素、绿色(g)像素和蓝色(b)像素(统称为rgb像素)以及白色(w)像素或由第二组红色(r)像素、绿色(g)像素和蓝色(b)像素(统称为rgb像素)以及白色(w)像素组成。将理解，第三相机模块100c可被配置为获得(例如，生成、捕获等)第三视场101c中的对象102(其可与上述第一视场101a和/或第二视场101b中的对象102相同或不同)的第三图像，其中第三视场101c可不同于第一视场101a和/或第二视场101b(例如，比第二视场宽)，其中第三相机模块100c至少包括具有单独的rgb像素阵列的第三图像传感器，该单独的rgb像素阵列包括第三组红色(r)像素、绿色(g)像素和蓝色(b)像素(统称为rgb像素)或由第三组红色(r)像素、绿色(g)像素和蓝色(b)像素(统称为rgb像素)组成。
30.与图2a所示的rgb像素阵列110a相比，图2b所示的rgbw像素阵列110b还可以包括白色(w)像素。
31.图2a所示的rgb像素阵列110a可为包括r-g-g-b像素px或由r-g-g-b像素px组成的拜耳图案。在每个r-g-g-b像素中，绿色像素沿第一对角线方向布置，并且红色像素和蓝色像素沿第二对角线方向布置。
32.图2b所示的rgbw像素阵列110b可包括多个扩展的拜耳图案块eb，扩展的拜耳图案块eb具有以2
×
2矩阵布置的第一像素块pb1至第四像素块pb4。第一像素块pb1至第四像素块pb4中的每一个可包括以2
×
2矩阵布置的第一像素px1至第四像素px4。
33.在多个扩展的拜耳图案块eb中的每一个中，第一像素块pb1和第四像素块pb4沿第一对角线方向dl1布置，并且第二像素块pb2和第三像素块pb3沿第二对角线方向dl2布置。
34.在第一像素块pb1至第四像素块pb4中，第一对角线方向dl1上的第一像素px1和第四像素px4可以是被配置为感测白光的白色(w)像素。在第一像素块pb1和第四像素块pb4中，第二对角线方向dl2上的第二像素px2和第三像素px3可以是被配置为感测绿光的绿色(g)像素。在第二像素块pb2和第三像素块pb3中，第二对角线方向dl2上的第二像素px2和第三像素px3可以是被配置为分别感测红光和蓝光的红色(r)像素和蓝色(b)像素。在其它示例实施例中，第一像素块pb1至第四像素块pb4可沿与一些示例实施例的方向相反的方向布置。例如，第一像素px1和第四像素px4可沿第二对角线方向dl2布置，而第二像素px2和第三像素px3可沿第一对角线方向dl1布置。
35.如上所述，在一些示例实施例中，第二像素px2和第三像素px3被提供为标记为r、g
和b的颜色像素，并且第一像素px1和第四像素px4可被提供为用于提高灵敏度的照度感测像素。这种照度感测像素被配置为接收与颜色像素的波长带宽相比更宽带宽的光，并且除了白色(w)像素外还可以包括例如黄色像素。
36.如本文中所使用的，表述“像素块”是指其中多个颜色像素(例如，px2和px3)和多个照度感测像素(例如，px1和px4)被组合并布置的单位，并且表述“扩展的拜耳图案块”是指其中四个像素块pb以拜耳图案被布置的单位。在一些示例实施例中，考虑到第一像素块pb1至第四像素块pb4中的颜色像素，可以理解，扩展的拜耳图案块eb实施r-g-g-b的拜耳阵列图案。此外，图6中所示的拜耳图案类型颜色信息bp1可以具有与这样的拜耳阵列相对应的r-g-g-b的拜耳阵列图案。
37.除了图2a和图2b中所示的像素阵列之外，如果第一相机模块100a和第三相机模块100c的图像传感器具有rgb像素阵列，并且第二相机模块100b的图像传感器可以具有额外地包括白色(w)像素的像素阵列，则除了第二相机模块之外，第一相机模块100a和第三相机模块100c也可以采用另一种形式的像素阵列。
38.参照图3，第一相机模块100a和第三相机模块100c可具有扩展的拜耳图案(被称为tetra图案)的像素阵列110a'作为可在第一相机模块100a和第三相机模块100c中使用的rgb像素阵列。图3中的扩展的拜耳图案的像素阵列110a'可被理解为这样的像素阵列：其中，r-g-g-b拜耳图案的每个像素由4个子像素构成。
39.同时，参照图4，在第二相机模块100b中采用的rgbw像素阵列110b'具有不同形式的像素布置。在第一2
×
2像素中，两个白色像素布置在第一对角线方向上，并且红色像素和绿色像素布置在第二对角线方向上。在第二2
×
2像素中，两个白色像素布置在第一对角线方向上，并且蓝色像素和绿色像素布置在第二对角线方向上。这两种2
×
2像素可以根据其行和列交替地布置。
40.如上所述，除了在第一相机模块100a和第三相机模块100c中采用的rgb像素阵列之外，在第二相机模块100b中采用的rgbw像素阵列也可包括各种形式的像素阵列。
41.再次参照图1，应用处理器200可以包括图像处理器210、存储器控制器220和内部存储器230。应用处理器200可以被划分为用于多个相机模块100a至100c的部分以及额外的半导体芯片的部分。
42.图像处理器210可以包括第一子图像处理器212a至第三子图像处理器212c、图像生成器214和相机模块控制器216。图像处理器210可以包括与第一相机模块100a至第三相机模块100c的数量相对应的数量的第一子图像处理器212a至第三子图像处理器212c。
43.如本文中所述，包括电子装置500、电子装置500a的电子装置中的任何一个和/或其任何部分(包括但不限于应用处理器200，图像处理器210，存储器控制器220，内部存储器230，子图像处理器212a至212c中的任何子图像处理器，图像生成器214，相机模块控制器216，pmic 300，外部存储器400，和/或包括分箱(binning)单元120、合并单元140、adc 150a和150b中的任何一个等的相机模块组100的相机模块100a至100c中的任何一个)可以包括处理电路系统的一个或多个实例、可以被包括在处理电路系统的一个或多个实例中、和/或可以由处理电路系统的一个或多个实例来实施，处理电路系统诸如是：包括逻辑电路的硬件、诸如执行软件的处理器的硬件/软件组合、或它们的组合。例如，更具体地，处理电路系统可以包括但不限于中央处理单元(cpu)、算术逻辑单元(alu)、图形处理单元(gpu)、应用
处理器(ap)、数字信号处理器(dsp)、微型计算机、现场可编程门阵列(fpga)、可编程逻辑单元、微处理器、专用集成电路(asic)、神经网络处理单元(npu)、电子控制单元(ecu)、图像信号处理器(isp)等。在一些示例实施例中，处理电路系统可以包括非暂时性计算机可读存储装置(例如，内部存储器230和/或外部存储器400)(例如，存储指令程序(program of instructions)的固态驱动器(ssd))、以及被配置为执行指令程序以实施由电子装置500的一些或全部执行的功能和/或方法的处理器(例如，图像处理器210或其任何部分、存储器控制器220等)，所述由电子装置500的一些或全部执行的功能和/或方法包括由图像处理器210、图像生成器214、相机模块控制器216、子图像处理器212a至212c中的任何一个、存储器控制器220、内部存储器230、pmic 300、外部存储器400、应用处理器200、它们的任何组合等中的一些或全部执行的功能和/或方法。
44.本文中描述的存储器中的任何一个(包括但不限于内部存储器230和/或外部存储器400)可以是非暂时性计算机可读介质，并且可以存储指令程序。本文中描述的存储器中的任何一个可以是非易失性存储器(诸如，闪速存储器、相变随机存取存储器(pram)、磁阻ram(mram)、电阻式ram(reram)、或铁电ram(fram))或易失性存储器(诸如，静态ram(sram)、动态ram(dram)、或同步dram(sdram))。
45.由第一相机模块100a产生的多条图像数据(其可以响应于捕获第一视场中的对象的第一图像而在第一相机模块100a处生成)通过图像信号线isla被提供给第一子图像处理器212a，并且由第二相机模块100b产生的多条图像数据通过图像信号线islb被提供给第二子图像处理器212b，而由第三相机模块100c产生的多条图像数据通过图像信号线islc被提供给第三子图像处理器212c。例如，可以使用基于移动工业处理器接口(mipi)的相机串行接口(csi)来执行多条图像数据的这种传送。
46.同时，在一些示例实施例中，与多个相机模块相对应的多个子图像处理器可被实施为单个子图像处理器。例如，第一子图像处理器212a和第三子图像处理器212c在图1中被示为分离的块、但是被示为单个组合的子图像处理器，并且从第一相机模块100a和第三相机模块100c提供的多条图像数据由作为选择组件的多路复用器mux213选择并被提供给组合的子图像处理器。第二子图像处理器212b没有被组合，并且可以从第二相机模块100b接收多条图像数据(参见图5和图6)。
47.在一些示例实施例中，由第一相机模块100a产生的多条图像数据通过图像信号线isla被提供给第一子图像处理器212a，并且由第二相机模块100b产生的多条图像数据通过图像信号线islb被提供给第二子图像处理器212b，而由第三相机模块100c产生的多条图像数据通过图像信号线islc被提供给第三子图像处理器212c。在第二子图像处理器212b中处理的多条图像数据被立即提供给图像生成器214。然而，对于由第一子图像处理器212a和第三子图像处理器212c处理的那些图像数据，它们中的一条由多路复用器mux 213选择并被提供给图像生成器214。
48.第一子图像处理器212a至第三子图像处理器212c中的每一个可以对从第一相机模块100a至第三相机模块100c提供的多条图像数据执行图像处理，诸如坏像素校正、包括自动聚焦校正的3a校正、自动白平衡和自动曝光、降噪、锐化、伽马控制、重新拼接等。
49.在一些示例实施例中，在每个相机模块100a至100c中执行重新拼接信号处理，并将重新拼接的多条图像数据提供给第一子图像处理器212a至第三子图像处理器212c。在第
一子图像处理器212a至第三子图像处理器212c中处理过的这些图像数据可以被提供给图像生成器214。
50.图像生成器214可以根据图像生成信息或模式信号(例如，与特定模式相对应的信号)使用从子图像处理器212a至212c接收的多条图像数据来生成目标图像。
51.具体地，图像生成器214可以根据图像生成信息或模式信号来合并从子图像处理器212a至212c产生的多条图像数据中的一些，以生成输出图像。在一些示例实施例中，图像生成器214可以选择从第一子图像处理器212a至第三子图像处理器212c产生的多条图像数据中的任何一条，以生成目标图像。这样的模式包括各种模式，并且可以由用户或外部环境来选择。这样的模式可以包括电子装置500的操作模式或操作的模式，电子装置500的操作模式或操作的模式可以被选择并被执行以控制电子装置中的一些或全部的操作(例如，控制电子装置500基于由一个或多相机模块100a至100c捕获的(一个或多个)图像来生成目标图像)。因此，图像处理器210可以根据从多个模式中选择的模式(从多个模式中选择的这种模式在本文中可互换地称为多个模式中的“被选中模式”)使用由第一相机模块100a捕获的第一图像(并且因此使用从第一子图像处理器212a产生的图像数据)、由第二相机模块100b捕获的第二图像(并且因此使用从第二子图像处理器212b产生的图像数据)以及由第三相机模块100c捕获的第三图像(并且因此使用从第三子图像处理器212c产生的图像数据)中的至少一个来生成目标图像。在一些示例实施例中，可以从多个模式中选择模式，并且可以基于执行存储在一个或多个装置(例如，内部存储器230、外部存储器400等)中的指令程序的应用处理器200(例如，图像处理器210)的一个或多个部分和/或响应于在应用处理器处接收到的信号(例如，模式信号和/或生成信息)，根据所选择的模式来生成目标图像。
52.各种模式不仅控制图像生成器214，而且还通过相机模块控制器216控制第一相机模块100a至第三相机模块100c。从相机模块控制器216提供到第一相机模块100a至第三相机模块100c的控制信号可以包括根据被选中模式的信息。
53.在一些示例实施例中采用的模式包括多个静止图像模式和多个视频模式，并且根据一些示例实施例的电子装置500的多相机(例如，相机模块组100)可以取决于被选中模式的信号而不同地操作(例如，图像处理器210可以被配置为根据被选中模式的信号来控制第一相机模块100a至第三相机模块100c，图像处理器210可以生成并传输该信号以根据被选中模式来控制一个或多个相机模块)。
54.在一些示例实施例中，多个模式可以包括第一静止图像模式至第三静止图像模式(例如，多个静止图像模式，也被称为控制生成一个或多个静止图像的模式)以及第一视频模式和第二视频模式(例如，多个视频模式，也被称为控制生成一个或多个视频的模式)。这样的多个模式可以被描述为由于相应的控制信号而导致的作为宽相机的第二相机模块100b的操作(特别是诸如图像数据的输出)。如前所述，与第一相机模块100a和第三相机模块100c不同，第二相机模块100b可包括具有rgbw像素阵列的图像传感器。
55.多个静止图像模式和多个视频模式中的每个模式可被配置为在多条像素数据在第二相机模块100b处被转换为数字信号的输出速度(例如，帧每秒或“fps”)和/或第二相机模块100b传输图像数据的输出速度(例如，帧每秒或“fps”)以及由第二相机模块100b输出(例如，传输、生成等)的图像数据的位深度(例如，用于指示所捕获的图像的像素的颜色的位的数量)中的至少一个不同的条件下控制至少第二相机模块100b的输出。再次重申，多个
静止图像模式和多个视频模式可以与输出速度和/或位深度的单独的、相应的(例如，不同的)组合相关联，并且图像处理器210可以根据多个模式中的被选中模式来可调节地控制第二相机模块100b(例如，由第二相机模块100b生成的图像数据)的输出(例如，与所述输出相关联的输出速度或位深度中的至少一个)，使得输出基于多个模式中的被选中模式而具有特定的(例如，不同的)输出速度和/或位深度。在一些示例实施例中，多个静止图像模式可以包括第一静止图像模式至第三静止图像模式。在一些示例实施例中，多个视频模式可以包括第一视频模式和第二视频模式。
56.在第一静止图像模式的情况下(例如，当根据第一静止图像模式控制第二相机模块100b时)，第二相机模块100b可以以第一输出速度(例如，a fps)和第一位深度将通过模数转换器(adc)150b被转换为数字信号的多条像素数据传送到应用处理器200(参见图5)。再次重申，图像处理器210可以被配置为根据第一静止图像模式控制第二相机模块100b，以使得第二相机模块以第一输出速度(例如，60fps)和第一位深度(例如，10位至14位)将与由第二相机模块100b捕获的一个或多个第二图像相对应的多条(例如，多个单位)的像素数据(例如，图像数据)传递到图像处理器210。
57.在第二静止图像模式的情况下，第二相机模块100b可以以第二输出速度(例如，b fps)和第二位深度将通过adc 150b被转换为数字信号的多条像素数据传送到应用处理器200(参见图5)。再次重申，图像处理器210可以被配置为根据第二静止图像模式控制第二相机模块100b，以使得第二相机模块以第二输出速度(例如，90fps)和第二位深度(例如，11位至14位)将与由第二相机模块100b捕获的一个或多个第二图像相对应的多条(例如，多个单位)的像素数据(例如，图像数据)传递到图像处理器210。第二输出速度可以与第一输出速度相同或不同(例如，第二输出速度可以大于或小于第一输出速度)。第二位深度可以与第一位深度相同或不同(例如，第二位深度可以大于或小于第一位深度)。与此类似，在第三静止图像模式中，第二相机模块100b可以以第三输出速度(例如，c fps)和第三位深度将多条像素数据传送到应用处理器200。再次重申，图像处理器210可以被配置为根据第三静止图像模式控制第二相机模块100b，以使得第二相机模块以第三输出速度(例如，120fps)和第三位深度(例如，11位或更多位)将与由第二相机模块100b捕获的一个或多个第二图像相对应的多条(例如，多个单位)的像素数据(例如，图像数据)传递到图像处理器210。第三输出速度可以与第一输出速度和/或第二输出速度相同或不同(例如，第三输出速度可以大于或小于第一输出速度和/或第二输出速度)。第三位深度可以与第一位深度和/或第二位深度相同或不同(例如，第三位深度可以大于或小于第一位深度和/或第二位深度)。在一些示例实施例中，第二输出速度和第三输出速度可都大于(例如，快于)第一输出速度，并且第三输出速度可大于(例如，快于)第二输出速度。例如，第一位深度和第二位深度可以在10位至14位或11位至14位的范围内，并且第三位深度可以是11位或更大。在一些示例实施例中，第一静止图像模式至第三静止图像模式的相应的位深度(例如，第一位深度、第二位深度和/或第三位深度)在11位至13位的范围内。在一些示例实施例中，第一位深度、第二位深度和/或第三位深度在11位至14位的范围内。如本文所描述的位深度的单位可以是位的数量(例如，10位至14位、11位至14位、11位或更多位等)。在一些示例实施例中，第一位深度和第二位深度可以都在11位至14位的范围内。在一些示例实施例中，第一位深度在11位至14位的范围内。在一些示例实施例中，第二位深度在大于11位的单独范围内。在一些示例实施例中，第
一相机模块100a的多条像素数据的位深度(例如，由第一相机模块100a输出到应用处理器200的图像数据中包括的多条像素数据的位深度)为10位或更少位。
58.通过使用从第二相机模块100b输出的多条rgbw像素数据的图像处理，可以改善根据多个模式的位深度。例如，可以通过是否合并第二相机模块100b的经分箱的(binned)多条白色数据和/或应用使用双转换增益(dcg)的hdr功能来确定位深度。模式可以包括用于根据期望的位深度来合并多条白色数据和/或应用hdr功能的控制信号。
59.将来自于第二相机模块100b的经分箱的多条白色数据控制为合并到第一相机模块100a或第三相机模块100c的多条rgb颜色数据，并且通过这种合并，提高了质量并且根据被选中模式获得了期望的位深度。
60.在一些示例实施例中，图像处理器210可以根据第一静止图像模式、第二静止图像模式和第三静止图像模式中的至少一个(例如，根据第三静止图像模式而不根据第一静止图像模式或第二静止图像模式)来控制第二相机模块100b，以将多条像素数据通过分箱作为多条rgb颜色数据和多条白色(w)数据传递到图像处理器210。在一些示例实施例中，图像处理器210可根据第一静止图像模式和/或第二静止图像模式(例如，第一静止图像模式和第二静止图像模式中的至少一个)来控制第二相机模块100b，以将多条像素数据作为未经分箱的多条rgbw颜色数据传递到图像处理器210。
61.在一些示例实施例中，在第三静止图像模式中，多条rgb颜色数据和多条白色数据被分箱以被传递到应用处理器。再次重申，图像处理器210可以根据第三静止图像模式来控制第二相机模块100b，以实施多条rgb颜色数据和多条白色数据的分箱，以将多条rgb颜色数据和多条白色数据作为图像数据传递到应用处理器200。在第一静止图像模式和第二静止图像模式中，多条rgb颜色数据被转换为拜耳图案以(例如，在不经分箱的情况下)被传递到应用处理器200。
62.具体地，参照图6，通过分箱单元120将从rgbw像素阵列110b获得的多条rgbw像素数据(2m
×
2n像素)分箱为作为m
×
n个像素的多条白色数据bp2和多条rgb颜色数据bp1，并且可根据被选中模式如下控制第二相机模块100b的输出。
63.在第三静止图像模式中，经分箱的多条数据(特别是多条白色数据bp2)在adc 150b中被转换，并且被从第二相机模块100b传送到应用处理器200。所传送的多条白色数据bp2可以与从第一相机模块100a或第三相机模块100c传送到应用处理器200的多条rgb颜色数据合并。在这种情况下，可根据变焦模式来选择第一相机模块100a(例如，长焦相机模块)或第三相机模块100c(例如，超宽相机模块)。这种合并使得第一相机模块100a或第三相机模块100c的多条rgb颜色数据中的暗部分能够被校正为亮，并且使得从第二相机模块100b本身传送的rgb颜色数据能够具有经校正的质量。
64.在图5中，执行这种合并的图像处理器210被示意性地示出为相关的功能块。在第三静止图像模式中，来自于作为宽相机的第二相机模块100b的多条白色数据(图6的bp2)和来自于作为长焦相机的第一相机模块100a的多条rgb颜色数据(例如，拜耳图案，被标记为“长焦图像”)被传送到图像处理器，并且获得多条白色数据的对应于多条rgb颜色数据的区域作为经裁剪的图像(被标记为“经裁剪的图像”)。在合并单元s214a中，将从自第二相机模块100b获得的多条白色数据(图6的bp2)获得的经裁剪的数据与从第一相机模块100a获得的多条rgb颜色数据进行合并，通过动态范围压缩(drc)单元s212b对经合并的rgb像素数据
执行压缩而不损失动态范围，从而提供根据第三静止图像模式具有改善的质量的图像。可以由图像处理器210的一个或多个部分来实施drc单元s212b和合并单元s214a，该图像处理器210包括图像生成器214、多路复用器mux 213、子图像处理器212a至212c中的一个或多个、相机模块控制器216、它们的任何组合等。
65.例如，从第二相机模块100b输出的多条白色数据bp2和多条rgb颜色数据bp1(诸如，拜耳图案)可以具有比从第一相机模块100a输出的多条rgb颜色数据(诸如，拜耳图案)的位深度(例如，10位)大的位深度(例如，14位/12位)。结果，根据第三静止图像模式的目标图像可被改进为具有相对较大的位深度(例如，11位或更大)。
66.如上所述，在第一静止图像模式和第二静止图像模式中，对多条rgbw像素数据进行分箱，并且如图6所示在rgbw合并单元140中将多条经分箱的rgb颜色数据bp1和多条白色数据bp2与多条rgb颜色数据mc1合并，并通过adc 150b将多条经合并的数据转换为数字信号以将其传送到图像处理器210(被标记为
①
)。相反，在第三静止图像模式中，第二相机模块100b通过分箱单元120将2m
×
2n条rgbw像素数据分箱为多条rgb颜色数据bp1和多条白色数据bp2，并在不通过rgbw合并单元140进行合并的情况下通过adc 150b将其传送到图像处理器210(被标记为
②
)。
67.同时，可通过应用使用dcg的hdr功能来确定位深度。可以根据模式选择通过是否应用hdr功能来确定期望的位深度。hdr功能可以通过使用在不同条件下利用第一转换增益和第二转换增益捕获的帧来改善图像质量。例如，根据两种条件下的光量自动选择可彼此不同的高转换增益(hcg)和低转换增益(lcg)，从而增强颜色表现并使噪声最小化。可以例如通过改变曝光时间来获得这些条件。
68.在一些示例实施例中，在第一静止图像模式、第二静止图像模式和第三静止图像模式中的至少一个中(例如，在第二静止图像模式和第三静止图像模式而不是第一静止图像模式中)，可使用利用hcg捕获的图像和利用lcg捕获的图像来实施hdr功能。可以通过打开/关闭在美国专利公开no.2015-0021459中描述的lcg开关来实施这些hcg和lcg，该专利公开全文以引用方式并入本文(具体参见图1)。相反，在第一静止图像模式中可不支持(例如，可不实施/应用)hdr功能。
69.在一些示例实施例中，多个视频模式可以包括第一视频模式和第二视频模式，并且可以通过第一视频模式和第二视频模式不同地控制第二相机模块100b的输出。
70.在第一视频模式的情况下，第二相机模块100b以第四输出速度(例如，d fps)和第四位深度将通过adc(图5中的150b)转换为数字信号的像素数据传送到应用处理器200。再次重申，图像处理器210可以根据第一视频模式控制第二相机模块100b，以使得第二相机模块100b以第四输出速度和第四位深度将多条像素数据传递到图像处理器210。
71.在第二视频模式的情况下，第二相机模块100b以第五输出速度(例如，e fps)和第五位深度将通过adc(图5中的150b)转换为数字信号的像素数据传送到应用处理器200。再次重申，图像处理器210可以根据第二视频模式控制第二相机模块100b，以使得第二相机模块100b以第五输出速度和第五位深度将多条像素数据传递到图像处理器210。例如，第五输出速度可以比第四输出速度快。例如，第五位深度可大于第四位深度。在一些示例实施例中，在第二视频模式中可支持上述hdr功能。再次重申，在第一视频模式和第二视频模式中的至少一个中(例如，在第二视频模式而非第一视频模式中)，应用高动态范围(hdr)功能，
该高动态范围(hdr)功能组合利用彼此不同的第一转换增益和第二转换增益捕获的帧，并且在第一视频模式和第二视频模式中的至少一个中(例如，在第一视频模式而非第二视频模式中)，不应用hdr功能。进一步重申，在第二视频模式中，基于对利用第一转换增益捕获的图像和利用与第一转换增益不同的第二转换增益捕获的另一图像进行组合来实施高动态范围(hdr)功能，并且在第一视频模式中，不实施hdr功能。例如，第四位深度和第五位深度可以是12位或13位。在一些示例实施例中，第一视频模式的位深度可以在11位至13位的范围内。
72.在一些示例实施例中，作为有线相机的第二相机模块可使用rgbw像素阵列来对多条rgb颜色数据和多条白色(w)数据进行分箱和处理。在这种情况下，用于rgb像素和白色(w)像素的曝光时间可以被设置为相同。然而，在一些示例实施例中，rgb像素和w像素的曝光时间可以被不同地设置(例如，1:2，1:4)。例如，在第一视频模式和第二视频模式中的至少一个中(例如，在第二视频模式而非第一视频模式中)，第二相机模块100b的多条像素数据可以通过分箱作为多条rgb颜色数据和多条白色(w)数据而被传递到图像处理器210，并且在第一视频模式中，第二相机模块100b的多条像素数据可以作为未经分箱的多条rgbw颜色数据而被传递到图像处理器210。再次重申，图像处理器210可以根据第一视频模式和第二视频模式中的至少一个(例如，根据第二视频模式而非第一视频模式)来控制第二相机模块100b，以将第二相机模块100b的多条像素数据通过分箱作为多条rgb颜色数据和多条白色(w)数据传递到图像处理器210，并且图像处理器可以被配置为根据第一视频模式和第二视频模式中的至少一个(例如，根据第一视频模式而非第二视频模式)来控制第二相机模块100b，以将多条像素数据作为未经分箱的多条rgbw颜色数据传递到图像处理器210。
73.同时，图像生成信息可以包括例如变焦信号或变焦因子。这种变焦信号可以是例如从用户选择的信号。
74.在图像生成信息是变焦信号(或变焦因子)并且第一相机模块100a至第三相机模块100c具有不同视场(或视角)的情况下，图像生成器214可以根据变焦信号的类型执行不同的操作。
75.例如，当变焦信号是第一信号时，可以使用从第一子图像处理器212a输出的多条图像数据和从第三子图像处理器212c输出的多条图像数据中的从第一子图像处理器212a输出的多条图像数据、以及从第二子图像处理器212b输出的多条图像数据来生成输出图像。
76.当变焦信号是不同于第一信号的第二信号时，图像生成器214可以使用从第一子图像处理器212a输出的多条图像数据和从第三子图像处理器212c输出的多条图像数据中的从第三子图像处理器212c输出的多条图像数据、以及从第二子图像处理器212b输出的多条图像数据来生成输出图像。
77.当变焦信号是第三信号时，图像生成器214不合并多条图像数据，并且选择从子图像处理器212a至212c输出的多条图像数据中的任何一者，以生成输出图像。除了上述创建处理之外，还可以使用具有根据其它变焦信号的其它创建处理的各种修改方法来执行多条图像数据处理。
78.可以通过相机模块控制器216将根据模式选择的相机控制信号提供给相机模块100a至100c中的每一个。从相机模块控制器216生成的控制信号可通过彼此分离的控制信
号线csla、cslb和cslc被提供给相应的第一相机模块100a至第三相机模块100c。
79.同时，根据包括变焦信号的图像生成信息或模式将第一相机模块100a至第三相机模块100c中的任何一个指定为主相机(例如，100b)，并且可以将其余相机模块(例如，100a和100c)指定为从相机。这样的信息被包括在控制信号中，并且通过彼此分离的控制信号线csla、cslb和cslc被提供给相应的第一相机模块100a至第三相机模块100c。
80.pmic 300可向第一相机模块100a至第三相机模块100c中的每一个供应诸如电源电压的电力。例如，pmic 300在应用处理器200的控制下通过电力信号线psla向第一相机模块100a供应第一电力，通过电力信号线pslb向第二相机模块100b供应第二电力，并且通过电力信号线pslc向第三相机模块100c供应第三电力。
81.pmic 300响应于来自于应用处理器200的电力控制信号pcon生成与第一相机模块100a至第三相机模块100c中的每一个相对应的电力，并且还调节电力的水平。电力控制信号pcon可以包括用于多个相机模块100a至100c的每个操作模式的电力调节信号。例如，操作模式可以包括低电力模式，并且在这种情况下，电力控制信号pcon可以包括关于在低电力模式下操作的相机模块的信息和关于设置的电力水平的信息。提供给第一相机模块100a至第三相机模块100c中的每一个的电力的水平可以相同或彼此不同或者可以动态地改变。
82.图7是示出根据一些示例实施例的包括多相机模块的移动电子装置的框图。
83.参照图7，根据一些示例实施例的电子装置500a(也可互换地称为移动电子装置)包括两个相机模块100a和100b，并且可以被理解为除了省略了一些配置(例如，选择单元、内部存储器)之外与图1的电子装置500类似。另外，除非另外指定，否则可以参考对图1至图6中描述的电子装置500的相同或相似组件的描述来理解一些示例实施例的组件。
84.在一些示例实施例中采用的相机模块组100'可以包括两个相机模块，即，第一相机模块100a和第二相机模块100b。第一相机模块100a和第二相机模块100b可具有不同的视角。在一些示例实施例中，第一相机模块100a和第二相机模块100b的光学透镜可以彼此不同。例如，第一相机模块100a可以是长焦相机，并且第二相机模块100b可以是宽相机。
85.第一相机模块100a包括具有接收颜色(例如，rgb)的颜色像素阵列的图像传感器，并且第二相机模块100b可包括具有rgbw像素阵列的图像传感器，在该rgbw像素阵列中组合了用于照度感测像素的白色像素以提高灵敏度。从通过控制第二相机模块100b的输出而获得的多条图像数据，可以不同地扩展从另一相机模块的rgb像素阵列输出的目标图像的动态范围dr。可以在控制rgbw像素阵列的输出条件(例如，输出速度、位深度等)的多个模式中实施该图像质量提高分辨率。类似于上述实施例，多个模式可以包括多个静止图像模式和多个视频模式。例如，可以通过是否合并rgbw和/或是否应用hdr功能来确定位深度。可以通过用户的选择或周围环境(例如，感测外部照度的光学传感器)自动确定这些各种模式。
86.与图1中所示的电子装置500相比，可以通过省略或添加一些组件来配置根据一些示例实施例的电子装置500a。例如，如图7所示，可以省略对应于选择单元(例如，图1中的多路复用器mux 213)的配置，省略内部存储器230或者用电子装置500a的位于应用处理器200外部的外部存储器400来代替内部存储器230。同时，根据一些示例实施例的电子装置500a还可以包括未示出的各种组件。例如，为了根据周围环境自动执行模式选择，还可以包括能够检测外部条件(例如，照度或到对象的距离)的光学传感器和距离测量传感器。
87.如上所述，在一些示例实施例中，多相机模块中的一部分相机模块组成rgbw像素
阵列，在该rgbw像素阵列中接收颜色(例如，rgb)的颜色像素和用于提高灵敏度的照度感测像素(例如，白色)被组合，并且多相机模块中的一部分相机模块使用rgbw像素阵列来不同地扩展从另一相机模块的rgb像素阵列输出的图像的动态范围(dr)。可以在控制rgbw像素阵列的输出条件(例如，输出速度、位深度等)的多个模式中实施该图像质量提高分辨率。例如，可以通过是否合并多条rgbw像素数据和/或是否应用hdr功能来确定位深度。
88.本公开的各种优点和有益效果不限于以上描述，并且在描述各种示例实施例的过程中可以被容易地理解。
89.尽管以上已经示出和描述了一些示例实施例，但是对于本领域技术人员来说显而易见的是，可以在不脱离由所附权利要求限定的本发明构思的范围的情况下进行修改和变化。