包括具有多裁剪功能的图像传感器的电子设备的制作方法

包括具有多裁剪功能的图像传感器的电子设备
1.相关申请的交叉引用
2.本技术要求于2020年11月26日在韩国知识产权局提交的第10-2020-0161348号韩国专利申请的优先权，其公开内容通过引用整体并入本文。
技术领域
3.本文描述的发明构思的示例实施例涉及电子设备，更特别地，涉及通过使用具有多裁剪(multi-crop)功能的图像传感器来实现扫描变焦(scanning zoom)的电子设备。


背景技术：

4.图像传感器分为电荷耦合器件(charge coupled device，ccd)图像传感器、互补金属氧化物半导体(complementary metal-oxide semiconductor，cmos)图像传感器(cmos image sensor，cis)等。cmos图像传感器包括包含cmos晶体管的像素，并通过使用包括在每个像素中的光电转换元件将光能转换成电信号。cmos图像传感器通过使用由每个像素生成的电信号来获得关于捕获/拍摄的图像的信息。
5.如今，图像传感器像素数量的急剧增加使得向用户提供超高清晰度(ultra-high definition，uhd)图像成为可能。然而，由于对通过其发送从图像传感器输出的图像数据的接口的带宽的限制，获得每帧的uhd图像数据并且然后实时提供视频是不可能。


技术实现要素：

6.本发明构思的示例实施例提供了通过使用具有多裁剪功能的图像传感器在有限带宽内实时向用户提供超高清视频流的方法，这可以在有限带宽内有效地向用户提供与用户想要的特定对象相关联的uhd图像。
7.根据一些示例实施例，电子设备可以包括：第一图像传感器，被配置为拍摄第一视场中的对象以生成第一信号；第二图像传感器，被配置为拍摄第二视场中的对象以生成第二信号；图像信号处理器，被配置为基于第一信号生成当前帧的第一图像数据，基于第二信号生成当前帧的第二图像数据，以及基于从第二图像数据裁剪(cropping)感兴趣区域来生成经裁剪的图像数据；以及主处理器，被配置为基于第一图像数据生成第一视频流，基于经裁剪的图像数据生成第二视频流，并且将第一视频流输出到显示设备。主处理器还可以被配置为响应于接收到用户输入命令，停止向显示设备输出第一视频流并且开始(initiate)向显示设备输出第二视频流。
8.根据一些示例实施例，电子设备可以包括图像传感器、图像信号处理器和主处理器。图像传感器可以被配置为拍摄第一视场中的对象以生成第一信号。图像信号处理器可以被配置为基于第一信号生成当前帧的第一图像数据，基于对第一图像数据执行合并(binning)来生成当前帧的第二图像数据，以及基于从第一图像数据裁剪感兴趣区域来生成经裁剪的图像数据。主处理器可以被配置为基于第二图像数据生成第一视频流，基于经裁剪的图像数据生成第二视频流，以及将第一视频流输出到显示设备。主处理器可以被配
置为响应于接收到用户输入命令，停止向显示设备输出第一视频流并且开始向显示设备输出第二视频流。
9.根据一些示例实施例，电子设备可以包括第一图像传感器、第二图像传感器、图像信号处理器和主处理器。第一图像传感器可以被配置为拍摄第一视场中的对象以生成第一信号。第二图像传感器可以被配置为拍摄第二视场中的对象以生成第二信号。图像信号处理器可以被配置为基于第一信号生成当前帧的第一图像数据，基于第二信号生成当前帧的第二图像数据，基于对第一图像数据执行合并生成第三图像数据，基于对第二图像数据执行合并生成第四图像数据，基于从第一图像数据裁剪第一感兴趣区域生成第一经裁剪的图像数据，以及基于从第二图像数据裁剪第二感兴趣区域生成第二经裁剪的图像数据。主处理器可以被配置为基于第一图像数据和第二图像数据生成第一视频流，基于第一经裁剪的图像数据生成第二视频流，基于第二经裁剪的图像数据生成第三视频流，以及将第一视频流输出到显示设备。主处理器可以被配置为响应于接收到用户输入命令，停止向显示设备输出第一视频流并且开始向显示设备输出第二视频流或第三视频流之一。
附图说明
10.通过参考附图详细描述本发明构思的一些示例实施例，本发明构思的上述和其他对象和特征将变得明显。
11.图1示出了根据本发明构思的一些示例实施例的包括图像信号处理器的电子设备的配置。
12.图2是用于描述根据本发明构思的一些示例实施例的图1的图像传感器的操作的框图。
13.图3示出了根据本发明构思的一些示例实施例的图1和图2的图像信号处理器和主处理器的配置。
14.图4概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器的操作。
15.图5概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器的操作。
16.图6概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器的操作。
17.图7概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器的操作。
18.图8概念性地示出了根据本发明构思的一些示例实施例的图4的一些示例实施例中当视场通过用户输入转换时图像信号处理器的操作。
19.图9是示出根据本发明构思的一些示例实施例的由图像信号处理器和主处理器执行的各种处理的流程图。
20.图10是用于描述根据本发明构思的一些示例实施例的图1的图像传感器的操作的框图。
21.图11概念性地示出了根据本发明构思的一些示例实施例的图10的图像信号处理器的操作。
sampling，cds)来分别输出信号d1和d2。
36.图像传感器110和120可以具有相似或不同的功能、相似或不同的性能、和/或相似或不同的特性。例如，图像传感器110和120可以分别输出与相同分辨率的图像相关联的信号，或者可以分别输出与不同分辨率的图像相关联的信号d1和d2。
37.图像信号处理器130可以适当地处理从图像传感器110和120输出的信号d1和d2，以生成每个视频帧的图像数据。在一些示例实施例中，图像信号处理器130可以基于第一信号d1生成图像数据，并且可以对所生成的图像数据执行合并(binning)和/或裁剪(cropping)。图像信号处理器130可以基于第二信号d2生成图像数据，并且可以对所生成的图像数据执行合并和/或裁剪。
38.在一些示例实施例中，图像信号处理器130可以基于第一信号d1或第二信号d2之一生成相对低分辨率的图像数据。图像信号处理器130可以将低分辨率图像数据发送到主处理器400。为了获得低分辨率图像数据，图像信号处理器130可以从包括低分辨率像素阵列的图像传感器110或120接收信号d1或d2。替代地或附加地，为了获得低分辨率图像数据，图像信号处理器130可以从包括超高分辨率像素阵列的图像传感器110或120接收信号d1或d2，并且可以对所接收的信号执行合并。
39.在一些示例实施例中，基于第一信号d1或第二信号d2之一，图像信号处理器130可以生成具有相对高的分辨率并且通过裁剪对应于特定对象的感兴趣区域(region of interest，roi)而获得的图像数据。图像信号处理器130可以将通过裁剪生成的超高分辨率图像数据发送到主处理器400。换句话说，低分辨率图像数据可以与包括至少一个感兴趣区域并由图像传感器110或120拍摄的整个图像相对应，而超高分辨率图像数据可以与至少一个感兴趣区域的部分图像相对应。每帧发送到主处理器400的图像数据的数量可以与感兴趣区域的数量相同。也就是说，对应于感兴趣区域的图像数据可以独立地发送到主处理器400。
40.用户接口200可以裁决(arbitrate)用户和电子设备10之间的通信。例如，用户接口200可以包括输入接口，诸如触摸屏、触摸板、麦克风、键盘、按钮、视觉传感器、运动传感器或陀螺仪传感器。因此，可以基于与用户接口200的触摸板的用户交互来接收本文描述的用户输入。
41.显示设备300可以向用户提供包括至少一个感兴趣区域的整个低分辨率图像或者仅对应于至少一个感兴趣区域的部分超高分辨率图像。例如，显示设备300可以包括有机led(organic led，oled)显示设备、有源矩阵oled(active matrix oled，amoled)显示设备、发光二极管(light-emitting diode，led)显示设备、液晶显示(liquid crystal display，lcd)设备等。
42.主处理器400可以执行用于控制电子设备10的整体操作的各种操作。例如，主处理器400可以用通用处理器、专用处理器或应用处理器来实现，并且可以包括一个或多个处理器核心。主处理器400可以控制图像处理块100来获得与电子设备10外部的对象相关联的图像数据。
43.在一些示例实施例中，主处理器400可以从输出自图像信号处理器130的多个图像数据当中的对应于第一帧的图像数据中检测至少一个感兴趣区域。主处理器400可以通过相机控制接口(camera control interface，cci)向图像信号处理器130发送关于至少一个
感兴趣区域的信息。关于至少一个感兴趣区域的信息可以用于图像信号处理器130裁剪图像的对应于至少一个感兴趣区域的部分。
44.主处理器400可以通过显示设备300向用户提供从图像信号处理器130接收的低分辨率图像。响应于通过用户接口200的用户输入，主处理器400可以向用户提供从图像信号处理器130接收的超高分辨率的经裁剪的图像。换句话说，响应于通过用户接口200的用户输入，视场可以从整个低分辨率图像转换为超高分辨率的部分图像(即，roi)。
45.同时，主处理器400可以通过相机串行接口(camera serial interface，csi)从图像信号处理器130接收图像数据。为此，主处理器400可以包括csi接收器，并且图像信号处理器130可以包括csi发送器。csi接收器和csi发送器可以通过多个通道互连。
46.然而，csi的带宽可能不足以将图像传感器110或120拍摄的超高分辨率图像数据每帧实时发送到主处理器400。然而，csi可以足以将从多个超高分辨率图像数据转换的整个低分辨率图像数据以及与至少一个感兴趣区域相关联的超高分辨率的部分图像数据实时发送到主处理器400。
47.根据本发明构思的上述配置，图像信号处理器130将基于整个超高分辨率图像数据的整个低分辨率图像和超高分辨率的部分图像数据每帧发送到主处理器400，而不是不经修改地将获得的超高分辨率图像数据每帧发送到主处理器400。在一些示例实施例中，图像信号处理器130将基于整个超高分辨率图像数据的超高分辨率的部分图像数据和整个低分辨率图像数据每帧发送到主处理器400。结果，基于csi的有限带宽，可以选择性地向用户提供与用户感兴趣的特定对象相关联的超高分辨率图像。
48.图2是用于描述根据本发明构思的一些示例实施例的图1的图像传感器的操作的框图。
49.参考图1和图2，第一图像传感器110可以拍摄第一视场fov1中的对象，并且第二图像传感器120可以拍摄第二视场fov2中的对象。第一视场fov1和第二视场fov2可以相同(例如，一样)或不同，并且第一图像传感器110和第二图像传感器120可以操作来感测相对宽视场的图像。例如，第一透镜101和第二透镜102可以是广角透镜(wide lens)或者可以是超广角透镜(ultra-wide lens)。
50.第一图像传感器110可以接收由对应于第一视场fov1的区域中的对象反射的光，并且可以基于所接收的光生成与相对低分辨率的图像相关联的第一信号d1。重申一下，第一图像传感器110可以拍摄第一视场fov1中的对象，以生成第一信号d1。为此，第一图像传感器110可以包括低分辨率的像素传感器阵列。
51.如上所述，第二图像传感器120可以接收由在对应于第二视场fov2的区域中的对象反射的光，并且可以基于所接收的光生成与相对超高分辨率的图像相关联的第二信号d2。重申一下，第二图像传感器120可以拍摄第二视场fov2中的对象，以生成第二信号d2。为此，第二图像传感器120可以包括超高分辨率的像素传感器阵列。
52.图像信号处理器130可以被配置为基于第一信号d1生成当前帧的第一图像数据idat1，并且可以被配置为基于第二信号d2生成当前帧的第二图像数据idat2。例如，图像信号处理器130可以从基于第二信号d2的图像数据裁剪感兴趣的区域r1、r2和r3，并且可以输出经裁剪的图像作为第二图像数据idat2。
53.图3示出了根据本发明构思的一些示例实施例的图1和图2的图像信号处理器130
和主处理器400的配置。图像信号处理器130可以包括寄存器132、开关电路134、合并块136和裁剪块138。主处理器400可以包括图像生成器410和roi计算器420。
54.主处理器400可以预先根据从图像信号处理器130输出的帧的图像数据来计算下一帧的图像数据的感兴趣区域。为此，主处理器400可以包括用硬件、软件、固件和/或它们的组合实现的图像生成器410和roi计算器420。图像生成器410可以基于从图像信号处理器130输出的图像数据生成图像。roi计算器420可以通过使用各种方式从图像数据中检测感兴趣区域，并且可以获得关于感兴趣区域的信息。例如，roi计算器420可以通过使用众所周知的各种算法来检测感兴趣区域，因此，将省略与其相关联的附加描述以避免冗余。
55.在一些示例实施例中，可以基于由roi计算器420生成的信息来设置图像信号处理器130的寄存器132。这种信息可以包括和/或指示与感兴趣区域roi相关联的值。这些值可以包括指示图像数据(例如，第一图像数据idat1)中是否存在roi的值、roi在图像数据(例如，第一图像数据idat1)上的坐标、感兴趣区域在第一方向上的长度以及感兴趣区域在可能不同于第一方向的第二方向上的长度。这样，指示图像数据中是否存在roi的值以及与图像数据中roi的x坐标、y坐标、宽度和高度相关联的值可以存储在寄存器132中。例如，当roi计算器420检测到特定的感兴趣区域(例如，roi1)时，指示检测到的感兴趣区域的存在的寄存器值可以被设置为位“1”(roi1_enable：1)。寄存器132可以存储与roi 1至n相关联的信息，其中n是正整数。
56.主处理器400可以通过cci向图像信号处理器130发送关于roi的信息。应当理解，如图3所示，图像信号处理器130的从cci(cci slave)可以被理解为被配置为从主处理器400接收与roi相关联的值的图像信号处理器130的cci。图像信号处理器130可以将所接收的关于roi的信息存储在寄存器132中。因此，寄存器132将被理解为被配置为存储接收的与roi相关联的值(其经由图像信号处理器130的cci从主处理器400接收)。例如，寄存器132被示为存储关于roi的信息的组件，但是不限于此。例如，可以采用诸如动态随机存取存储器(dynamic random access memory，dram)和静态随机存取存储器(static random access memory，sram)的各种设备来存储信息。
57.当从主处理器400接收到关于roi的信息时，图像信号处理器130可以检查指示roi是否存在的寄存器值(例如，roi1_enable)，并且可以基于检查的值来操作开关电路134。
58.在一些示例实施例中，当检查到图像信号处理器130参考的寄存器132中存在roi时，图像信号处理器130可以控制开关电路134，因此，与超高分辨率图像相关联的第二信号d2可以被输入到裁剪块138。与低分辨率图像相关联的第一信号d1可以被输入到合并块136，或者可以不被输入到那里。这里，将参考所附附图详细描述对信号d1和d2执行合并和/或裁剪的各种示例实施例。
59.之后，合并块136可以关于基于信号d1或d2中的至少一个的图像数据或由裁剪块138处理的经裁剪的图像数据，执行用于降低分辨率的合并操作。裁剪块138可以关于基于信号d1或d2中的至少一个或由合并块136处理的合并的图像数据，执行用于获得对应于roi的区域的裁剪操作。例如，合并块136和裁剪块138可以用硬件、软件、固件和/或它们的组合来实现。
60.图像信号处理器130可以通过csi发送器和物理层phy将由合并块136和/或裁剪块138处理的图像数据发送到主处理器400。重申一下，csi发送器和物理层phy可以被配置为
发送第一图像数据idat1和经裁剪的图像数据(例如，idat2、idat_c1、idat_c2和/或idat_c3)。例如，第一图像数据idat1可以对应于整个低分辨率图像，并且第二图像数据idat2可以对应于与roi相关联的超高分辨率的部分图像。因此，应当理解，图像信号处理器130可以被配置为通过相机串行接口(csi)(例如，csi发送器)将第一图像数据idat1和经裁剪的图像数据(例如，idat2、idat_c1、idat_c2和/或idat_c3)发送到主处理器400。主处理器400可以通过物理层phy和csi接收器接收由图像信号处理器130处理的图像数据。重申一下，主处理器400可以包括被配置为接收第一图像数据idat1和经裁剪的图像数据(例如，idat2、idat_c1、idat_c2和/或idat_c3)的csi接收器和物理层phy。
61.一般来说，考虑到csi的带宽，不可能通过csi将整个超高分辨率图像每帧发送到主处理器400。然而，根据本发明构思的图像处理，可以将整个低分辨率图像数据和超高分辨率的部分图像数据实时发送到主处理器400，因此，可以解决由于csi的有限带宽引起的问题。
62.图4概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器130的操作。
63.将参考图1、图3和图4描述如何处理在同一视场中拍摄的两个图像数据。
64.在描述图4之前，当用户开始通过显示设备输出图像或视频记录时，首先，为了允许主处理器400获得关于roi的信息，第一图像传感器110拍摄对象以生成与第一帧相关联的第一信号d1。图像信号处理器130基于从第一图像传感器110接收的第一信号d1生成低分辨率的第一图像数据idat1，并将第一帧的第一图像数据发送到主处理器400。roi计算器420可以通过使用各种公知的roi相关技术从第一图像数据idat1获得关于roi的信息，并且可以将所获得的信息发送到图像信号处理器130。然而，为了获得roi而拍摄的图像的数据可以基于第二图像传感器120以及第一图像传感器110。
65.同时，因为第一图像传感器110的分辨率和第二图像传感器120的分辨率不同，所以第一图像数据idat1的分辨率和第二图像数据idat2的分辨率可以不同。因为第一图像数据idat1的分辨率和第二图像数据idat2的分辨率不同，所以与从第一图像数据idat1获得的感兴趣区域相关联的值(即，坐标、宽度和高度)可能不同于与要实际裁剪的第二图像数据idat2的感兴趣区域相关联的值(即，坐标、宽度和高度)。然而，因为第一图像数据idat1和第二图像数据idat2具有相同的纵横比(aspect ratio)，所以考虑到第一图像数据idat1的分辨率和第二图像数据idat2的分辨率，主处理器400可以计算与要实际裁剪的第二图像数据idat2上的感兴趣区域相关联的值。
66.之后，参考图4，第一图像传感器110拍摄对象以生成与第二帧相关联的第一信号d1，并且第二图像传感器120拍摄对象以生成与第二帧相关联的第二信号d2。图像信号处理器130可以基于从第一图像传感器110接收的第一信号d1获得低分辨率的第一图像数据idat1，并且可以基于从第二图像传感器120接收的第二信号d2获得超高分辨率的第二图像数据idat2。
67.在一些示例实施例中，第一图像传感器110可以包括由“n”行组成的像素阵列，每一行包括“m”个像素。第二图像传感器120可以包括由“q”行组成的像素阵列，每一行包括“p”个像素。因此，第一图像数据idat1的分辨率可以是“m
×
n”，并且第二图像数据idat2的分辨率可以是“p
×
q”。这里，“p”可以大于“m”，并且“q”可以大于“n”。
68.图像信号处理器130可以在没有对第一图像数据idat1执行特殊处理的情况下向主处理器400输出第一图像数据idat1。在这种情况下，发送到主处理器400的第一图像数据idat1可以用于获得关于第三帧的roi的信息。图像信号处理器130可以参考从第一帧的图像数据获得的多个关于roi的信息(例如，参考存储在寄存器132中的与roi相关联的值)，从第二帧的第二图像数据idat2中裁剪与roi相关联的区域(例如，裁剪roi)。结果，可以生成与第一roi r1相关联的第一经裁剪的图像数据idat_c1、与第二roi r2相关联的第二经裁剪的图像数据idat_c2以及与第三roi r3相关联的第三经裁剪的图像数据idat_c3。图像信号处理器130可以将经裁剪的图像数据idat_c1、idat_c2和idat_c3发送到主处理器400。例如，图像信号处理器130可以被配置为基于从第二图像数据idat2裁剪感兴趣区域(例如，第一roi r1、第二roi r2和/或第三roi r3)来生成经裁剪的图像数据(例如，第一经裁剪的图像数据idat_c1、第二经裁剪的图像数据idat_c2和/或第三经裁剪的图像数据idat_c3)。
69.然而，与包括图4所示的示例实施例的一些示例实施例不同，在图3中示出了当第二图像数据idat2被发送到主处理器400时的示例。原因是图3中没有示出与裁剪相关联的详细过程。因此，在将图3的示例应用于图4中所示的示例实施例的情况下，图3的示例应该被理解为经裁剪的图像数据idat_c1、idat_c2和idat_c3，而不是第二图像数据idat2被发送到主处理器400。这将类似地应用于下面将要描述的其他实施例。
70.之后，主处理器400可以每帧实时接收低分辨率(即，m
×
n)的整个图像数据和高分辨率的部分图像数据。主处理器400可以在诸如通用闪存(universal flash storage，ufs)卡、嵌入式fus存储、安全数字(secure digital，sd)卡、固态驱动器(solid state drive，ssd)和/或嵌入式多媒体卡(embedded multimedia card，emmc)的存储设备中存储基于低分辨率的整个图像数据的视频流和基于高分辨率的图像数据的视频流。例如，视频流可以以能够由用户选择性再现的格式存储。
71.在一些示例实施例中，默认情况下，主处理器400可以通过显示设备300实时向用户提供(例如，生成、输出、发送等)视频流iout1，iout1基于低分辨率(即，m
×
n)的整个图像数据。因此，主处理器400可以基于第一图像数据idat1生成第一视频流(例如，iout1)，基于经裁剪的图像数据(例如，idat_c1、idat_c2和/或idat_c3)生成第二视频流(例如，iout2)，并将第一视频流(例如，iout1)输出(例如，发送)到显示设备300。响应于用户输入，主处理器400可以将提供整个低分辨率图像数据的视频流iout1的操作(或模式/方式)改变为提供部分高分辨率图像数据的视频流iout2的操作(或模式/方式)。例如，在用户直接触摸显示在显示设备(或触摸屏)上的第二roi r2的情况下，主处理器400可以停止向显示设备300输出整个低分辨率图像，并且可以切换到向显示设备输出对应于第二roi r2的部分高分辨率图像。也就是说，在视场从整个图像转换为部分图像的同时，进行从整个低分辨率图像的输出到整个高分辨率图像的输出的改变(即，实现扫描变焦(scanning zoom))。因此，主处理器400可以被配置为在开始向显示设备300输出第一视频流(例如，iout1)之后，响应于用户输入命令(例如，在本文也称为用户输入，其可以基于与用户接口200和/或显示设备300的用户交互来接收)，停止向显示设备300输出第一视频流，并且开始向显示设备300输出第二视频流(例如，iout2)。这种停止输出第一视频流和开始输出第二视频流可以被称为从输出第一视频流切换到输出第二视频流。
72.在一些示例实施例中，除了用户直接触摸显示在显示设备300上的图像的roi的情
况之外，可以在显示设备300上提供分别对应于roi的用于触摸的图标，并且视场可以随着用户触摸对应于每个roi的图标而转换。在这种情况下，用于触摸的图标可以基于经裁剪的图像数据idat_c1、idat_c2和idat_c3。
73.在一些示例实施例中，与包括图4所示的示例实施例的一些示例实施例不同，视场可以通过语音识别转换。在这种情况下，主处理器400还可以包括能够从roi识别对象的详细形状的独立组件(例如，用于对象识别的软件或固件)，并且还可以包括能够识别用户的语音的语音识别模块。
74.然而，取决于第一图像数据idat1的尺寸、第二图像数据idat2的roi的尺寸和/或第二图像数据idat2的roi的数量，可能出现不可能在没有缓冲的情况下将第一图像数据idat1和经裁剪的图像数据idat_c1、idat_c2和idat_c3实时发送到主处理器400的情况。这将参考图5至图7进行描述。
75.图5概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器130的操作。
76.图5中所示的示例实施例大多类似于图4中所示的示例实施例，因此，将省略额外的描述以避免冗余。然而，在第二图像数据idat2的尺寸大或者第二图像数据idat2的roi的数量多的情况下，考虑到csi的带宽，可能需要额外的处理。因此，图像信号处理器130可以被配置为基于csi的带宽生成经裁剪的图像数据(例如，可以由于csi的带宽而生成对于发送来说不太大的经裁剪的图像，本文也称为生成具有在由csi的带宽定义的尺寸(诸如最大尺寸)内的尺寸的经裁剪的图像)。
77.在一些示例实施例中，图像信号处理器130可以进一步对经裁剪的图像数据idat_c1、idat_c2或idat_c3中的至少一个执行合并。示例被示为通过对对应于第三roi r3的经裁剪的图像数据idat_c3进一步执行附加合并来生成图像数据idat_c4。
78.在一些示例实施例中，参考从当前帧的图像数据计算的关于roi的信息，主处理器400可以预先确定下一帧的图像数据是否从图像信号处理器130流畅地(smoothly)发送到主处理器400。当确定图像数据从图像信号处理器130到主处理器400的发送是流畅的时，可以根据一些示例实施例(包括参考图4描述的示例实施例)来处理图像数据。例如，可以考虑从图像信号处理器130发送的当前帧的多个图像数据的尺寸，以确定下一帧的图像数据的发送是否流畅。
79.相反，当确定图像数据从图像信号处理器130向主处理器400的发送不流畅时，主处理器400可以附加地向图像信号处理器130发送指示需要对经裁剪的图像数据idat_c1、idat_c2和idat_c3进行附加处理的信息。基于另外从主处理器400接收的信息，图像信号处理器130可以对经裁剪的图像数据idat_c1、idat_c2或idat_c3中的至少一个执行合并。
80.结果，第一图像数据idat1、经裁剪的图像数据idat_c1和idat_c2、以及通过裁剪和合并获得的图像数据idat_c4可以在csi的带宽内被实时发送到主处理器400。因此，图像信号处理器130可以被配置为基于csi的带宽生成经裁剪的图像数据(例如，可以由于csi的带宽而生成对于发送来说不太大的经裁剪的图像)。
81.图6概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器130的操作。
82.图6中所示的示例实施例大多类似于图4中所示的示例实施例，因此，将省略额外
的描述以避免冗余。然而，在第一图像数据idat1的尺寸大的情况下，考虑到csi的带宽，可能需要额外的处理。因此，图像信号处理器130可以被配置为基于csi的带宽生成经裁剪的图像数据(例如，可以由于csi的带宽而生成对于发送来说不太大的经裁剪的图像)。
83.在一些示例实施例中，主处理器400可以向图像信号处理器130发送指示对于第一图像数据idat1需要附加处理(例如，合并)的信息。基于另外从主处理器400接收的信息，图像信号处理器130可以进一步对第一图像数据idat1执行合并。
84.结果，第一图像数据idat1的分辨率(m
×
n)可以降低到第三图像数据idat3的分辨率(m
×
n)，并且图像数据的尺寸可以减小。图像信号处理器130可以将第三图像数据idat3和经裁剪的图像数据idat_c1、idat_c2和idat_c3实时发送到主处理器400。因此，图像信号处理器130可以基于对第一图像数据idat1执行合并来生成第三图像数据idat3。
85.图7概念性地示出了根据本发明构思的一些示例实施例的图3的图像信号处理器130的操作。
86.图7中所示的示例实施例大多类似于图4中所示的示例实施例，因此，将省略额外的描述以避免冗余。然而，在第一图像数据idat1和第二图像数据idat2的尺寸大的情况下，考虑到csi的带宽，可能需要额外的处理。因此，图像信号处理器130可以被配置为基于csi的带宽生成经裁剪的图像数据(例如，可以由于csi的带宽而生成对于发送来说不太大的经裁剪的图像)。
87.在一些示例实施例中，主处理器400可以向图像信号处理器130发送指示需要对第一图像数据idat1和第二图像数据idat2进行附加处理(例如，合并)的信息。基于另外从主处理器400接收的信息，图像信号处理器130可以进一步对第一图像数据idat1和第二图像数据idat2执行合并。
88.结果，第一图像数据idat1的分辨率(m
×
n)可以降低到第三图像数据idat3的分辨率(m
×
n)，并且图像数据的尺寸可以减小。第二图像数据idat2的分辨率(p
×
q)可以降低到第四图像数据idat4的分辨率(p
×
q)，并且可以从第四图像数据idat4生成经裁剪的图像数据idat_c1、idat_c2和idat_c3。因此，图像信号处理器130可以基于对第二图像数据idat2执行合并来生成第四图像数据idat4。
89.图像信号处理器130可以将第三图像数据idat3和经裁剪的图像数据idat_c1、idat_c2和idat_c3实时发送到主处理器400。
90.图8概念性地示出了根据本发明构思的一些示例实施例的图4所示的示例实施例中当视场通过用户输入转换时图像信号处理器130的操作。详细地，图8中所示的示例实施例示出了在视场从整个低分辨率图像转换到部分超高分辨率图像时，如何处理部分超高分辨率图像(即，roi)。
91.在一些示例实施例中，当主处理器400响应于用户输入将视场转换到部分超高分辨率图像时，图像信号处理器130可以对该部分超高分辨率图像执行高动态范围(high dynamic range，hdr)处理。例如，主处理器400可以向图像信号处理器130发送信号，该信号提供接收到指引将视场从整个图像转换为部分图像的用户输入的通知。响应于来自主处理器400的通知，图像信号处理器130可以裁剪第一图像数据idat1的对应于roi的区域，并且因此可以生成图像数据idat_c4、idat_c5和idat_c6。图像信号处理器130可以将经裁剪的图像数据idat_c1、idat_c2、idat_c3、idat_c4、idat_c5和idat_c6发送到主处理器400。
92.主处理器400可以结合(merge)对应于第一roi r1的图像数据idat_c1和对应于第一roi r1的图像数据idat_c4，以生成经hdr处理的视频流iout2。因为经裁剪的图像数据idat_c1和经裁剪的图像数据idat_c4基于从具有不同特性的图像传感器110和120输出的信号，所以经裁剪的图像数据idat_c1和经裁剪的图像数据idat_c4的动态范围可能不同。因此，具有较宽动态范围的超高分辨率的部分图像数据可以通过结合具有不同动态范围的图像数据idat_c1和idat_c4来获得。
93.如上所述，主处理器400可以结合对应于第二roi r2的图像数据idat_c2和idat_c5以生成经hdr处理的部分图像数据，并且可以结合对应于第三roi r3的图像数据idat_c3和idat_c6以生成经hdr处理的部分图像数据。每个基于部分图像数据的视频流可以存储在存储器设备(例如ufs卡、嵌入式存储、sd卡、ssd和/或emmc)中。
94.同时，除了基于从具有不同特性的图像传感器110和120输出的图像数据执行的hdr处理之外，可以执行用于使图像的动态范围变宽的附加处理。在一些示例实施例中，图像传感器110和120可以在主处理器400的控制下调整从电子设备10的外部接收的光量。主处理器400可以调节图像传感器110和120的快门速度，以用于调节从外部收集的光量。在一些示例实施例中，主处理器400可以调节图像传感器110和120的光圈值，以用于调节从电子设备10的外部收集的光量。
95.为了调节图像传感器110和120的快门速度和/或光圈值，主处理器400可以控制包括在图像传感器110和120中的机械装置，或者可以控制包括在图像传感器110和120中的像素。结果，可以进一步提高超高分辨率的部分图像的动态范围。此外，图8所示的示例实施例涉及当图4所示的示例实施例中的视场转换时执行的hdr处理，但是示例实施例不限于此。也就是说，图8所示的示例实施例可以相同地应用于图5至图7所示的示例实施例。
96.图9是示出根据本发明构思的一些示例实施例的由图像信号处理器和主处理器执行的各种处理的流程图。
97.参考图1、4和9，在操作s101中，主处理器400可以向图像信号处理器130发送通过显示设备或图像记录通知图像的输出的开始流。例如，开始流可以包括与通过显示设备或图像记录的图像的输出相关联的各种指令和/或控制信号。
98.在操作s102中，图像信号处理器130可以生成第一帧的图像数据idat1，并且可以将图像数据idat1发送到主处理器400。例如，第一图像数据idat1可以基于从包括低分辨率的像素传感器阵列的第一图像传感器110输出的信号d1来生成，但不限于此。
99.在操作s103中，主处理器400可以从自图像信号处理器130接收的第一帧的图像数据idat1中检测roi，并且可以计算与检测到的roi相关联的值。例如，与roi相关联的值可以包括指示图像数据中是否存在roi的值，以及与roi的x坐标、y坐标、宽度和高度相关联的值。例如，与roi相关联的值可以通过相机控制接口发送到图像信号处理器130。
100.在操作s104中，可以根据与roi相关联的值来设置图像信号处理器130的寄存器132。详细地，主处理器400可以将与roi相关联的值发送到图像信号处理器130，并且图像信号处理器130可以将与roi相关联的值存储在寄存器132中。
101.在操作s105中，为了生成第二帧，图像信号处理器130可以基于从第一图像传感器110接收的信号d1生成第一图像数据idat1，并且可以基于从第二图像传感器120接收的信号d2生成第二图像数据idat2。图像信号处理器130的裁剪块138可以从超高分辨率的第二
图像数据idat2裁剪与roi相关联的区域。
102.在操作s106中，图像信号处理器130可以将对应于整个低分辨率图像的第一图像数据idat1发送到主处理器400。在操作s107中，图像信号处理器130可以将对应于高分辨率的部分图像的经裁剪的图像数据idat2发送到主处理器400。例如，主处理器400可以将基于第一图像数据idat1的视频流(例如，第一视频流iout1)和基于第二图像数据idat2的视频流(例如，第二视频流iout2)存储在电子设备10中作为单独的文件。应当理解，第二帧(和后续帧)可以被称为“当前帧”，并且第一帧或在“当前帧”之前生成的帧可以被称为“先前帧”。因此，将理解，在主处理器400被配置为基于当前帧(例如，第二帧)的第一和第二图像数据(分别)生成第一和第二视频流(例如，iout1和iout2)的情况下，主处理器400可以基于与当前帧的先前帧(例如，第一帧的idat1)相对应并且由第一图像传感器110生成的第一图像数据来检测roi，并且可以计算与感兴趣区域相关联的值(例如，在s103)。
103.在操作s108中，主处理器400可以向用户提供基于第一图像数据idat1的视频流作为主视图。在向用户提供第一图像数据idat1的视频流时，当对特定roi进行用户输入(诸如用户通过触摸屏的触摸或用户的语音(s109))时，主处理器400可以停止提供基于第一图像数据idat1的视频流，并且可以向用户提供基于第二图像数据idat2的视频流作为细节视图。也就是说，例如响应于接收到用户输入命令，视场可以基于用户输入从主视图转换到细节视图(s110)。
104.同时，可以执行操作s103到操作s107，在操作s103，主处理器400基于从图像信号处理器130接收的第一图像数据idat1计算与roi相关联的值，在操作s107，主处理器400从第二图像数据idat2获得高分辨率的部分图像，直到拍摄的图像的最后一帧被处理。
105.图10是用于描述根据本发明构思的一些示例实施例的图1的图像传感器的操作的框图。
106.与包括图1-9中的一个或多个所示的示例实施例的一些示例实施例不同，图10所示的示例实施例涉及通过使用一个图像传感器将视场从低分辨率的整个图像转换为高分辨率的部分图像。在一些示例实施例中，第一图像传感器110可以拍摄第一视场fov1中的对象，并且第二图像传感器120可以不操作。例如，第一图像传感器110可以操作来感测相对宽视场的图像。例如，第一透镜101可以是广角透镜或者可以是超广角透镜。第一图像传感器110的第一视场fov1和第二图像传感器120的第二视场fov2被示为相同，但是第一视场fov1和第二视场fov2可以不同。
107.第一图像传感器110可以接收由对应于第一视场fov1的区域中的对象反射的光，并且可以基于接收的光生成与超高分辨率图像相关联的第一信号d1。为此，第一图像传感器110可以包括高分辨率的像素传感器阵列。图像信号处理器130可以基于第一信号d1生成第一图像数据idat1和第二图像数据idat2。例如，图像信号处理器130可以基于第一信号d1对图像数据执行合并和裁剪，并且可以分别生成第一图像数据idat1和第二图像数据idat2。
108.图11概念性地示出了根据本发明构思的一些示例实施例的图10的图像信号处理器130的操作。
109.将参考图1、10和11描述如何处理一个超高分辨率图像数据。图像信号处理器130可以基于从第一图像传感器110接收的第一信号d1获得与当前帧相关联的第一图像数据
idat1。如上所述，第一信号d1可以与在宽视场中拍摄的整个超高分辨率图像相关联。例如，第一图像传感器110可以包括由“q”行组成的像素阵列，每一行包括“p”个像素。因此，第一图像数据idat1的分辨率可以是“p
×
q”。
110.图像信号处理器130可以对第一图像数据idat1执行合并。作为合并的结果，可以生成具有比第一图像数据idat1更低分辨率(即，“p
×
q”)的第二图像数据idat2。重申一下，图像信号处理器130可以基于第一信号d1生成当前帧的第一图像数据idat1，并且基于对第一图像数据idat1执行合并来生成当前帧的第二图像数据idat2。图像信号处理器130可以参考从主处理器400接收的关于与先前帧相关联的roi的信息，从第一图像数据idat1中裁剪与roi相关联的区域。结果，可以生成与第一roi r1相关联的第一经裁剪的图像数据idat_c1、与第二roi r2相关联的第二经裁剪的图像数据idat_c2以及与第三roi r3相关联的第三经裁剪的图像数据idat_c3。重申一下，图像信号处理器130可以基于从第一图像数据idat1裁剪感兴趣区域(例如，r1、r2和/或r3)来生成经裁剪的图像数据(例如，idat_c1、idat_c2和/或idat_c3)。
111.图像信号处理器130可以将低分辨率的整个图像数据(即，“p
×
q”)和高分辨率的部分图像数据实时发送到主处理器400。主处理器400可以将基于低分辨率的整个图像数据的视频流iout1(例如，基于第二图像数据idat2的第一视频流)和对应于高分辨率的部分图像的视频流iout2(例如，基于经裁剪的图像数据的第二视频流)存储在诸如ufs卡、嵌入式ufs存储、sd卡、ssd和/或emmc的存储设备中。
112.默认情况下，主处理器400可以通过显示设备300实时地向用户提供基于低分辨率(即，“p
×
q”)的整个图像数据的视频流iout1(例如，向显示设备300输出第一视频流)。响应于用户输入(在本文中也称为用户输入命令)，主处理器400可以将提供视频流iout1的操作(或模式/方式)改变为提供视频流iout2的操作(或模式/方式)。重申一下，响应于接收到用户输入命令，主处理器400可以停止向显示设备输出第一视频流(例如，iout1)，并且切换到(例如，开始)向显示设备输出第二视频流(例如，iout2)。也就是说，响应于诸如用户的触摸或语音的用户输入，视场从整个低分辨率图像转换为部分高分辨率图像。
113.与包括图4至图8所示的示例实施例的一些示例实施例不同，在图11所示的示例实施例中，基于仅从一个图像传感器输出的超高分辨率图像数据来生成基于整个低分辨率图像数据的视频流和基于部分高分辨率图像数据的视频流。因此，可以解决超高分辨率图像数据由于csi带宽的限制而不能每帧实时提供给用户的问题。
114.图12概念性地示出了根据本发明构思的一些示例实施例的图1的图像信号处理器130的操作。
115.图12中所示的示例实施例大多类似于图11中所示的示例实施例，因此，将省略额外的描述以避免冗余。然而，即使根据参考图11描述的方法来处理图像数据，用于从图像信号处理器130发送到主处理器400的视频流的csi的带宽也可能不够。在这种情况下，可以考虑csi的带宽来执行附加处理。因此，图像信号处理器130可以被配置为基于csi的带宽生成经裁剪的图像数据(例如，可以由于csi的带宽而生成对于发送来说不太大的经裁剪的图像)。
116.主处理器400可以首先从第一帧的图像数据计算关于roi的信息，然后可以参考计算的关于roi的信息，预先确定图像数据是否能够从图像信号处理器130流畅地发送到主处
理器400。当确定图像数据的发送不流畅时，主处理器400可以向图像信号处理器130发送指示需要除了对对应于第一图像数据idat1的roi的区域的裁剪之外的附加处理(例如，合并)的信息。
117.基于另外从主处理器400接收的信息，图像信号处理器130可以对经裁剪的图像数据idat_c1、idat_c2或idat_c3中的至少一个执行合并。例如，图像信号处理器130可以对对应于第三roi r3的经裁剪的图像数据idat_c3执行合并，并且因此可以生成图像数据idat_c4。图像信号处理器130可以在csi的带宽内将第一图像数据idat1、经裁剪的图像数据idat_c1和idat_c2、以及通过裁剪和合并获得的图像数据idat_c4每帧发送到主处理器400。因此，图像信号处理器130可以被配置为基于csi的带宽生成经裁剪的图像数据(例如，可以由于csi的带宽而生成对于发送来说不太大的经裁剪的图像)。
118.图13概念性地示出了根据本发明构思的一些示例实施例的图10的图像信号处理器130的操作。
119.当在图12所示的示例实施例中需要对对应于roi的经裁剪的图像数据执行多个合并操作时，可以执行图13所示的示例实施例。例如，在图12所示的示例实施例中，在由于csi的带宽限制而需要对所有经裁剪的图像数据执行附加合并的情况下，附加合并操作的数量可能增加，从而导致图像数据发送的延迟。因此，在从第一图像数据idat1裁剪对应于roi的区域之前，首先对第一图像数据idat1执行合并可能更有效。
120.在一些示例实施例中，为了获得整个低分辨率图像数据，图像信号处理器130可以对超高分辨率的第一图像数据idat1执行第一合并。作为合并的结果，可以获得具有比第一图像数据idat1更低分辨率(即，“p
×
q”)的第二图像数据idat2。
121.在一些示例实施例中，为了获得部分高分辨率图像数据，图像信号处理器130可以对超高分辨率的第一图像数据idat1执行第二合并。作为合并的结果，可以获得具有比第一图像数据idat1更低分辨率(即p
’×
q’)的第三图像数据idat3。例如，第三图像数据idat3的分辨率(p
’×
q’)可以大于第二图像数据idat2的分辨率(p
×
q)。原因是第三图像数据idat3与获得高分辨率的部分图像相关联。
122.图像信号处理器130可以参考从主处理器400接收的关于roi的信息，从第三图像数据idat3裁剪与roi相关联的区域。结果，可以生成与第一roi r1相关联的第一经裁剪的图像数据idat_c1、与第二roi r2相关联的第二经裁剪的图像数据idat_c2以及与第三roi r3相关联的第三经裁剪的图像数据idat_c3。图像信号处理器130可以将第二图像数据idat2和经裁剪的图像数据idat_c1、idat_c2和idat_c3实时发送到主处理器400。
123.图14是用于描述根据本发明构思的一些示例实施例的图1的图像传感器的操作的框图。
124.参考图1和图14，第一图像传感器110可以拍摄第一视场fov1中的对象的第一区域a1，并且第二图像传感器120可以拍摄第二视场fov2中的对象的第二区域a2。例如，第二视场fov2可以与第一视场fov1相同或不同。图像传感器110和120可以操作来拍摄相对宽视场的图像，并且透镜101和102可以是广角透镜或超广角透镜。第一图像传感器110的像素传感器阵列的分辨率和第二图像传感器120的像素传感器阵列的分辨率可以相同或不同。然而，在图14所示的示例实施例中，假设第一视场fov1和第二视场fov2相同，并且第一图像传感器110的像素传感器阵列的分辨率和第二图像传感器120的像素传感器阵列的分辨率相同。
125.图像信号处理器130可以基于第一信号d1生成与第一roi r1相关联的部分高分辨率图像数据和整个低分辨率图像数据。图像信号处理器130可以基于第二信号d2生成分别与第二roi r2和第三roi r3相关联的部分高分辨率图像数据和整个低分辨率图像数据。
126.图像信号处理器130可以将基于第一信号d1的整个低分辨率图像数据、基于第二信号d2的整个低分辨率图像数据以及基于信号d1和d2的部分高分辨率图像数据发送到主处理器400。如此发送的图像数据idat可以用于主处理器400，以获得比第一视场fov1和第二视场fov2更宽的第三视场fov3的图像以及与特定对象相关联的部分超高分辨率图像。结果，在csi的有限带宽内，可以实时实现从整个低分辨率图像(其具有比图像传感器110和120中的每一个的视场更宽的视场)到部分超高分辨率图像的视场转换。
127.图15概念性地示出了根据本发明构思的一些示例实施例的图14的图像信号处理器130的操作。
128.将参考图1、图14和图15描述如何处理在同一视场中拍摄的两个图像数据。
129.第一图像传感器110可以拍摄第一视场fov1中包括第一roi r1的第一区域a1以生成第一图像数据idat1，并且第二图像传感器120可以拍摄第二视场fov2中包括roi r2和roi r3的第二区域a2以生成第二图像数据idat2。
130.图像信号处理器130可以对第一图像数据idat1执行合并以生成低分辨率的第三图像数据idat3，并且可以对第二图像数据idat2执行合并以生成低分辨率的第四图像数据idat4。因此，图像信号处理器130可以基于对第一图像数据idat1执行合并以生成第三图像数据idat3，并且基于对第二图像数据idat2执行合并以生成第四图像数据idat。例如，第三图像数据idat3和第四图像数据idat4可以具有相同的分辨率，即“p
×
q”，但不限于此。
131.图像信号处理器130可以裁剪对应于第一图像数据idat1的第一roi r1的区域，并且可以裁剪对应于第二图像数据idat2的roi r2和roi r3的区域。为了执行上述裁剪，图像信号处理器130可以参考主处理器400从先前帧的图像数据计算的关于roi的信息。作为裁剪的结果，可以从第一图像数据idat1生成第一经裁剪的图像数据idat_c1，并且可以从第二图像数据idat2生成第二经裁剪的图像数据idat_c2和第三经裁剪的图像数据idat_c3。重申一下，图像信号处理器130可以基于从第一图像数据idat1裁剪第一感兴趣区域(例如，r1)来生成第一经裁剪的图像数据(例如，idat_c1)，并且可以基于从第二图像数据(例如，idat2)裁剪第二感兴趣区域(例如，r2和/或r3)来生成第二经裁剪的图像数据(例如，idat_c2和/或idat_c3)。图像信号处理器130可以在csi的带宽内将图像数据idat3、idat4、idat_c1、idat_c2和idat_c3发送到主处理器400。因此，图像信号处理器130可以被配置为基于csi的带宽生成经裁剪的图像数据(例如，可以由于csi的带宽而生成对于发送来说不太大的经裁剪的图像)。
132.主处理器400可以结合具有第一视场fov1(并且基于第一图像数据idat1)的第三图像数据idat3和具有第二视场fov2(并且基于第二图像数据idat2)的第四图像数据idat4，以生成具有宽视场的图像数据。接下来，主处理器400可以基于生成的图像数据生成第一视频流iout1。因此，主处理器400可以基于第一图像数据idat1和第二图像数据idat2生成第一视频流iout1。主处理器400可以分别基于经裁剪的图像数据idat_c1、idat_c2和idat_c3来生成高分辨率视频流。因此，主处理器400可以基于第一经裁剪的图像数据(例如，idat_c1)生成第二视频流iout2，并且基于第二经裁剪的图像数据(例如，r2和/或r3)生
成第三视频流。
133.主处理器400可以通过显示设备300向用户提供第一视频流iout1(例如，向显示设备300输出第一视频流iout1)。响应于用户输入，主处理器400可以停止提供第一视频流iout1，并且可以向用户提供对应于roi r1、roi r2或roi r3之一的第二视频流iout2。也就是说，视场可以从整个低分辨率图像转换到部分高分辨率图像。例如，主处理器400可以响应于接收到用户输入命令，停止向显示设备300输出第一视频流iout1，并且开始向显示设备300输出第二视频流或第三视频流之一(例如，从输出第一视频流切换到输出第二视频流或第三视频流之一)。第一视频流iout1的视场可以大于第一视场fov1并且大于第二视场fov2。
134.在包括参考图12描述的示例实施例的一些示例实施例中，考虑到图像信号处理器130和主处理器400之间的带宽，可以进一步对经裁剪的图像数据idat_c1、idat_c2和idat_c3执行合并。此外，作为示例，公开了通过结合来自两个图像传感器110和120的数据来生成图像的一些示例实施例，但是可以通过结合来自三个或更多个图像传感器的数据来生成更宽视场的图像。
135.图16概念性地示出了根据本发明构思的一些示例实施例的图14的图像信号处理器130的修改的配置的操作。详细地，图16所示的示例实施例涉及通过使用四个图像传感器拍摄的图像数据的处理。
136.参考图1、14和16，第一图像传感器110和第二图像传感器120可以拍摄第一视场fov1中包括第一roi r1的第一区域a1，并且可以分别生成第一图像数据idat1和第二图像数据idat2。第三图像传感器123和第四图像传感器125可以拍摄第二视场fov2中包括roi r2和roi r3的第二区域a2，并且可以分别生成第三图像数据idat3和第四图像数据idat4。
137.在一些示例实施例中，第一图像传感器110的有源像素传感器阵列(active pixel sensor array)的分辨率可以低于第二图像传感器120的有源像素传感器阵列的分辨率。第三图像传感器123的有源像素传感器阵列的分辨率可以低于第四图像传感器125的有源像素传感器阵列的分辨率。因此，第一图像数据idat1的分辨率(即，“m
×
n”)可以低于第二图像数据idat2的分辨率(即，“p
×
q”)，并且第三图像数据idat3的分辨率(即，“m
×
n”)可以低于第四图像数据idat4的分辨率(即，“p
×
q”)。在一些示例实施例中，假设第一图像数据idat1和第三图像数据idat3的分辨率相同，并且第二图像数据idat2和第四图像数据idat4的分辨率相同，但不限于此。
138.图像信号处理器130可以裁剪第二图像数据idat2的对应于第一roi r1的区域，并且可以裁剪第四图像数据idat4的对应于roi r2和roi r3的区域。为了执行上述裁剪，图像信号处理器130可以参考主处理器400从先前帧的图像数据计算的关于roi的信息。作为裁剪的结果，可以从第二图像数据idat2生成第一经裁剪的图像数据idat_c1，并且可以从第四图像数据idat4生成第二经裁剪的图像数据idat_c2和第三经裁剪的图像数据idat_c3。图像信号处理器130可以在csi的带宽内将图像数据idat1、idat3、idat_c1、idat_c2和idat_c3发送到主处理器400。
139.主处理器400可以结合具有第一视场fov1的第一图像数据idat1和具有第二视场fov2的第三图像数据idat3，以生成具有宽视场的图像数据。接下来，主处理器400可以基于生成的图像数据生成第一视频流iout1。主处理器400可以分别基于经裁剪的图像数据
idat_c1、idat_c2和idat_c3来生成高分辨率视频流。主处理器400可以通过显示设备300向用户提供第一视频流iout1。响应于用户输入，主处理器400可以向用户提供对应于roi r1、roi r2或roi r3之一的第二视频流iout2。
140.在如参考图5至7描述的实施例的一些示例实施例中，考虑到图像信号处理器130和主处理器400之间的带宽，可以对图像数据idat1和/或idat3以及经裁剪的图像数据idat_c1、idat_c2和idat_c3中的至少一个执行附加处理。例如，如图5所示的示例实施例，图像信号处理器130可以对经裁剪的图像数据idat_c1、idat_c2或idat_c3中的至少一个执行合并。在如图6所示的示例实施例的一些示例实施例中，图像信号处理器130可以对图像数据idat1或idat3中的至少一个执行附加的合并。在包括图7所示的示例实施例的一些示例实施例中，图像信号处理器130可以对图像数据idat2或idat4中的至少一个执行附加合并。
141.图17是用于描述根据本发明构思的一些示例实施例的图1的图像传感器的操作的框图。
142.参考图1和图17，第一图像传感器110可以在第一视场fov1中拍摄对象，并且第二图像传感器120可以在大于第一视场fov1的第二视场fov2中拍摄对象。因此，第一图像传感器110可以操作来拍摄相对窄视场的图像，并且第二图像传感器120可以操作来拍摄相对宽视场的图像。例如，第一透镜101可以是远距透镜，并且第二透镜102可以是广角透镜或超广角透镜。
143.第一图像传感器110可以接收由对应于第一视场fov1的区域中的对象反射的光，并且可以生成第一信号d1。第二图像传感器120可以接收由对应于第二视场fov2的区域中的对象反射的光，并且可以生成第二信号d2。例如，第一图像传感器110的像素传感器阵列的分辨率和第二图像传感器120的像素传感器阵列的分辨率可以相同或不同。下面，假设第一图像传感器110的像素传感器阵列的分辨率和第二图像传感器120的像素传感器阵列的分辨率相同。
144.图像信号处理器130可以基于第一信号d1生成第一图像数据idat1，并且可以基于第二信号d2生成第二图像数据idat2。例如，图像信号处理器130可以从基于第二信号d2的图像数据中裁剪对应于roi r1、roi r2和roi r3当中的特定roi的区域，并且可以输出经裁剪的图像作为第二图像数据idat2。
145.图18概念性地示出了根据本发明构思的一些示例实施例的图17的图像信号处理器130的操作。
146.将参考图1、17和18描述如何处理在彼此不同的视场中拍摄的两个图像数据。图像信号处理器130可以基于从第一图像传感器110接收的第一信号d1获得第一图像数据idat1，并且可以基于从第二图像传感器120接收的第二信号d2获得第二图像数据idat2。如上所述，第一信号d1和第二信号d2可以与具有相同分辨率的图像相关联。
147.在一些示例实施例中，第一图像传感器110和第二图像传感器120中的每一个可以包括由“q”行组成的像素阵列，每一行包括“p”个像素。因此，第一图像数据idat1和第二图像数据idat2的分辨率可以是“p
×
q”。因为第一图像传感器110通过使用远距透镜拍摄对象，所以图像数据中的roi的尺寸可能相对较大；因为第二图像传感器120通过使用广角透镜或超广角透镜来拍摄对象，所以图像数据中的roi的尺寸可以相对小。
148.在一些示例实施例中，图像信号处理器130可以在没有对第一图像数据idat1执行特殊处理的情况下向主处理器400输出第一图像数据idat1。参考从主处理器400接收的关于roi的信息，图像信号处理器130可以从第二图像数据idat2中裁剪与roi相关联的区域。
149.在一些示例实施例中，如上所述，图像信号处理器130可以对第二图像数据idat2上的所有roi执行裁剪。作为上述裁剪的结果，可以生成与第二图像数据idat2的roi相关联的经裁剪的图像数据idat_c1、idat_c2和idat_c3。在一些示例实施例中，图像信号处理器130可以仅裁剪第二图像数据idat2的区域，该区域与由第一图像传感器110拍摄的第二roi r2相关联。作为上述裁剪的结果，可以生成与第二图像数据idat2的第二roi r2相关联的经裁剪的图像数据idat_c2。
150.在一些示例实施例中，为了结合第一图像数据idat1和经裁剪的图像数据idat_c2，图像信号处理器130可以执行裁剪，使得从第二图像数据idat2裁剪的图像数据idat_c2的纵横比和第一图像数据idat的纵横比相同。之后，图像信号处理器130可以将第一图像数据idat1和经裁剪的图像数据发送到主处理器400。
151.之后，主处理器400可以结合第一图像数据idat和对应于第二roi r2的图像数据idat_c2，以生成经hdr处理的视频流iout。即使第一图像数据idat1和经裁剪的图像数据idat_c2基于从第一图像传感器110输出的信号d1，因为第一图像数据idat1和经裁剪的图像数据idat_c2具有不同的分辨率，所以第一图像数据idat1和经裁剪的图像数据idat_c2的动态范围可以不同。因此，具有较宽动态范围的部分超高分辨率图像数据可以通过结合具有不同动态范围的图像数据idat1和idat_c2来获得。
152.图19示出了根据本发明构思的一些示例实施例的包括实现了本发明构思的图像处理设备的相机模块的电子设备的配置。图20示出了根据本发明构思的一些示例实施例的图19的相机模块的配置。
153.参考图19，电子设备1000可以包括相机模块组1100、应用处理器1200、pmic 1300和外部存储器1400。
154.相机模块组1100可以包括多个相机模块1100a、1100b和1100c。包括三个相机模块1100a、1100b和1100c的电子设备在图19中以示例的方式示出，但不限于此。在一些示例实施例中，相机模块组1100可以被修改为仅包括两个相机模块。此外，在一些示例实施例中，相机模块组1100可以被修改为包括“n”个相机模块(n是4或更大的自然数)。
155.下面，将参考图20更全面地描述相机模块1100b的详细配置，但是以下描述可以同等地应用于剩余的相机模块1100a和1100c。
156.参考图20，相机模块1100b可以包括棱镜1105、光路折叠元件(optical path folding element，opfe)1110、致动器1130、图像感测设备1140和储存器1150。
157.棱镜1105可以包括光反射材料的反射平面1107，并且可以改变从外部入射的光“l”的路径。
158.在一些示例实施例中，棱镜1105可以将沿第一方向“x”入射的光“l”的路径改变为垂直于第一方向“x”的第二方向“y”。此外，棱镜1105可以通过围绕中心轴1106在方向“a”上旋转光反射材料的反射平面1107或者在方向“b”上旋转中心轴1106，将沿第一方向“x”入射的光“l”的路径改变为垂直于第一方向“x”的第二方向“y”。在这种情况下，opfe 1110可以在垂直于第一方向“x”和第二方向“y”的第三方向“z”上移动。
159.在一些示例实施例中，如图所示，棱镜1105在方向“a”上的最大旋转角度在正a方向上可以等于或小于15度，在负a方向上可以大于15度，但不限于此。
160.在一些示例实施例中，棱镜1105可以在正或负b方向上在大约20度内，在10度和20度之间，或者在15度和20度之间移动；这里，棱镜1105可以在正或负b方向上以相同的角度移动，或者可以在大约1度内以相似的角度移动。
161.在一些示例实施例中，棱镜1105可以在平行于中心轴1106延伸的方向的第三方向(例如，z方向)上移动光反射材料的反射平面1107。
162.例如，opfe 1110可以包括由“m”组(m是自然数)组成的光学透镜。这里，“m”个透镜可以在第二方向“y”上移动，以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的默认光学变焦比是“z”时，相机模块1100b的光学变焦比可以通过移动包括在opfe 1110中的“m”个光学透镜而改变为3z、5z或5z或更大的光学变焦比。
163.致动器1130可以将opfe 1110或光学透镜(以下称为“光学透镜”)移动到特定位置。例如，致动器1130可以调整光学透镜的位置，使得图像传感器1142被放置在光学透镜的焦距处，以用于精确感测。
164.图像感测设备1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以通过使用通过光学透镜提供的光“l”来感测感测目标的图像。控制逻辑1144可以控制相机模块1100b的整体操作，并且可以包括上述图像信号处理器130。例如，控制逻辑1144可以基于通过控制信号线cslb提供的控制信号来控制相机模块1100b的操作。
165.存储器1146可以存储相机模块1100b的操作所需的信息，诸如校准数据1147。校准数据1147可以包括相机模块1100b通过使用从外部提供的光“l”来生成图像数据所需的信息。校准数据1147可以包括例如关于上述旋转的角度的信息、关于焦距的信息、关于光轴的信息等。在相机模块1100b以多状态相机的形式实现的情况下，其中焦距根据光学透镜的位置而变化，校准数据1147可以包括光学透镜的每个位置(或状态)的焦距值和关于自动聚焦的信息。存储器1146可以存储关于本发明构思的视场的转换所需的roi的信息。
166.储存器1150可以存储通过图像传感器1142感测的图像数据。储存器1150可以设置在图像感测装置1140的外部，并且可以以储存器1150和构成图像感测装置1140的传感器芯片堆叠的形状来实现。在一些示例实施例中，储存器1150可以用电可擦除可编程只读存储器(electrically erasable programmable read only memory，eeprom)来实现，但不限于此。
167.一起参考图19和20，在一些示例实施例中，多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。这样，取决于其中的致动器1130的操作，相同的校准数据1147或不同的校准数据1147可以包括在多个相机模块1100a、1100b和1100c中。
168.在一些示例实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100b)可以是其中包括上述棱镜1105和opfe 1110的折叠透镜形状的相机模块，并且其余相机模块(例如，1100a和1100c)可以是其中不包括上述棱镜1105和opfe 1110的垂直形状的相机模块，但不限于此。
169.在一些示例实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)可以是例如通过使用红外线(infrared ray，ir)提取深度信息的垂直形状的深度相机。在这种情况下，应用处理器1200可以结合从深度相机提供的图像数据和从任何其
他相机模块(例如，1100a或1100b)提供的图像数据，并且可以生成三维(3d)深度图像。
170.在一些示例实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有彼此不同的视场。在这种情况下，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以包括不同的光学透镜，但不限于此。
171.此外，在一些示例实施例中，多个相机模块1100a、1100b和1100c的视场可以不同。在这种情况下，多个相机模块1100a、1100b和1100c可以包括不同的光学透镜，但不限于此。
172.在一些示例实施例中，多个相机模块1100a、1100b和1100c可以被设置成彼此物理分离。也就是说，多个相机模块1100a、1100b和1100c可以不使用一个图像传感器1142的感测区域，但是多个相机模块1100a、1100b和1100c可以分别在其中包括独立的图像传感器1142。
173.回到图19，应用处理器1200可以包括图像处理设备1210、存储器控制器1220和内部存储器1230。应用处理器1200可以被实现为与多个相机模块1100a、1100b和1100c分离。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可以用单独的半导体芯片来实现。
174.图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。图像处理设备1210可以包括多个子图像处理器1212a、1212b和1212c，其数量对应于多个相机模块1100a、1100b和1100c的数量。
175.分别从相机模块1100a、1100b和1100c生成的图像数据可以通过分离的图像信号线isla、islb和islc分别提供给相应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a生成的图像数据可以通过图像信号线isla提供给子图像处理器1212a，从相机模块1100b生成的图像数据可以通过图像信号线islb提供给子图像处理器1212b，并且从相机模块1100c生成的图像数据可以通过图像信号线islc提供给子图像处理器1212c。该图像数据发送可以例如通过使用基于mipi(mobile industry processor interface，移动工业处理器接口)的相机串行接口(csi)来执行，但不限于此。
176.同时，在一些示例实施例中，一个子图像处理器可以被设置为对应于多个相机模块，在本文中也称为相机。例如，子图像处理器1212a和子图像处理器1212c可以整体实现，而不是如图19所示的彼此分离；在这种情况下，可以通过选择元件(例如，多路复用器)选择分别从相机模块1100a和/或相机模块1100c提供的图像数据之一，并且可以将所选择的图像数据提供给集成子图像处理器。
177.分别提供给子图像处理器1212a、1212b和1212c的图像数据可以提供给图像生成器1214。根据图像生成信息或模式信号，图像生成器1214可以通过使用分别从子图像处理器1212a、1212b和1212c提供的图像数据来生成输出图像。
178.具体地，图像生成器1214可以根据图像生成信息或模式信号，通过结合分别从具有彼此不同fov的相机模块1100a、1100b和1100c生成的图像数据的至少一部分来生成输出图像。此外，根据图像生成信息或模式信号，图像生成器1214可以通过选择分别从具有彼此不同fov的相机模块1100a、1100b和/或1100c生成的图像数据之一来生成输出图像。
179.在一些示例实施例中，图像生成信息可以包括变焦信号或变焦因子。此外，在一些示例实施例中，模式信号可以是例如基于用户选择的模式的信号。
180.在图像生成信息是变焦信号(或变焦因子)并且相机模块1100a、1100b和1100c具有不同视野(visual field)(或视场)的情况下，图像生成器1214可以根据变焦信号的种类执行不同的操作。例如，在变焦信号是第一信号的情况下，图像生成器1214可以结合从相机模块1100a输出的图像数据和从相机模块1100c输出的图像数据，并且可以通过使用结合的图像信号和从相机模块1100b输出的在结合操作中不使用的图像数据来生成输出图像。
181.在变焦信号是不同于第一信号的第二信号的情况下，在没有图像数据结合操作的情况下，图像生成器1214可以选择分别从相机模块1100a、1100b和/或1100c输出的图像数据之一，并且可以输出所选择的图像数据作为输出图像，但不限于此。如果需要，可以无限制地修改处理图像数据的方式。
182.在一些示例实施例中，图像生成器1214可以通过从多个子图像处理器1212a、1212b和/或1212c中的至少一个接收不同曝光时间的多个图像数据并对该多个图像数据执行高动态范围(hdr)处理来生成具有增加的动态范围的结合的图像数据。
183.相机模块控制器1216可以分别向相机模块1100a、1100b和1100c提供控制信号。从相机模块控制器1216生成的控制信号可以通过彼此分离的控制信号线csla、cslb和cslc分别提供给相应的相机模块1100a、1100b和1100c。
184.根据包括变焦信号的图像生成信息或模式信号，多个相机模块1100a、1100b或1100c(相机模块在本文中可互换地称为相机)中的一个可以被指定为主相机(例如，1100b)，并且剩余的相机模块(例如，1100a和1100c)可以被指定为从相机。上述指定信息可以包括在控制信号中，并且包括指定信息的控制信号可以通过彼此分离的控制信号线csla、cslb和cslc分别提供给相应的相机模块1100a、1100b和1100c。
185.作为主模块和从模块操作的相机模块可以根据变焦因子或操作模式信号而改变。例如，在相机模块1100a的视场比相机模块1100b的视场宽并且变焦因子指示低变焦比的情况下，相机模块1100b可以作为主模块操作，并且相机模块1100a可以作为从模块操作。相反，在变焦因子指示高变焦比的情况下，相机模块1100a可以作为主模块操作，并且相机模块1100b可以作为从模块操作。
186.在一些示例实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个的控制信号可以包括同步使能信号。例如，在相机模块1100b被用作主相机并且相机模块1100a和1100c被用作从相机的情况下，相机模块控制器1216可以向相机模块1100b发送同步使能信号。被提供有同步使能信号的相机模块1100b可以基于所提供的同步使能信号生成同步信号，并且可以通过同步信号线ssl将所生成的同步信号提供给相机模块1100a和1100c。相机模块1100b和相机模块1100a和1100c可以与同步信号同步，以向应用处理器1200发送图像数据。
187.在一些示例实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一个的控制信号可以包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可以关于感测速度以第一操作模式和第二操作模式操作。
188.在第一操作模式中，多个相机模块1100a、1100b和1100c可以以第一速度生成图像信号(例如，可以生成第一帧率的图像信号)，可以以高于第一速度的第二速度编码图像信号(例如，可以编码高于第一帧率的第二帧率的图像信号)，并且将经编码的图像信号发送到应用处理器1200。在这种情况下，第二速度可以是第一速度的30倍或更小。
189.多个相机模块1100a、1100b或1100c中的至少一个可以用于实现本发明构思的扫描变焦功能。在一些示例实施例中，可以选择包括具有相对宽视场的超高分辨率图像传感器的一个相机模块来实现本发明构思的实施例。在一些示例实施例中，可以选择分别包括具有相同视场并提供不同分辨率的图像传感器的两个相机模块来实现本发明构思的实施例。在一些示例实施例中，可以选择分别包括具有彼此不同的fov并提供相同分辨率的图像传感器的两个相机模块来实现本发明构思的实施例。
190.应用处理器1200可以将所接收的图像信号，即经编码的图像信号存储在其中提供的内部存储器1230或放置在应用处理器1200外部的外部存储器1400中。之后，应用处理器1200可以从内部存储器1230或外部存储器1400读取并解码经编码的图像信号，并且可以显示基于经解码的图像信号生成的图像数据。例如，图像处理设备1210的子图像处理器1212a、1212b和1212c中对应的一个可以执行解码，并且还可以对经解码的图像信号执行图像处理。
191.在第二操作模式中，多个相机模块1100a、1100b和1100c可以以低于第一速度的第三速度生成图像信号(例如，可以生成低于第一帧率的第三帧率的图像信号)，并将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可以对所接收的图像信号执行图像处理，或者可以将图像信号存储在内部存储器1230或外部存储器1400中。
192.pmic 1300可以分别向多个相机模块1100a、1100b和1100c供电，例如供电电压。例如，在应用处理器1200的控制下，pmic 1300可以通过电力信号线psla向相机模块1100a提供第一电力，可以通过电力信号线pslb向相机模块1100b提供第二电力，并且可以通过电力信号线pslc向相机模块1100c提供第三电力。
193.响应于来自应用处理器1200的电力控制信号pcon，pmic 1300可以生成对应于多个相机模块1100a、1100b和1100c中的每一个的电力，并且可以调整电力的水平。电力控制信号pcon可以包括用于多个相机模块1100a、1100b和1100c的每个操作模式的电力调整信号。例如，操作模式可以包括低电力模式。在这种情况下，电力控制信号pcon可以包括关于在低电力模式下操作的相机模块和设置的电力水平的信息。分别提供给多个相机模块1100a、1100b和1100c的电力水平可以彼此相同或彼此不同。此外，电力水平可以动态改变。
194.应当理解，本文描述的电子设备(包括但不限于电子设备10和电子设备1000)中的任何一个和/或其任何部分(包括但不限于所述电子设备的任何块、模块、处理器、控制器、相机等)可以包括处理器的一个或多个实例，可以被包括在处理器的一个或多个实例中，和/或可以由处理器的一个或多个实例来实现，处理器的一个或多个实例诸如为：包括逻辑电路的硬件；硬件/软件组合，诸如执行软件的处理器；或者它们的组合。例如，本文更具体描述的处理器可以包括但不限于中央处理单元(central processing unit，cpu)、算术逻辑单元(arithmetic logic unit，alu)、图形处理单元(graphics processing unit，gpu)、应用处理器(application processor，ap)、数字信号处理器(digital signal processor，dsp)、微型计算机、现场可编程门阵列(field programmable gate array，fpga)和可编程逻辑单元、微处理器、专用集成电路(application-specific integrated circuit，asic)、神经网络处理单元(neural network processing unit，npu)、电子控制单元(electronic control unit，ecu)、图像信号处理器(image signal processor，isp)等。在一些示例实施
例中，处理器可以包括存储指令程序的非暂时性计算机可读存储设备(例如固态驱动器(ssd))、以及处理器硬件的实例(例如cpu)，处理器硬件的实例被配置为执行指令程序以实现由根据示例实施例的任何一个的任何电子设备的一些或全部执行的功能和/或方法(包括但不限于根据示例实施例的任何一个的任何电子设备的任何部分、块、模块、控制器、处理器、相机等)。
195.本文描述的存储器的任何一个，包括但不限于内部存储器1230、外部存储器1400、存储器1146和/或储存器1150，可以是非暂时性计算机可读介质，并且可以存储指令程序。本文描述的存储器的任何一个可以是非易失性存储器(诸如闪存、相变随机存取存储器(phase-change random access memory，pram)、磁阻随机存取存储器(magneto-resistive ram，mram)、电阻随机存取存储器(resistive ram，reram)或铁电随机存取存储器(ferro-electric ram，fram))或者易失性存储器(诸如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)或同步动态随机存取存储器(synchronous dram，sdram))。
196.根据本发明构思的一些示例实施例，通过使用具有多裁剪功能的图像传感器，可以在有限的带宽内实时向用户提供超高分辨率视频流。
197.虽然已经参考本发明的一些示例实施例描述了本发明构思，但是对于本领域的普通技术人员来说明显的是，可以对其进行各种改变和修改，而不脱离如所附权利要求中阐述的本发明构思的精神和范围。