智能合并电路、图像感测装置及其操作方法与流程

1.本发明的各种实施方式总体上涉及半导体装置。具体地，各种实施方式涉及智能合并(binning)电路、图像感测装置及其操作方法。


背景技术：

2.近来，计算机环境范例已经转向无处不在的计算，这使得计算机系统几乎能够随时随地使用。结果，诸如移动电话、数码相机、笔记本计算机等的便携式电子装置的使用已经迅速增加。
3.近来，由于显示装置的快速发展，具有诸如相机和便携式摄像机之类的图像传感器的图像拍摄装置的发展已经加速。图像拍摄装置能够拍摄图像并将所拍摄的图像记录在记录介质中，并且同时能够在任何时间再现图像。因此，随着图像拍摄装置的使用增加，对图像拍摄装置中更多功能的需求也增加。具体地，除了紧凑的尺寸、减轻的重量和更低的功耗之外，期望具有更高能力的功能以及多功能的图像拍摄装置。


技术实现要素：

4.本发明的实施方式针对一种能够通过执行智能合并操作来提高分辨率的智能合并电路、图像感测装置及其操作方法。在智能合并操作中，通过基于边缘信息执行边缘检测插值(edi)合并来生成合并值，生成表示通过4和合并操作(4
‑
sum binning operation)而缩小的像素的平均值，并且将合并值和平均值进行组合并输出。
5.另外，本发明的实施方式可以在照度高时通过直接输出图像数据而不执行智能合并操作来降低分辨率劣化，并且在照度低时通过经由智能合并操作输出图像数据来减少噪声。
6.在实施方式中，一种智能合并电路可以包括：边缘信息生成器，其适用于根据由像素阵列输出的像素数据生成边缘信息；权重分配器，其适用于基于边缘信息分配权重；合并组件，其适用于通过基于边缘信息执行边缘检测插值(edi)合并来生成合并值；拜耳合并组件，其适用于生成表示通过4和合并操作而缩小的像素的平均值；以及组合器，其适用于根据所分配的权重来组合合并值和平均值。
7.合并组件可以包括：插值块，其适用于基于边缘信息执行插值以估计具有相同颜色的平面；以及合并块，其适用于对由所述插值块插值的像素数据执行edi合并。
8.插值块可以基于从边缘信息生成器生成的边缘信息，使用水平方向滤波器、垂直方向滤波器或水平/垂直方向滤波器将红色像素和蓝色像素估计为绿色像素。
9.插值块在由边缘信息指示的多个像素的边缘方向是水平方向时可以使用水平方向滤波器，在多个像素的边缘方向是垂直方向时可以使用垂直方向滤波器，并且在多个像素的边缘方向是对角线方向时可以使用水平/垂直方向滤波器。
10.组合器可以将权重分配给合并值和平均值中的一者，将合并值和平均值组合，并且输出经组合的值。
11.当边缘信息的强度大于设定值时，组合器可以将权重分配给合并值，并且当边缘信息的强度小于设定值时，组合器可以将权重分配给平均值。
12.权重分配器可以使用水平方向滤波器和垂直方向滤波器来计算倾斜值，并且基于倾斜值来计算每2
×
2像素的单个权重。
13.在另一实施方式中，一种图像感测装置可以包括：图像传感器，其包括具有多个像素的像素阵列；图像信号处理器，其适用于处理图像传感器的输出信号；以及智能合并电路，其中，智能合并电路包括：边缘信息生成器，其适用于根据从像素阵列输出的像素数据生成边缘信息；权重分配器，其适用于基于边缘信息分配权重；合并组件，其适用于通过基于边缘信息执行边缘检测插值(edi)合并来生成合并值；拜耳合并组件，其适用于生成表示通过4和合并操作而缩小的像素的平均值；以及组合器，其适用于根据所分配的权重对合并值和平均值进行组合。
14.合并组件可以包括：插值块，其适用于基于边缘信息执行插值以估计具有相同颜色的平面；以及合并块，其适用于对由插值块插值的像素数据执行edi合并。
15.插值块可以基于从所述边缘信息生成器生成的边缘信息，使用水平方向滤波器、垂直方向滤波器和水平/垂直方向滤波器将红色像素和蓝色像素估计为绿色像素。
16.组合器可以将权重不同地分配给合并值和平均值，将不同地分配了权重的合并值和平均值组合，并输出经组合的值。
17.当边缘信息的强度大于设定值时，组合器可以将权重分配给合并值，并且当边缘信息的强度小于设定值时，组合器可以将权重分配给平均值。
18.权重分配器可以使用水平方向滤波器和垂直方向滤波器来计算倾斜值，并且基于倾斜值来计算每2
×
2像素的单个权重。
19.在另一实施方式中，一种图像感测装置可以包括：图像传感器，其包括具有多个像素的像素阵列；图像信号处理器，其适用于处理图像传感器的输出信号；以及智能合并电路，其中，智能合并电路包括：智能合并组件，其适用于基于根据从像素阵列输出的像素数据生成的边缘信息执行第一合并操作并输出第一像素信息；拜耳合并组件，其适用于通过对从多个像素数据转换的拜耳格式数据执行第二合并操作来输出第二像素信息；照度信息生成器，其适用于生成指示小于预设值的低照度或大于预设值的高照度的照度信息；以及像素信息选择器，其适用于根据照度信息选择性地输出第一像素信息和第二像素信息。
20.当照度信息指示低照度时，像素信息选择器可以输出第一像素信息，并且当照度信息指示高照度时，像素信息选择器可以输出第二像素信息。
21.第一合并操作可以包括用于基于边缘信息执行边缘检测插值(edi)合并操作的操作，并且第二合并操作可以包括用于生成表示通过4和合并操作而缩小的像素的平均值的操作。
22.智能合并组件包括：边缘信息生成器，其适用于根据从像素阵列输出的多个像素数据生成边缘信息；权重分配器，其适用于基于从边缘信息生成器生成的边缘信息来分配权重；以及合并组件，其适用于通过根据权重分配器分配的权重基于边缘信息执行edi合并操作来生成合并值。
23.在另一实施方式中，一种图像感测装置的操作方法可以包括以下步骤：通过根据从由像素阵列输出的多个像素数据生成的边缘信息执行第一合并操作，来输出第一像素信
息；通过对从多个像素数据转换的拜耳格式数据执行第二合并操作，来输出第二像素信息；根据周围照度条件，参照设定值生成指示高照度或低照度的照度信息；以及基于照度信息选择性地输出第一像素信息和第二像素信息。
24.第一合并操作可以包括用于基于边缘信息执行边缘检测插值(edi)合并操作的操作，并且第二合并操作可以包括用于生成表示通过4和合并操作而缩小的像素的平均值的操作，并且其中，当照度信息指示低照度时输出第一像素信息，并且当照度信息指示高照度时输出第二像素信息。
25.输出第一像素信息的步骤可以包括以下步骤：根据多个像素数据生成边缘信息；基于边缘信息分配权重；以及通过根据权重基于边缘信息执行edi合并操作来生成合并值。
26.在另一实施方式中，一种图像感测装置可以包括：图像传感器，其包括多个像素并输出像素数据；以及合并电路，该合并电路包括：边缘信息生成器，其适用于根据像素数据生成边缘信息；插值合并组件，其适用于通过基于边缘信息执行边缘检测插值(edi)合并来生成第一合并信息；拜耳合并组件，其适用于通过对像素数据执行设定的缩小合并来生成第二合并信息；以及组合器，其适用于接收第一合并信息和第二合并信息，基于边缘信息的强度向第一合并信息和第二合并信息分配不同的权重，以分别生成第三合并信息和第四合并信息，组合第三合并信息和第四合并信息并输出经组合的合并信息。
27.根据以下附图和详细描述，本发明领域的普通技术人员将理解本发明的这些以及其它特征和优点。
附图说明
28.本文中的描述参考了附图，其中贯穿若干图，相似的附图标记指代相似的部件。
29.图1是例示根据本发明的实施方式的采用智能合并电路的图像感测装置的框图。
30.图2是例示根据本发明的另一实施方式的采用智能合并电路的图像感测装置的框图。
31.图3是例示根据本发明的实施方式的智能合并电路的框图。
32.图4是例示诸如图3所示的合并组件之类的合并组件的g平面估计的图。
33.图5是例示诸如图3所示的拜耳合并组件之类的拜耳合并组件的平均合并操作的图。
34.图6是例示诸如图3所示的权重分配器之类的权重分配器的计算操作的图。
35.图7是例示用于诸如图3所示的权重分配器之类的权重分配器的计算操作的滤波器的示例的图。
36.图8是例示根据本发明的另一实施方式的智能合并电路的框图。
37.图9是例示根据本发明的另一实施方式的图像感测装置的操作的流程图。
38.图10是例示被配置为实现根据本发明的实施方式的图像感测装置的系统的框图。
具体实施方式
39.下面参照附图更详细地描述本发明的各种示例。本发明可以以其它实施方式、形式及其变形来实现，并且不应被解释为限于本文所阐述的实施方式。相反，提供所描述的实施方式以使得本发明是彻底和完整的，并且将本发明充分传达给本发明所属领域的技术人
员。在整个说明书中，对“一实施方式”、“另一实施方式”等的引用不一定意味着仅一个实施方式，并且对任何这种短语的不同引用不一定是指相同实施方式。
40.将理解的是，尽管在本文中可以使用术语“第一”、“第二”、“第三”等来标识各种元件，但是这些元件不受这些术语的限制。这些术语用于将一个元件与否则具有相同或相似名称的另一元件区分开。因此，在一个实例中的第一元件可以在另一实例中被称为第二元件或第三元件，而并未指示元件本身的任何改变。
41.附图不一定按比例绘制，并且在某些情况下，可能夸大了比例以便清楚地示出实施方式的特征。当一元件被称为连接或联接到另一元件时，应当理解的是，前者可以直接连接或直接联接到后者，或者经由一个或更多个中间元件电连接或电联接到后者。除非上下文另有说明，否则两个元件之间的通信(无论是直接还是间接地连接/联接)可以是有线的或者无线的。另外，还将理解的是，当元件被称为在两个元件“之间”时，它可以是两个元件之间的唯一元件，或者也可以存在一个或更多个中间元件。
42.本文所使用的术语仅出于描述特定实施方式的目的，而不旨在限制本发明。
43.如本文所使用的，单数形式旨在包括复数形式，并且反之亦然，除非上下文另外明确指出。除非另外说明或者根据上下文清楚地指向为单数形式，否则在本技术和所附权利要求中使用的冠词“一”和“一个”通常应当被解释为意指“一个或更多个”。
44.还将理解的是，术语“包括”、“所包括”、“包含”和“所包含”当在本说明书中使用时，指定存在所述元件并且不排除一个或更多个其它元件的存在或添加。如本文所使用的，术语“和/或”包括相关所列项目中的一个或更多个的任何组合和所有组合。
45.除非另有定义，否则本文所用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常所理解的含义相同的含义。还将理解的是，除非本文明确地如此定义，否则诸如在常用词典中定义的那些术语应被解释为具有与它们在本发明的上下文和相关技术中的含义一致的含义，而不是以理想化或过于正式的含义来解释。
46.在下面的描述中，阐述了许多具体细节以便提供对本发明的透彻理解。可以在无需这些具体细节中的一些或全部的情况下实践本发明。在其它情况下，没有详细描述公知的过程结构和/或处理，以免不必要地使本发明模糊。
47.还应注意，在某些情况下，如对相关领域的技术人员显而易见的，结合一个实施方式描述的特征或元件可以单独使用或与另一实施方式的其它特征或元件组合使用，除非另有明确说明。
48.参照附图详细描述本发明的实施方式。
49.图1是例示根据本发明的实施方式的图像感测装置10的框图。
50.参照图1，图像感测装置10可以包括图像传感器100和图像信号处理器(isp)400。
51.图像感测装置10可以在诸如个人计算机(pc)或移动计算装置之类的能够接收和处理图像数据的任何合适的电子装置中实现。
52.更具体地，图像感测装置10可以在膝上型计算机、移动电话、智能电话、平板、个人数字助理(pda)、企业数字助理(eda)、数字静态相机、数码摄像机、便携式多媒体播放器(pmp)、移动互联网装置(mid)、可穿戴计算机中实现、实现为物联网(iot)网络中的对象或万物互联(ioe)网络中的对象。
53.图像传感器100可以包括像素阵列200和智能合并电路300。
54.像素阵列200可以包括多个像素。在本文中，每个像素可以表示像素数据，并且具有rgb数据格式、yuv数据格式、ycbcr数据格式或与本文的教导一致的任何其它数据格式。
55.智能合并电路300可以基于从具有多个像素的像素阵列200输出的像素数据来生成边缘信息。此外，智能合并电路300可以通过基于边缘信息执行边缘检测插值(edi)操作来生成合并值。此外，智能合并电路300可以生成平均值，该平均值表示通过合并操作(例如，4和合并操作)而缩小的多个像素。此外，智能合并电路300可以基于根据边缘信息分配的权重来将合并值和平均值组合。
56.图像信号处理器400可以在集成电路、片上系统(soc)或移动应用处理器中实现。图像信号处理器400可以处理图像传感器100的输出信号。也就是说，图像信号处理器400可以接收并处理从图像传感器100的智能合并电路300输出的图像输出信号。
57.更具体地，图像信号处理器400可以从与像素数据相对应的拜耳(bayer)图案生成rgb图像数据。例如，图像信号处理器400可以处理拜耳图案，使得图像数据被显示在显示器中，并且可以将处理后的图像数据传送到接口以传送到一个或更多个其它组件或装置。
58.在一实施方式中，图像传感器100和图像信号处理器400中的每一个可以被实现为多芯片封装件(mcp)。在另一实施方式中，图像传感器100和图像信号处理器400可以被实现为单个芯片。
59.图2是例示根据本发明的实施方式的图像感测装置10的框图。
60.参照图2，图像感测装置10可以包括图像传感器100和图像信号处理器(isp)400。图像信号处理器400可以包括智能合并电路300。
61.智能合并电路300可以如图3至图9所示地实现。
62.除了智能合并电路300被实现在图像信号处理器400中而不是图像传感器100中之外，图2中所示的图像感测装置10的结构和操作基本上与图1中所示的图像感测装置10的结构和操作相同。因此，省略了图2的图像感测装置10的详细描述。
63.在下文中，参照图3至图7来描述根据本发明的实施方式的智能合并电路300。
64.图3是例示根据本发明的实施方式的智能合并电路的框图。图4是例示图3所示的合并组件的g平面估计的图。图5是例示图3所示的拜耳合并组件的平均合并操作的图。图6是例示图3所示的权重分配器的计算操作的图。图7是例示用于图3所示的权重分配器的计算操作的滤波器的示例的图。
65.参照图3至图7，智能合并电路300可以包括边缘信息生成器310、权重分配器320、合并组件330、拜耳合并组件360和组合器390。
66.边缘信息生成器310可以根据从像素阵列(例如，n
×
n像素块，其中n是2或更大的整数)输出的像素数据中检测并生成边缘信息。
67.合并组件330可以通过基于由边缘信息生成器310生成的边缘信息执行边缘检测插值(edi)合并操作来生成合并值。edi合并操作包括基于像素数据执行合并，像素数据基于边缘信息插值在平面中。
68.合并组件330可以包括插值块340和合并块350。
69.图4示出了6
×
6像素阵列，其用于解释本发明的各方面。
70.插值块340可以基于边缘信息执行插值以估计绿色g平面。
71.在图4中，可以保持绿色像素g11、g13、g15、g22、g24、g26、g31、g33、g35、g42、g44、
g46、g51、g53、g55、g62、g64和g66。可以对红色像素r12、r14、r16、r32、r34、r36、r52、r54、r56进行估计并将其分别转换为绿色像素g12、g14、g16、g32、g34、g36、g52、g54和g56。可以对蓝色像素b21、b23、b25、b41、b43、b45、b61、b63和b65进行估计并将其分别转换为绿色像素g21、g23、g25、g41、g43、g45、g61、g63和g65。
72.在一实施方式中，插值块340可以基于边缘信息通过水平方向滤波器、垂直方向滤波器或水平/垂直方向滤波器执行绿色估计。边缘信息表示关于预插值像素阵列的边界上的像素的信息。
73.如果由边缘信息指示的边缘方向在在红色像素r34中为水平方向，则使用水平方向滤波器根据等式“g34＝(g33 g35)/2”来估计红色像素r34并将其转换为绿色像素g34。
74.如果边缘方向在红色像素r34中为垂直方向，则使用垂直滤波器根据等式“g34＝(g24 g44)/2”来估计红色像素r34并将其转换为绿色像素g34。
75.如果边缘方向在红色像素r34中为对角线方向，则使用水平/垂直滤波器根据等式“g34＝(g33 g35 g24 g44)/4”来估计红色像素r34并将其转换为绿色像素g34。
76.合并块350可以通过基于绿色平面中的由插值块340进行插值后的像素数据执行合并操作来生成合并值。
77.也就是说，可以将形成2
×
2像素阵列的四个像素缩小为一个像素。
78.例如，可以根据表达式“(g33 g34 g43 g44)/4”来缩小绿色像素g34。也就是说，可以通过生成合并值来执行合并操作，合并值是绿色像素g33和g44以及插值后的绿色像素g34和g43的平均值。
79.在本文中，图4中所示的6
×
6像素阵列可以缩小为3
×
3像素阵列。
80.权重分配器320可以根据由边缘信息生成器310生成的纹理(texture)的边缘强度来不同地分配权重。
81.参照图5和图6，权重分配器320可以使用水平方向滤波器和垂直方向滤波器来计算倾斜值(lean value)，并基于倾斜值来计算每2
×
2像素阵列的一个权重。
82.例如，可以通过等式1计算2
×
2像素阵列中的像素g11、r12、b21和g22的平均值y00_bin。
83.[等式1]
[0084]
y00_bin＝(g11 r12 b21 g22)/4
[0085]
可以针对共同形成图5所示的6
×
6像素阵列的9个2
×
2像素阵列中的每一个执行该计算以生成九个平均(bin)值。
[0086]
随后，如图6所示，可以使用水平方向滤波器和垂直方向滤波器来计算九个平均值的倾斜值。基于倾斜值，获取的权重值可以是从0到16。
[0087]
在本发明的实施方式中，“prewitt”函数用作水平方向滤波器和垂直方向滤波器。但是在本发明的另一个实施方式中，可以使用“sobel”函数、“roberts”函数和/或其它合适的函数。
[0088]
省略了用于获取权重值的详细操作，因为本领域技术人员理解这种操作。
[0089]
拜耳合并组件360可以生成平均值，该平均值表示具有相同颜色像素的平面上的通过4和(4
‑
sum)合并操作而缩小的多个像素。在本发明的实施方式中，可以对拜耳图案的像素数据执行4和合并操作。
[0090]
可以根据等式2来计算位于6
×
6像素阵列的中央的2
×
2像素阵列中的绿色像素g33和g44、红色像素r34和蓝色像素b34的平均分量值。也就是说，可以将绿色分量值(g
out
)计算为2
×
2像素阵列中的绿色像素g33与相邻的绿色像素g35、g53和g55的平均。红色分量值(r
out
)和蓝色分量值(b
out
)中的每一个分别可以按照等式2以相同的方式来计算。
[0091]
[等式2]
[0092]
g
out
＝(g33 g35 g53 g55)/4,
[0093]
r
out
＝(r34 r36 r54 r56)/4,
[0094]
b
out
＝(b43 b45 b63 b65)/4,
[0095]
组合器390可以根据由权重分配器320分配的权重，将由合并组件330生成的合并值与由拜耳合并组件360生成的平均值进行组合，并输出经组合的值。
[0096]
例如，可以根据表达式3执行组合器390的权重分配。
[0097]
[表达式3]
[0098]
{(权重*平均值) (16
‑
权重)*合并值}/16
[0099]
在本文中，如果由边缘信息所指示的边缘强度大于设定值，则将权重分配给由合并组件330生成的合并值。如果*边缘信息所指示的边缘强度小于设定值，则将权重分配给由拜耳合并组件360生成的平均值。
[0100]
在下文中，参照图8描述根据本发明的另一实施方式的智能合并电路300。图8是例示智能合并电路300的框图。
[0101]
参照图8，智能合并电路300可以包括智能合并组件305、拜耳合并组件360、照度信息生成器370和像素信息选择器380。
[0102]
智能合并组件305可以基于从由像素阵列(例如，图1或图2的像素阵列200)输出的像素数据生成的边缘信息执行第一合并操作，并输出第一像素信息。
[0103]
在本文中，第一合并操作包括基于边缘信息执行edi合并。
[0104]
智能合并组件305可以包括边缘信息生成器310、权重分配器320和合并组件330。
[0105]
边缘信息生成器310可以根据从像素阵列输出的多个像素数据生成边缘信息。
[0106]
权重分配器320可以根据边缘信息来分配权重。
[0107]
合并组件330可以通过根据权重分配器320分配的权重，基于边缘信息生成器310生成的边缘信息执行edi合并操作来生成合并值。
[0108]
合并组件330可以包括插值块340和合并块350。
[0109]
因为边缘信息生成器310、权重分配器320和合并组件330与图3至图7中所示的对应组件相同，所以这里省略了这些组件的详细配置和操作。
[0110]
拜耳合并组件360可以对多个像素数据执行第二合并操作并输出第二像素信息。在实施方式中，第二合并操作包括生成通过4和合并操作缩小的像素的平均值。
[0111]
因为图8的拜耳合并组件360与图3至图7中所示的拜耳合并组件相同，所以这里省略了拜耳合并组件360的详细操作。
[0112]
照度信息生成器370可以根据周围照度条件生成指示小于预设值的低照度或大于预设值的高照度的照度信息。低照度指示周围照度条件为低照度。高照度指示周围照度条件为高照度。
[0113]
像素信息选择器380可以根据由照度信息生成器370生成的照度信息，选择性地输
出从智能合并组件305输出的第一像素信息和从拜耳合并组件360输出的第二像素信息。
[0114]
当从照度信息生成器370提供低照度信息时，像素信息选择器380可以输出第一像素信息。当从照度信息生成器370提供高照度信息时，像素信息选择器380可以输出第二像素信息。
[0115]
在下文中，参照图9描述根据本发明的实施方式的图像感测装置的操作。图9是例示根据本发明的实施方式的图像感测装置(例如，图1和图2中的图像感测装置10)的操作的流程图。
[0116]
参照图9，图像感测装置的操作可以包括第一像素信息提供操作s1000、第二像素信息提供操作s2000、照度信息确定操作s3000以及选择性输出操作s4000和s5000。
[0117]
在操作s1000中，可以通过根据从由像素阵列输出的像素数据生成的边缘信息执行第一合并操作来提供像素信息。第一合并操作包括基于边缘信息执行edi合并。
[0118]
操作s1000可以包括边缘信息生成操作s1100、权重分配操作s1200和合并值生成操作s1300。
[0119]
在操作s1100中，可以根据从像素阵列输出的多个像素数据生成边缘信息。
[0120]
在操作s1200中，可以根据边缘信息来计算和分配权重。
[0121]
在实施方式中，可以使用水平方向滤波器和垂直方向滤波器来计算倾斜值。可以基于倾斜值来计算每2
×
2像素阵列的一个权重。权重的范围可以从“0”到“16”。
[0122]
权重的详细计算与图5和图6中描述的相同。
[0123]
在操作s1300中，可以基于边缘信息执行edi合并操作。可以基于边缘信息执行插值操作以估计相同颜色的平面，并且可通过基于插值后的像素数据执行合并操作来生成合并值。
[0124]
在实施方式中，可以基于边缘信息通过水平方向滤波器、垂直方向滤波器或水平/垂直方向滤波器沿着不违背纹理的方向执行绿色估计。
[0125]
返回参照图4，如果红色像素r34中的边缘方向是水平方向，则使用水平方向滤波器根据等式“g34＝(g33 g35)/2”来估计红色像素r34并将其转换为绿色像素g34。
[0126]
如果在红色像素r34中的边缘方向是垂直方向，则使用垂直滤波器根据等式“g34＝(g24 g44)/2”来估计红色像素r34并将其转换为绿色像素g34。
[0127]
如果在红色像素r34中的边缘方向是对角线方向，则使用水平/垂直滤波器根据等式“g34＝(g33 g35 g24 g44)/4”来估计红色像素r34并将其转换为绿色像素g34。
[0128]
在操作s2000中，可以通过基于从多个像素数据转换的拜耳格式数据执行第二合并操作来生成第二像素信息。第二合并操作包括生成表示通过4和合并操作而缩小的像素的平均值。
[0129]
在操作s3000中，可以根据周围照度条件参照设定值来生成高照度信息或低照度信息。
[0130]
低照度指示周围照度条件是低照度。高照度指示周围照度条件是高照度。
[0131]
在操作s4000和s5000中，根据照度信息选择性地输出第一像素信息和第二像素信息。
[0132]
当提供低照度信息时，可以在操作s4000处输出第一像素信息，而当提供高照度信息时，可以在操作s5000处输出第二像素信息。
[0133]
在下文中，参照图10详细描述被配置为实现根据本发明的实施方式的图像感测装置的系统。
[0134]
图10例示了被配置为实现根据本发明的实施方式的图像感测装置的系统。
[0135]
在各种实施方式中，图10的系统可以是包括但不限于个人计算机系统、台式计算机、膝上型计算机或笔记本计算机、大型计算机系统、手持式计算装置、蜂窝电话、智能电话、移动电话、工作站、网络计算机、消费者装置、应用服务器、存储装置、智能显示器、外设装置(诸如交换机、调制解调器、路由器等)的各种类型的计算装置中的任何一种，或者通常是任何类型的计算装置。根据实施方式，图10的系统可以表示片上系统(soc)。soc 1000的电路可以作为集成电路(即，“芯片”)被集成到单个半导体衬底上。在一些实施方式中，电路可以实现在系统中的两个或更多个分立芯片上。soc 1000将在本文中用作示例。
[0136]
在所示的实施方式中，soc 1000的电路包括中央处理单元(cpu)复合体1020、片上外设电路1040a
‑
1040b(分别为“外设”，并统称为“外设”)、存储器控制器(mc)1030、通信结构(fabric)1010和图像信号处理器400。soc 1000还可以联接到附加电路，诸如联接到存储器1800和图像传感器100。电路1020、1030、1040a
‑
1040b和400可以全部联接到通信结构1010。存储器控制器1030可以联接到存储器1800，并且外设1040b可以联接到外部接口1900。另外，图像信号处理器400可以联接到图像传感器100。
[0137]
外设1040a
‑
1040b可以是soc 1000中的任何一组附加硬件功能。例如，外设1040a
‑
1040b可以包括配置为在一个或更多个显示装置上显示视频数据的显示控制器、图形处理单元(gpu)、视频编码器/解码器、缩放器、旋转器、混合器等。
[0138]
在一些实施方式中，图像信号处理器400可以是被配置为处理来自图像传感器100(或其它图像传感器)的图像捕获数据的另一视频外设的一部分。图像信号处理器400和图像传感器100可以被配置为实现图1至图9所示的图像信号处理器400和图像传感器100。
[0139]
外设1040a
‑
1040b还可以包括音频外设，诸如麦克风、扬声器、到麦克风和扬声器的接口、音频处理器、数字信号处理器、混频器等。外设1040a
‑
1040b(例如，外设1040b)可以包括用于soc 1000外部的各种接口1900的外设接口控制器，各种接口1900包括诸如通用串行总线(usb)、包括pci快速(pcie)的外围电路互连(pci)、串行和并行端口等的接口。外设1040a
‑
1040b还可以包括诸如介质访问控制器(mac)之类的联网外设。通常，根据各种实施方式，可以包括任何一组硬件。
[0140]
cpu复合体1020可以包括用作soc 1000的cpu的一个或更多个处理器(p)1024。处理器1024可以运行系统的诸如操作系统之类的主控制软件。通常，由cpu运行的软件可以控制系统的其它电路以实现系统的期望功能。处理器1024还可以执行诸如应用程序之类的其它软件。应用程序可以提供用户功能，并且可以依赖操作系统来进行较低级别的装置控制。因此，处理器1024也可以被称为应用处理器。cpu复合体1020可以进一步包括其它硬件，诸如l2缓存1022和/或到系统的其它电路的接口(例如，到通信结构1010的接口)。
[0141]
通常，处理器可以包括被配置为运行在由处理器实现的指令集架构中定义的指令的任何电路和/或微代码。响应于运行指令而由处理器操作的指令和数据通常可以存储在存储器1800中，尽管也可以定义某些指令以用于到外设的直接处理器访问。处理器可以涵盖作为片上系统(soc 1000)或其它级别的集成度与其它电路一起实现在集成电路上的处理器内核。处理器还可以涵盖分立的微处理器、集成到多芯片模块实现中的处理器内核和/
或微处理器、实现为多个集成电路的处理器等。
[0142]
存储器控制器1030通常可以包括用于从soc 1000的其它电路接收存储器操作并且用于访问存储器1800以完成存储器操作的电路。存储器控制器1030可以被配置为访问任何类型的存储器1800。例如，存储器1800可以是静态随机存取存储器(sram)或者诸如包括双倍数据速率(ddr、ddr2、ddr3等)dram的同步dram(sdram)之类的动态ram(dram)。可以支持低功耗/移动版本的ddr dram(例如，lpddr、mddr等)。存储器控制器1030可以包括用于存储器操作的队列，其用于对操作进行排序(并且可能重新排序)并将操作呈现给存储器1800。存储器控制器1030还可以包括数据缓冲器，以存储等待写入到存储器的写入数据和等待返回到存储器操作的源的读取数据。在一些实施方式中，存储器控制器1030可以包括存储器缓存以存储最近访问的存储器数据。例如，在soc实现中，存储器缓存可以通过避免从存储器1800重新访问数据(如果它被预期很快再次被访问)来减少soc中的功耗。在某些情况下，与仅用于特定电路的诸如l2缓存1022或处理器1024中的缓存之类的专用缓存相反，存储器缓存也可以称为系统缓存。另外，在一些实施方式中，系统缓存可以位于存储器控制器1030的外部。
[0143]
在实施方式中，存储器1800可以以芯片叠层配置或封装体叠层配置与soc 1000一起封装。也可以使用soc 1000和存储器1800的多芯片模块配置。这样的配置可以比到系统中其它电路的传输(例如，到端点)相对更安全(就数据可观察性而言)。因此，受保护的数据可以未加密地驻留在存储器1800中，而受保护的数据可以针对soc 1000和外部端点之间的交换而被加密。
[0144]
通信结构1010可以是用于在soc 1000的电路之间进行通信的任何通信互连和协议。通信结构1010可以基于总线，其包括共享总线配置、交叉开关配置以及具有桥的分层总线。通信结构1010也可以基于分组，并且可以是具有桥的分层结构、交叉开关、点对点或其它互连。
[0145]
注意，soc 1000的电路数量(以及cpu复合体1020内的子电路数量)可以随实施方式而变化。每个电路/子电路可以比图10中所示的数量更多或更少。
[0146]
在一些实施方式中，可以由计算机程序产品或软件来实现本文描述的方法。在一些实施方式中，非暂时性计算机可读存储介质可以在其上存储有指令，指令可以用于对计算机系统(或其它电子装置)进行编程以执行本文所述的技术中的一些或全部。计算机可读存储介质可以包括用于以机器(例如，计算机)可读的形式(例如，软件、处理应用)存储信息的任何机制。机器可读介质可以包括但不限于磁性存储介质(例如，软盘)；光学存储介质(例如，cd
‑
rom)；磁
‑
光存储介质；只读存储器(rom)；随机存取存储器(ram)；可擦除可编程存储器(例如，eprom和eeprom)；闪存；适用于存储程序指令的电介质或其它类型的介质。另外，可以使用光学、声学或其它形式的传播信号(例如，载波、红外信号、数字信号等)来通信程序指令。
[0147]
如上所述，根据本发明的实施方式的智能合并电路、图像感测装置及其操作方法可以通过执行智能合并操作来提高分辨率。在智能合并操作中，通过基于边缘信息执行边缘检测插值(edi)合并来生成合并值，生成表示通过4和合并操作而缩小的多个像素的平均值，并且将合并值和平均值组合。
[0148]
虽然本发明例示并描述了特定实施方式，但是本领域技术人员在本发明的教导下
将显而易见的是，在不脱离如所附权利要求限定的本发明的精神和范围的情况下，可以进行各种变型和修改。本发明可以在所有这些变型和修改落入权利要求的范围内的程度上涵盖所有这些变型和修改。
[0149]
相关申请的交叉引用
[0150]
本专利申请要求于2020年6月5日提交的韩国专利申请no.10
‑
2020
‑
0068297的优先权，该韩国专利申请的全部内容通过引用并入到本文中。