图像传感器的制作方法

图像传感器
1.本技术要求于2020年5月11日在韩国知识产权局提交的第10
‑
2020
‑
0055588号韩国专利申请和于2020年10月30日在韩国知识产权局提交的第10
‑
2020
‑
0143664号韩国专利申请的优先权，所述韩国专利的全部公开内容出于所有目的通过引用包含于此。
技术领域
2.与公开的示例实施例一致的方法和设备涉及感测图像。


背景技术：

3.由于光学技术和图像处理技术的发展，图像捕获装置正在广泛的领域(例如，多媒体内容、安全或识别)中使用。例如，图像捕获装置可以安装在移动装置、相机、车辆或计算机中，以捕获图像、识别对象、获取用于控制装置的数据等。图像捕获装置的体积可以基于例如透镜的尺寸、透镜的焦距和传感器的尺寸来确定。如果透镜的尺寸减小，则透镜的焦距可能减小。为了减小图像捕获装置的体积，可以使用包括紧凑且小的透镜的多透镜。


技术实现要素：

4.一个或多个示例实施例可以至少解决以上问题和/或缺点以及上面未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可以不克服上述任何问题。
5.根据示例实施例的一个方面，提供了一种图像传感器，该图像传感器包括：掩模阵列，包括多个掩模元件，所述多个掩模元件被配置为：在穿过成像光学透镜并在多个方向上入射到掩模阵列上的光之中，阻挡所述多个方向的第一部分上的光，并允许所述多个方向的第二部分上的光穿过所述多个掩模元件；以及感测阵列，包括多个感测元件，所述多个感测元件被配置为：感测穿过成像光学透镜和掩模阵列的光。
6.图像传感器还可以包括：滤色器，设置在感测阵列上方并且被配置为从入射在所述多个感测元件中的每个感测元件上的光中过滤一部分波段的光，其中，掩模阵列设置在滤色器与感测阵列之间。
7.图像传感器还可以包括：聚光透镜阵列，设置在感测阵列上方，其中，掩模阵列设置在聚光透镜阵列与感测阵列之间。
8.掩模阵列和所述多个感测元件可以彼此间隔开1微米(μm)或更小。
9.掩模阵列和所述多个感测元件可以彼此接触。
10.掩模阵列的与所述多个感测元件中的感测元件对应的第一区域可以包括：孔径区域，占据与关于第一区域的总面积的孔径比对应的面积；以及掩模区域，占据第一区域的其余面积，所述多个掩模元件设置在掩模区域中。
11.所述孔径比可以在约40％与约60％之间。
12.在掩模阵列的每个部分区域中，由孔径占据的面积可以大于或等于与设置的孔径比对应的面积。
13.掩模阵列可以被分割成与多个感测元件组对应的多个组区域，并且掩模阵列中的
所述多个组区域中的每个组区域可以被配置为覆盖感测元件组，所述感测元件组包括被分组为表示单个像素的多个感测元件。
14.组区域的掩模图案可以在掩模阵列中被重复。
15.掩模阵列中的所述多个组区域中的所有组区域可以具有相同的掩模图案。
16.包括在掩模阵列中被重复的掩模图案中的掩模元件的数量可以大于或等于成像光学透镜的数量。
17.所述多个掩模元件可以具有两个或更多个透射水平。
18.所述多个掩模元件中的每个掩模元件可以被分割成多个区域，并且所述多个掩模元件中的每个掩模元件的透射率可以基于所述多个区域之中的开口区域与封闭区域的比率被确定。
19.图像传感器还可以包括：处理器，被配置为：基于由所述多个感测元件感测的感测信息来恢复图像。
20.处理器还可以被配置为：通过将感测信息变换到频域来生成频率信息，通过将频率信息除以模糊核的频率变换结果来生成去模糊的频率信息，以及通过将去模糊的频率信息逆变换到时域来恢复高分辨率图像，所述模糊核与掩模阵列的掩模图案对应。
21.图像传感器可以包括多个掩模图案，并且所述多个掩模图案中的每个掩模图案可以被配置为覆盖感测元件组，感测元件组包括感测阵列中的两个或更多个感测元件。
22.根据示例实施例的一个方面，提供了一种相机装置，该相机装置包括：成像透镜阵列，包括成像光学透镜，成像光学透镜被配置为透射从所述相机装置的外部接收的光；感测阵列，包括多个感测元件，所述多个感测元件被配置为感测穿过成像透镜阵列的光；以及掩模阵列，包括多个掩模元件，掩模阵列设置在成像透镜阵列与感测阵列之间。
23.掩模阵列可以在所述多个感测元件上设置在感测阵列内部的位置和与感测阵列接触的位置中的一个位置处。
24.掩模阵列的与所述多个感测元件中的感测元件对应的第一区域可以包括：孔径区域，占据与关于第一区域的总面积的孔径比对应的面积；以及掩模区域，占据第一区域中的其余面积，所述多个掩模元件设置在掩模区域中。
25.在掩模阵列的每个部分区域中，由孔径占据的面积可以大于或等于与设置的孔径比对应的面积。
26.组区域的掩模图案可以在掩模阵列中被重复。
27.所述相机装置还可以包括：处理器，被配置为：通过将由所述多个感测元件感测的感测信息变换到频域来生成频率信息，通过将频率信息除以模糊核的频率变换结果来生成去模糊的频率信息，以及通过将去模糊的频率信息逆变换到时域来恢复高分辨率图像，所述模糊核与掩模阵列的掩模图案对应。
附图说明
28.通过结合附图描述特定示例实施例，以上和/或其他方面将更加明显，在附图中：
29.图1a和图1b示出了根据示例实施例的成像装置的示例；
30.图2是示出根据示例实施例的感测元件通过透镜元件接收光线的示例的示图；
31.图3是示出根据示例实施例的感测元件的数量与透镜元件的数量之间的关系的示
图；
32.图4示出了根据示例实施例的基于成像装置中的多透镜阵列(mla)的结构的焦距的减小；
33.图5示出了根据示例实施例的基于成像装置中的mla的结构的模糊核(blur kernel)；
34.图6示出了根据示例实施例的包括掩模(mask)阵列的成像装置的模糊核；
35.图7是根据示例实施例的其中设置有掩模阵列的成像装置的剖视图；
36.图8示出了根据示例实施例的掩模阵列的掩模图案的设计；
37.图9和图10示出了根据示例实施例的掩模阵列的示例；
38.图11示出了根据示例实施例的图像传感器中的每个感测元件组的掩模图案的排列；
39.图12a和图12b示出了根据示例实施例的掩模阵列的布置的示例；
40.图13是示出根据示例实施例的成像装置的配置的框图；
41.图14是示出根据示例实施例的电子终端的配置的框图；以及
42.图15和图16是示出根据示例实施例的要在其中实现图像传感器的装置的示例的示图。
具体实施方式
43.在下文中，将参照附图详细描述一些示例实施例。然而，可以对示例实施例进行各种改变和修改。这里，示例实施例不被解释为限于公开，并且应被理解为包括在公开的构思和技术范围内的所有改变、等同物和替换物。
44.在此使用的术语仅用于描述特定示例实施例的目的，而不是对示例实施例的限制。如在此所使用的，除非上下文另有明确指示，否则单数形式旨在也包括复数形式。还将理解的是，术语“包括/包含”及其变型当在此使用时，说明存在所陈述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
45.除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与示例实施例所属领域的普通技术人员通常理解的含义相同的含义。还将理解的是，除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)应被解释为具有与其在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于正式的含义来解释。
46.当参照附图描述示例实施例时，相同的参考标号表示相同的组成元件，并且与其相关的重复描述将被省略。在示例实施例的描述中，当认为公知的相关结构或功能的详细描述将导致对公开的模糊解释时，将省略这种描述。附图可能未按比例绘制，并且为了清楚、说明和方便，附图中的元件的相对尺寸、比例和描绘可能被夸大。
47.图1a和图1b示出了根据示例实施例的成像装置的结构。图1a是成像装置的透视图，图1b是成像装置的剖视图。
48.成像装置100可以包括透镜阵列110和图像传感器120。透镜阵列110可以包括透镜元件，并且图像传感器120可以包括光学感测元件。透镜元件可以沿着透镜阵列110的平面布置，并且光学感测元件可以沿着图像传感器120中的感测阵列121的平面布置。透镜阵列
110的平面可以与感测阵列121的平面平行地放置。透镜阵列110可以是用于成像的多透镜阵列(mla)，并且也可以被称为“成像透镜阵列”。
49.在此使用的术语“光学感测元件”(在下文中称为“感测元件”)可以是基于入射在元件上的光来感测光学信息的元件，并且可以输出指示入射光的强度的值。光学感测元件可以包括例如互补金属氧化物半导体(cmos)、电荷耦合器件(ccd)和/或光电二极管。
50.作为像素的术语“图片元素”可以是构成图像的基本单元信息，并且可以指示通过使用感测元件感测从与像素位置对应的对象上的物理位置反射的光而获得的光学信息。像素位置可以是图像中的像素的位置，并且可以符合像素坐标系，并且物理位置可以符合世界坐标系。
51.作为参照，构成彩色图像的像素可以具有针对单个像素位置的多个颜色值(例如，rgb颜色系统中的红色值、绿色值和蓝色值)。显示领域中的显示器的单元像素可以包括针对多种颜色的子像素(例如，rgb颜色系统中的红色子像素、绿色子像素和蓝色子像素)，以表示单个像素位置的颜色值。与显示领域不同，在图像传感器领域中，通常，像素不被划分为针对每种颜色的子像素，而是指感测一个颜色值的感测元件(例如，具有其中设置有滤色器的前端的光电二极管)。此外，在图像传感器领域中，术语“像素”可以指单个感测元件和由感测元件感测的值两者。然而，为了示例实施例中的描述的清楚，术语“像素”在此用于表示构成图像的基本单元信息，并且术语“感测元件”指响应于从对象接收的光而输出像素的像素值的硬件元件，因此像素和感测元件的含义可以被区分。
52.在以下描述中主要描述每个像素由单个感测元件表示的示例，然而，示例实施例不限于此。例如，单个像素可以由多个感测元件表示。被分组以表示单个像素的多个感测元件可以被称为“感测元件组”。尽管可以由单个感测元件感测的光的量是有限的，但是灵敏度可以通过使用由多个感测元件感测的值表示单个像素被增强。下面将参照图11描述由包括四个感测元件的感测元件组感测单个像素值的示例。
53.图像传感器120可以包括感测阵列121、滤光器122和聚光透镜阵列123。然而，这仅仅是示例。代替滤光器122，聚光透镜阵列123的单个聚光微透镜123a可以具有透射预定的波段并阻挡除预定的波段之外的其余波段的光学特性。在这种情况下，可以省略滤光器122。
54.聚光透镜阵列123可以包括被配置为将穿过透镜阵列110的光聚集到感测阵列121上的多个聚光微透镜123a。例如，聚光透镜阵列123可以包括与包括在感测阵列121中的感测元件的数量相同数量的聚光微透镜123a。多个聚光微透镜123a可以布置在成像光学透镜与感测阵列121之间，以将穿过成像光学透镜的光聚集并透射到与每个聚光微透镜123a对应的感测元件121a。例如，如图1b中所示，聚光微透镜123a可以设置在感测阵列121的每个感测元件121a上方，以将光聚集到位于聚光微透镜123a下方的感测元件121a上。此外，如图1b中所示，滤色器122a可以设置在聚光微透镜123a与感测元件121a之间。
55.滤光器122可以是具有透射预定的波段并阻挡其余波段的光学特性的滤波器。例如，滤光器122可以被实现为包括沿着滤波器平面布置的多个滤色器的滤色器阵列(cfa)。每个滤色器122a可以是允许与预定的颜色对应的波段的光通过并且阻挡其余波段的光的滤波器。滤色器122a可以包括例如红通滤波器、绿通滤波器和蓝通滤波器。红通滤波器可以允许与红色对应的波段的光通过，并且可以阻挡其余波段的光。绿通滤波器可以允许与绿
色对应的波段的光通过，并且可以阻挡其余波段的光。蓝通滤波器可以允许与蓝色对应的波段的光通过，并且可以阻挡其余波段的光。在滤色器阵列中，单独透射颜色光的滤色器可以沿着滤波器平面以拜耳(bayer)图案或其他图案布置。滤光器122还可以是阻挡红外线同时使可见光通过的红外截止滤波器。
56.由图像传感器120捕获和恢复的图像的质量可以基于包括在感测阵列121中的感测元件的数量和入射在感测元件121a上的光的量来确定。例如，图像的分辨率可以基于包括在感测阵列121中的感测元件的数量来确定，并且图像的灵敏度可以基于入射在感测元件121a上的光的量来确定。入射在感测元件121a上的光的量可以基于感测元件121a的尺寸来确定。当感测元件121a的尺寸增大时，入射光的量可以增大，并且感测阵列121的动态范围可以增大。因此，当包括在感测阵列121中的感测元件的数量增加时，由图像传感器120捕获的图像的分辨率可以增大。随着感测元件121a的尺寸增大，图像传感器120可以在低照度环境下在捕获高灵敏度图像时更有效地操作。
57.透镜阵列110的单个透镜元件111可以覆盖感测阵列121的与单个透镜元件111的透镜尺寸对应的预定的感测区域129。感测阵列121中由透镜元件111覆盖(或基本上覆盖)的感测区域129可以基于透镜元件111的透镜尺寸来确定。感测区域129可以指示感测阵列121中的区域，预定的视场(fov)的光线在穿过对应的透镜元件111之后到达该区域。感测区域129的大小可以由对角线长度或从感测区域129的中心到最外点的距离表示。换句话说，穿过单个透镜元件111的光可以入射在包括在感测区域129中的感测元件上。
58.感测阵列121的感测元件中的每个可以基于穿过透镜阵列110的透镜的光线来生成感测信息。例如，感测元件121a可以感测通过透镜元件111接收的光的强度的值作为感测信息。成像装置100可以基于由感测阵列121输出的感测信息来确定对应于与包括在成像装置100的视场中的点相关的原始信号的强度信息，并且可以基于确定的强度信息来恢复捕获的图像。
59.此外，感测元件121a可以通过感测穿过滤色器122a的光来生成对应的颜色的颜色强度值作为感测信息。包括在感测阵列121中的多个感测元件中的每个可以被设置为感测与由与其空间相邻地设置的相邻感测元件感测的颜色不同的颜色。
60.当充分确保感测信息的多样性并且在感测信息和与包括在成像装置100的视场中的点对应的原始信号信息之间形成满秩关系时，可以获得与感测阵列121的最大分辨率对应的捕获图像。感测信息的多样性可以基于成像装置100的参数(诸如，包括在透镜阵列110中的透镜的数量和包括在感测阵列121中的感测元件的数量)来确保。
61.在用于成像的mla的结构中，成像光学透镜和感测阵列121可以基于分数对准(fractional alignment)结构来布置。例如，分数对准结构可以表示其中由单个透镜元件111覆盖的感测区域129包括非整数个感测元件的结构。
62.当包括在透镜阵列110中的透镜元件具有相同的透镜尺寸时，包括在透镜阵列110中的透镜元件的数量和包括在感测阵列121中的感测元件的数量可以是互质的关系。与透镜阵列110的一个轴对应的透镜元件的数量l和与感测阵列121的一个轴对应的感测元件的数量p之间的比率p/l可以被确定为实数。透镜元件中的每个可以覆盖与对应于p/l的像素偏移相同数量的感测元件。例如，可以被单个透镜元件111覆盖(或基本上覆盖)的图1a的感测区域129可以包括沿着竖直轴的“2.3”(＝7/3)个感测元件和沿着水平轴的“3.67”(＝11/
3)个感测元件。此外，透镜元件111可以覆盖多个非整数聚光微透镜123a。因此，在图像传感器120中，聚光微透镜123a的数量可以与感测阵列121的感测元件的数量相同。此外，透镜阵列110的透镜元件(例如，成像光学透镜)的数量可以比聚光微透镜123a的数量少。
63.通过如上所述的分数对准结构，成像装置100中的每个透镜元件111的光学中心轴(oca)可以相对于感测阵列121略微不同地布置。换句话说，透镜元件111可以设置为与感测元件121a偏心。因此，透镜阵列110的每个透镜元件111可以接收不同的光场(lf)信息。下面将参照图2进一步描述由分数对准结构接收的lf信息。
64.图2是示出根据示例实施例的感测元件通过透镜元件接收光线的示例的示图。
65.lf可以指代指示从任意目标点辐射并从对象上的任意点反射的光线的方向和强度的场。lf信息可以是通过使多个lf组合获得的信息。由于每个透镜元件的主光线的方向也变化，所以感测区域可以接收不同的lf信息。因此，成像装置可以获得在光学上更大量的感测信息。
66.如图2中所示，感测阵列220可以接收和检测与各个点230(例如，x1至x10)对应的光线。从各个点230中的每个发射的多条光线可以形成lf。从第一点x1发射的光线可以形成第一lf，并且可以入射在第一感测元件s1、第四感测元件s4和第七感测元件s7上。从其余点x2至x10发射的光线也可以形成对应的lf。各个点230可以是预定的物体(例如，对象)上的点。从各个点230发射的光线可以是诸如从物体反射的太阳光的光线。作为示出成像装置的示例的剖视图，为了便于描述，图2示出了包括沿着一个轴的三个透镜元件的透镜阵列210和包括十个感测元件s1至s10的感测阵列220。然而，示例实施例不限于此。
67.感测元件s1至s10可以感测穿过多个透镜元件并且彼此重叠的光线。感测元件s1可以生成从点x1至x3发射的光线的重叠的感测信息(例如，强度值)。类似地，感测元件s2至s10也可以生成从多个各个点230发射的光线的重叠的感测信息。图像传感器可以恢复重叠的感测信息。
68.由图2中示出的感测元件s1至s10生成的感测信息可以根据下面示出的等式1被建模为与从点230中的每个入射的光线对应的原始信号信息(例如，强度值)。
69.[等式1]
[0070]
s＝t
·
x
[0071]
在等式1中，s表示指示由各个感测元件感测的感测信息(例如，检测的强度值)的矩阵。x表示指示与从各个点入射在感测元件s1至s10上的光线对应的信号值(例如，入射光线的颜色强度值)的矩阵。t表示变换矩阵，并且可以指示由感测元件s1至s10感测的感测信息与对应于入射光的信号信息之间的关系。在图2中示出的结构中，与各个点x1至x10、透镜元件和感测元件s1至s10对应的光线可以如下面的等式2所示建模。在等式2中，各个点x1至x10可以被建模为位于距图像传感器的无限远的焦点处。图像传感器与各个点x1至x10中的每个之间的距离可以大于阈值距离。
[0072]
[等式2]
[0073][0074]
在等式2中，为了便于描述，与各个点x1至x10对应的光线信号信息(例如，光线强度值)由x1至x10表示。另外，由感测元件s1至s10感测的感测信息(例如，感测强度值)由s1至s10表示。与包括在感测阵列220中的感测元件s1至s10对应的感测信息和与从各个点x1至x10入射的光线对应的原始信号之间的关系(例如，上述变换矩阵)可以基于透镜元件和感测元件的布置、包括在透镜阵列210中的透镜元件的数量和/或包括在感测阵列220中的感测元件s1至s10的数量来确定。
[0075]
等式2对应于各个点x1至x10是距图像传感器无限远的焦点的情况。当各个点x1至x10位于距图像传感器有限远的焦点处时，在每个感测元件中接收的原始信号可以根据对象与图像传感器之间的距离和/或图像传感器的几何结构而变化。
[0076]
如上所述，成像装置可以基于各种获取的感测信息来获取多个低分辨率输入图像，并且可以根据低分辨率输入图像恢复具有比低分辨率输入图像的分辨率高的分辨率的输出图像。下面将参照图3描述通过重新排列多个低分辨率输入图像来生成单个图像的方法。
[0077]
图3是示出根据示例实施例的感测元件的数量与透镜元件的数量之间的关系的示图。
[0078]
如上所述，成像光学透镜和感测阵列可以以分数对准结构布置。图3示出了透镜元件的数量l与感测元件的数量p之间的比率p/l为10/3的示例。
[0079]
基于透镜阵列和感测阵列的上述几何结构，由每个透镜元件覆盖的感测元件可以接收与由另一透镜元件覆盖的感测元件感测的lf信息不同的lf信息。例如，在图2的结构中，第一感测元件s1可以接收包括第一点x1的第一lf、第二点x2的第二lf和第三点x3的第三lf的组合的lf信息。另一方面，在图2的结构中，与第一感测元件s1相邻的第二感测元件s2可以接收包括第四lf、第五lf和第六lf的组合的lf信息。如上所述，每个感测元件可以接收与由另一感测元件感测的lf信息不同的lf信息。
[0080]
为了恢复具有高分辨率的图像，成像装置和/或图像传感器可以基于lf信息之间的相关性来重新排列多个捕获的低分辨率图像中的指示对象上的相同点或相邻点的像素的图像像素位置。
[0081]
例如，如果图像是彩色图像，则彩色图像可以具有作为像素值的基于颜色系统的颜色值，但是由于物理限制，图像传感器可能难以在单个点处同时感测三种颜色。通常，能够仅允许一种颜色通过的滤色器设置在感测元件的前端，因此在感测元件中的每个的位置处可感测的颜色可以与由相邻感测元件感测的颜色不同。因此，相对于在预定的位置处的
第一感测元件(例如，具有其中设置有蓝通滤波器的前端的感测元件)，成像装置和/或图像传感器可以通过使用由与第一感测元件相邻的第二感测元件(例如，具有其中设置有红通滤波器的前端的感测元件)感测的颜色值来对未被第一感测元件感测的颜色值(例如，红色值)进行插值。成像装置和/或图像传感器可以通过对每个颜色通道执行插值来获得三个颜色通道图像。然而，上述颜色值的插值仅仅是示例，并且其他方法还可以根据设计被执行。
[0082]
成像装置和/或图像传感器可以重新排列每个颜色通道的像素，这将在下面描述。例如，在rgb颜色系统中，成像装置和/或图像传感器可以通过重新排列低分辨率红色通道图像的像素来恢复高分辨率红色通道图像。类似地，成像装置和/或图像传感器可以恢复高分辨率蓝色通道图像和高分辨率绿色通道图像。因此，成像装置和/或图像传感器可以获得高分辨率彩色图像。然而，示例实施例不限于此。例如，成像装置和/或图像传感器可以通过合并通过如上所述的插值获得的三个颜色通道图像来获得低分辨率彩色图像，并且可以通过重新排列低分辨率彩色图像的像素来恢复高分辨率彩色图像。
[0083]
成像装置和/或图像传感器可以通过将与接收类似的lf信息的感测元件对应的像素的像素位置重新排列为彼此相邻来构建高分辨率图像的像素信息。如上所述，每个感测元件可以接收其中多个lf重叠的lf信息。当包括在由两个感测元件感测的多条信息中的相同lf的数量增加时，所述多条信息之间的相关性可能增大。可以基于在其处捕获对应的像素的深度来执行像素的像素位置的重新排列。在一个示例中，在其处捕获像素的深度可以被设置为通过立体图像匹配估计或者由深度传感器测量的任意深度值。在另一实例中，像素位置还可以通过神经网络重新排列，该神经网络被设计为即使在其处捕获像素的深度未被测量和/或估计，也会基于在其处捕获对象的深度重新排列像素位置。上述像素位置的重新排列也可以被称为“像素混洗(shuffle)”。例如，可以使用被设计为响应于多个低分辨率输入图像的输入而输出单个高分辨率输出图像的神经网络来重新排列像素位置。可以基于通过在各个深度处捕获对象而获得的训练数据集来训练神经网络。
[0084]
图像传感器可以假设从其反射光线的对象上的点位于无限远的焦点处且距离图像传感器比阈值距离远，并且可以确定要在每个感测元件中感测的lf信息。图像传感器可以重新排列具有由感测元件输出的输出值的像素的像素位置，使得像素位置可以彼此相邻，该感测元件接收从对象上彼此空间上相邻的点发射的lf。
[0085]
作为参照，各个点x1至x10在图2中以无限远的焦距处彼此空间上相邻的顺序示出。第一点x1可以与第二点x2相邻。第二点x2可以与第一点x1和第三点x3相邻。
[0086]
在图3中尚未重新排列的感测元件311中，在第一感测元件s1中感测的lf信息和在第八感测元件s8中感测的lf信息二者可以包括与第二点x2和第三点x3对应的lf。因此，第一感测元件s1和第八感测元件s8可以接收类似的lf信息。等式3表示通过根据以上等式2将与类似的lf信息对应的像素重新排列为彼此相邻而获得的结果。
[0087]
[等式3]
[0088][0089]
根据等式3重新排列的感测元件312可以如图3中所示。第一感测元件s1可以被第一透镜覆盖，并且第八感测元件s8可以被第三透镜覆盖。此外，第五感测元件s5可以被第二透镜覆盖。由于在每个感测元件中感测的感测信息对应于构成图像的像素，因此图像传感器和/或成像装置可以重新排列像素，使得与穿过不同透镜的光线对应的感测信息可以是相邻的。重建图像325可以是其中具有通过感测元件获得的感测值的像素的像素位置被布置为相邻的图像，该感测元件接收由各个透镜捕获的低分辨率图像321、322、323和324中的类似的lf信息。
[0090]
图4示出了根据示例实施例的基于成像装置中的mla的结构的焦距的减小。
[0091]
成像装置的体积可以由透镜元件的焦距确定。这是因为图像传感器需要与透镜元件间隔开与透镜元件的焦距对应的距离，以收集由透镜元件折射的光。透镜元件的焦距可以由成像装置的fov和透镜元件的尺寸确定。如果fov是固定的，则焦距可以与透镜元件的尺寸成比例地增大。为了捕获预定的fov范围内的图像，透镜元件的尺寸可能需要随着感测阵列的尺寸增大而增大。
[0092]
如上所述，为了在保持fov和图像的分辨率的同时增大图像的灵敏度，可以增大图像传感器的体积。为了在保持图像的分辨率的同时增大图像的灵敏度，可能需要在保持包括在感测阵列中的感测元件的数量的同时增大每个感测元件的尺寸，因此感测阵列的尺寸会增大。为了保持fov，透镜元件的尺寸和透镜元件的焦距会随着感测阵列的尺寸增大而增大，并且因此图像传感器的体积会增大。
[0093]
当包括在透镜阵列中的每个透镜元件的尺寸减小时(即，当包括在透镜阵列上的相同区域中的透镜的数量增大时)，每个透镜元件的焦距可以减小。因此，可以实现具有减小厚度的成像装置的薄相机。如图4中所示，与单个透镜410的焦距f相比，mla420中的每个的焦距f'可以减小。例如，如果包括“2
×
2”个透镜的mla420代替单个透镜410被使用，则焦距f'可以等于f/2。
[0094]
然而，光入射到其上的mla420的单个透镜的入射面积s'可以比光入射到其上的单个透镜410的入射面积s小。例如，入射面积s'可以等于s/4。此外，与入射在单个感测元件(例如，感测元件s2)上的光线的角度范围对应的入射立体角ω会由于焦距的减小而增大。例如，与mla420的单个透镜对应的入射立体角ω'可以等于4ω。下面将参照图5描述基于入射立体角的增大的模糊核(blur kernel)。
[0095]
图5示出了根据示例实施例的基于成像装置中的mla的结构的模糊核。
[0096]
当透镜被设计在mla510的结构中的相同fov处时，如上面参照图4所描述的，如果
针对相同面积的透镜的数量增加，则焦距可以减小并且入射立体角会增大。当入射立体角增大时，在感测元件中重叠的信号的数量会增大。当信号重叠时，由感测元件感测的信息可能模糊。例如，当fov是100度并且图像传感器520在具有单个透镜的成像装置中包括“100”个感测元件时，感测元件中的每个的fov可以是1度。在一个示例中，如果相同面积上的透镜的数量是“2”，则“50”个感测元件可以被mla 510的每个透镜覆盖。因此，感测元件中的每个的fov可以是2度。在另一示例中，如果相同面积上的透镜的数量是“50”，则“2”个感测元件可以被mla 510的每个透镜覆盖，并且感测元件中的每个的fov可以是50度。随着单个感测元件可感知的fov增大，更大量的lf信息会重叠，并且因此感测信息的模糊水平会增大。
[0097]
模糊核可以是通过对由单个感测元件中的lf信息的重叠引起的模糊进行建模而获得的核，并且也可以被称为“模糊模型”或“模糊滤波器”。至的lf信息可以通过mla 510由透镜孔径s会聚，并且会聚的lf信息可以由第i感测元件感测。可以表示聚集在感测元件的最外点上的光线束，并且可以表示聚集在感测元件的相对侧的最外点上的光线束。这里，i可以是“1”与“n(n为大于1的自然数)”之间的整数，包括“1”和“n”，并且n可以是包括在图像传感器520中的感测元件的总数。一束聚集的光线的信号强度可以如下面的等式4和5所示来表示。
[0098]
[等式4]
[0099][0100]
[等式5]
[0101][0102]
在等式4中，x
a
表示在方向a上聚集的光线的强度。在等式5中，x
b
表示在方向b上聚集的光线的强度。在等式4和等式5中，s表示入射面积，a表示面积的变量。
[0103]
第i感测元件可以感测通过累积fov内的所有lf信息而获得的强度值。通过累积第i感测元件的fov内的所有lf信息而获得的强度值可以被离散地近似，这可以如下面的等式6所示来表示。
[0104]
[等式6]
[0105][0106]
在等式6中，s[i]表示由第i感测元件感测的强度值，θ表示角度的变量。在配置有包括mla 510的成像光学系统的成像装置中，可以对图像的模糊核进行建模，使得每个感测元件的fov内的lf信息可以以相同的尺寸(例如，“1”)重叠。如下面的等式7中所示，由第i感测元件感测的感测信息s[i]可以被建模为原始lf信息x
ω
[i]与均匀的模糊核h[i]之间的卷积关系。
[0107]
[等式7]
[0108]
s[i]＝(x
ω
[i]*h[i]) t[i]
[0109]
在等式7中，h[i]表示模糊核，并且t[i]表示噪声分量。如下面的等式8中所示，如果等式7的傅里叶变换被执行，则卷积运算可以由乘法代替。
[0110]
[等式8]
[0111]
s(f)＝x
ω
(f)
·
h(f) t(f)在等式8中，s(f)表示由第i感测元件感测的强度值的频率信息，x
ω
(f)表示原始信号的频率信息，h(f)表示模糊核的频率响应特性，t(f)表示噪声的频率信息。如下面的等式9中所示，要恢复的原始信号的频率信息x
ω
(f)可以根据等式8计算。
[0112]
[等式9]
[0113][0114]
如果逆傅里叶变换被应用于等式9，则去模糊的x
ω
[i]可以被获得。
[0115]
然而，由于作为等式9中的噪声分量的t(f)是未知分量，因此即使t(f)被建模为统计概率分布，也可能出现由于t(f)/h(f)引起的误差。如图5中所示，由于空间域中的均匀模糊核h[i]，噪声分量可能被放大。频率转换后的均匀模糊核h[i]的频率响应特性h(f)可以包括过零点590，并且脉冲分量可以由过零点590在频率响应特性h(f)的倒数中引起。由于脉冲分量与噪声分量相乘，因此噪声可以在去模糊处理中被极大地放大。
[0116]
图6示出了根据示例实施例的包括掩模(mask)阵列的成像装置的模糊核。
[0117]
成像装置的模糊核h'[i]可以被设计为抑制噪声分量。例如，模糊核h'[i]可以被设计成使得过零点690可以在频域的频率响应特性h'(f)中被最少化。
[0118]
掩模阵列可以设置在成像透镜阵列与感测元件之间，并且可以包括阻挡在一部分方向上引导的光的掩模元件。例如，掩模阵列可以阻挡在穿过mla的光之中的在一部分方向上引导的光，并且可以选择性地允许在其他方向上引导的光通过，以形成模糊核h'[i]。
[0119]
图7是根据示例实施例的其中设置有掩模阵列的成像装置的剖视图。
[0120]
成像装置可以包括成像透镜阵列710和图像传感器720。成像透镜阵列710可以包括被配置为透射从成像装置的外部接收的光的成像光学透镜，并且可以如上面的图1中所示地设置。成像光学透镜可以形成成像光学系统。
[0121]
成像光学系统可以是在感测阵列721上执行成像的光学系统，并且光学特性可以由例如成像透镜阵列710的焦距、尺寸、形状和结构和/或成像透镜阵列710与感测阵列721之间的几何关系来确定。例如，成像光学系统还可以包括阻挡部分711，阻挡部分711被配置为防止穿过单个成像光学透镜的光到达由另一成像光学透镜覆盖的感测区域。此外，成像光学系统还可以包括被配置为将光透射到成像光学透镜的光圈(未示出)。
[0122]
感测阵列721可以包括被配置为感测从外部接收的光的多个感测元件。感测元件可以各自接收在多个方向上引导的光，并且在单个方向上入射在成像装置上的光束可以被成像光学透镜聚集为该方向上的光线。属于任意感测区域的感测元件可以接收分别对应于多个方向并且由覆盖该感测区域的成像光学透镜聚集的光线。在图7中，作为示例示出了通过穿过成像光学透镜而向感测元件的第一方向引导的第一光线791和向第二方向引导的第二光线792。
[0123]
如上所述，由于成像光学系统包括具有多透镜结构的成像透镜阵列710，因此感测阵列721的单个感测元件可以感测在多个方向上接收并且彼此重叠的光线。换句话说，在感测阵列721中成像的光的重叠可以被建模为图6的模糊核h'[i]。
[0124]
掩模阵列724可以包括多个掩模元件，并且可以设置在感测阵列721上。掩模元件可以设置在感测阵列721的感测元件所设置的位置上方，并且可以吸收和阻挡被引导到该位置的光的一部分或全部。掩模阵列724可以将与图5的模糊核对应的成像光学系统修改为与图6的模糊核h'[i]对应的光学系统。掩模阵列724还可以被理解为通过对光进行编码来使穿过成像光学透镜的光透射到感测阵列721，并且可以被称为“编码掩模阵列724”。掩模阵列724可以设置在感测阵列721内部的位置处或与感测阵列721接触的位置处。尽管期望的是，不管掩模阵列724的位置如何，在掩模阵列724与感测元件(例如，第一感测元件721a至第五感测元件721e)之间没有间隙，但是由于制造工艺的限制，掩模阵列724会与感测元件间隔开约1微米(μm)或更小。
[0125]
多个掩模元件可以以模糊核的频率响应特性的过零被最少化的图案设置。例如，穿过成像光学透镜的第一光线791可以通过掩模元件入射在感测元件上。第二光线792可以入射在掩模元件上并且可以被吸收。第二光线792可以是在上面参照图6描述的模糊核的频率响应特性中引起过零的光线。因此，掩模阵列724可以阻挡导致过零的方向上的光线。
[0126]
成像装置和/或图像传感器720可以感测在通过掩模阵列724选择性地过滤后的方向上的重叠的lf信息。因此，包括掩模阵列724的成像装置和/或图像传感器720可以恢复具有降低的噪声的图像。虽然噪声可能是由掩模阵列724引起的光的量的损失引起的，但是由于掩模阵列724而修改的模糊核的噪声抑制效果可以极大地增大。结果，恢复的图像的质量可以通过掩模阵列724的掩模图案来增强。
[0127]
多个掩模元件可以根据掩模图案形成和/或设置。掩模图案可以以感测元件为单位或以感测元件组为单位重复。设置在第一感测元件721a上的第一掩模图案、设置在第二感测元件721b上的第二掩模图案、设置在第三感测元件721c上的第三掩模图案、设置在第四感测元件721d上的第四掩模图案和设置在第五感测元件721e上的第五掩模图案可以相同。
[0128]
下面将参照图8描述掩模阵列724的掩模图案的设计。
[0129]
图8示出了根据示例实施例的设计掩模阵列的掩模图案的方法。
[0130]
多个掩模元件可以以其中基于滤波器的频率响应特性确定的成本函数被最小化的图案形成。掩模阵列中的针对每个感测元件或针对每个感测元件组设置的掩模图案可以被确定为其中作为模糊核的频率响应特性的倒数的1/h(f)的欧几里德范数(euclidean norm)被最小化的图案。
[0131]
参照图8，在操作810中，可以设置掩模阵列的目标孔径比。孔径比可以是要透射的光相对于入射在与掩模图案对应的图案区域上的光的比率，并且可以表示开口区域的面积相对于图案区域的面积的比率。图案区域可以是在掩模阵列中与感测元件或感测元件组对应的区域。孔径比可以被设定为例如10％至90％的比率或者30％至70％的比率。期望地，孔径比可以被设定为40％至60％的比率。
[0132]
在操作820中，可以生成根据设置的孔径比的掩模图案。掩模阵列可以被分割成与各个感测元件对应的图案区域，并且图案区域中的每个可以被分割成多个空间。单个空间
可以限定其中可以形成掩模元件的单元区域。其中形成掩模元件的空间可以被称为“封闭空间”，并且其中不形成掩模元件的空间可以被称为“开口空间”。换句话说，掩模阵列中的封闭空间可以吸收光的全部或一部分，并且开口空间可以允许光通过。基于在操作810中设置的目标孔径比来组合开口空间和封闭空间的掩模图案可以被生成。如果图案区域包括“n
×
n”个空间并且目标孔径比为50％，则可生成“n2/2”个掩模图案。封闭空间可以用于根据每个掩模元件的透射率(或透射水平)对掩模元件中的每个进行分类，这将在下面参照图10进行描述。
[0133]
为了便于描述，在操作820中示出了生成掩模图案的整个组合的示例，然而，示例实施例不限于此。在一个示例中，可以组合预定义的图案，或者可以通过在给定的组合内的图案之间交换或切换来生成要搜索的掩模图案。例如，如果添加图案对称的条件，则可以仅相对于重复的区域搜索图案，并且可以对称地使用生成的图案。
[0134]
在操作830中，可以针对每个生成的掩模图案计算成本函数值。可以使用基于上面参照图5和图6描述的模糊核的频率响应特性的倒数的成本函数。由于基于掩模图案形成的掩模元件，因此可以修改成像光学系统的模糊核，并且可以计算修改后的模糊核的频率响应特性h'(f)。可以基于表示频率响应特性的函数的倒数的欧几里德范数、该倒数的方差和/或该函数的欧几里德范数的倒数来确定基于修改后的模糊核的频率响应特性h'(f)的倒数1/h'(f)的成本函数。例如，可以使用下面的等式10中示出的成本函数e。
[0135]
[等式10]
[0136][0137]
在等式10中，表示频率响应特性h'(f)的倒数的欧几里德范数。过零点的数量可以通过来最小化。表示频率响应特性h'(f)的欧几里德范数的倒数。通过频率响应特性h'(f)的值可以被设计成不为零。表示频率响应特性h'(f)的倒数的方差。1/h'(f)可以被设计，使得方差可以在频域中被最小化。等式10的成本函数e可以是各个成本因子的加权平均值，并且α、β和γ表示权重。
[0138]
在操作840和850中，可以搜索并确定其中成本函数值被最小化的掩模图案。可以在给定的条件下计算具有封闭空间和开口空间的组合的掩模图案中的每个的成本函数值，并且可以搜索通过成本函数使噪声放大最小化的掩模图案。在操作850中，可以将作为搜索结果找到的掩模图案确定为掩模阵列的图案。图像传感器可以包括其中重复找到的掩模图案的掩模阵列。
[0139]
图9和图10示出了根据示例实施例的掩模阵列的示例。
[0140]
图9示出了掩模阵列924的每个单个空间的光的透射状态被分类为二元状态的示例。换句话说，开口空间991可以允许入射在其上的所有光通过，并且封闭空间992可以吸收入射在其上的所有光。
[0141]
掩模阵列924可以被分割成多个组区域。组区域924a可以是掩模阵列924中的覆盖所相邻的感测阵列921的单个感测元件或多个感测元件的区域。尽管图9中示出了掩模阵列
924的组区域924a覆盖单个感测元件的示例，但是掩模阵列924的组区域924a可以覆盖包括被分组以表示单个像素的多个感测元件的感测元件组，这将在下面参照图11进行描述。组区域924a的掩模图案990可以被重复。例如，掩模阵列924的所有的所述多个组区域可以具有相同的掩模图案990。
[0142]
掩模阵列924的与单个感测元件对应的图案区域可以包括孔径区域和掩模区域。孔径区域可以占据相对于对应的区域的总面积的与孔径比对应的面积，并且掩模区域可以占据其余面积。例如，掩模图案990可以是以50％的目标孔径比设计的图案。掩模图案990可以被划分为总共“7
×
7＝49”个空间，并且可以包括“24”个封闭空间992和“25”个开口空间。
[0143]
此外，掩模图案990可以确保部分区域995的孔径比以及相对于总面积的孔径比。由部分区域995中的孔径部分占据的面积可以大于或等于与设置的孔径比对应的面积。掩模图案990的部分区域995可以包括总共“4
×
4＝16”个空间，该“4
×
4＝16”个空间包括“8”个封闭空间992和“8”个开口空间991，因此孔径比可为50％。即使在掩模图案990的另一位置处的包括“4
×
4＝16”个空间的部分区域被考虑，孔径比也可以为50％。换句话说，掩模图案990可以被设计，使得具有目标孔径比的区域可以被均匀地分布。
[0144]
另外，包括在与单个掩模图案990对应的区域中的空间的数量(例如，掩模元件的数量)可以大于或等于成像光学系统的成像光学透镜的数量。如上面参照图5所述，由感测元件感测的信息会与mla中的透镜的数量成比例地模糊。为了通过抵消与透镜的数量成比例的模糊水平来恢复具有高分辨率的图像，图案区域可以包括与透镜的数量对应的用于提供去模糊功能的空间。当透镜阵列910包括“7
×
7＝49”个成像光学透镜时，掩模图案990可以至少包括“7
×
7＝49”个空间。通过透镜阵列910透射到感测阵列921的信息可以被模糊1/49，而掩模图案990可以提供49倍的相应的去模糊能力。
[0145]
图10示出了掩模阵列的单个掩模元件具有两个或更多个透射水平中的一个透射水平的示例。掩模元件可以阻挡和/或吸收到达掩模元件的光的一部分，并且透射水平可以指示透射入射光的水平和/或比例。掩模元件可以基于上述掩模图案沿着掩模阵列的平面形成和/或设置。
[0146]
单个掩模元件可以被分割成多个区域，并且单个掩模元件的透射率可以基于所述多个区域之中的开口区域与封闭区域的比率来确定。图10示出了设计有五个透射水平的掩模图案1000。每个掩模元件可以被分割成具有相同尺寸的四个区域。其中未形成掩模元件的空间1010可以具有第一透射水平(例如，100％透射)。第一掩模元件1021可以具有第二透射水平(例如，75％透射)，并且可以包括单个封闭空间。第二掩模元件1022可以具有第三透射水平(例如，50％透射)，并且可以包括与区域的一半(例如，两个区域)对应的封闭区域。第三掩模元件1023可以具有第四透射水平(例如，25％透射)，并且可以包括三个封闭区域。第四掩模元件1024可以具有第五透射水平(例如，0％透射)，并且第四掩模元件1024的所有区域可以是封闭区域。基于开口区域的数量和封闭区域的数量或者开口区域的面积和封闭区域的面积而确定的孔径比可以被解释为将透射的光的量与入射在区域上的光的量的比率。
[0147]
图11示出了根据示例实施例的图像传感器中的每个感测元件组的掩模图案的排列。
[0148]
图9中示出了单个感测元件被掩模阵列的每个组区域覆盖的示例，图11中示出了
包括多个感测元件1121a的感测元件组1121被掩模阵列1140的每个组区域1141覆盖的示例。在图11的示例中，图像像素的像素值可以基于由感测元件组1121(例如，“2
×
2”个感测元件1121a)感测的值来确定。掩模阵列1140可以包括多个掩模图案。如图9中所示，每个感测元件可以设置单个掩模图案，而如图11中所示，每个感测元件组1121可以设置单个掩模图案1190。掩模阵列1140的所有掩模图案可以具有相同的形状。
[0149]
图12a和图12b示出了根据示例实施例的掩模阵列的布置的示例。
[0150]
掩模阵列可以设置在允许在用于相机的传感器中沿预定的方向引导的光被阻挡和/或重叠的各种位置处。参照图12a，掩模阵列1240a可以设置在聚光透镜阵列1230与感测阵列1210之间的滤色器1220上。参照图12b，掩模阵列1240b可以设置在滤色器1220与感测阵列1210之间。如上所述，掩模阵列1240b和感测阵列1210可以彼此间隔开1μm或更小。
[0151]
图13是示出根据示例实施例的成像装置的配置的框图。
[0152]
成像装置1300可以包括透镜阵列1310和图像传感器。
[0153]
透镜阵列1310可以包括被配置为透射从外部接收的光的成像光学透镜。
[0154]
图像传感器可以是感测穿过透镜阵列1310的光的传感器。图像传感器可以包括掩模阵列1324、感测阵列1321和处理器1330。上面已经参照图1至图12b描述了掩模阵列1324和感测阵列1321，因此在此不重复其进一步描述。
[0155]
处理器1330可以基于由感测元件感测的感测信息来恢复图像。图像传感器的处理器1330也可以被称为例如图像信号处理器(isp)。处理器1330可以通过将感测信息变换到频域来生成频率信息，并且可以通过将频率信息除以与掩模阵列1324的掩模图案对应的模糊核的频率转换结果来生成去模糊的频率信息。处理器1330可以通过将去模糊的频率信息逆变换到时域来恢复高分辨率图像。除了图像恢复之外，感测信息还可以在例如针对对象的深度估计、重新聚焦、动态范围成像以及在低照度环境下捕获高灵敏度图像中被使用。
[0156]
图14是示出根据示例实施例的电子终端的配置的框图。
[0157]
电子终端1400可以包括成像模块1410和处理器1420。
[0158]
成像模块1410可以包括透镜阵列1411和图像传感器。图像传感器可以包括掩模阵列1412和感测阵列1413。与包括在如图13中所示的图像传感器中的处理器1330不同，图14示出了处理器独立于图像传感器放置。由于上面已经描述了透镜阵列1411、图像传感器和处理器1420，因此在此不重复进一步的描述。图14的处理器1420可以是应用处理器(ap)。
[0159]
图15和图16是示出根据示例实施例的要在其中实现图像传感器的装置的示例的示图。
[0160]
图像传感器和/或成像装置可以应用于各种技术领域。包括多个透镜的透镜阵列和包括多个感测元件的传感器可以被设计为彼此间隔开相对短的焦距，成像装置可以被实现为具有小厚度的超薄相机和用于高分辨率捕获的大传感器。
[0161]
图像传感器和/或成像装置可以安装在移动终端上。移动终端可以是未固定在任何位置的可移动终端，并且可以包括例如车辆、人工智能扬声器和便携式装置(诸如，智能电话、平板个人计算机(pc)或可折叠智能电话)。
[0162]
如图15中所示，成像模块1510可以应用于智能电话1500的前置相机或后置相机。成像模块1510可以具有其中将大型全帧传感器和mla组合的结构，并且可以应用于智能电话的相机。
[0163]
此外，成像模块1510可以以薄结构或弯曲结构在车辆中实现。如图16中所示，成像装置1610可以被实现为车辆1600中的具有弯曲形状的前置相机或后置相机。另外，成像装置1610还可以应用于以诸如数字单镜头反射(dslr)相机、无人机、闭路电视(cctv)、网络摄像头相机、全景相机、电影或广播视频相机、虚拟现实(vr)/增强现实(ar)相机、柔性/可伸展相机、复眼相机或隐形眼镜型相机为例的领域。此外，成像装置1610还可以应用于多帧超分辨率图像恢复，多帧超分辨率图像恢复用于基于关于多个捕获帧的信息来增大分辨率。
[0164]
在此描述的单元可以使用硬件组件和软件组件来实现。例如，硬件组件可以包括麦克风、放大器、带通滤波器、音频到数字转换器、非暂时性计算机存储器和处理装置。处理装置可以使用一个或多个通用或专用计算机(诸如，以处理器、控制器和算术逻辑单元(alu)、数字信号处理器、微型计算机、现场可编程门阵列(fpga)、可编程逻辑单元(plu)、微处理器或者能够以定义的方式响应和执行指令的任何其他装置为例)来实现。处理装置可以运行操作系统(os)和在os上运行的一个或多个软件应用。处理装置还可以响应于软件的执行来访问、存储、操纵、处理和创建数据。为了简单的目的，处理装置的描述被用作单数；然而，本领域技术人员将理解的是，处理装置可以包括多个处理元件和多种类型的处理元件。例如，处理装置可以包括多个处理器或者处理器和控制器。另外，不同的处理配置(诸如，并行处理器)是可能的。
[0165]
软件可以包括计算机程序、一段代码、指令或它们的一些组合，以独立地或共同地指示或配置处理装置以根据需要进行操作。软件和数据可以永久地或临时地实现在任何类型的机器、组件、物理或虚拟装置、计算机存储介质或装置中，或者以能够向处理装置提供指令或数据或者由处理装置解释的传播信号波实现。软件还可以分布在联网的计算机系统上，使得软件以分布式方式存储和执行。软件和数据可以由一个或多个非暂时性计算机可读记录介质存储。
[0166]
根据上述示例实施例的方法可以记录在非暂时性计算机可读介质中，该非暂时性计算机可读介质包括用于实现可以由计算机执行的各种操作的程序指令。介质还可以单独地或与程序指令组合地包括数据文件、数据结构等。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计和构造的程序指令，或者它们可以是计算机软件领域的技术人员公知的类型并且对于有计算机软件领域的技术人员是可利用的。非暂时性计算机可读介质的示例包括磁性介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，光盘只读存储器(cd rom)和数字通用盘(dvd))、磁光介质(诸如，光盘)以及专门被配置为存储和执行程序指令的硬件装置(诸如，只读存储器(rom)、随机存取存储器(ram)、闪存等)。程序指令的示例包括机器代码(诸如，由编译器产生的代码)和包含可以由计算机使用解释器执行的更高级代码的文件二者。描述的硬件装置可以被配置为用作一个或多个软件模块，以便执行上述示例实施例的操作，反之亦然。
[0167]
根据示例实施例，在此描述的组件、元件、模块和单元中的至少一个可以被实现为执行上述相应功能的各种数量的硬件结构、软件结构和/或固件结构。例如，这些组件、元件和单元中的至少一个可以使用可以通过一个或多个微处理器或者其他控制设备的控制来执行相应的功能的直接电路结构(诸如，存储器、处理器、逻辑电路、查找表等)。此外，这些组件、元件和单元中的至少一个可以具体地由模块、程序或代码的一部分实现，所述模块、程序或代码的一部分包含用于执行指定逻辑功能的一个或多个可执行指令，并且由一个或
多个微处理器或其他控制设备执行。此外，这些组件、元件和单元中的至少一个还可以包括处理器(诸如，执行相应功能的中央处理器(cpu)、微处理器等)或由处理器(诸如，执行相应功能的中央处理器(cpu)、微处理器等)实现。这些组件、元件或单元中的两个或更多个可以组合成一个单个组件、元件或单元，所述一个单个组件、元件或单元执行组合的两个或更多个组件、元件或单元的所有操作或功能。此外，这些组件、元件和单元中的至少一个的功能的至少一部分可以由这些组件、元件或单元中的另外的组件、元件或单元执行。此外，尽管在框图中未示出总线，但是可以通过总线来执行组件、元件或单元之间的通信。上述示例实施例的功能方面可以在一个或多个处理器上执行的算法中实现。此外，由块或处理操作表示的组件、元件或单元可以采用用于电子配置、信号处理和/或控制、数据处理等的任何数量的相关技术。
[0168]
虽然本公开包括示例实施例，但是对于本领域普通技术人员将清楚的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以在这些示例实施例中进行形式和细节上的各种改变。在此描述的示例实施例将仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述将被认为适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合和/或由其他组件或其等同物替换或补充，则合适的结果可以被实现。
[0169]
因此，公开的范围不是由具体实施方式限定，而是由权利要求及其等同物限定，并且在权利要求及其等同物的范围内的所有变化将被解释为包括在公开中。