具有改进的分辨率的全光子孔径视图改组的制作方法

具有改进的分辨率的全光子孔径视图改组
1.本技术是申请日为2017年6月27日、申请号为201780039763.9、发明名称为“具有改进的分辨率的全光子孔径视图改组”的发明专利申请的分案申请。
技术领域
2.本公开通常涉及数字图像处理，并且更具体地涉及使用去马赛克的全光成像技术。


背景技术：

3.该部分旨在向读者介绍本领域的各个方面，其可能与下面描述和/或请求保护的本发明的各个方面相关。相信该讨论有助于为读者提供背景信息以便于更好的理解。因此，应该理解，这些陈述应该从这个角度来阅读，而不是作为对现有技术的承认。
4.摄影通过记录光或其他电磁辐射来产生持久的图像。借助于图像传感器电子地捕获图像，或者借助于光敏材料用化学方法捕获图像。在常规相机中，在定时曝光期间，使用透镜将从对象反射或发射的光聚焦到照相机内部的光敏表面上的真实图像中。利用电子图像传感器，在每个像素处产生电荷，然后将电荷处理并存储在数字图像文件中以供进一步使用。在经典摄影中，焦面大致是平面或焦平面。焦面垂直于照相机的光轴，并且景深沿着平面是恒定的。相比之下，在全光照相机中，每个微图像描绘捕获的场景的区域，并且与该微图像相关联的每个像素从主透镜出射光瞳上的特定子孔径位置的角度示出该特定区域。然后，作为所有微图像的总和的结果，获得场景的原始图像，并且原始图像包含光场的角度信息。因此，原始图像中的相邻像素包含不同的角度信息，因为每个像素对应于不同的视图。
5.全光照相机使用微透镜阵列，该微透镜阵列位于主透镜的图像平面中，并且位于其上投射一个微图像(也称为子图像)的光传感器阵列之前。通过在主透镜和传感器之间放置微透镜阵列，全光照相机捕获进入照相机的光束的方向，以及它们的位置、强度和颜色。然后对捕获的数据进行解复用，以从场景上的略微不同的视点提供水平和垂直对齐的视图的矩阵。因此，每个微图像描绘了捕获的场景的区域，并且与该微图像相关联的每个像素从主透镜出射光瞳上的特定子孔径位置的角度示出该特定区域。然后，作为从光传感器阵列的各个部分获取的所有微图像的总和的结果，获得场景的原始图像。
6.最近发布的手持全光照相机已经将光场成像的潜力引入了大众市场。这种新能力已经突然增加了引入大量光场应用的兴趣。某些流行的应用已经包括那些专注于深度估计或捕获后重新聚焦的应用。原始数据转换很复杂，并且涉及需要解决的多个问题。其中一个问题涉及提供较高的分辨率的问题。因此，需要能够提供使用捕获的原始数据的更好的图像分辨率的改进技术。


技术实现要素：

7.通过本公开的技术实现了附加的特征和优点。本文详细描述了本发明的其他实施
例和方面，并将其视为请求保护的发明的一部分。为了更好地理解具有优点和特征的本发明，请参考说明书和附图。
8.提供了一种使用全光照相机生成高分辨率图像的系统和方法。在一个实施例中，包括通过使用设置在主透镜和具有多个孔径的透镜阵列之间的双折射介质在第一未激活操作状态下捕获第一组图像。然后将第一组图像中的每个像素映射到第一组孔径。然后通过在所述双折射介质上施加电压使第一未激活状态变为第二激活状态。在第二激活状态下捕获第二组图像，并且将第二图像的第二组像素映射到第二组孔径。针对每个第一和第二组图像计算值，并且从根据所述第二组图像计算的值的至少两倍中减去与所述第一组图像相关联的值。
附图说明
9.参考附图借助以下非限制性的实施例和执行示例将更好地理解和说明本公开，其中：
10.图1是示出在去马赛克处理中使用的滤色器阵列(cfa)的方框图；
11.图2a是利用滤色器阵列(cfa)图案捕获的全光微图像的描绘；
12.图2b是使用滤色器和微透镜阵列捕获的解复用图像的图示；
13.图3a是根据一个实施例的普通和特别状态二者的子孔径到像素的映射的图的描绘；
14.图3b是缩放图像的图示，提供更详细的如图3a中所示的实施例提供的普通状态的像素映射；以及
15.图3c是缩放图像的图示，提供更详细的如图3a中所示的实施例提供的普通状态的像素映射，以及
16.图4是根据一个实施例的图3中的过程的流程图描绘。
17.在图1
‑
4中，所表示的图提供了纯功能实体的示例，并且不一定对应于物理上独立的实体。也就是说，它们可以以软件、硬件的形式开发，或者在包括一个或多个处理器的一个或多个集成电路中实现。
18.在可能的情况下，在所有附图中将使用相同的参考标记来表示相同或相似的部分。
具体实施方式
19.应当理解，已经简化了本发明的图和描述，以说明与清楚理解本发明相关的元件，同时为了清楚起见，消除了在通常的数字多媒体内容传递方法和系统中存在的许多其他元件。然而，因为这些元件在本领域中是公知的，所以这里不提供对这些元件的详细讨论。本文的公开内容涉及所有这些变化和修改。
20.图1是使用在去马赛克过程中使用的滤色器阵列(cfa)的全光微图像矩阵的现有技术描述。如本领域技术人员所知，去马赛克是通过重建从图像传感器输出的不完整颜色样本来处理数字图像的技术，该图像传感器覆盖有诸如图1中使用的cfa的滤光器。滤色器阵列用于去马赛克处理是数字图像处理技术，其使用滤色器阵列以从不完整的颜色样本重建全色图像。该颜色样本通常是覆盖有cfa的一个或多个图像传感器的输出。滤色器阵列是
在一个或多个图像传感器前面的滤色器的马赛克。在商业上，最常用的cfa配置是拜耳滤光器。图1的现有技术示例提供了这种滤光器的示例。如图所示，用于奇数行的交替的红色(r)和绿色(g)滤光器在偶数行中进一步交替，其中间行包括散布的绿色(g)和蓝色(b)滤光器。这是因为拜耳图案是周期图案，其在每个维度(垂直的和水平的)中具有两种不同颜色像素的周期。在水平方向上，单个周期包括或者绿色像素和红色像素，或者蓝色像素和绿色像素。在垂直方向上，单个周期包括或者绿色像素和蓝色像素，或者红色像素和绿色像素。
21.最终结果，例如在这个例子中，绿色滤光器的数量是红色或蓝色滤光器的两倍，以满足人眼对绿光的更高灵敏度。cfa的颜色子采样本身导致混叠，因此光学抗混叠滤光器被放置在图像传感器和透镜之间的光路中，以减少由插值引入的假彩色伪影(色彩混叠)。由于传感器的每个像素位于滤色器后面，因此输出是像素值阵列，每个像素值指示三种滤光器颜色之一的原始强度。拜耳滤光器是cfa的一个示例，其在均匀网格上使用多变量插值。因此，需要一种算法来为每个像素估计所有颜色分量而不是单个分量的颜色级别。传统的去马赛克算法根据从cfa或其他滤光器输出的这种空间下采样的颜色通道重建全彩色图像。
22.这种算法中涉及的数学运算很简单，因为它基于相同颜色分量的附近实例。这种插值算法的最简单方法依赖于最近邻插值，其简单地复制相同颜色通道的相邻像素。然而，这种滤光器不适用于图像的细节和质量很重要的任何应用。此外，尽管这些方法可以在均匀图像区域中获得良好结果，但是当与纯彩色cfa一起使用时，它们在具有边缘和细节的区域中倾向于严重的去马赛克伪影。更复杂的去马赛克算法利用彩色图像内的像素的空间和/或光谱相关性，但它们仍然存在问题，如将参考图2b更详细地看到的。图2a是图示由全光照相机捕获的微图像的示例性实施例。每个像素由主透镜的出射光瞳的子孔径照亮。由于通过多个透镜的采样，一旦子孔径视图被解复用，与传统成像系统相比，最终图像可具有低分辨率。将结合图3和4更详细地讨论这些技术，可以在不需要任何附加传感器的情况下大大增强该分辨率。在图2a中，较浅的阴影表示绿色(g)，而最暗的阴影表示蓝色(b)，中灰色阴影表示颜色红色(r)。在该示例中，每个像素由主透镜的出射光瞳的子孔径照亮。
23.由于六边形采样、透镜和像素网格之间的残余旋转以及cfa，一旦子孔径视图被解复用，随后的视图可能在某些区域中具有从其缺失的信息或颜色。为了恢复场景中的视图或对象的缺失部分，可以对由全光照相机获得的原始数据进行去马赛克，以及然后解复用以恢复视图。问题是在大多数情况下，这会导致视图上的颜色伪影。考虑在包含不同角度信息的全光原始图像(微透镜下的每个像素对应于不同视图)上使用相邻像素构造的情况。在这种情况下将原始全光图像去马赛克可能会错误地混合角度信息。在内插相邻颜色值产生所谓的视图串扰伪影的传统算法中，这会导致错误的结果。
24.此外，已经示出了根据从去马赛克原始图像获得的视图的视差估计倾向于更大的误差。图2b是所讨论的解复用图像的图示。在图2b的所示示例中，向场景提供一个或多个对象的视图或图像。该图像由全光照相机拍摄。观察图2b的视图，难以识别所呈现的场景中的图像。在图2b中对象的整体轮廓是可视的，但是在图像中没有提供足够的信息以允许详细的对象识别。即使在阴影、强度和颜色不完全缺失的情况下，补偿的颜色信息也必须根据在大多数情况下是有问题的、远处的像素内插。这极大地影响了分辨率。在图2b中，去马赛克图像仍然缺失信息，但是图像被以适当的方式解复用。在没有去马赛克的情况下，需要将原
始数据解复用到场景的视图中，而不是被去马赛克。提高分辨率需要使用更高分辨率的传感器，这些传感器使用更小的“单元”，导致在低光和高噪声下性能较差。然而，即使使用这种质量的附加传感器单元，该技术也将很快遇到限制。将结合图3和图4讨论的本技术将提供一种增加光学分辨率的方法，使得具有足够良好性能的任何原始传感器仍然可以以改进的最终分辨率质量被使用。
25.在一个实施例中，使用随着电压的施加而变成双折射介质的介质。双折射是结晶材料的特性，结晶材料在被光线照射时会产生两条折射光线。这种性质是由于介质中原子的非各向同性分布，并且发生在结晶网状结构强非各向同性的结晶介质中。石英和方解石是展示出双折射的天然材料。利用上述介质，当非偏振光线照射到它们的处于特定方向的一个表面时，在折射时产生两条光线。其中一条光线具有一种偏振特性，而另一条光线具有略微不同的偏振特性。根据斯涅尔
‑
笛卡尔定律：n
i
sinθ
i
＝n
r
sinθ
r
，其中n
i
和n
r
是入射介质和折射介质的相应的(且不同的)折射率，并且θ
i
和θ
r
是入射角和折射角。
26.双折射材料根据斯涅尔定律折射光线，但中间的有效折射率取决于输入偏振态和折射光线相对于晶体轴的角度。在双折射材料中，可以定义这两种类型的光线为普通的和特别的。普通光线根据斯涅尔原理n sinθ＝n0sinθ
′
折射，其中“0”表示普通指数。
27.在双折射介质中，服从斯涅尔
‑
笛卡尔定律的光线称为普通光线，并且介质具有一个普通的折射率n0。所产生的第二条光线经历另一次折射n
e
，它在具有特别折射率n
e
的材料内的方向上传播，并且垂直于普通光线偏振。在双折射介质中，产生具有不同传播方向的两条光线。
28.对于特别光线，在双折射情况下，折射定律规定了n sinθ＝n(θ
w
)sinθ
′
，其中双折射材料中的有效折射率是角度θ
w
的函数。角度θ
w
是晶体轴矢量“a”和折射波矢量“k”之间的角度。另外，作为指向能量传播方向的矢量的光线矢量“s”不跟随波矢量“k”，而是相对于矢量“k”形成小角度。在各向同性材料中，矢量“k”和“s”是相同的。因此，对于大多数光学设计，必须考虑矢量“k”。在这些情况下，角度θ
w
被定义为：
[0029][0030]
有效折射率被定义为：
[0031][0032]
其中，n0是普通折射率，n
e
是特别折射率。
[0033]
知之间的角度α被定义为：
[0034]
其中
[0035][0036]
且矢量知均与晶体轴矢量共面。波矢量沿波前的法线方向，而沿着能量传播的方向。
[0037]
图3a示出了普通和特别状态的子孔径到像素映射的图。如图所示，多条光线(通常示为320)穿过参考标记325所示的介质。在该图的右手侧，是通常用参考标记327示出的主
透镜的出射光瞳。该主透镜出口被进一步分为子孔径v1至v12，如参考标记352共同所示。在该实施例中，介质330是电可控的。在一个实施例中，使用双折射材料，但是如本领域技术人员可以理解的，可用各种类似的介质。在一个示例中，为了提供双折射介质，使用包含扭曲液晶向列(tn)的双折射介质。在一个实施例中，tn液晶可以夹在具有透明氧化铟锡(ito)电极的两个玻璃板之间。在一个示例中，在其基态，在没有电压施加到tn单元的情况下，每个子孔径跟随描绘普通光线的绿色线被成像到每个微图像上的一个唯一的像素上。
[0038]
图3a示出了一个微透镜和一列像素，示出了普通光线如何将每个传感器像素映射到两个子孔径像素(一个对应于普通光线，一个对应于特别光线)。要了解特别光线是如何工作的，最好以另一种途径跟随蓝色光线(以较暗的阴影显示)：从像素到子孔径。当离开一个像素时，特别光线跟随蓝色路径(图中的深灰色)。它穿过其微透镜的光学中心，以及然后击中双折射单元325。该单元处于其具有施加电压的“特别”状态，以及因此，这次生成两条光线，折射成普通光线的绿色光线和折射成特别光线的蓝色光线。当两者都击中主透镜的出射光瞳时，普通光线在一个子孔径上结束，而特别光线映射到另一个子孔径中。这意味着如果从出射光瞳开始，在正常状态下，主子孔径的普通光线(绿色v2
‑
v12、v13
‑
v23)将击中传感器像素，并且次级子孔径被忽略丢弃。在“特别”状态下，一部分光将来自主子孔径(图中的绿色或浅灰色——作为普通光线)，另一部分光将来自次级子孔径(蓝色v1
‑
v11
‑
v14
‑
v24)。这允许通过一次在普通状态下和一次在特别状态下读取具有调制器的传感器来捕获两倍的分辨率。之后的处理将恢复更高分辨率的图像。
[0039]
图3b和3c各自提供了图3a的区域310的更详细的图示。更具体地，图3b更详细地示出了普通(绿色
‑
浅灰色)光线，而图3c更详细地示出了特别(蓝色或深灰色)光线。以这种方式，通过查看图3b和图3c中提供的细节，图3a的普通(绿色)和特别状态(蓝色)的子孔径到像素的映射变得更加明显。
[0040]
在普通状态下，读取像素v1到v11，并且其间的像素(例如，v1/2 v2/2...v11/2 v12/2)(光线未示出)落在子孔径之间。将分辨率信息添加到全光图像需要顺序拍摄两个图像。在单元处于普通状态的情况下，在t0处拍摄第一图像。传感器上的像素会记录以下状态：
[0041]
p(t0，v2)，p(t0，v4)，p(t0，v6)，...，p(t0，v12)，p(t0，v13)，p(t0，v15)，p(t0，v17)，...，p(t0，v23)
[0042]
在单元处于其特别状态的情况下，在t1处拍摄第二图像。如果场景中没有偏振现象，则会生成两条强度相等的光线：
[0043]
p(t0，v1)/2 p(t0，v2)/2，p(t0，v3)/2 p(t0，v4)/2
[0044]
因此，对于非边界的像素，如果从第二次拍摄的两倍中减去第一图像：根据一个实施例，可以恢复v1、v24，从而利用仅具有12个像素的传感器读取24个值。
[0045]
将该概念应用于其余像素，如果在t0和t1处产生两个场景拍摄，则可以从这些场景拍摄获得像素值的线性组合，其允许比使用传统方法通常提供的分辨率信息多两倍的分辨率信息。在一个示例中，该系统中使用的附加组件是扭曲向列(tn)单元。
[0046]
该系统中使用的附加组件是tn单元。液晶在普通折射率n0和特别折射率n
e
之间可以具有很大的差异。在某些情况下，例如本领域技术人员已知的名为mlc
‑
9200
‑
100的lc混合物可具有n
e
‑
n0＞0.2，这是非常大的差异。然而，在某些实施例中，为了减小单元的厚度这
是需要的。必须调整该厚度以与在微透镜阵列和传感器之间的单元的放置兼容，以及因此在某些应用中任何尺寸减小都可能是有帮助的(即使是几毫米)。
[0047]
图4是根据一个实施例的上面所解释的过程的流程图描述。图4图示了使用全光照相机生成不同颜色强度和特性的多个图像的方法的步骤，该全光照相机具有设置在具有多个孔径的透镜阵列之前的主透镜。如图4中所示，在步骤410处，使用电光偏振调制器的第一状态捕获第一组图像。在一个实施例中，调制器设置在所述主透镜和具有多个孔径的透镜阵列之间。在步骤420中，使用电光偏振调制器的第二状态捕获第二组图像。在步骤430中，诸如例如利用配置的处理器从关于第一组的信息中减去关于第二组图像的信息。在步骤440中，在该减法之后生成最终组图像，使得所述最终组图像具有增强的分辨率。在一个实施例中，用于生成不同颜色强度和特性的多个图像的系统可用于进行图4的方法步骤以及图3a和图3b的布置。在该实施例中，主透镜(310)设置在与多个孔径相关联的透镜阵列(352)的前面。诸如图3a所示的电控电光调制器(325)可以设置在所示的微透镜和透镜阵列之间。在施加电压时，电光调制器在两种状态(图3a中的330和340)之间起作用。然后使用电光偏振调制器的第一状态捕获第一组图像，并且还使用电光偏振调制器的第二状态捕获第二组图像，如结合图4所讨论的。随后，可以将处理器并入到系统中，该系统被配置为从关于第一组捕获图像的信息中减去关于所述第二组图像的信息，以生成(图4中的440)具有增强的颜色强度和特性的最终组图像。以这种方式，即使在全光照相机提供非常稀疏的颜色信息的、非常复杂的情况下，也可以获得丰富的颜色信息。