用于校正柱状透镜失真的方法和装置与流程

用于校正柱状透镜失真的方法和装置


背景技术：

1.由于与显示器重叠的柱状透镜片的制造或定位不一致，柱状透镜失真经常发生在柱状透镜自动立体显示器中。通常在制造过程期间出现的与柱状透镜片的物理属性相关的缺陷会导致自动立体显示器的观察者看到的三维(3d)图像中的误差。例如，当柱状透镜显示器已统一制造并正常运行时，观察者能够在没有明显失真效果的情况下观看3d图像，从而导致由左眼和右眼感知的由显示器发出的清楚的分开的视图。然而，当柱状透镜显示器被制造有柱状透镜缺陷时，会产生失真，这种失真导致向柱状透镜显示器的观察者显示的左右图像之间的串扰。未校正的柱状透镜失真表现为鬼像，其导致柱状透镜显示器的观察者眼睛疲劳。


技术实现要素：

2.本公开涉及一种方法，包括：捕获显示在柱状透镜显示器上的条纹图案的图像；使用该图像生成柱状透镜显示器的柱状透镜失真图；以及，使用该柱状透镜失真图补偿柱状透镜显示器的柱状透镜失真。补偿柱状透镜失真可以包括基于该柱状透镜失真图调整swizzle函数。
3.此外，柱状透镜失真图可以是双分量柱状透镜失真图。例如，双分量柱状透镜失真图是使用平行柱状透镜失真图和垂直柱状透镜失真图生成的。可以使用第一柱状透镜失真图、第二柱状透镜失真图和第三柱状透镜失真图生成平行柱状透镜失真图和垂直柱状透镜失真图。可以基于第一角度、第二角度和第三角度生成第一柱状透镜失真图、第二柱状透镜失真图和第三柱状透镜失真图。
4.此外，可以基于图像的强度图案生成第一柱状透镜失真图、第二柱状透镜失真图和第三柱状透镜失真图。
5.根据另一实施例，双分量柱状透镜失真图基于以下姿势数据，该姿势数据表示柱状透镜显示器的观看者的头部姿势的角度位置。
6.进一步地，双分量柱状透镜失真图基于柱状透镜显示器参数，柱状透镜显示器参数是以下项中的至少一个：柱状透镜显示器的柱状透镜节距、柱状透镜显示器的柱状透镜角度、柱状透镜显示器的柱状透镜焦距、从观看者到柱状透镜显示器的距离以及柱状透镜显示器的多个像素的像素节距。
7.本公开还涉及一种装置，特别是用于执行根据至少一个实施例的方法，装置包括：柱状透镜失真跟踪相机；柱状透镜显示器，该柱状透镜显示器耦合到柱状透镜失真跟踪相机，该柱状透镜失真跟踪相机被配置为捕获显示在柱状透镜显示器上的条纹图案的图像；以及，处理器，该处理器耦合到柱状透镜失真跟踪相机和柱状透镜显示器，其中，处理器使用图像生成柱状透镜显示器的柱状透镜失真图，并使用该柱状透镜失真图补偿柱状透镜显示器的柱状透镜失真。
8.根据一些方面的装置可以包括上文结合方法描述的特征。例如，处理器通过基于柱状透镜失真图调整swizzle函数来补偿柱状透镜失真，和/或柱状透镜失真图是双分量柱
状透镜失真图。
9.例如，根据至少一个方面的装置的显示器是显示三维(3d)图像的自动立体显示器或包括这样的自动立体显示器。
10.另一方面涉及一种方法，包括从柱状透镜失真跟踪相机接收柱状透镜显示器的图像；从该图像中确定柱状透镜失真图；使用该柱状透镜失真图计算swizzle函数；以及，通过将该柱状透镜失真图添加到swizzle函数来补偿柱状透镜显示器的柱状透镜失真。
11.该方面的方法可以包括根据上述实施例的方法的特征。例如，swizzle函数包括第一分量和第二分量，第一分量是平行分量，而第二分量是垂直分量。
附图说明
12.通过参考附图，可以更好地理解本公开，并且其众多特征和优点对于本领域技术人员来说是显而易见的。在不同的附图中使用相同的附图标记指示相似或相同的项目。
13.图1是根据一些实施例的包括柱状透镜自动立体显示器的透视图的计算机工作站的顶视图的图。
14.图2是根据至少一个实施例的图1的柱状透镜自动立体显示器的前视图，其具有红
‑
绿
‑
蓝(rgb)纹理编码的柱状透镜失真图。
15.图3描绘了根据至少一个实施例的在由柱状透镜失真跟踪相机拍摄的在图1的柱状透镜显示器上显示的条纹图案。
16.图4描绘了根据至少一个实施例的在由柱状透镜失真跟踪相机拍摄的在图1的柱状透镜显示器上显示的条纹图案。
17.图5描绘了根据至少一个实施例的在由柱状透镜失真跟踪相机拍摄的在图1的柱状透镜显示器上显示的条纹图案。
18.图6描绘了根据至少一个实施例的与柱状透镜失真跟踪相机的角度相关联的图1的柱状透镜显示器的柱状透镜失真图。
19.图7描绘了根据至少一个实施例的与柱状透镜失真跟踪相机的角度相关联的图1的柱状透镜显示器的柱状透镜失真图。
20.图8描绘了根据至少一个实施例的与柱状透镜失真跟踪相机的角度相关联的柱状透镜显示器的柱状透镜失真图。
21.图9描绘了根据至少一个实施例的用于测量图6的柱状透镜失真图的柱状透镜失真跟踪相机的位置。
22.图10描绘了根据至少一个实施例的用于测量图7的柱状透镜失真图的柱状透镜失真跟踪相机的位置。
23.图11描绘了根据至少一个实施例的用于测量图8的柱状透镜失真图的柱状透镜失真跟踪相机的位置。
24.图12描绘了根据至少一个实施例的与柱状透镜失真跟踪相机的角度相关联的图1的柱状透镜显示器的柱状透镜失真图。
25.图13描绘了根据至少一个实施例的与柱状透镜失真跟踪相机的角度相关联的图1的柱状透镜显示器的柱状透镜失真图。
26.图14描绘了根据至少一个实施例的与柱状透镜失真跟踪相机的角度相关联的图1
的柱状透镜显示器的柱状透镜失真图。
27.图15描绘了根据至少一个实施例的与图1的柱状透镜显示器相关联的柱状透镜失真图的垂直分量。
28.图16描绘了根据至少一个实施例的图1的柱状透镜显示器的柱状透镜失真图的平行分量。
29.图17描绘了根据至少一个实施例的图1的柱状透镜显示器的双分量柱状透镜失真图。
30.图18描绘了根据各种实施例的调整头箱的横向位置的移动技术。
31.图19描绘了根据各种实施例的调整头箱的横向位置的移动技术。
32.图20描绘了根据各种实施例的图1的显示面板的像素几何形状。
33.图21是根据至少一个实施例的在用于自动立体显示器的柱状透镜失真校正中采用红
‑
绿
‑
蓝(rgb)补偿的方法的流程图。
34.图22是根据一些实施例的包括自动立体显示器的透视图的计算机工作站的顶视图的图。
35.图23是根据至少一个实施例的对自动立体显示器采用柱状透镜失真校正的方法的流程图。
具体实施方式
36.图1至图23图示了用于补偿在显示三维(3d)图像的自动立体显示器中的柱状透镜失真的示例设备和技术。计算机工作站可以包括自动立体显示器，该自动立体显示器具有与该自动立体显示器的显示面板重叠的柱状透镜片。为了校正由例如柱状透镜片中的变形引起的柱状透镜失真，柱状透镜失真跟踪相机从柱状透镜显示器前方的与柱状透镜显示器的观看者的位置相对应的各种视角或角度捕获柱状透镜显示器的条纹图案。通过在每个角度捕获柱状透镜显示器的条纹图案的图像，柱状透镜失真跟踪相机能够确定与条纹图案相关联的强度图案。强度图案用于生成柱状透镜失真图，该柱状透镜失真图可用于生成双分量柱状透镜失真图，该双分量柱状透镜失真图是显示器的用户或观看者的头部位置的函数。双分量柱状透镜失真图可以由swizzle函数使用来调整由观看者看到的图像以补偿柱状透镜失真。结果，观察者能够实时观看没有柱状透镜失真的3d图像，从而增强基于3d的基于视频的通信和其它3d应用的用户体验。
37.图1示出了根据一些实施例的工作站100的俯视图。这里关于用于视频通信的3d系统中的示例实现来描述工作站100。然而，应当理解，在不同的实施例中，工作站100可以用于各种实现和应用中，这些实现和应用可以包括柱状透镜显示器(其包括例如虚拟现实和增强现实显示系统)、计算机游戏系统和通用计算应用等。
38.如图所示，工作站100包括根据至少一个实施例的装置，该装置具有自动立体显示器106和处理器150(例如，包括在桌面计算机130中)。自动立体显示器106包括头部跟踪模块118和柱状透镜显示器102。柱状透镜显示器102包括显示面板104和柱状透镜片122。显示面板104包括排列成行和列的显示像素的正交阵列。柱状透镜片122包括柱状透镜阵列120。柱状透镜失真跟踪相机110(其可以或可以不用作工作站100的一部分)位于柱状透镜显示器102的前方以进行用于柱状透镜失真校正的测量，如下文进一步描述的。
39.如图1所示，柱状透镜显示器102是被包括柱状透镜阵列120的柱状透镜片122覆盖的平面显示器。柱状透镜阵列120包括多个微透镜，其中每个透镜覆盖显示器面板104的一个区域或区域的一部分。柱状透镜阵列120的每个透镜被定位以从在柱状透镜显示器102处呈现的二维图像创建3d图像的外观。在其它实施例中，自动立体显示器106可以是另一种类型的自动立体显示器，即，包括视差屏障和柱状透镜阵列的显示器、其中单独的发光元件以特定角度发光使得可以照亮观看者105的一眼睛而不显著照亮另一眼睛的显示器、压缩光场显示器和全息显示器等。
40.在操作期间，工作站100的处理器150被配置为在自动立体显示器106上生成显示帧以为观看者105创建3d图像的印象。因此，例如，在至少一个实施例中，柱状透镜显示器102包括液晶显示器(lcd)或有机发光二极管(oled)显示器以及覆盖在显示面板104上的柱状透镜阵列120。在各种实施例中，处理器150是处理设备，例如中央处理单元(cpu)、图形处理单元(gpu)、神经网络处理器或它们的组合，其被配置为执行如本文进一步描述的工作站100的操作。应当理解，尽管为清楚起见，处理器150被示为单个处理器，但在一些实施例中，处理器150可以代表多个处理单元，其中每个处理单元包括一个或多个处理器核或其它计算单元。例如，在至少一个实施例中，处理器150代表具有多个处理器核的至少一个cpu和具有多个单指令多数据(simd)计算单元的至少一个gpu，其中这些计算单元被配置为执行图形操作。如本文进一步描述的，处理器150被配置为校正由于例如柱状透镜阵列120的制造缺陷或柱状透镜阵列120在显示面板104上的定位缺陷而发生的柱状透镜失真。
41.为了生成显示帧，柱状透镜阵列120的微透镜生成从第一位置可见的第一显示图像和从第二位置可见的第二显示图像。立体3d图像由显示面板104通过下述方式而产生：在像素网格的一部分上呈现第一显示图像以便从对应于用户的第一眼睛的位置的第一位置通过柱状透镜阵列120观看，并且在像素网格的一部分上呈现第二显示图像以便从对应于用户的第二眼睛的位置的第二位置通过柱状透镜阵列120观看，使得第二显示图像表示相对于第一显示图像的深度偏移以模拟视差。
42.例如，像素网格可以显示意图由参与者的左眼通过柱状透镜阵列120看到的第一显示图像，并且像素网格可以显示意图由参与者的右眼通过柱状透镜阵列120看到的第二显示图像。第一位置和第二位置可以基于观看者相对于显示器的位置(例如，横向/竖直位置、定位、深度、左眼或右眼的位置)。在一些实施方式中，用于生成第一显示图像和第二显示图像的第一方向和第二方向可以通过从与柱状透镜阵列120相关联的像素阵列中选择某些像素来确定。
43.处理器150基于与观看者105相对于显示面板104的定位对应的位置信息(与公开的实施方式一致地，该位置可由头部跟踪模块118捕获)来选择输出光线的集合，通过该输出光线的集合可以通过微透镜观看图像以显示左眼图像和右眼图像。在各种实施例中，多个微透镜中的每一个都可以覆盖一些数量的像素(例如，可以设置在这些像素上面于或与这些像素相关联)，使得每个像素从显示面板104前方的方向的一些有限子集是可见的。在观察者(观看者105)的头部140的位置是已知的时候，可以识别从一个眼睛可见的每个透镜下的像素子集(跨整个显示面板104)以及从另一眼睛可见的跨显示面板104的像素子集。通过为每个像素选择对应于将会从观看者的眼睛位置看到的虚拟视图的适当呈现的图像，每个眼睛都可以看到适当的图像。
44.为了在呈现图像以供观看者105适当观看之前校正由例如柱状透镜片中的变形引起的柱状透镜失真，头部跟踪模块118确定观看者105的头部140相对于柱状透镜显示器102的位置。通过确定观看者105的头部140的位置，头部跟踪模块118能够向处理器150提供观看者105的头部的角度位置以更新swizzle函数(下面参考图2进一步描述))，该swizzle函数被配置为减少观看者105看到的柱状透镜失真量。处理器150使用观看者105的头部的当前角度位置和柱状透镜显示器参数来更新双分量柱状透镜失真图。在各种实施例中，柱状透镜显示器参数是用于描述柱状透镜显示器和观看者105的头部位置的参数。在各种实施例中，柱状透镜显示器参数包括例如柱状透镜阵列120的柱状透镜的柱状透镜节距d、柱状透镜角度θ(即柱状透镜倾斜角度)、柱状透镜焦距f、观看者105与显示面板104的标称距离z以及像素节距p。头部跟踪模块118被配置为确定柱状透镜显示器参数中的从显示面板104到观看者105的头部140的标称距离。双分量柱状透镜失真图和柱状透镜显示器参数用于修改swizzle函数以检测和校正从观看者105的视点由观看者105观察到的柱状透镜失真。
45.图2图示了根据至少一个实施例的柱状透镜显示器102的示例，其中柱状透镜失真图被编码为使用图1的柱状透镜失真跟踪相机110生成的rgb纹理205。如图2所示，与柱状透镜片122相关联的失真水平由柱状透镜显示器102上显示的点的密度来描绘。参考图1和图3至图5，为了生成在swizzle函数中使用以矫正柱状透镜失真的失真图，使用柱状透镜失真跟踪相机110对显示在柱状透镜显示器102上的条纹图案(如图3至图5所示)进行相移干涉测量，并且将该相移干涉测量提供给处理器150以更新swizzle函数。使用柱状透镜显示器参数和相移干涉测量来调整swizzle函数，以便从观看者105的视角实时消除图像中的柱状透镜失真。
46.在各种实施例中，为显示面板104的每个像素定义swizzle函数s，并且swizzle函数s是输入参数ф的函数，其中，是柱状透镜波矢量，是像素位置，ф是柱状透镜失真图。柱状透镜失真图ф是x、y和α的函数，其中，x对应像素在x方向上的位置，y对应像素在y方向上的位置，α为观看者105的观察角度，其是单位向量和的函数，如下所示：
[0047][0048]
其中，α是
[0049][0050]
swizzle函数的主要目的是允许处理器150使用柱状透镜失真图φ(x，y，α)来保持swizzle函数均匀和周期性，以便补偿柱状透镜失真。注意，当柱状透镜片122没有变形时，不存在对应的柱状透镜失真并且swizzle函数保持均匀的周期函数，例如规则方波或余弦波。因此，当观看者105正在观看柱状透镜显示器并且从观看者105的视角来看没有柱状透镜失真时，由处理器150维持了swizzle函数的均匀性和周期性。结果，当没有柱状透镜失真时，swizzle函数不被柱状透镜失真图φ(x，y，α)调整。
[0051]
当柱状透镜片122具有变形并且存在可以从观看者105的位置看到的相关联的柱状透镜失真时，柱状透镜失真图φ(x，y，α)调整swizzle函数(即，收缩或扩大原始swizzle函数)以维持swizzle函数的均匀性和周期性，以便提供从观看者105的视点来看没有柱状
透镜失真的3d图像。因此，柱状透镜失真图被配置为当存在由柱状透镜片122引起的柱状透镜失真时调整swizzle函数并维持均匀性。
[0052]
在各种实施例中，从等式1(eq.1)可以看出，上面表示为φ(x，y，α)的失真图被添加到swizzle函数以根据为失真图获得的测量来维持swizzle函数的均匀性(即，拉伸或压缩swizzle函数)。即，柱状透镜失真图被添加到swizzle函数以通过基于失真图测量来调整swizzle函数从而校正柱状透镜失真。
[0053]
如前所述，为了测量失真图，由处理器150使用相移干涉技术。相移干涉技术抑制共模系统性(即杂散光)和空间非均匀性。使用相移干涉技术，在柱状透镜失真跟踪相机110(图3至5中描绘)的特定角度或位置p1、p2和p3处，条纹图案显示在柱状透镜显示器102上。在每个角度，条纹图案都会移动到四个不同的相位(例如，)，它们是即例如的倍数。使用相移干涉技术，可以确定对应于每个相位的四个不同强度图(例如，i1(x，y)，i2(x，y)，i3(x，y)，i4(x，y))。将该四个强度图组合以生成每个角度的失真图(例如，和φ
ps
(x，y)))。通过组合该四个强度图，恢复失真图φ(x，y，α)。下面示出了由处理器150针对四个不同相位计算的强度图的示例。
[0054]
i(x，y)＝i0 i
′
cos[φ(x，y) φ(t)]
ꢀꢀꢀ
等式3
[0055]
i1(x，y)＝i0 i
′
cos[φ(x，y)]for φ(t)＝0
ꢀꢀꢀ
等式4
[0056][0057]
i3(x，y)＝i0‑
i
′
cos[φ(x，y)]forφ(t)＝π
ꢀꢀꢀ
等式6
[0058][0059]
其中，下式的倒数
[0060][0061]
用于求解φ(x，y)，其中
[0062][0063]
因此，通过组合强度图案，确定φ(x，y)的切线，即tan[φ(x，y)]。然后使用φ(x，y)的反正切来确定每个角度的失真测量，即φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)。然后使用失真测量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)以两个分量φ
||
(x，y)和φ
⊥
(x，y)的形式生成柱状透镜失真图φ(x，y，α)。
[0064]
为了确定呈两个分量φ
||
(x，y)和φ
⊥
(x，y)的形式的柱状透镜失真图φ(x，y)，用于每个角度p1、p2和p3的失真图测量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)被配置为生成φ(x，y，α)。在下面示出的等式中描绘φ(x，y，α)的两个分量(即φ
||
(x，y)和φ
⊥
(x，y))表示(作为双分量失真图的示例)。
[0065]
φ(x，y，α)＝cos(α)φ
||
(x，y) sin(α)φ
⊥
(x，y)
ꢀꢀꢀ
等式10
[0066]
其中
[0067][0068]
且
[0069][0070]
其中，p1、p2和p3代表柱状透镜失真跟踪相机110的视角(如图3至图5所示)。
[0071]
从等式11可以看出，为了确定呈两个分量φ
||
(x，y)和φ
⊥
(x，y)的形式的柱状透镜失真图φ(x，y，α)，每个角度p1、p2和p3的失真图测量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)加在一起以生成φ
||
(x，y)。类似地，为了生成垂直分量φ
⊥
(x，y)，对每个角度p1、p2和p3减去柱状透镜失真分量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)，如等式12所示。
[0072]
因此，从等式10可以看出，双分量柱状透镜失真图φ(x，y)现在是α的函数，它对应于观看者105的头部位置(头部姿势)与显示面板的角度104。
[0073]
在各种实施例中，为确定φ
p1
(x，y)和φ
p3
(x，y)初始值而选择的角度p1和p3是相反的视角，即p1＝
‑
p3。例如，三个不同的角度可以包括：对显示器的垂直入射，p2＝0；对显示器的正入射角，p3＝ α(入射到显示器的正α)；以及，对显示器的负入射角，p1＝
‑
α(入射到显示器的负α)。
[0074]
使用等式10
‑
12，由柱状透镜失真跟踪相机110获取的用于p1、p2和p3的柱状透镜失真图测量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)被处理器150用于重建平面外失真图和平面内失真图。如从等式11和12可以看出的，通过加上或减去先前由柱状透镜失真跟踪相机110进行的测量并除以2cos(α)或2sin(α)来进行平面外失真图和平面内失真图的重建。
[0075]
在各种实施例中，例如，当观看者105从第一有利位置观看柱状透镜显示器102时，失真和对应的柱状透镜失真图值从观看者105已经移动她/他的头部140并且从第二有利位置观看显示器时开始变化。即，φ(x，y，α)的值或输出取决于观看者105头部的位置，并且对于屏幕上的每个像素位置，φ(x，y，α)存在特定值。
[0076]
使用柱状透镜失真跟踪相机110和处理器150，当观看者105正在观看柱状透镜显示器102时，φ(x，y，α)的值被连续更新。因为φ(x，y，α)的值被连续实时地更新，因此当观看者105正在观看柱状透镜显示器102时，swizzle函数也随着时间连续更新。也就是说，当观看者105正在观看显示面板104并移动他们的头部时，失真图φ(x，y，α)和swizzle函数由处理器150不断更新以校正柱状透镜失真。
[0077]
图3至图5示出了根据各种实施例的由柱状透镜失真跟踪相机110拍摄的在柱状透镜显示器102上显示的条纹图案。为了生成双分量柱状透镜失真图φ(x，y，α)的柱状透镜失真图φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)，柱状透镜失真跟踪相机110被配置为在位置或角度(例如，p1、p2和3)和相位(例如，0，π，)处捕获柱状透镜显示器102的条纹图案310a
‑
310d、410a
‑
410d、和510a
‑
510d。例如，柱状透镜失真跟踪相机110可以相对于柱状透镜显示器102位于第一角度位置p1(在图3中描绘为p1)、在第二角度位置p2(在图4中描绘为p2)和第三角度位置p3(在图5中被描绘为p3)。条纹图案用于确定由柱状透镜失真跟踪相机110拍摄的图像的相移干涉测量(上面关于图2进行过描述)。即，柱状透镜失真跟踪相机110捕获在多个相位处的条纹图案的图像，并使用条纹图案生成等式4
‑
7中的强度图案。相位干涉测量用于求解被配置为校正与柱状透镜显示器102相关联的柱状透镜失真的swizzle函数的柱状透镜失真图。
[0078]
通过使用柱状透镜显示器102上显示的条纹图案以及柱状透镜显示器参数来捕获相移干涉测量，处理器150能够在观看者105在柱状透镜显示器102上观看3d图像的同时连
续更新用于柱状透镜失真校正的swizzle函数。如前所述，swizzle函数的连续更新从而允许在柱状透镜显示器102上呈现校正的3d图像或显示帧以供观看者105实时观看。
[0079]
图6至图8图示了分别对应于图9至图11的角度p1、p2和p3的柱状透镜失真图测量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)。图9至图11分别示出了在各种角度p1、p2和p3定位柱状透镜失真跟踪相机110的示例。例如，图6描绘了对于图9中描绘的p1＝
‑
26.6度的角度的柱状透镜失真图测量φ
p1
(x，y)。图7描绘了对于图10中描绘的p2＝0度的角度的柱状透镜失真图测量φ
p2
(x，y)。图8描绘了对于图11中描绘的p3＝26.6度的角度的柱状透镜失真测量φ
p3
(x，y)。图6至图8中描绘的柱状透镜失真图φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)是可用于确定φ(x，y，α)的柱状透镜失真图示例。
[0080]
图12至图14图示了根据至少一个实施例的柱状透镜失真跟踪相机110的角度p1、p2和p3的与柱状透镜显示器102相关联的柱状透镜失真图测量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)。图15示出了根据至少一个实施例的与双分量柱状透镜失真图φ(x，y，α)的垂直分量相关联的柱状透镜失真图φ
⊥
(x，y)。图16示出了根据至少一个实施例的与双分量柱状透镜失真图φ(x，y，α)的平行分量相关联的柱状透镜失真图φ
||
(x，y)。图17图示了根据至少一个实施例的与柱状透镜显示器102相关联的双分量柱状透镜失真图φ(x，y，α)。
[0081]
在图12至图14中，已经由柱状透镜失真跟踪相机110确定了分别用于第一角度p1、第二角度p2和第三角度p3的柱状透镜失真图测量φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)。在这种情况下，如等式12所述，为了恢复φ
⊥
(x，y)，从第一测量中减去第三测量p3并除以2sin(α)，其产生平面外柱状透镜失真图。与等式11中所描述的类似，为了恢复φ
||
(x，y)，将第三测量p3加到第一测量并除以2cos(α)，其产生平面内柱状透镜失真图φ
||
(x，y)。
[0082]
在图17中，组合平面内柱状透镜失真图φ
||
(x，y)和平面外柱状透镜失真图φ
⊥
(x，y)以重建柱状透镜失真图φ(x，y，α)。即，柱状透镜失真图φ(x，y，α)由两个分量φ
⊥
(x，y)和φ
||
(x，y)重建。使用对应于观看者105的头部140的视角来构造等式10的双分量柱状透镜失真图φ(x，y，α)，因此构造等式1的swizzle函数。对于在图12中描绘的示例，第一柱状透镜失真图测量φ
p1
(x，y)以p1＝
‑
26.9796度的角度描绘，第二柱状透镜失真图测量φ
p2
(x，y)以p2＝0的角度描绘，并且第三柱状透镜失真图测量φ
p3
(x，y)以p3＝ 26.9796度的角度描绘。在角度p1、p2和p3处获取的三个柱状透镜失真图φ
p1
(x，y)、φ
p2
(x，y)和φ
p3
(x，y)用于确定φ
||
(x，y)和φ
⊥
(x，y)，这是构成φ(x，y，α)的两个分量。因此，φ(x，y，α)是观看者105的头部角度位置α的函数。
[0083]
图18和图19示出了根据各种实施例的调整与柱状透镜显示器102的观看者105相关联的头箱1805和头箱1905的位置的技术。参考图1，图18和图19描绘了显示面板104的位置、柱状透镜片122的位置以及观看者105的眼睛142相对于显示面板104的位置的位置。在各种实施例中，柱状透镜显示器参数，即柱状透镜焦距(f)、柱状透镜节距(d)和标称屏幕距离(z)与眼睛142的定位结合使用以调整头箱1805和头箱1905的位置。
[0084]
在各种实施例中，头箱1805和头箱1905被定义为观看者105的头部应该被定位以便观察柱状透镜显示器102以利用工作站100的柱状透镜失真能力的位置。头箱1805和头箱1905可以是例如物理空间的一个区域(在该区域中可以看到显示面板104)并且相机的视场允许观看者105的图像和/或深度捕获。典型地，头箱的边界不是物理定义的，而是可以使用各种技术在显示面板104上向观看者105指示(例如，当观看者105的头部离开头箱时显示警
告)。
[0085]
当观看者105的头部140正在观看3d图像时，观看者105的头部以及因此观看者105的头部140的眼睛142可以在横向/竖直位置移动。例如，观看者105的头部可以在对应于xy平面的横向方向和/或对应于xz平面的z方向上移动。当观看者105的头部在xy平面(左或右)中移动时，作为x和y的函数的swizzle函数被调整以补偿该移动。即，为了重新定位与等式1中描述的swizzle函数相关联的头箱1805和头箱1905，等式1的k和r由用于横向移动的横向调节器δ和用于距离移动(在z方向上的移动)的距离调节器δd调节。因此，swizzle函数能够使用由以下调整等式给出的δ和δd在横向方向和z方向上移动。横向调整等式为：
[0086][0087]
其中，z是从观看者105的头部的眼睛142到显示面板104的距离，f是柱状透镜焦距，并且δ
′
是眼睛142在x方向上移动的距离。横向调整等式表示在x和y方向上移动头箱1805以补偿观看者105在x、y平面中的头部移动的方式，并被添加到等式1中描绘的swizzle函数的
[0088]
此外，可以使用距离等式来补偿观看者105到自动立体显示器106的距离的变化。距离等式是：
[0089][0090]
其中z是从观看者105的头部140的眼睛到显示面板104的距离，f是柱状透镜焦距，δz是从观看者105的头部到自动立体显示器106的距离的变化。改变swizzle函数的周期δd可以校正头箱的位置。因此，观看者105的头箱位置可以使用柱状透镜或标量参数来调整。即，δd被加到swizzle函数的z分量以在z方向上调整头箱1905。
[0091]
图20图示了根据各种实施例的在rgb子像素补偿中使用的显示面板104的像素几何形状。在各种实施例中，显示面板104包括用于向观看者105的眼睛显示图像的光子发射单元阵列。光子发射单元可以使用各种众所周知的光子发射电路中的任一种来实现。例如，光子发射单元可以实现为发光二极管(led)、有机led(oled)和液晶显示器(lcd)单元等。参考图1，为了说明，显示面板104实现了在基于led和基于oled的显示器中经常出现的rgb像素几何形状。在这样的实施方式中，阵列的led单元被布置为被称为“图片元素”或“像素”的组。每个像素包括用于每种基色的至少一个led单元，例如被配置为发射红色光(r)的led单元、被配置为发射绿色光(g)的led单元和被配置为发射蓝色光(b)的led单元。
[0092]
在各种实施例中，列2010从左到右水平重复红色(r)2010a、绿色(g)2010b和蓝色(b)2010c。矩形2020表示提供给观看者105的图像的视图。柱状透镜阵列120的透镜具有特定的透镜节距2045并且是倾斜的，因此具有相对于列2010的列方向倾斜了角度θ的柱状透镜投影2030a、2030b和2030c。柱状透镜投影2030(即2030a、2030b和2030c)对应于为观看者105的左眼指配的柱状透镜投影。柱状透镜投影2040(即2040a、2040b和2040c)对应于为观看者105的右眼指配的柱状透镜投影。柱状透镜投影2030和柱状透镜投影2040两者在倾斜方向上从左到右重复为r、g和b，代表红色、蓝色和绿色。
[0093]
为了补偿柱状透镜失真图φ(x，y，α)被加到swizzle函数的影响，rgb补偿，δrgb，被添加到等式1的值并且被定义为
[0094][0095]
其中，θ是柱状透镜倾斜的角度(柱状透镜倾斜角度或柱状透镜阵列120相对于像素列方向的角度)，pix是柱状透镜节距，并且对于蓝色像素偏移加上正的δrgb值，对于红色像素偏移加上负的δrgb值。因此，为了使处理器150应用rgb补偿，等式1的swizzle函数写成：
[0096][0097]
例如，最初，绿色像素位于由所指示的位置。使用等式15，红色像素沿第一方向(即向左)移位蓝色像素沿第二方向(即向右)移位通过实施rgb补偿，处理器150能够考虑柱状透镜失真图并且将红色和绿色像素移位由等式15指示的适当量。
[0098]
图21图示了执行图20中图示的rgb补偿的方法。参考图1，在块2110处，处理器150确定等式15的柱状透镜倾斜角度θ。在块2120处，处理器150确定柱状透镜阵列120的柱状透镜节距pix。在块2130处，处理器150通过将柱状透镜倾斜θ和柱状透镜节距pix输入到等式15中来确定rgb补偿。然后在块2130处将rgb补偿的结果(在块2130处确定的)添加到swizzle函数的分量(在等式16中描述)，其中rgb补偿用于更新被配置以消除由柱状透镜片122引起的柱状透镜失真的swizzle函数。
[0099]
图22示出了根据一些实施例的工作站1900的顶视图。类似于图1中的工作站100，工作站2200描绘了用于视频通信的3d系统的示例实现方式，不同之处在于工作站2200包括镜子2210和柱状透镜失真跟踪相机2273而不包括柱状透镜失真跟踪相机110。在各种实施例中，柱状透镜失真跟踪相机2273可以嵌入头部跟踪模块118中或嵌入头部跟踪模块118的一部分中。
[0100]
在各种实施例中，代替使用柱状透镜失真跟踪相机110来矫正柱状透镜显示器102的柱状透镜失真，柱状透镜失真跟踪相机2273使用由镜子2210提供的柱状透镜显示器102的图像反射来测量由柱状透镜片122引起的柱状透镜失真。即，柱状透镜失真跟踪相机2273使用参考图1描述的条纹图案确定强度分布，接受条纹图案的反射在被用于矫正由柱状透镜片122引起的柱状透镜失真之前使用线性代数进行过变换。因此，镜子2210用于测量与反射条纹图案相关联的条纹图案的强度分布。为了变换反射条纹图案以供处理器150使用，处理器150工作站2200被配置为使用柱状透镜失真跟踪相机2273确定光场失真矩阵。处理器150使用以下等式变换接收的图像：
[0101]
m
proj
＊m
prop
(z)＊m
dist
tl
display
(x，u,y,v)＝l
camera
(x，y)
ꢀꢀꢀ
等式17
[0102]
其中m
proj
是投影矩阵，m
prop
是光线传递矩阵，l
display
(x,u,y,v)是光场分布，i
camera
(x,y)是从柱状透镜失真跟踪相机2273的视角来看的强度分布。
[0103]
l
display
(x,u,y,v)通过取m
proj
*m
prop
(z)*m
dist
的倒数求解
[0104]
并将结果乘以i
eyes
(x,y)
[0105]
l
display
(x，u，y、v)＝[m
proj
＊m
prop
(z)＊mdist(z)]
‑1＊l
eyes
(x，y)
ꢀꢀꢀ
等式18
[0106]
其中i
eyes
(x,y)是从眼睛142的视角来看的强度分布。
[0107]
图23示出了根据至少一个实施例的用于校正自动立体显示器106的柱状透镜失真
的方法200的流程图。在块2305处，方法2300开始。参考图1和图22，在框2307处，采用柱状透镜失真跟踪相机110(或柱状透镜失真跟踪相机2273)来捕获显示在柱状透镜显示器102上的图像(例如，条纹图案)以生成强度图案(等式4
‑
7)。在块2310处，强度图案用于生成在swizzle函数中使用的双分量柱状透镜失真图的柱状透镜失真图。
[0108]
在块2320处，工作站100采用头部跟踪模块118来进行观看者105的头部姿势测量。在各种实施例中，头部跟踪模块118测量头部140相对于柱状透镜显示器102的位置，即，提供角度α和从观看者105到处理器150的标称距离d以供swizzle函数使用。
[0109]
在块2315处，柱状透镜显示器102呈现左视图和右视图以供观看者105观看。在块2320处，处理器150更新柱状透镜显示器参数和swizzle函数的柱状透镜失真图。在块2325处，处理器150使用更新的swizzle函数将校正的显示帧呈现给柱状透镜显示器102。然后该过程循环回到块2320以基于观看者105的当前定位进行进一步的柱状透镜失真校正。在块2360处，方法2300结束。
[0110]
在各种实施例中，本文所述的柱状透镜失真跟踪相机也可被视为用于例如在自动立体显示器106的制造期间校准自动立体显示器106的校准跟踪相机。在一些实施例中，由执行软件的处理系统的一个或多个处理器可实现上述技术的某些方面。软件包括存储或以其它方式有形地体现在非暂时性计算机可读存储介质上的可执行指令的一个或多个集合。软件可以包括指令和某些数据，当所述指令和某些数据由所述一个或多个处理器执行时，所述指令和某些数据操纵所述一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁盘或光盘存储设备、固态存储设备(例如闪存)、高速缓存、随机存取存储器(ram)或其它非易失性存储设备等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解释或以其它方式可执行的其它指令格式。
[0111]
计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，压缩盘(cd)、数字多功能盘(dvd)、蓝光光盘)、磁介质(例如，软盘、磁带或磁硬盘驱动器)、易失性存储器(例如随机存取存储器(ram)或高速缓存)、非易失性存储器(例如只读存储器(rom)或闪存)或基于微机电系统(mems)的存储介质。计算机可读存储介质可以嵌入在计算系统(例如，系统ram或rom)中，固定地连接到计算系统(例如，磁性硬盘驱动器)，可移动地连接到计算系统(例如，光盘或基于通用串行总线(usb)的闪存)，或通过有线或无线网络(例如，网络可访问存储(nas))耦合到计算机系统。
[0112]
请注意，并非一般描述中的所有上述活动或元素都是必需的，可能不需要特定活动或设备的一部分，并且可以执行一个或多个进一步的活动，或除了那些描述那些之外还包括元素。更进一步，列出活动的顺序不一定是执行它们的顺序。此外，已经参考特定实施例描述了这些概念。然而，本领域的普通技术人员理解，在不脱离如所附权利要求中阐述的本公开的范围的情况下，可以进行各种修改和改变。因此，说明书和附图被认为是说明性的而不是限制性的，并且所有这些修改都旨在包括在本公开的范围内。
[0113]
上面已经关于特定实施例描述了益处、其它优点和问题的解决方案。但是，益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案出现或变得更加明显的任何特征不应被解释为任何或所有的权利要求的关键、所需或者必要的特征。此外，以上公开
的特定实施例仅是说明性的，因为可以以不同但等效的方式修改和实践所公开的主题，该方式对于受益于本文教导的本领域技术人员而言是显而易见的。除了在所附的权利要求中描述的之外，不旨在限制这里所示的构造或设计的细节。因此很明显，上面公开的特定实施例可以被改变或修改并且所有这样的变化都被认为在所公开的主题的范围内。因此，此处寻求的保护如所附权利要求中所述。