图像显示装置和图像显示方法与流程

1.本技术涉及一种图像显示装置和图像显示方法，特别是涉及一种以全息方式显示图像的图像显示装置以及使用该图像显示装置的图像显示方法。


背景技术：

2.近年来，作为通过佩戴在用户的如脸部等身体上以向用户显示图像的装置的图像显示装置(眼镜)已被知晓，如头戴式显示器(hmd)。
3.当使用这种眼镜进行眼睛跟踪(视线跟踪)时，一般需要不同于视频光的照明系统，因此通常会设置使用红外线的照明。此外，通常情况下，照明设置在镜框周边，这会导致眼镜本身的尺寸变大。
4.此外，在透射型眼镜中，眼镜的镜框会减少图像重叠时的沉浸感，因此必须不阻碍用户的视线。然而，由于设置使用红外线的照明，因此镜框宽度往往变得较大。这会减少沉浸感。
5.此外，当生成期望的图案以对眼球进行照射时，需要进一步的附加光学系统。因此，整个眼镜的尺寸往往会变大。
6.因此，鉴于上述情况，过去曾提出过使眼镜尺寸更小的技术。
7.例如，专利文献1提出了一种图像投影装置，其包括：一个光源，该光源发射形成图像的图像光束、以及检查光束；光学系统，其将由所述一个光源发射的所述图像光束投射到用户眼睛的第一表面区域上，以将所述图像光束投射到所述用户的视网膜上，并且将由所述一个光源发射的所述检查光束投射到所述用户的眼睛的远离所述第一表面区域的第二表面区域上；光检测器，其检测所述检查光束被所述用户的眼睛反射后的反射光；以及控制器，其基于由所述光检测器执行的所述反射光的检测结果来控制所述一个光源和所述光学系统中的至少一个。
8.引文列表
9.专利文献
10.专利文献1：日本专利申请公开号2017-009986


技术实现要素：

11.发明要解决的技术问题
12.然而，专利文献1没有提出使用专利文献1中公开的技术使图像显示装置更小并提高跟踪精度的任何解决方案。因此，需要进一步开发能够同时解决这些问题的图像显示装置。
13.因此，本技术的主要目的是提供一种图像显示装置，使其能够提高跟踪精度，同时使图像显示装置的尺寸更小。
14.问题的解决方案
15.本技术提供一种图像显示装置，其包括光源部分，该光源部分发射用于显示图像
的图像显示光、以及与图像显示光共轭的共轭光；光学系统，其将由光源部分发射的图像显示光投射到用户的眼睛的瞳孔上，并且将由光源部分发射的共轭光投射到用户的眼睛的瞳孔周围的部分上；检测器，其检测与由光学系统投射的共轭光被瞳孔周围的部分反射的反射光；以及控制器，其基于由检测器检测到的反射光控制显示目标图像的位置。
16.此外，本技术提供了一种图像显示方法，包括发射用于显示图像的图像显示光、以及与图像显示光共轭的共轭光；将发射的图像显示光和发射的共轭光分别投影到用户的眼睛的瞳孔和用户的眼睛的瞳孔周围的部分上；检测所投射的共轭光被瞳孔周围的部分反射的反射光；以及基于检测到的反射光控制显示目标图像的位置。
17.发明的效果
18.本技术能够提供一种图像显示装置，该图像显示装置可以使图像显示装置变得更小并提高跟踪精度。请注意，上述效果不一定是限制性的，本文所述的任何效果或本文可以理解的其他效果可以是对上述效果的补充或替代。
附图说明
19.[图1]是从上方观看的根据本技术第一实施方式的图像显示装置的平面图。
[0020]
[图2]是示意性地示出使用根据本技术第一实施方式的图像显示装置捕获的捕获图像的示例的图。
[0021]
[图3]是从上方观看的根据本技术第一实施方式的图像显示装置的平面图。
[0022]
[图4]是示意性地示出使用根据本技术第一实施方式的图像显示装置捕获的捕获图像的示例的图。
[0023]
[图5]是示出根据本技术第一实施方式的控制器的配置示例的框图。
[0024]
[图6]是示出根据本技术第一实施方式的图像显示方法的示例的流程图。
[0025]
[图7]是示意性地示出使用根据本技术第一实施方式的图像显示装置的修改示例捕获的捕获图像的示例的图。
[0026]
[图8]是从上方观看的根据本技术第二实施方式的图像显示装置的平面图。
[0027]
[图9]是从上方观看的根据本技术第三实施方式的图像显示装置的平面图。
[0028]
[图10]是示意性地示出使用根据本技术第三实施方式的图像显示装置捕获的捕获图像的示例的图。
[0029]
[图11]是示意性地示出使用根据本技术第三实施方式的图像显示装置捕获的捕获图像的另一示例的图。
[0030]
[图12]是示意性地示出使用根据本技术第三实施方式的图像显示装置捕获的捕获图像的另一示例的图。
[0031]
[图13]是示意性地示出使用根据本技术第三实施方式的图像显示装置捕获的捕获图像的另一示例的图。
[0032]
[图14]是从上方观看的根据本技术第四实施方式的图像显示装置的平面图。
[0033]
[图15]是从上方观看的根据本技术第五实施方式的图像显示装置的平面图。
[0034]
[图16]是示意性地示出使用根据本技术第六实施方式的图像显示装置捕获的捕获图像的示例。
具体实施方式
[0035]
下面将参考附图说明实施本技术的优选实施方式。下面说明的实施方式是本技术的代表性实施方式的示例，可以采用实施方式的任何组合。此外，本技术的范围不限于实施方式。请注意，说明按以下顺序进行。
[0036]
1.第一实施方式
[0037]
(1)图像显示装置配置示例
[0038]
(2)控制器配置示例
[0039]
(3)图像显示方法(跟踪方法)的示例
[0040]
(4)修改示例
[0041]
2.第二实施方式
[0042]
3.第三实施方式
[0043]
(1)图像显示装置的配置示例
[0044]
(2)捕获图像的示例
[0045]
4.第四实施方式
[0046]
5.第五实施方式
[0047]
6.第六实施方式
[0048]
7.其他用途
[0049]
1.第一实施方式
[0050]
(1)图像显示装置的配置示例
[0051]
首先，参考图1和图2，说明根据本技术第一实施方式的图像显示装置的配置示例。图1是从上方观看的根据本实施方式的图像显示装置100的配置示例的平面图。图2是示意性地示出使用图像显示装置100从眼球105的正面捕获的眼球105的捕获图像的示例。
[0052]
例如，图像显示装置100可以作为全息方式的波前重构眼镜显示器的形式使用，该全息方式的波前重构眼镜显示器将光照射到全息图上，并利用由该全息图中记录的干涉条纹进行的衍射，产生与作为原始信号波的物体光相同的波前。注意，图像显示装置100可以适用于主要处理增强现实(ar)的离轴光学系统。
[0053]
如图1所示，作为一个示例，图像显示装置100包括光学部分101、合束器102、成像部分103和控制器104，光学部分101是执行波前重构的光学引擎，合束器102是聚光部分，其改变诸如图像显示光ol和共轭光cl等的光束方向，将光束聚光在用户的眼睛上，以将光束引导到用户的眼睛的瞳孔上，成像部分103是获取眼球和光束之间的位置关系数据的检测器，控制器104例如生成图像以及调整图像位置等。
[0054]
在图像显示装置100中，光学部分101和合束器102形成光学系统。也可以说，光学系统是除去后文所述的光源部分的光学部分101和合束器102。光学系统用于将由光源部分发射的共轭光cl投射到用户的眼睛的瞳孔周围的部分。合束器102包括使共轭光cl反射的光学元件113，并且将衍射光学元件(doe)用作光学元件113。
[0055]
成像部分103包括在检测器中，所述检测器用于检测由光学系统投射的共轭光cl被瞳孔周围的部分反射的反射光。成像部分103捕获图像显示光ol入射到瞳孔上而在视网膜上成像而成的成像图像的反射光、以及共轭光cl被瞳孔周围的部分反射而成的反射图像。注意，成像部分103不仅可以从一只眼睛、而且可以从两只眼睛获取关于图像显示光ol
和共轭光cl的信息。
[0056]
光学部分101包括光源部分111和空间光相位调制器(slm)112，光源部分111产生包括诸如半导体激光器(ld)、超发光二极管(sld)或发光二极管(led)等的(部分)相干光源，空间光相位调制器(slm)112是对图像显示光ol和共轭光cl的振幅或相位进行空间调制的调制器。光学部分101生成用于显示物体图像的图像显示光(物体光)ol、以及与图像显示光ol共轭的共轭光cl。这里，共轭光是指与对应的图像显示光形成的角度被固定的光。光学部分101的具体示例包括透镜，或者具有透镜功能的诸如全息光学元件(hoe)、衍射光学元件(doe)、超表面或超材料等光学组件。
[0057]
由光学部分101的光源部分111发射的图像显示光ol及其共轭光cl被显示在位于slm 112上的计算机生成全息图(cgh)上。此时，图像显示光ol及其共轭光cl相互共轭，因此图像显示光ol及其共轭光cl之间的角度关系固定。图像显示光ol及其共轭光cl入射到合束器102，产生由位于合束器上的各个光学元件反射的光而得到的波前，并且再现的图像显示光ol入射到用户的眼球105上。入射到眼球105上的图像显示光ol入射到瞳孔上，以在视网膜上成像。
[0058]
在图1中，作为用户的眼球105的视线方向的深度方向被称为z方向(朝着纸面的上下方向)，且在垂直于z方向的平面内相互正交的方向被称为x方向(朝着纸面的左右方向)和y方向(朝着纸面的前后方向)。
[0059]
图2是示意性地示出使用图像显示装置100捕获的捕获图像的示例的图。如图2所示，图像显示光ol从眼球105的瞳孔121入射到视网膜上。另一方面，共轭光cl入射到眼球105的瞳孔121周围的部分，例如虹膜122与巩膜123的边界。这里，瞳孔121周围的部分是指虹膜122、巩膜123、瞳孔121与虹膜122的边界、以及虹膜122与巩膜123的边界。注意，共轭光cl投影到虹膜122与巩膜123边界上使得可以更容易地确定图像显示光ol的位置。
[0060]
在图2中，作为用户眼球105的视线方向的深度方向被称为z方向(朝着纸面的前后方向)，且在垂直于z方向的平面内相互正交的方向被称为x方向(朝着纸面的左右方向)和y方向(朝着纸面的上下方向)。
[0061]
接下来，参考图1至图4说明使用图像显示装置100执行的眼睛跟踪的概述。图3是从上方观看的示出当偏移的图像入射到瞳孔上时的图像显示装置100的配置示例的平面图。图4是示意性地示出当偏移的图像入射到瞳孔上时捕获的捕获图像的示例的图。
[0062]
如图3所示，当入射的图像显示光ol从瞳孔121的中心(初始基准位置)偏移时，共轭光cl也以相同的偏移量偏移，入射到瞳孔121周围的部分。具体来说，如图4所示，当图像显示光ol以偏移量d1从瞳孔121的中心向朝着图4的纸面的右侧方向偏移时，共轭光cl也以偏移量d1向朝着图4的纸面的右侧方向偏移，入射到巩膜123上。
[0063]
此时，入射到眼球105上的图像显示光ol以偏移量d1从瞳孔121的中心偏移，入射到瞳孔上，并在视网膜上成像。另一方面，共轭光cl在以偏移量d1偏移的位置处的巩膜123上反射。从而，共轭光cl的该反射的图像被成像部分103捕获。由成像部分103捕获的捕获图像被控制器104获取，控制器104计算相对于偏移量d1和校正量而应当移位的量，并且再次向控制器104提供反馈。
[0064]
作为校正方法，还存在一种可以在生成波前时改变与光学部分101内的slm 112重叠的相位图的方法，以及另一种额外地插入作为动态光学元件(诸如mems反射镜或液体棱
镜等)的转向元件的方法。
[0065]
通过观察共轭光cl的傅立叶图像在眼球105上的位置，并通过计算从初始基准位置的偏移，可以获得在与屏幕相同的平面内在上下方向和左右方向(xy方向)上从初始基准位置的偏移。此外，可以使用离焦量来确定在作为眼球105的视线方向的深度方向(z方向)上发生偏移的情况下共轭光cl的傅立叶图像在光轴方向上从聚焦位置偏移的量。
[0066]
(2)控制器的配置示例
[0067]
接下来，参考图5说明根据本实施方式的控制器的配置示例。图5是示出图像显示装置100的控制器104的配置示例的框图。除了图像的生成和图像的位置调整外，控制器104还存储初始基准位置的数据。此外，控制器104还使用图像数据执行计算，例如，导出图像的位置以及预测图像的位置等等。
[0068]
在这里，当例如使用头戴式显示器(hmd)时，可以基于当hmd戴在用户头部时的用户头部位置，将初始基准位置设置为可以观看视频的位置。该初始基准位置的设置方法的示例包括使用诸如vr头戴式耳机这样的机械方法，其他的使用诸如电气驱动反射镜等的电气方法，等等。请注意，为了确保初始位置设置后的偏移调整的范围，从一开始就不使用slm。
[0069]
如图5所示，例如，控制器104包括中央处理单元(cpu)131、计算部分132、确定部分133和存储器134。cpu 131连接到计算部分132、确定部分133以及存储器134中的每一个，并控制各个组件给出的指令。
[0070]
计算部分132计算共轭光cl的偏移量和校正量。确定部分133确定共轭光cl的偏移量是否在容许范围内。在存储器134中存储由计算部分132计算的偏移量和校正量。cpu 131在适当的定时从存储器134读取所存储的偏移量或校正量。
[0071]
控制器104可以通过计算显示目标图像的偏移量和校正量来计算用户的当前视线方向和光轴方向。此外，控制器104可以基于共轭光cl的傅立叶图像在瞳孔121周围的部分中的位置，计算显示目标图像在xy方向上从初始基准位置的偏移。此外，控制器104还可以基于共轭光cl的傅立叶图像的离焦量，计算显示目标图像在z方向上从初始基准位置的偏移。此外，控制器104可以通过调整显示目标图像的初始相位来改变显示目标图像的傅立叶图像的大小和分割宽度。
[0072]
(3)图像显示方法(跟踪方法)的示例
[0073]
接下来，参考图6说明根据本实施方式的图像显示方法(跟踪方法)的示例。图6是示出使用图像显示装置100的图像显示法的示例的流程图
[0074]
首先，在步骤s1中，用户佩戴作为眼镜的图像显示装置100。当图像显示装置100被佩戴时，图像显示装置100的电源被开启。
[0075]
接下来，在步骤s2中，控制器104将显示目标图像的初始基准位置调整到例如瞳孔121的中心。当控制器104调整初始基准位置时，控制器104存储该初始基准位置。此后，光学部分101发射用于显示目标图像的图像显示光ol、以及与图像显示光ol共轭的共轭光cl。
[0076]
在步骤s3中，光学部分101将发射的图像显示光ol和共轭光cl分别投射到用户的眼睛的瞳孔121和用户的眼睛的瞳孔121周围的部分。然后，用户对显示在图像显示装置100上的图像或视频进行视听。
[0077]
在步骤s4中，检测器检测所投射的共轭光cl被瞳孔121周围的部分反射的反射光。
换句话说，作为检测器的成像部分103执行图像捕获，以获取由图像显示光ol的共轭光cl得到的图像或视频。
[0078]
在步骤s5中，控制器104基于检测到的反射光，控制显示目标图像的位置。换句话说，控制器104的计算部分132针对每个设定帧计算偏移量。
[0079]
在步骤s6中，确定部分133确定偏移量d1是否在容许范围内。当偏移量d1在容许范围内时(当确定为“是”时)，过程返回到步骤s3，用户继续图像显示装置100上显示的图像或视频的视听。当偏移量d1不在容许范围内时(当确定为“否”时)，过程进入步骤s7。
[0080]
在步骤s7中，计算部分132基于偏移量d1计算校正量(移位值)，并对图像显示光ol入射的位置执行校正。
[0081]
在步骤s8中，在存储器134中存储由计算部分132计算的校正量，并且过程进入步骤s9。
[0082]
在步骤s9中，cpu 131将通过使用校正量执行校正而获得的图像显示在图像显示装置100上。过程返回到步骤s3，并使得用户观看通过执行校正而获得的图像或视频。
[0083]
由于图像显示光ol和共轭光cl之间的关系是固定的，因此根据本实施方式的图像显示装置100可以将图像显示光ol照射到远离图像显示光ol一定量的位置上。因此，照射光相对于图像显示光ol的相对位置完全由物理衍射条件保证，并且无需担心其相对位置的偏移。
[0084]
如上所述，图像显示装置100，诸如使用cgh的波前重构型眼镜显示器，使用了与图像显示光ol同时生成并以物理上固定的角度发射的共轭光cl。这使得可以精确且正确地执行眼睛跟踪，而不需要额外的光源或图案发生器来进行眼睛跟踪。注意，图像显示装置100还可以动态地改变图像显示光ol的照射位置、以及图像显示光ol的照射次数。
[0085]
此外，在图像显示装置100中，可以通过改变显示目标图像(再现图像)的初始相位来改变从图像显示光ol到共轭光cl的距离以及共轭光cl的图案。这使得可以创建共轭光cl的高密度图案，从而在使用图像显示光ol显示图像的同时，使用出现在该图像附近的共轭光cl搜索眼睛视线的方向。这使得能够提高跟踪精度。
[0086]
此外，图像显示装置100可以发射二维状的多个图像显示光ol，并且可以使用在眼球105的曲面上执行的反射图案的变化来检测xy平面内的平移偏移。此外，图像显示装置100通过使用共轭光cl的离焦量，还可以检测z方向上的深度，并检测佩戴时的偏移量。请注意，佩戴时的偏移量可以在每一定时间内进行感测和更新。
[0087]
如上所述，在诸如使用cgh的波前重构显示器等图像显示装置100中，除了图像显示光ol外，还发射共轭光cl。该共轭光cl传统上被认为是不必要的，因此通过例如滤波器滤波器来移除，或者不进行使用。然而，通过将共轭光cl转用于眼睛跟踪以作为指示器，共轭光cl可以在诸如眼睛跟踪或视线跟踪等中用作非常有用的基准。
[0088]
(4)修改示例
[0089]
接下来，参考图7说明图像显示装置100的修改示例。图7是示意性地示出使用根据本实施方式的图像显示装置100的修改示例捕获的捕获图像的示例。该修改示例在合束器102中使用多级衍射光学元件(doe)。
[0090]
通过例如将进行多级衍射的薄doe等用作使合束器102上的共轭光cl反射的光学元件，如图7所示，可以进一步获得多个共轭光cl的衍射图案。这使得能够以更高的精度导
出视线或瞳孔121的位置，从而能够提高眼睛跟踪的精度。
[0091]
2.第二实施方式
[0092]
接下来，参考图8说明根据本技术第二实施方式的图像显示装置的配置示例。图8是从上方观看的示出根据本实施方式的图像显示装置200的配置示例的平面图。图像显示装置200可应用于处理诸如虚拟现实(vr)等共轴光学系统。
[0093]
如图8所示，类似于根据第一实施方式的图像显示装置100，图像显示装置200包括光学部分101、成像部分103和控制器104。此外，图像显示装置200包括目镜201。图像显示装置100中的光学部分101、控制器104和目镜201的每一个的中心被布置在同一直线上，并且光轴呈直线状延伸。
[0094]
类似于根据第一实施方式的图像显示装置100，根据本实施方式的图像显示装置200甚至可以使共轴光学系统精确且正确地进行眼睛跟踪，而不需要额外的光源或模式发生器来进行眼睛跟踪。
[0095]
3.第三实施方式
[0096]
(1)图像显示装置的配置示例
[0097]
接下来，参考图9说明根据本技术第三实施方式的图像显示装置的配置示例。图9中的a是从上方观看的示出根据本实施方式的图像显示装置300的配置示例的平面图。图像显示装置300可以通过调整初始相位来分割瞳孔上的图案。
[0098]
如图9的a所示，作为示例，图像显示装置300包括光源部分111、slm 112、透镜l1、透镜l2和目镜l3。图像显示装置200的各个结构元件呈直线状布置。
[0099]
在调整初始相位后从图像显示装置300的光源部分111发射的图像显示光ol穿过slm112和透镜l1，并且在透镜l1和透镜l2之间生成第一傅立叶平面fp1。此后，图像显示光ol穿过透镜l2，在透镜l2和目镜l3之间形成图像平面301。此后，图像显示光ol穿过目镜l3，在眼球105的瞳孔121之前生成傅立叶平面fp2。
[0100]
图9的b示出将周期图案添加到第二傅立叶平面fp2中的显示目标图像的情况。如图9的b所示，当将周期图案添加至显示目标图像时，瞳孔前面的第二傅立叶平面fp2中的点数可以增加。这会使眼球105的视野变宽。
[0101]
(2)捕获图像的示例
[0102]
接下来，参考图10至图13说明使用图像显示装置300捕获的捕获图像的示例。图10是示意性地示出使用图像显示装置300从眼球105的正面捕获的眼球105的捕获图像的图。
[0103]
如图10所示，当向显示目标图像添加周期图案时，瞳孔前面的第二傅立叶平面fp2中的点数增加。由此，照射到瞳孔121上的图像显示光ol不仅以1点的形式照射，而且在指定狭窄范围内增加到多个点。然后，类似于图像显示光ol，照射到位于瞳孔121周围部分的虹膜122和巩膜123上的共轭光cl也增加到多个点。这使得能够轻松确定跟踪的偏移量。请注意，如果多个点的数量较大且点的间隔(间距)较小，则可以以更高的精度执行跟踪。
[0104]
因此，当希望准确地检测偏移量时，图像显示装置300在计算cgh的阶段中调整原始图像的相位，由此可以改变要显示在瞳孔121上的图像(即，应在瞳孔12.1前面生成的傅立叶图像)的大小或分割宽度。例如，可以生成具有更多细分的傅立叶图像，并且通过将其插入到任意帧中，可以提高检测的准确度。这不仅有助于估计瞳孔121的位置，也有助于在执行眼球跟踪时更详细地估计眼球105的旋转量。
[0105]
接下来，参考图11至13说明使用图像显示装置300感测从眼球105的正面捕获的眼球105的捕获图像的偏移。图11是示意图，用于说明使用图像显示装置300感测从眼球105的正面捕获眼球105的捕获图像的xy平面内的平移偏移。图11的a是示意性地示出图像显示光ol无偏移地照射到瞳孔121的中心的基准状态的图。图11中的b是示意性地示出在朝着纸张表面的右侧方向上发生偏移后，图像显示光ol照射到瞳孔121上的状态的图。图11的c是示意性地示出在朝着纸张表面的左侧方向上发生偏移后，图像显示光ol照射到瞳孔121上的状态的图。
[0106]
如图11的b或c所示，当捕获图像内的多个点的共轭光cl在xy方向上从初始基准位置偏移超出容许范围时，可以通过使用图像显示装置300观察共轭光cl的傅立叶图像在眼球105上的位置并且计算从初始基准位置的偏移，来获得该捕获图像的偏移量。
[0107]
图12是用于说明使用图像显示装置300从眼球105的正面捕获眼球105的捕获图像在z方向上的深度偏移检测的示意图。图12的a是示意性地示出在没有焦点偏移的情况下图像显示光ol照射到瞳孔121的中心的基准状态的图。图12的b是示意性地示出图像显示光ol的焦点照射到比初始基准位置更远离眼球105的位置的状态的图。图12的c是示意性地示出图像显示光ol的焦点被照射到比初始基准位置更靠近眼球105的位置的状态的图。
[0108]
如图12的b或c所示，当捕获图像内的多个点的共轭光cl的焦点在z方向上从初始基准位置偏移超出容许范围时，可以使用共轭光cl的傅立叶图像的离焦量来确定该捕获图像的偏移量。
[0109]
图13是用于说明在从头顶观看眼球105时的平面内，感测将瞳孔121的方向从初始基准位置向右或向左旋转一旋转角度θ时的旋转偏移的示意图。图13中的a是示意性地示出其中在没有旋转偏移的情况下图像显示光ol照射到瞳孔121的中心的基准状态的图。图13的b是示意性地示出当瞳孔121在朝着入射的图像显示光ol的左侧方向上旋转时图像显示光ol照射到瞳孔121上的状态的图。图13的c是示意性地示出当瞳孔121在朝着入射的图像显示光ol的右侧方向上旋转时图像显示光ol照射到瞳孔121上的状态的图。
[0110]
如图13的b或c所示，当捕获图像内的多个点的共轭光cl在旋转方向上从初始基准位置偏移超出容许范围时，可以通过使用图像显示装置300观察共轭光cl的傅立叶图像在眼球105上的位置并计算从初始基准位置的偏移，来获得该捕获图像的偏移量。此外，当共轭光cl在旋转方向上偏移时，也可以如图13的b或c所示，通过观察位于虹膜122和巩膜123之间的部分的右侧部分和左侧部分之间的宽度的非对称性，来确定从初始基准位置的偏移。
[0111]
在根据本实施方式的图像显示装置300中，通过改变显示目标图像的初始相位来改变从图像显示光ol到共轭光cl的距离以及共轭光cl的图案，并且观察指定窄范围内的多个点的共轭光cl。因此，与使用根据第一实施方式的图像显示装置100相比，这使得能够进一步提高跟踪精度。此外，图像显示装置300可以以更高的精度导出视线或瞳孔121的位置。
[0112]
此外，图像显示装置300通过使用共轭光cl的离焦量，不仅可以感测xy平面内的平移偏移，还可以感测z方向(深度)，并且能够检测佩戴时的偏移量。请注意，可以在每一定时间内针对佩戴时的偏移量进行感测和更新。
[0113]
4.第四实施方式
[0114]
接下来，参考图14说明根据本技术第四实施方式的图像显示装置的配置示例。图
14是从上方观看的根据本实施方式的图像显示装置400的配置示例的平面图。图像显示装置400在光学部分内包括用于移位或分割光束的设备。
[0115]
如图14所示，类似于根据第一实施方式的图像显示装置100，图像显示装置400包括光学部分401、合束器102、成像部分103和控制器104。在图像显示装置400中，光学部分401和合束器102形成光学系统。
[0116]
尽管未图示，类似于图像显示装置100，光学部分401包括光源部分111和slm。此外，例如，光学部分401在傅立叶平面中包括用于移位和/或分割光束的设备411。
[0117]
当图像显示装置400在光学部分401内包括用于移位和/或分割光束的设备411时，作为示例，这使得从光学部分401发射的图像显示光可以被移位到图像显示光ol1、ol2和ol3，并且将与这些图像显示光共轭的共轭光移位到共轭光cl1、cl2和cl3。
[0118]
在根据本实施方式的图像显示装置400中，通过分割从光学部分401发射的共轭光cl来放大傅立叶图像，并且观察多个点的共轭光cl。因此，与使用根据第一实施方式的图像显示装置100相比，这使得能够进一步提高跟踪精度。此外，图像显示装置400还可以在瞳孔121扩张时跟踪瞳孔121。
[0119]
5.第五实施方式
[0120]
接下来，参考图15说明根据本技术第五实施方式的图像显示装置的配置示例。图15是从上方观看的根据本实施方式的图像显示装置500的配置示例的平面图。在图像显示装置500中，光源部分使用多个光源来执行眼睛跟踪。
[0121]
如图15所示，作为示例，图像显示装置500包括光学部分501、反射镜502、棱镜503、slm 112、透镜l1、透镜l2和目镜l3，光学部分501包括从光源1发射光线511和从光源2发射光线512的光源部分。
[0122]
包括在光学部分501中的光源部分内的经初始相位调整后发射的来自光源1的光线511和来自光源2的光线512被反射镜502朝向棱镜503反射。经反射的来自光源1的光线511和来自光源2的反射光线512在棱镜503内朝向slm 112反射，并且从slm 112再次穿过棱镜503，然后朝向透镜。来自光源1的光线511和来自光源2的光线512穿过透镜l1，在透镜l1和透镜l2之间生成第一傅立叶平面fp1。此后，图像显示光ol穿过透镜l2，在透镜l2和目镜l3之间形成图像平面301。此后，图像显示光ol穿过目镜l3，在眼球105的瞳孔121之前生成傅立叶平面fp2。
[0123]
在根据本实施方式的图像显示装置500中，使用多个光源将图像显示光例如移位到来自光源1的光线511和来自光源2的光线512，并且还移位与这些光线511、512共轭的共轭光。由此，放大傅立叶图像，并且观察多个点的共轭光cl。因此，与使用根据第一实施方式的图像显示装置100时相比，图像显示装置500可以进一步提高跟踪精度，并且还可以在瞳孔121扩张时跟踪瞳孔121。
[0124]
6.第六实施方式
[0125]
接下来，参考图16说明使用根据本技术第六实施方式的图像显示装置执行的眼睛跟踪的示例。图16是示意性地示出使用根据本技术的图像显示装置捕获的捕获图像的示例的图。在本实施方式中，光学系统将初始基准位置的发射图案添加到一部分的帧，并测量显示目标图像的当前时刻的偏移量，以定期执行校准。
[0126]
图16的a是示意性地示出其中图像显示光ol照射到瞳孔121的中心(初始基准位
置)，而图像显示装置没有偏移的基准状态的图。图16的b是示意性地示出发生图像显示装置的佩戴时偏移、并且图像显示光ol在朝着纸张表面的右侧方向上偏移照射到瞳孔121上的状态的图。图16的c是示意性地示出对所发生的佩戴时偏移的偏移量进行校正、并且使移位后的图像显示光sol照射到瞳孔121的中心的状态的图。
[0127]
如图16的a和b所示，初始基准位置的发射图案仅发射一瞬间，以将发射图案添加到一部分的帧中，并且测量显示目标图像的当前时刻的偏移量d2以定期执行校准。基于测量的偏移量d2计算校正量，并且使移位后的图像显示光sol照射到瞳孔121的中心。
[0128]
如上所述，在本实施方式中，累积误差较小，这使得可以提高眼睛跟踪精度。注意，在本实施方式的情况下，优选使用不照射到瞳孔121上的图像显示光ol和该不照射到图像显示光ol的共轭光cl的组合来执行眼睛跟踪。
[0129]
7.其他用途
[0130]
在上述实施方式中说明了将图像显示装置应用于单眼的示例。然而，根据本技术的图像显示装置不限于应用于单眼，并且可以应用于双眼。当将根据本技术的图像显示装置应用于双眼时，这使得可以使用双眼的数据以更高精度导出视线或瞳孔位置。这使得能够以更高的精度估计眼球的旋转量、注视点乃至集合(convergence)、以及调整量。
[0131]
请注意，本技术可采用以下配置。
[0132]
(1)一种图像显示装置，包括：
[0133]
光源部分，所述光源部分发射用于显示图像的图像显示光、和与所述图像显示光共轭的共轭光；
[0134]
光学系统，所述光学系统将由所述光源部分发射的所述图像显示光投射到用户的眼睛的瞳孔上，并且将由所述光源部分发射的所述共轭光投射到所述用户的眼睛的瞳孔周围的部分上；
[0135]
检测器，所述检测器检测由所述光学系统投射的所述共轭光被所述瞳孔周围的部分反射的反射光；以及
[0136]
控制器，所述控制器基于由所述检测器检测到的反射光，控制显示目标图像的位置。
[0137]
(2)根据(1)的图像显示装置，其中
[0138]
所述光学系统包括
[0139]
聚光部分，所述聚光部分改变所述图像显示光和所述共轭光的方向，并且将所述图像显示光和所述共轭光聚光在所述用户的眼睛上，以及
[0140]
调制器，所述调制器对所述图像显示光和所述共轭光的振幅或相位进行空间调制。
[0141]
(3)根据(1)或(2)的图像显示装置，其中
[0142]
所述检测器包括成像部分，所述成像部分捕获所述图像显示光入射到所述瞳孔上而在视网膜上成像而成的成像图像、以及所述共轭光被所述瞳孔周围的部分反射而成的反射图像，以及
[0143]
所述控制器基于由所述成像部分捕获的所述成像图像和所述反射图像，计算显示目标图像的偏移量和校正量。
[0144]
(4)根据(3)的图像显示装置，其中
[0145]
所述控制器通过计算所述显示目标图像的偏移量和校正量，计算所述用户的当前视线方向和光轴方向。
[0146]
(5)根据(1)至(4)中任一项的图像显示装置，其中
[0147]
所述瞳孔周围的部分是虹膜、巩膜、所述瞳孔与所述虹膜的边界、以及所述虹膜与所述巩膜的边界中的一种。
[0148]
(6)根据(1)至(5)中任一项的图像显示装置，其中
[0149]
所述控制器基于所述共轭光的傅立叶图像在所述瞳孔周围的部分的位置，计算所述显示目标图像的在与所述眼睛的视线方向垂直的平面内从初始位置的偏移。
[0150]
(7)根据(1)至(6)中任一项的图像显示装置，其中
[0151]
所述控制器基于所述共轭光的傅立叶图像的离焦量，计算所述显示目标图像的在所述眼睛的视线方向上从初始位置的偏移。
[0152]
(8)根据(1)至(7)中任一项的图像显示装置，其中
[0153]
所述控制器通过调整所述显示目标图像的初始相位，改变所述显示目标图像的傅立叶图像的大小和分割宽度。
[0154]
(9)根据(1)至(8)中任一项的图像显示装置，其中
[0155]
所述光学系统是共轴光学系统。
[0156]
(10)根据(1)至(9)中任一项的图像显示装置，其中
[0157]
所述检测器从两眼获取关于所述图像显示光和所述共轭光的信息。
[0158]
(11)根据(2)的图像显示装置，其中
[0159]
所述聚光部分使用衍射光学元件作为使所述共轭光反射的光学元件。
[0160]
(12)根据(1)至(11)中任一项的图像显示装置，其中
[0161]
所述光学系统在傅立叶平面中包括用于移位和/或分割光束的设备。
[0162]
(13)根据(1)至(12)中任一项的图像显示装置，其中
[0163]
所述光源部分使用多个光源。
[0164]
(14)根据(1)至(13)中任一项的图像显示装置，其中
[0165]
所述光学系统将初始位置的发射图案添加到一部分的帧中，并且测量所述显示目标图像的偏移量，以执行定期校准。
[0166]
(15)一种图像显示方法，包括：
[0167]
发射用于显示图像的图像显示光、以及与所述图像显示光共轭的共轭光；
[0168]
将发射的所述图像显示光和发射的所述共轭光分别投射到用户的眼睛的瞳孔和所述用户的眼睛的瞳孔周围的部分上；
[0169]
检测所投射的所述共轭光被所述瞳孔周围的部分反射的反射光；以及
[0170]
基于检测到的所述反射光，控制显示目标图像的位置。
[0171]
参考标记列表
[0172]
100、200、300、400、500图像显示装置
[0173]
101、401、501光学部分
[0174]
102合束器(聚光部分)
[0175]
103成像部分
[0176]
104控制器
[0177]
105眼球(右眼)
[0178]
111光源部分
[0179]
112slm
[0180]
121瞳孔
[0181]
122虹膜
[0182]
123巩膜
[0183]
131cpu
[0184]
132计算部分
[0185]
133确定部分
[0186]
134存储器
[0187]
201目镜
[0188]
301图像平面
[0189]
411用于移位和/或分割光束的设备
[0190]
502反射镜
[0191]
503棱镜
[0192]
511来自光源1的光线
[0193]
512来自光源2的光线
[0194]
ol、ol1至ol3、sol图像显示光(物体光)
[0195]
cl，cl1至cl4，scl共轭光
[0196]
d1、d2偏移量
[0197]
l1至l3透镜
[0198]
fp1、fp2傅立叶平面