注视点显示装置的制作方法

1.本公开的示例实施方式涉及能够提供具有窄视角的高分辨率图像和具有宽视角的低分辨率图像的注视点显示装置(foveated display apparatus)。


背景技术：

2.虚拟现实(vr)是一种使人能够在计算机生成的虚拟世界中体验生活的技术。增强现实(ar)是一种允许虚拟图像与现实世界中的物理环境或空间混合的技术。其中实现vr显示器或ar显示器的近眼显示器使用光学和立体图像的组合来聚焦虚拟图像。在这样的显示器中，显示分辨率和处理是重要的。
3.通过近眼显示装置向用户显示的图像可以包括包含高度详细的图形的虚拟图像或真实图像。当近眼显示装置使用软件方法处理图像时，由于大量的图像处理计算，图像处理可能是慢的。为了减少计算量，已经开发了注视点显示器，以向人的视野中心的视网膜中央凹区域提供高分辨率图像并向其余的外围区域提供低分辨率图像。


技术实现要素：

4.提供了注视点显示装置。
5.另外的方面将在下面的描述中被部分地阐述，并且部分地将从该描述变得明显，或者可以通过实践本公开的所呈现的实施方式而获知。
6.根据本公开的一方面，一种注视点显示装置包括：第一显示面板，配置为形成二维(2d)图像；第二显示面板，配置为形成包括三维(3d)图像的全息图像；导光板，配置为以第一视角将2d图像传输到用户的眼睛；以及全息光学元件，配置为以第二视角将全息图像传输到用户的眼睛，第二视角小于第一视角。
7.2d图像可以包括具有第一分辨率的外围图像，全息图像可以包括具有比第一分辨率高的第二分辨率的视网膜中央凹区域(fovea)图像。
8.2d图像可以包括单一深度图像，全息图像可以包括多深度图像。
9.第二视角可以为约20度或更小。
10.导光板可以包括：从其发射光的第一表面；面对第一表面的第二表面；以及在第一表面或第二表面的一侧的输入耦合器。
11.导光板可以包括：从其发射光的第一表面；面对第一表面的第二表面；以及在第一表面或第二表面的一侧的输出耦合器。
12.导光板可以包括通过其发射光的第一表面和面对第一表面的第二表面，全息光学元件可以提供在第一表面或第二表面上。
13.第二显示面板可以包括发光二极管(led)显示器、有机led(oled)显示器、液晶显示器(lcd)或硅上液晶(lcos)显示器。
14.注视点显示装置还可以包括：光源，配置为向第二显示面板辐射光；分束器，配置为反射从光源辐射的光以使其入射在第二显示面板上，并透射从第二显示面板反射的光；
以及滤光器，配置为过滤穿过分束器的光。
15.注视点显示装置还可以包括光路转换器，该光路转换器配置为将已经穿过滤光器的光导向全息光学元件。
16.注视点显示装置还可以包括：光源，配置为向第二显示面板辐射光；以及滤光器，配置为过滤从光源发射的已经穿过第二显示面板的光。
17.导光板可以包括：第一表面；面对第一表面的第二表面；以及在第一表面上的子导光板，其中第一显示面板面对第二表面，并且其中形成在第二显示面板上的全息图像通过子导光板传输。
18.子导光板可以包括在其一侧的倾斜入射表面，并且形成在第二显示面板上的全息图像可以入射在该倾斜入射表面上。
19.全息光学元件可以提供在导光板和子导光板之间，或者可以提供在子导光板的出射表面上。
20.第一显示面板和第二显示面板可以被一体地配置，并且注视点显示装置还可以包括：光源，配置为向第一显示面板和第二显示面板辐射光；第一分束器，在第一显示面板和光源之间；以及第二分束器，在第二显示面板和光源之间。
21.从第一分束器反射的2d图像可以入射在导光板上，并且从第二分束器反射的全息图像可以入射在全息光学元件上。
22.2d图像可以通过导光板传输，并且全息图像可以传输到全息光学元件而不穿过导光板。
23.2d图像和全息图像可以组合以显示单个图像。
24.注视点显示装置还可以包括微机电系统(mems)反射镜、电流反射镜(galvano mirror)、液晶透镜、液晶光束偏转器、几何相位透镜和超透镜(meta lens)中的至少一个，用于控制在其上显示全息图像的区域。
25.注视点显示装置还可以包括配置为跟踪用户的瞳孔的瞳孔跟踪器。
26.根据本公开的一方面，一种注视点显示装置包括：第一光学系统，经由第一光路向用户的眼睛提供二维(2d)图像；以及第二光学系统，经由不同于第一光路的第二光路向用户的眼睛提供三维全息图像。
27.第一光学系统可以向用户眼睛的视野的外围区域提供2d图像，第二光学系统可以向用户眼睛的视野的视网膜中央凹区域提供全息图像。
28.第一光学系统可以包括：第一显示面板，配置为成形成2d图像；以及导光板，配置为将2d图像传输到用户的眼睛。
29.第二光学系统可以包括：第二显示面板，配置为形成全息图像；以及全息光学元件，配置为将全息图像传输到用户的眼睛。
30.全息光学元件可以位于导光板的表面上。
附图说明
31.从以下结合附图的描述，本公开的某些示例实施方式的以上和其它方面、特征和优点将变得更加明显，附图中：
32.图1示意性地示出根据一示例实施方式的注视点显示装置；
33.图2示出根据人的视角的接收器的数量；
34.图3是示出注视点显示装置的操作的图；
35.图4示出根据一示例实施方式的注视点显示装置；
36.图5示出图4所示的注视点显示装置的配置变化的示例；
37.图6示出图4所示的注视点显示装置的配置变化的示例；
38.图7是示出根据一示例实施方式的注视点显示装置的图；
39.图8示出根据各种示例实施方式的应用于增强现实(ar)眼镜装置的注视点显示装置的示例；
40.图9示出根据各种示例实施方式的应用于虚拟现实(vr)眼镜装置的注视点显示装置的示例；
41.图10示出根据各种示例实施方式的应用于车辆平视显示器的注视点显示装置的示例；
42.图11示出根据各种示例实施方式的应用于移动装置的注视点显示装置的示例；
43.图12示出根据各种示例实施方式的应用于平板电脑的注视点显示装置的示例；
44.图13示出根据各种示例实施方式的应用于笔记本计算机的注视点显示装置的示例；
45.图14示出根据各种示例实施方式的应用于计算机监视器的注视点显示装置的示例；
46.图15示出根据各种示例实施方式的应用于多重折叠显示器的注视点显示装置的示例；
47.图16示出根据各种示例实施方式的应用于标牌的注视点显示装置的示例；
48.图17示出根据各种示例实施方式的应用于智能手表的注视点显示装置的示例；以及
49.图18是根据各种示例实施方式的包括注视点显示装置的电子装置的框图。
具体实施方式
50.现在将详细参照实施方式，其示例在附图中示出，其中相同的附图标记始终指代相同的元件。在这点上，实施方式可以具有不同的形式，并且不应被解释为限于这里阐述的描述。因此，下面通过参照附图仅描述了示例实施方式以解释各方面。如这里所用的，术语“和/或”包括一个或更多个相关列出项目的任何和所有组合。诸如
“……
中的至少一个”的表述，当在一列元件之后时，修饰整列元件，而不是修改该列表中的个别元件。
51.参照附图详细描述根据各种示例实施方式的注视点显示装置。在附图中，其中相同的附图标记始终指代相同的元件。此外，为了说明的方便和清楚，附图中示出的每个层的尺寸可以被夸大。诸如“第一”和“第二”的术语在这里仅用于描述各种组成元件，但是组成元件不受该术语限制。这样的术语仅用于将一个组成元件与另一个组成元件区别开的目的。
52.在本说明书中以单数形式使用的表述也包括其复数形式的表述，除非上下文另外清楚地指定。在整个说明书中，除非另外描述，当一部分“包括”一元件时，另一元件可以被进一步包括，而不是排除另一元件的存在。此外，为了说明的清楚，附图中示出的每个层的
尺寸或厚度可以被夸大。此外，在下面的描述中，当一材料层被描述为存在于另一层上时，该材料层可以直接存在于该另一层上，或者第三层可以插设在其间。由于在以下实施方式中形成每个层的材料是示例，所以对其可以使用其它材料。
53.说明书中阐述的术语诸如“部分”、“单元”、“模块”和“块”可以表示处理至少一个功能或操作的单元，并且该单元可以由硬件、软件、或硬件和软件的组合来实现。
54.这里示出和描述的特定实现方式是本公开的说明性示例，并且不旨在以任何方式限制本公开的范围。为了简洁起见，传统的电子装置、控制系统、该系统的软件开发和其它功能方面(以及该系统的各个操作部件的部件)可以没有被详细描述。此外，在给出的各种附图中示出的连接线或连接器旨在表示各种元件之间的功能关系和/或物理或逻辑联接。应当注意，在实际装置中可以存在许多替代的或另外的功能关系、物理连接或逻辑连接。
55.在描述本公开的上下文中(尤其是在所附权利要求的上下文中)，术语“一”和“一个”以及“该”和类似指代物的使用将被解释为涵盖单数和复数两者。
56.这里描述的所有方法的步骤可以以任何合适的顺序执行，除非这里另外地指示或者另外地与上下文明显矛盾。这里提供的任何和所有示例或语言(例如“诸如”)的使用仅旨在更好地说明本公开，而不对本公开的范围施加限制，除非另外地要求。
57.图1示出根据一示例实施方式的注视点显示装置100。
58.注视点显示装置100可以包括形成二维(2d)图像的第一显示面板110、形成包括三维(3d)图像的全息图像的第二显示面板120、传输2d图像的导光板130和传输全息图像的全息光学元件125。例如，第一显示面板110可以被包括在经由第一光路提供2d图像的第一光学系统中，第二显示面板120可以被包括在经由不同于第一光路的第二光路提供全息图像的第二光学系统中。
59.2d图像可以包括例如具有单一深度的图像，全息图像可以包括具有多个深度的图像。因此，全息图像可以显示3d图像。第一显示面板110和第二显示面板120可以被提供为间隔开。第一显示面板110可以包括例如液晶显示器(lcd)、硅上液晶(lcos)显示器、有机发光二极管(oled)显示器或发光二极管(led)显示器。第一显示面板110可以处理图像信号以形成2d图像。第二显示面板120可以包括例如lcd、lcos显示器、oled显示器或led显示器。第二显示面板120可以处理图像信号以形成3d图像。第二显示面板120可以处理计算机生成的全息(cgh)图像信号以形成全息图像，并可以处理与2d图像相比相对大量的图像信号和计算。
60.从第一显示面板110输出的2d图像可以入射在导光板130上，并可以通过导光板130传输到用户的眼睛e。在本公开中，假设图像包括显示相应图像的图像光的概念。2d图像可以以第一视角θ1传输到用户的眼睛e。也就是，2d图像可以被传输以具有对应于第一视角θ1的第一视野。全息光学元件125可以以第二视角θ2将全息图像传输到用户的眼睛e。也就是，全息图像可以被传输以具有对应于第二视角θ2的第二视野。第二视角θ2可以小于第一视角θ1，使得第二视野小于第一视野。第二视角θ2可以例如大于0度并且等于或小于20度。当第二视角θ2相对小并且第二显示面板120具有与第一显示面板110相同或相似的像素数时，与2d图像相比，以第二视角θ2显示的全息图像可以具有相对高的分辨率的图像。全息图像可以显示在视网膜中央凹区域(即用户眼睛的视野的视网膜中央凹区域)上，2d图像可以显示在视网膜中央凹区域的外围区域(即用户眼睛的视野的外围区域)上。因此，由于以高分辨率提供在视网膜中央凹区域上显示的全息图像，所以用户可以立体地看到图像。
61.全息光学元件125可以仅对具有特定入射角和特定波长的入射光起作用。此外，全息光学元件125可以以窄视角输出入射光。此外，全息光学元件125可以配置为在例如非常薄的薄膜上记录全息信息，因此全息光学元件125可以容易地设置在光学装置中并可以减小整个系统的尺寸。全息光学元件125可以与例如如图1所示的导光板130的第一表面131接触地组合。也就是，全息光学元件125可以一体地附接到导光板130。然而，全息光学元件125的位置不限于此。
62.输入耦合器135可以进一步提供在导光板130的一侧。输入耦合器135可以例如提供在导光板130的一个表面的一部分上。导光板130可以包括例如第一表面131和面对第一表面131的第二表面132，图像通过第一表面131发射到用户的眼睛e。输入耦合器135可以提供在例如第一表面131的一部分上。替代地，输入耦合器135可以提供在第二表面132上。输入耦合器135可以允许光耦合到导光板130中。输入耦合器135可以引导光穿过导光板130的内部并且光被全反射。
63.此外，输出耦合器138可以提供在导光板130的不同部分上。输出耦合器138可以允许已经穿过导光板130的光输出到导光板130的外部。输出耦合器138可以提供在例如第一表面131上并与输入耦合器135间隔开。然而，输出耦合器138的位置不限于此，输出耦合器138可以提供在第二表面132上。输入耦合器135和输出耦合器138可以包括例如衍射元件，并可以以浮雕结构或凹雕结构提供在导光板130上。
64.第一透镜140可以进一步提供在第一显示面板110和输入耦合器135之间。第一透镜140可以放大从第一显示面板110输出的2d图像。第二透镜150可以进一步提供在第二显示面板120和全息光学元件125之间。然而，透镜的数量或位置不限于此。
65.注视点显示装置100还可以包括控制其上显示全息图像的区域的光束控制元件155。光束控制元件155可以包括例如微机电系统(mems)反射镜、电流反射镜、液晶透镜、液晶光束偏转器、几何相位透镜和超透镜中的至少一种。光束控制元件155可以设置在第二显示面板120和全息光学元件125之间。
66.根据一示例实施方式的注视点显示装置100还可以包括跟踪用户瞳孔的瞳孔跟踪器160。瞳孔跟踪器160可以连接到第一显示面板110和第二显示面板120。由第一显示面板110形成的2d图像和由第二显示面板120形成的全息图像的位置可以根据由瞳孔跟踪器160跟踪的瞳孔位置的变化而变化。
67.人的眼睛在视网膜中央凹区域(该处最密集地分布视觉细胞)附近具有最佳分辨率，并且分辨率在视网膜中央凹区域的外围区域(即在视网膜中央凹区域周围的区域)中是相对低的。图2示出根据通过人眼观看的视角的接收器的数量。参照图2，可以看到，当通过眼睛区分精细的物体时，人使用视网膜中央凹区域。
68.因此，相对于人的视野的所有区域增大分辨率是低效的。因此，在人敏感地聚焦和观看的视网膜中央凹区域中提供相对高分辨率的图像，并在外围区域中提供相对低分辨率的图像，因此可以满足高分辨率和减少图像处理计算两者。
69.图3示出注视点显示装置100的概念操作。注视点显示装置100可以使用瞳孔跟踪器160测量人的凝视并向人的瞳孔的一部分提供高分辨率3d图像。
70.参照图3，人的视野可以包括对应于人瞳孔的视网膜中央凹区域和在视网膜中央凹区域外围的外围区域。例如，当时间t＝t1时和当时间t＝t2时，视网膜中央凹区域和外围
区域可以不同。在注视点显示装置中，具有窄视角的相对高分辨率图像可以被提供到视网膜中央凹区域，并且具有宽视角的相对低分辨率图像可以被提供到外围区域。注视点显示装置100可以提供高分辨率图像作为视网膜中央凹区域的图像并提供低分辨率图像作为外围区域的图像，从而减少用于图像处理的计算量。此外，在一示例实施方式中，注视点显示装置100可以在视网膜中央凹区域中提供包括高分辨率3d图像的全息图像，从而增加立体效果。
71.在仅使用全息光学元件的大多数增强现实(ar)装置中，平行光或从显示器发射的光撞击全息光学元件并被衍射，然后会聚到单个点。因此，眼动范围(其是ar装置的用户可观察到虚拟图像的区域)被限制到一个点。在这种情况下，仅当眼睛精确地定位在收集光的点处时用户可以观看到图像，当眼睛旋转或者眼镜装置在脸上稍微抖动时图像是不可见的。此外，当眼动范围被限制到该点时，由于在佩戴眼镜之后执行调整图像可见的点的校准过程以适合用户眼睛的间隔，所以具有各种眼睛间隔的用户难以使用一个眼镜装置。然而，根据一示例实施方式的注视点显示装置100可以解决这个问题，并且将对此进行描述。
72.导光板130可以允许由第一显示面板110形成的2d图像以相对宽的第一视角θ1显示。例如，第一视角θ1可以是60度或更大。由于导光板130提供宽的眼动范围，所以导光板130可以应用于例如眼镜型ar装置。然而，在仅具有导光板的ar装置的情况下，导光板具有通常固定为无穷大的图像深度，并且难以独立控制图像深度。因此，为了调节仅具有导光板的ar装置中的图像深度，例如，需要额外光学元件以将虚拟图像带到导光板前面和后面的特定深度。当如上所述提供额外光学元件时，整体尺寸可能由于额外光学元件而增大，即使导光板的厚度是薄的。此外，在导光板方法的情况下，由于深度被固定，所以由于由ar装置生成的图像的深度和现实世界图像的深度之间的差异，用户可能在ar环境中变得头晕。
73.考虑到这点，根据一示例实施方式的注视点显示装置100可以提供全息图像，使得用户可以观看具有多个深度的3d图像而不头晕。在全息图像的情况下，图像的深度可以通过cgh图像的计算由软件调整，并且可以解决光学失真。然而，难以增大全息图像的视角，并且当视角增大时，观看区域可能受到限制，并且深度表达能力可能随着眼动范围的大小减小而减小。也就是，全息图像在视角和眼动范围的大小之间具有折衷关系。
74.因此，在根据一示例实施方式的注视点显示装置100中，通过使用全息图像的这种特性，全息图像仅被提供到视网膜中央凹区域，而不是整个视野，并且2d图像被提供到剩余的外围区域，因此具有相对窄的视角的全息图像和具有相对宽的视角的2d图像可以被组合到注视点显示器中。2d图像可以在具有相对宽视角的外围区域上显示，并且采用全息方法的全息图像可以通过导光板130在具有相对窄视角的视网膜中央凹区域上显示。例如，显示全息图像的第二视角θ2可以为约20度或更小，显示2d图像的第一视角θ1可以为60度或更大。即使第二视角θ2为约20度或更小，也可以在视网膜中央凹区域上显示具有第二视角θ2的全息图像，并且由于第二视角θ2相对小，所以可以提供高分辨率图像。因此，用户可以观看具有深度感的高分辨率图像，而在用户主要用眼睛感知的视网膜中央凹区域中没有眼睛疲劳。此外，由于在视网膜中央凹区域周围的外围区域比视网膜中央凹区域相对不敏感，所以即使在外围区域上显示具有相对宽视角的2d图像，用户也可以在不识别出分辨率差异的情况下观看图像。如上所述，显示具有在视网膜中央凹区域和外围区域之间的分辨率差异的图像，从而提供具有深度感的3d图像，同时减少全息图像的计算量。此外，代替使全息图
像的视角变窄，眼动范围可以增大。因此，可以利用宽的眼动范围来覆盖用户的两只眼睛之间的不同距离。
75.此外，由于导光板130提供固定的焦点而全息光学元件125通过cgh计算提供各种焦点信息，所以可以根据患有眼病的人的眼睛状况将图像预先校正为适当的形状。
76.图4示出根据一示例实施方式的注视点显示装置200。
77.注视点显示装置200可以包括形成2d图像的第一显示面板210、形成具有3d图像的全息图像的第二显示面板220、传输2d图像的导光板230以及传输全息图像的全息光学元件225。
78.2d图像可以在视网膜中央凹区域的外围区域上显示，并通过导光板230传输，使得2d图像可以以相对宽的第一视角进入用户的眼睛。全息图像可以在视网膜中央凹区域上显示并可以通过全息光学元件225以相对窄的第二视角进入用户的眼睛。
79.第一透镜240可以进一步提供在第一显示面板210和导光板230之间。第一透镜240可以包括例如傅立叶变换透镜。傅立叶变换透镜可以将形成在第一显示面板210上的2d图像的空间信息变换为角度分量，从而使得图像信息入射到导光板230中。输入耦合器235可以进一步提供在第一显示面板210和导光板230之间。输入耦合器235可以将2d图像耦合到导光板230。导光板230可以包括第一表面231和面对第一表面231的第二表面232，图像通过第一表面231发射到用户的眼睛e。输入耦合器235可以例如提供在第一表面231上。
80.输出耦合器238可以进一步提供在导光板230的另一部分上。输出耦合器238可以提供在第一表面231上以与输入耦合器235间隔开。输出耦合器238可以引导通过导光板230传播的2d图像信息以朝向用户的眼睛e发射。
81.全息光学元件225可以提供在导光板230的一侧。形成在第二显示面板220上的全息图像可以入射在全息光学元件225上并由全息光学元件225以窄视角再现以进入用户眼睛e的视网膜中央凹区域。
82.全息图像再现光学系统可以包括光源215和将从光源215发射的光反射到第二显示面板220的分束器224。此外，从第二显示面板220输出的全息图像可以通过分束器224传输。这里，第二显示面板220可以是反射面板。例如，第二显示面板220可以包括led显示器、oled显示器或lcos显示器。
83.透镜和滤光器226可以进一步提供在分束器224和全息光学元件225之间的光路上。滤光器226可以是用于再现cgh的空间滤光器。
84.例如，第二透镜221可以提供在分束器224和滤光器226之间，第三透镜227和第四透镜228可以提供在滤光器226和全息光学元件225之间。然而，透镜的数量和位置不限于此。
85.光路转换器229可以进一步提供在滤光器226和全息光学元件225之间。光路转换器229可以是用于转换光路的反射镜。光路转换器229可以用于第二显示面板220和全息光学元件225之间的空间利用。全息光学元件225可以直接耦合到导光板230的一个表面。全息光学元件225可以被提供为与例如输出耦合器238重叠。全息光学元件225可以提供在输出耦合器238的中心。全息光学元件225可以例如提供在导光板230上的光入射表面(光入射在其上)的一部分上。
86.在图4中，第一显示面板210和第二显示面板220可以关于导光板230提供在相同的
方向上。换句话说，第一显示面板210和第二显示面板220可以都位于导光板230的同一侧。然而，第一显示面板210和第二显示面板220的位置不限于此，第一显示面板210和第二显示面板220可以关于导光板230提供在相反的方向上。
87.图5示出图4所示的注视点显示装置200中的光源215的位置变化。在图5中，使用与图4中相同的附图标记的元件具有基本上相同的配置和功能，因此省略其详细描述。
88.在注视点显示装置200a中，输入耦合器235a可以提供在导光板230的第二表面232上，输出耦合器238a可以与输入耦合器235a间隔开并提供在第二表面232上。此外，光源215向第二显示面板220a辐射光，并且光穿过第二显示面板220a从而可以形成全息图像。第二显示面板220a可以是例如透射面板。第二显示面板220a可以包括lcd。在一示例实施方式中，光源215和第二显示面板220a可以布置成一行。第四透镜222可以进一步提供在光源215和分束器224之间。
89.全息图像再现光学系统包括空间滤光器226，从而可以很好地再现cgh。通过耦合到导光板230的全息光学元件225，再现的全息图像可以传播从而以窄视角进入用户眼睛的瞳孔。在一示例实施方式中，由于第一显示面板210和第二显示面板220彼此独立地间隔开，所以显示2d图像的光学系统和显示全息图像的光学系统可以被分开设计。
90.图6示出根据一示例实施方式的注视点显示装置200b。图6示出图4所示的注视点显示装置200的配置的变化。在图6中，使用与图4中相同的附图标记的元件具有基本上相同的配置和功能，因此省略其详细描述。
91.在注视点显示装置200b中，第一显示面板210可以被提供为面对导光板230的第二表面232。输入耦合器235a和输出耦合器238a可以被提供为在导光板230的第二表面232上彼此间隔开。子导光板250可以提供在导光板230的第一表面231上。全息光学元件225可以提供在例如导光板230和子导光板250之间。全息光学元件225可以提供在子导光板250中提供的凹陷253中。然而，凹陷253可以提供在导光板230中。替代地，全息光学元件225可以提供在子导光板250的出射表面255上。
92.第二显示面板220可以提供在相对于导光板230倾斜的方向上。例如，第二显示面板220可以被定位为使得垂直于第二显示面板220的方向a不平行于垂直于导光板230的第二表面232的方向b。第二显示面板220可以设置为不与导光板230的位置重叠，并可以设置在相对于导光板230的对角线方向上。
93.子导光板250可以与例如导光板230接触地组合。此外，子导光板250可以包括在其一侧的倾斜表面252。倾斜表面252可以被提供为对应于第二显示面板220。例如，倾斜表面252可以平行于第二显示面板220提供，但是不限于此。来自第二显示面板220的全息图像可以入射在倾斜表面252上。在一示例实施方式中，由于全息图像通过子导光板250传播，例如，当注视点显示装置200b应用于眼镜型显示器时，图像可以被显示而与佩戴者的面部形状无关。尽管倾斜表面252提供在子导光板250的一侧，但是倾斜表面252的配置不限于此，并且可以被实现为具有倾斜表面的单独棱镜。
94.图7是示出根据一示例实施方式的注视点显示装置300的图。
95.注视点显示装置300可以包括形成2d图像和包括3d图像的全息图像的显示面板310、传输2d图像的导光板330和传输全息图像的全息光学元件350。
96.显示面板310可以包括第一显示面板311和第二显示面板312。第一显示面板311可
以形成2d图像，第二显示面板312可以形成全息图像。在一示例实施方式中，第一显示面板311和第二显示面板312可以被一体地提供。尽管第一显示面板311和第二显示面板312被一体地提供，但是第一显示面板311和第二显示面板312可以独立地处理图像。第一显示面板311和第二显示面板312被平行地布置。尽管图7示出第一显示面板311和第二显示面板312被一体地形成的示例，但是第一显示面板311和第二显示面板312可以被独立地提供并可以彼此接触或彼此相邻地平行布置。
97.可以提供向显示面板310辐射光的光源315。第一分束器321和第二分束器322可以被提供为分别面对第一显示面板311和第二显示面板312。第一分束器321可以提供在第一显示面板311和光源315之间，第二分束器322可以提供在第二显示面板312和光源315之间。第一分束器321和第二分束器322可以平行地布置。此外，第一分束器321和第二分束器322可以彼此接触地组合或者彼此相邻地设置。
98.第一分束器321和第二分束器322可以反射部分光并使剩余的光从其通过。因此，从光源315发射的光可以穿过第一分束器321和第二分束器322，以分别入射在第一显示面板311和第二显示面板312上。使用该入射光，可以在第一显示面板311上形成2d图像，并且可以在第二显示面板312上形成全息图像。
99.第一显示面板311和第二显示面板312可以是反射式的。因此，由第一显示面板311形成的2d图像可以被第一分束器321反射，并且由第二显示面板312形成的全息图像可以被第二分束器322反射。2d图像可以被第一分束器321反射并入射在导光板330上。如图7所示，3d图像可以被第二分束器322反射以在与2d图像被反射的方向相反的方向上行进。
100.导光板330可以包括第一表面331和面对第一表面331的第二表面332，光通过第一表面331朝向用户的眼睛e输出。输入耦合器335可以提供在第一表面331的一侧上，输出耦合器338可以提供在第一表面331的不同部分上以与输入耦合器335间隔开。输入耦合器335和输出耦合器338可以提供在第二表面332上。在一示例实施方式中，输入耦合器335和输出耦合器338可以以凹雕结构提供在导光板330上。
101.第一透镜341可以进一步提供在光源315与第一分束器321和第二分束器322之间。例如，第一透镜341可以准直从光源315发射的光。
102.第二透镜342可以提供在第一分束器321和输入耦合器335之间。第二透镜342可以例如放大从第一分束器321输出的2d图像以使其入射在输入耦合器335上。入射在输入耦合器335上的2d图像可以通过导光板330传输到输出耦合器338并以宽视角θ1在用户眼睛e的外围区域上显示。
103.可以进一步提供光路转换器347，光路转换器347转换光路使得从第二分束器322输出的全息图像被导向全息光学元件350。光路转换器347可以包括例如反射镜。在图7中，提供一个光路转换器347，但是可以提供多个光路转换器。
104.滤光器346可以进一步提供在第二分束器322和全息光学元件350之间的光路上。滤光器346可以包括例如傅立叶变换滤光器。此外，第三透镜345可以进一步提供在第二分束器322和全息光学元件350之间的光路上。第三透镜345可以聚焦光，使得从第二分束器322发射的光可以穿过滤光器346。如上所述，从第二分束器322输出的全息图像可以通过滤光器346和光路转换器347入射在全息光学元件350上。全息光学元件350可以使全息图像的视角变窄以进入用户眼睛e的视网膜中央凹区域。因此，全息图像可以具有高分辨率并被提
供在用户眼睛e的中央凹区域中。
105.在一示例实施方式中，第一显示面板311和第二显示面板312可以平行地布置，并且用于2d图像的光学系统和用于全息图像的光学系统可以被紧凑地布置。
106.根据一示例实施方式的注视点显示装置300可以顺序地或同时地提供具有宽视角的低分辨率2d图像和具有窄视角的高分辨率全息图像，并且用户可以观看通过组合2d图像和全息图像获得的自然立体图像。
107.注视点渲染技术可以应用于注视点显示装置。注视点渲染是跟踪用户瞳孔的运动并显示像真实视野一样的图像的虚拟现实(vr)或ar技术。当人观看某个方向或物体时，可以以高分辨率看到进入视野中心的部分并可以以低分辨率看到外围部分，从而减少图像处理计算量并提高图像处理速度。
108.根据上述各种示例实施方式的注视点显示装置可以应用于各种装置，诸如增强现实眼镜、虚拟现实(vr)眼镜或平视显示器(hud)。此外，根据各种示例实施方式的注视点显示装置可以应用于各种领域，诸如娱乐、教育和医学。
109.图8示出根据一示例实施方式的应用于ar眼镜400的注视点显示装置的示例。在本公开中，ar可以意味着将虚拟图像一起叠加并显示在现实世界中的物理环境空间或现实世界物体的图像上。在本公开中，ar装置是能够表现ar的装置，并且不仅可以包括用户戴在面部上的眼镜形状的ar眼镜，还可以包括用户戴在头部上的头戴式显示器(hmd)和ar头盔。
110.在本公开中，真实场景是由观察者或用户通过ar装置观看的真实世界的场景，并可以包括真实世界物体。虚拟图像可以表示通过光学系统生成的图像。虚拟图像可以包括静态图像和动态图像两者。这样的虚拟图像与真实场景一起被观察，并可以是示出关于真实场景中的真实世界物体的信息、关于ar装置的操作的信息或控制菜单的图像。虚拟物体可以被表现为虚拟图像的部分区域。虚拟物体可以表示与真实世界物体相关的信息。虚拟物体可以包括例如字母、数字、符号、图标、图像和动画中的至少一个。
111.图9示出根据一示例实施方式的应用于vr眼镜500的注视点显示装置的示例。图10示出根据一示例实施方式的应用于车辆的注视点显示装置610的示例。注视点显示装置可以应用于车辆的平视显示装置600。平视显示装置600可以包括提供在车辆的一区域中的注视点显示装置610以及至少一个光路转换构件620，该至少一个光路转换构件620转换光路使得驾驶员可以观看由注视点显示装置610生成的图像。
112.图11示出根据一示例实施方式的应用于移动装置700的注视点显示装置710的示例。参照图1至图8描述的显示装置可以应用于注视点显示装置710。
113.根据各种示例实施方式的注视点显示装置可以应用于如图12所示的平板或智能平板720。此外，根据各种示例实施方式的注视点显示装置可以应用于如图13所示的笔记本计算机730，也可以应用于如图14所示的计算机监视器740或电视。此外，如图15所示，根据各种示例实施方式的注视点显示装置751可以应用于多重折叠显示器750。如图16所示，根据各种示例实施方式的注视点显示装置可以应用于标牌760、大型广告牌、剧院屏幕等中使用的大型显示器。此外，如图17所示，根据各种示例实施方式的注视点显示装置可以应用于智能手表770。
114.图18是根据示例实施方式的包括注视点显示装置的电子装置8201的框图。
115.参照图18，电子装置8201可以提供在网络环境8200中。在网络环境8200中，电子装
置8201可以经由第一网络8298(短距离无线通信网络等)与另一电子装置8202进行通信，或者可以经由第二网络8299(长距离无线通信网络等)与另一电子装置8204和/或服务器8208进行通信。电子装置8201可以经由服务器8208与电子装置8204进行通信。电子装置8201可以包括处理器8220、存储器8230、输入装置8250、声音输出装置8255、显示装置8260、音频模块8270、传感器模块8276、接口8277、触觉模块8279、相机模块8280、电力管理模块8288、电池8289、通信模块8290、用户识别模块8296和/或天线模块8297。这些元件中的一些可以被省略，或者另外的元件可以被添加到电子装置8201。这些元件中的一些可以被实现为一个集成电路。例如，传感器模块8276(指纹传感器、虹膜传感器、照度传感器等)可以嵌入在显示装置8260(显示器等)中。
116.处理器8220可以运行软件(程序8240等)来控制电子装置8201的与处理器8220连接的一个元件或多个其它元件(硬件元件或软件元件等)，并执行各种数据处理或操作。作为数据处理或操作的部分，处理器8220可以将从另一元件(传感器模块8276、通信模块8290等)接收到的命令和/或数据加载到易失性存储器8232中，处理存储在易失性存储器8232中的命令和/或数据，并将结果数据存储在非易失性存储器8234中。处理器8220可以包括主处理器8221(中央处理器、应用处理器等)以及与主处理器8221可独立操作或可与其一起操作的辅助处理器8223(图形处理单元、图像信号处理器、传感器中枢处理器、通信处理器等)。辅助处理器8223可以使用比主处理器8221更少的电力，并可以执行专门的功能。
117.当主处理器8221处于未激活状态(睡眠状态)时代替主处理器8221，或者当主处理器8221处于激活状态(应用运行状态)时与主处理器8221一起，辅助处理器8223可以控制与电子装置8201的元件(显示装置8260、传感器模块8276、通信模块8290等)中的一些相关的功能和/或状态。辅助处理器8223(图像信号处理器、通信处理器等)可以被实现为其它功能相关的元件(相机模块8280、通信模块8290等)的部分。
118.存储器8230可以存储电子装置8201的元件(处理器8220、传感器模块8276等)所需要的各种数据。该数据可以包括例如软件(程序8240等)以及针对与其相关的命令的输入数据和/或输出数据。存储器8230可以包括易失性存储器8232和/或非易失性存储器8234。
119.程序8240可以作为软件存储在存储器8230中，并且可以包括操作系统8242、中间件8244和/或应用8246。
120.输入装置8250可以从电子装置8201的外部(用户等)接收用于电子装置8201的元件(处理器8220等)的命令和/或数据。输入装置8250可以包括遥控器、麦克风、鼠标、键盘和/或数字笔(诸如手写笔)。
121.声音输出装置8255可以将声音信号输出到电子装置8201的外部。声音输出装置8255可以包括扬声器和/或接收器。扬声器可以用于诸如多媒体回放或唱片回放的通用目的，接收器可以用于接收呼入来电。接收器可以被组合为扬声器的部分，或者可以被实现为独立的单独器件。
122.显示装置8260可以向电子装置8201的外部视觉地提供信息。显示装置8260可以包括显示器、全息装置或投影仪以及用于控制该器件的控制电路。显示装置8260可以包括参照图1至图8描述的注视点显示装置中的任一个。显示装置8260可以包括设定为感测触摸的触摸电路或设定为测量由触摸产生的力的强度的传感器电路(诸如压力传感器)。
123.音频模块8270可以将声音转换为电信号，或者反之亦可。音频模块8270可以经由
输入装置8250获得声音，或者可以经由声音输出装置8255和/或与电子装置8201直接地或无线地连接的另一电子装置(电子装置8202、8204等)的扬声器和/或耳机输出声音。
124.传感器模块8276可以感测电子装置8201的操作状态(电力、温度等)或外部环境状态(用户状态等)，并产生与感测到的状态相应的电信号和/或数据值。传感器模块8276可以包括手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器和/或照度传感器。
125.接口8277可以支持可用于电子装置8201与另一电子装置(电子装置8202、8204等)直接地或无线地连接的一个或更多个指定协议。接口8277可以包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、sd卡接口和/或音频接口。
126.连接端8278可以包括连接器，电子装置8201可以通过该连接器物理地连接到另一电子装置(电子装置8202等)。连接端8278可以包括hdmi连接器、usb连接器、sd卡连接器和/或音频连接器(诸如耳机连接器)。
127.触觉模块8279可以将电信号转换为用户可经由触觉或动觉识别的机械刺激(振动、运动等)或电刺激。触觉模块8279可以包括电机、压电元件和/或电刺激器件。
128.相机模块8280可以捕获静止图像和视频。相机模块8280可以包括包含一个或更多个透镜的透镜组件、图像传感器、图像信号处理器和/或闪光灯。包括在相机模块8280中的透镜组件可以收集从作为图像捕获的目标的物体发射的光。
129.电力管理模块8288可以管理供应到电子装置8201的电力。电力管理模块8288可以被实现为电力管理集成电路(pmic)的部分。
130.电池8289可以对电子装置8201的元件供电。电池8289可以包括不可再充电的一次电池、可再充电的二次电池和/或燃料电池。
131.通信模块8290可以在电子装置8201与其它电子装置(电子装置8202、电子装置8204、服务器8208等)之间建立直接(有线)通信信道和/或无线通信信道，并支持通过建立的通信信道的通信。通信模块8290可以包括独立于处理器8220(应用处理器等)操作并支持直接通信和/或无线通信的一个或更多个通信处理器。通信模块8290可以包括无线通信模块8292(蜂窝通信模块、短距离无线通信模块、全球导航卫星系统(gnss)通信模块等)和/或有线通信模块8294(局域网(lan)通信模块、电力线通信模块等)。在这些通信模块当中，对应的通信模块可以经由第一网络8298(短距离通信网络，诸如蓝牙、wi-fi直连或红外数据协会(irda))或经由第二网络8299(长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(lan)、wan等)与其它电子装置进行通信。这些各种类型的通信模块可以被集成到一个元件(单个芯片等)中，或者可以被实现为彼此分离的多个元件(多个芯片)。无线通信模块8292可以使用存储在用户识别模块8296中的用户信息(国际移动用户识别码(imsi)等)以确认和验证在通信网络(诸如第一网络8298和/或第二网络8299)中的电子装置8201。
132.天线模块8297可以将信号和/或电力发送到外部(诸如其它电子装置)或者从外部接收信号和/或电力。天线模块8297可以包括形成为基板(pcb等)上的导电图案的辐射器。天线模块8297可以包括一个或多个天线。当天线模块8297包括多个天线时，适合于在通信网络(诸如第一网络8298和/或第二网络8299)中使用的通信方法的天线可以由通信模块8290从所述多个天线当中选择。信号和/或电力可以通过所选择的天线在通信模块8290和
其它电子装置之间发送或接收。除了天线之外，另外的元件(诸如rfic)可以被包括作为天线模块8297的部分。
133.上述元件中的一些可以通过外围装置之间的通信方法(总线、通用输入输出(gpio)、串行外设接口(spi)、移动工业处理器接口(mipi)等)而连接到彼此并可以交换信号(命令、数据等)。
134.命令或数据可以通过连接到第二网络8299的服务器8208而在电子装置8201和外部电子装置8204之间发送或接收。其它电子装置8202和8204可以是与电子装置8201相同类型或不同类型的装置。由电子装置8201执行的全部操作或一些操作可以由其它电子装置8202、8204和8208中的一个或更多个装置执行。例如，当电子装置8201需要执行功能或服务时，代替自己执行该功能或服务，电子装置8201可以请求一个或更多个其它电子装置部分地或完全地执行该功能或服务。已经接收到请求的一个或更多个其它电子装置可以执行与该请求相关的另外的功能或服务，并将执行的结果传送到电子装置8201。为此，可以使用云计算、分布式计算和/或客户机-服务器计算技术。
135.上述实施方式仅是示例，对于本领域普通技术人员来说，各种修改和等同的其他实施方式是可能的。因此，根据实施方式的真正的技术保护范围应当由所附权利要求中描述的本公开的技术思想来确定。
136.根据一个或更多个示例实施方式的注视点显示装置可以使用提供2d图像的显示面板和提供3d全息图像的显示面板来提供具有窄视角的高分辨率图像和具有宽视角的低分辨率图像。
137.根据一个或更多个示例实施方式的注视点显示装置仅在视网膜中央凹区域中提供高分辨率图像，因此减少图像处理的计算量，从而提高图像显示速度并有效地提供3d图像。
138.应当理解，这里描述的示例实施方式应当仅被认为是描述性的，而不是出于限制的目的。对每个实施方式内的特征或方面的描述通常应当被认为可用于其它实施方式中的其它类似特征或方面。尽管已经参照附图描述了一个或更多个实施方式，但是本领域普通技术人员将理解，在不脱离由所附权利要求限定的精神和范围的情况下，可以在其中进行形式和细节上进行各种改变。
139.本技术基于2020年12月8日在韩国知识产权局提交的韩国专利申请第10-2020-0170745号并要求其优先权，其公开内容通过引用整体结合于此。