一种增强现实显示装置及其设备的制作方法

1.本案是申请号为cn202010722830.0的母案的分案申请。
2.本发明涉及增强现实技术领域，尤其涉及一种增强现实显示装置及其设备。


背景技术：

3.随着科学技术的迅速发展，人们不再满足于通过屏幕来感受虚拟世界，还想更将虚拟世界与现实世界相结合，于是，增强现实技术应运而生。
4.目前，大部分增强现实装置会采用多个显示器，分别设置在装置的不同位置处，从而实现多深度显示，即虚拟图像可以在现实场景中不同的深度位置处显示，但同时多个显示器也会提高增强现实装置的成本。还有一部分增强现实采用液体透镜作为装置中的光学处理模块，通过控制液体透镜的形状，来控制光线的角度和方向，但是液体透镜对于周围环境的温度较为苛刻，环境温度会影响这类增强现实装置的图像显示效果，例如对比度降低等。
5.因此，需要提供一种增强现实显示装置，在降低成本且不影响虚拟图像显示效果的情况下，还能够实现多深度的增强现实显示。


技术实现要素：

6.本发明实施例提供一种增强现实显示装置及其设备，以解决现有技术中多深度的增强现实显示成本较高且无法保障显示质量的问题。
7.为了解决上述技术问题，本发明是这样实现的：第一方面，本发明实施例提供了一种增强现实显示装置，包括深度获取模块、显示模块、处理模块、升降模块和镜架，其中：
8.所述深度获取模块，用于获取目标对象的深度位置信息，所述目标对象包括人眼、目标图像和所述人眼视野范围内的真实环境中的至少一种，所述目标对象的深度位置信息包括所述人眼注视位置的深度平面的位置信息、和/或所述目标图像待显示的深度平面的位置信息、和/或所述真实环境的深度平面的位置信息；
9.所述显示模块，用于显示所述目标图像；
10.所述处理模块与所述显示模块固定连接，所述处理模块用于基于所述深度获取模块获取的所述目标对象的深度位置信息，确定所述显示模块的位移信息；
11.所述升降模块和所述镜架固定连接，所述升降模块与所述处理模块通过线缆连接，所述升降模块中的驱动单元和所述显示模块固定连接，所述升降模块用于基于所述处理模块确定的所述位移信息，驱动所述显示模块移动到目标位置，所述目标位置为所述位移信息指示所述显示模块最终到达的位置。
12.第二方面，本发明实施例还提供一种增强现实显示设备，包括如第一方面提供的增强现实显示装置。
13.本发明实施例提供的增强现实显示装置，包括深度获取模块、显示模块、处理模块、升降模块和镜架，其中：深度获取模块，用于获取目标对象的深度位置信息，该目标对象
包括人眼、目标图像和人眼视野范围内的真实环境中的至少一种，该目标对象的深度位置信息包括人眼注视位置的深度平面的位置信息、和/或目标图像待显示的深度平面的位置信息、和/或真实环境的深度平面的位置信息；显示模块，用于显示目标图像；处理模块与显示模块固定连接，处理模块用于基于深度获取模块获取的目标对象的深度位置信息，确定显示模块的位移信息；升降模块和镜架固定连接，升降模块与处理模块通过线缆连接，升降模块中的驱动单元和显示模块固定连接，升降模块用于基于处理模块确定的位移信息，驱动显示模块移动到目标位置，该目标位置为位移信息指示显示模块最终到达的位置。
14.这样，在显示模块移动时，能够通过保证显示模块与光学模块之间的物方远心光学结构，来确保人眼接收到光线的角度不发生变化，从而使得升降模块基于处理模块确定的位移信息，驱动显示模块在位移范围内移动，就可以实现实时的多深度增强现实显示。
附图说明
15.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例提供的一种增强现实显示装置的结构示意图；
17.图2为本发明实施例提供的增强现实显示装置的多个微型弹簧的位置示意图；
18.图3为本发明实施例提供的增强现实显示装置的一种驱动单元的结构示意图；
19.图4为本发明实施例提供的增强现实显示装置的音圈马达的位置示意图；
20.图5为本发明实施例提供的增强现实显示装置的光学模块的位置示意图；
21.图6为本发明实施例提供的增强现实显示装置的光学模块的结构示意图；
22.图7为本发明实施例提供的增强现实显示装置的又一种透镜单元的示意图；
23.图8为本发明实施例提供的增强现实显示装置的显示模块的结构示意图；
24.图9为本发明实施例提供的增强现实显示装置的多角度示意图；
25.图10为本发明实施例提供的像方焦距和物方焦距的示意图；
26.图11为本发明实施例提供的增强现实显示装置中显示模块和物方焦点之间的距离、与目标图像的显示深度之间的线性关系示意图；
27.图12为本发明实施例提供的增强现实显示装置的一种物方远心光学结构的示意图；
28.图13为本发明实施例提供的增强现实显示装置的升降模块的工作时长和虚拟图像显示深度的关系示意图；
29.图14为本发明实施例提供的增强现实显示装置的显示模块和焦平面关于黎卡提方程的距离示意图；
30.图15为本发明实施例提供的增强现实显示装置的显示模块与支撑基板之间的距离随时间变化的示意图；
31.图16为本发明实施例提供的增强现实显示装置的一种凸轮及其旋转效果的示意图；
32.图17为本发明实施例提供的增强现实显示装置的又一种凸轮的示意图；
33.图18为本发明实施例提供的增强现实显示装置的音圈马达的位移曲线示意图；
34.图19为本发明实施例提供的增强现实显示装置基于人眼注视位置来移动显示模块的示意图；
35.图20为本发明实施例提供的增强现实显示装置基于人眼注视位置来移动显示模块时虚拟图像的显示顺序示意图；
36.图21为本发明实施例提供的增强现实显示装置基于目标图像待显示位置来移动显示模块的示意图；
37.图22为本发明实施例提供的增强现实显示装置基于目标图像待显示位置来移动显示模块时虚拟图像的显示顺序示意图；
38.图23为本发明实施例提供的增强现实显示装置基于人眼注视位置移动显示模块时的离焦渲染处理示意图；
39.图24为本发明实施例提供的增强现实显示装置基于目标图像待显示位置移动显示模块时的离焦渲染处理示意图。
具体实施方式
40.为解决现有技术中多深度的增强现实显示成本较高且无法保障显示质量的问题，本发明提供一种增强现实显示装置，包括深度获取模块、显示模块、处理模块、升降模块和镜架，其中：深度获取模块，用于获取目标对象的深度位置信息，该目标对象包括人眼、目标图像和人眼视野范围内的真实环境中的至少一种，该目标对象的深度位置信息包括人眼注视位置的深度平面的位置信息、和/或目标图像待显示的深度平面的位置信息、和/或真实环境的深度平面的位置信息；显示模块，用于显示目标图像；处理模块与显示模块固定连接，处理模块用于基于深度获取模块获取的目标对象的深度位置信息，确定显示模块的位移信息；升降模块和镜架固定连接，升降模块与处理模块通过线缆连接，升降模块中的驱动单元和显示模块固定连接，升降模块用于基于处理模块确定的位移信息，驱动显示模块移动到目标位置，该目标位置为位移信息指示显示模块最终到达的位置。
41.这样，在显示模块移动时，能够通过保证显示模块与光学模块之间的物方远心光学结构，来确保人眼接收到光线的角度不发生变化，从而使得升降模块基于处理模块确定的位移信息，驱动显示模块在位移范围内移动，就可以实现实时的多深度增强现实显示。
42.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
43.以下结合附图，详细说明本发明各实施例提供的技术方案。
44.请参见图1，为本发明实施例提供的一种增强现实显示装置的结构示意图。该增强现实显示装置包括深度获取模块11、显示模块12、处理模块13、升降模块14和镜架15，其中：深度获取模块11，用于获取目标对象的深度位置信息；显示模块12，用于显示目标图像；处理模块13与显示模块12固定连接，处理模块13用于基于深度获取模块11获取的目标对象的深度位置信息，确定显示模块12的位移信息；升降模块14和镜架15固定连接，升降模块14与处理模块13通过线缆连接，升降模块14中的驱动单元142和显示模块12固定连接，升降模块
14用于基于处理模块13确定的位移信息，驱动显示模块12移动到目标位置。
45.其中，目标对象包括人眼、目标图像和人眼视野范围内的真实环境中的至少一种，目标对象的深度位置信息包括人眼注视位置的深度平面的位置信息、和/或目标图像待显示的深度平面的位置信息、和/或真实环境的深度平面的位置信息；目标位置为位移信息指示显示模块12最终到达的位置。
46.可选地，为了能够获取人眼注视位置的深度平面的位置信息、和/或目标图像待显示的深度平面的位置信息、和/或真实环境的深度平面的位置信息，深度获取模块11可以是多种深度获取设备的集合。
47.具体地，深度获取模块11至少包括人眼跟踪设备、结构光深度传感设备、双目视觉深度传感设备、以及飞行时间深度传感设备中的一种。
48.应理解，不同用途的深度获取设备可设置在本发明实施例提供的增强现实显示装置内的不同位置处，以实现各自的功能。
49.可选地，在升降模块14驱动显示模块12移动的过程中，显示模块12可能会发生倾斜，即显示模块12的显示屏所在平面不在满足光学条件的预设平面上，这样显示模块12显示的图像可能无法到达人眼。因此，为了使得显示模块12的显示屏所在平面一直保持在预设平面上，可将多个微型弹簧141设置在显示模块12和镜架15之间，多个微型弹簧141可用于连接显示模块12和镜架15。此外，多个微型弹簧141还能够为显示模块12的移动提供压缩恢复力。
50.具体地，升降模块14还包括多个微型弹簧141，其中：
51.多个微型弹簧141的一端分别与显示模块12固定连接，多个微型弹簧141的另一端分别与镜架15固定连接；
52.在驱动单元142驱动显示模块12位移时，多个微型弹簧141用于使得显示模块12的倾斜角度与位移之前显示模块12的倾斜角度保持一致。
53.如图2所示，为本发明实施例提供的增强现实显示装置的多个微型弹簧的位置示意图。图2(a)为本发明实施例提供的多个微型弹簧与显示模块的正面连接的示意图，图2(b)为本发明实施例提供的多个微型弹簧与显示模块的背面连接的示意图。
54.具体地，多个微型弹簧141的一端分别与显示模块12的正面的无显示屏区域固定连接，显示模块12的正面是显示模块12上显示模块12的显示屏所在的面；或，
55.多个微型弹簧141的一端分别与显示模块12的背面连接，显示模块12的背面是显示模块12上与显示模块12的正面相反的面。
56.应理解，图2只给出了单侧示意图，图中的微型弹簧可以是多个微型弹簧141重合后的示意。无论采用多少微型弹簧，以怎样的连接方式连接多个微型弹簧141和显示模块12、以及连接多个微型弹簧141和镜架15，或以怎样的布局设置多个微型弹簧141的位置，只要能保持显示模块12在移动过程中稳定，都是本发明所要保护的实施方式。
57.可选地，在本发明实施例提供的增强现实显示装置的内部空间有限，显示模块12的位移范围也较小，所以通过凸轮1421的径长提供位移量就能够满足显示模块12的移动需求。如图3所示，为本发明实施例提供的增强现实显示装置的一种驱动单元的结构示意图。
58.具体地，驱动单元142包括凸轮1421，其中：
59.凸轮1421可围绕着凸轮的旋转中心轴旋转；
60.凸轮1421的表面与显示模块12的背面滑动连接，凸轮1421在围绕着旋转中心旋转时，凸轮1421用于驱动显示模块12位移。
61.此外，显示模块12的背面可设置有微型支杆1422，通过微型支杆1422与凸轮1421滑动连接。凸轮1421的旋转中心轴可以用于驱动凸轮1421。驱动凸轮1421转动的电机可包括步进电机、有刷电机、无刷电机或空心杯电机等。
62.可选地，若显示模块12的位移范围较小，还可用音圈马达143替代凸轮1422，从而达到精准驱动显示模块12移动至目标位置的目的，并且音圈马达143的小体积也能够节约增强现实显示装置的内部空间。
63.具体地，在本发明实施例提供的装置中，驱动单元142可包括音圈马达143，其中：
64.音圈马达143与显示模块12的背面固定连接，音圈马达143用于驱动显示模块位移到达目标位置。
65.可选地，为了能够较为精准地驱动显示模块12达到目标位置，可先采用凸轮1421驱动显示模块12移动至目标位置附近，再通过音圈马达143微调显示模块12的位置，使得显示模块12能够准确地位于目标位置处，这种凸轮1421和音圈马达143的组合结构可应用于对显示要求较高的增强现实显示装置中。
66.如图4所示，为本发明实施例提供的增强现实显示装置的音圈马达的位置示意图。
67.具体地，驱动单元142包括音圈马达143，其中：
68.凸轮1421的表面与显示模块12的背面滑动连接；
69.凸轮1421围绕着凸轮1421的旋转中心轴旋转；
70.凸轮1421在围绕着旋转中心旋转时，凸轮1421和音圈马达143用于驱动显示模块12位移。
71.音圈马达143与处理模块13连接，处理模块13用于获取显示模块12的位置信息，并基于显示模块12的位置信息，确定音圈马达143驱动显示模块12微调的距离和方向；
72.音圈马达143与显示模块12的背面固定连接，音圈马达143用于在显示模块12位移至目标位置附近时，微调显示模块12的位置，使得显示模块12到达目标位置。
73.此外，显示模块12的背面可设置有微型支杆1422，通过微型支杆1422与凸轮1421滑动连接。
74.可选地，当显示模块12的位移范围较小时，可省略凸轮1421，只采用音圈马达143也能够驱动显示模块12到达目标位置。
75.可选地，为了使得显示模块12的像素点1201发出的光线能够经过光学处理，并与实际场景的光线同时到达人眼，本发明实施例提供的增强现实显示装置还包括能够处理光线的光学模块16。
76.如图5所示，为本发明实施例提供的增强现实显示装置的光学模块的位置示意图。在图5(a)中增强现实显示装置可包括两个左右对称且内部结构相同的光学模块16，也可包括一个可处理左右眼对应的光线的光学模块16，且一个或两个光学模块16可设置在镜架15的内部如图5(b)所示，显示模块12与光学模块16之间的相对位置和相对角度，应该满足实际应用场景中的光学系统的需求。作为一种示例，光学模块16的焦距范围可以为10毫米至50毫米之间，其主光线1202与显示模块12表面的角度范围可以小于30度。
77.具体地，装置还包括光学模块16，其中：
78.光学模块16和镜架15固定连接；
79.光学模块16与显示模块12光学对准，用于对显示模块12中的像素点1201发射出的光线进行预设处理，以使得显示模块12发射出的光线到达人眼；
80.其中，预设处理包括放大处理、反射处理和透射处理中的至少一种。
81.可选地，为了使得经过光学模块16处理的光线，在到达人眼之后能够产生预期的显示效果，本发明实施提供的增强现实显示装置中的光学模块16可包括透镜单元161和光学预处理单元。如图6所示，为本发明实施例提供的增强现实显示装置的光学模块的结构示意图。
82.具体地，光学模块16包括透镜单元161，其中：
83.透镜单元161与镜架15固定连接；
84.透镜单元161包括至少一个透镜1611，至少一个透镜1611光学对准，透镜单元161用于对显示模块12中的像素点1201发射出的光线进行像差校正处理。
85.作为一种示例，图6(a)中两个透镜1611上下设置，并分别与镜筒1612固定连接，且光线从透镜单元161上部的入光口射入，再从下部的出光口射出，并射入光学预处理单元162。
86.又如图7所示，为本发明实施例提供的增强现实显示装置的又一种透镜单元的示意图。透镜单元161既可以是如图7(a)所示的一个透镜1611，透镜单元161包括一个透镜1611或两个透镜1611时的光线的射入射出方向如光线71的射入射出方向所示。
87.具体地，光学模块16包括光学预处理单元162，其中：
88.光学预处理单元162与镜架15固定连接，光学预处理单元162用于对显示模块12中的像素点1201发射出的光线进行预设处理。
89.具体地，光学预处理单元162包括分光元件1621和反射元件1622，其中：
90.分光元件1621和反射元件1622光学对准，分光元件1621具有透光性；
91.分光元件1621用于将显示模块12中的像素点1201发射出的光线反射至反射元件1622；
92.反射元件1622用于将分光元件1621反射的光线反射至分光元件1621，使得分光元件1621反射的光线穿透分光元件1621到达人眼。
93.具体地，透镜单元161与光学预处理单元162固定连接；
94.透镜单元161设置在光学预处理单元162的上方，透镜单元161与光学预处理单元162光学对准，使得经过透镜单元161像差校正处理的光线，到达所光学预处理单元162的分光元件1621。
95.作为一种示例，图6(b)中，透镜单元161和光学预处理单元162通过镜筒1612固定连接，且光线从透镜单元161射出至光学预处理单元162。
96.可选地，如图8所示，为本发明实施例提供的增强现实显示装置的显示模块的结构示意图。显示模块12还可针对人的左右眼，具体分为第一显示设备121和第二显示设备122，每个显示设备各包括独立的显示屏。且为了满足人眼的对称性，第一显示设备121和第二显示设备122可关于基板的中心线轴对称。第一显示设备121和第二显示设备122可以是任何能够应用于增强现实显示装置的显示屏等设备。
97.具体地，显示模块12包括第一显示设备121、第二显示设备122和支撑基板123，其
中：
98.第一显示设备121对应于人眼的左眼，用于向人眼的左眼发射出目标图像的光线；
99.第二显示设备122对应于人眼的右眼，用于向人眼的右眼发射出目标图像的光线；
100.第一显示设备121和第二显示设备122分别与支撑基板123固定连接；
101.第一显示设备121和第二显示设备122关于支撑基板123的中心线轴对称。
102.应理解，如深度获取模块11、光学模块16、多个微型弹簧141或升降模块14等结构与镜架15的固定连接是为了避免外界的移动或增强现实显示装置的晃动，导致内部结构的位置发生改变，从而影响整体增强现实显示效果。显示模块12、光学模块16与人眼之间的相对位置、以及透镜单元161与光学预处理单元162的相对位置，都应满足如物方远心等光学设计要求。此外，本发明实施例上述的所有固定连接方式可以是胶粘、螺钉等，能够使得结构之间得到固定的连接方式皆可。
103.具体地，如图9所示，为本发明实施例提供的增强现实显示装置的多角度示意图。其中，图9(a)为本发明实施例提供的增强现实显示装置的主视图，图9(b)为本发明实施例提供的增强现实显示装置的背视图，图9(c)为本发明实施例提供的增强现实显示装置的主视图，图9(d)为本发明实施例提供的增强现实显示装置的后视图，图9(e)为本发明实施例提供的增强现实显示装置的仰视图，图9(f)为本发明实施例提供的增强现实显示装置的俯视图，图9(g)为本发明实施例提供的增强现实显示装置的右视图。
104.可选地，为了提高佩戴的舒适感，还可将升降模块14设置于如图9(c)所示的正面与鼻梁接触部分的上方，使得本发明实施例提供的增强现实显示装置的重心落于鼻梁上方的装置重心，还能防止升降模块14遮挡住人眼观看外界真实场景的视角。此外，升降模块14还可设置在装置的背面，即距离佩戴时的人脸较远的地方，这样有理由升降模块14中电机的散热，从而减轻了佩戴时可能出现的不适感。
105.下面结合图10～图24，对本发明实施例提供的增强现实显示装置的工作原理和工作过程进行详细说明。
106.应理解，如图10所示，为本发明实施例提供的像方焦距和物方焦距的示意图。如图10(a)，若入射光线由点光源发出，且出射光线为多条平行光线，则入射点的位置可作为像方焦点f’；如图10(b)，为图10(a)所示的光学示意图经过等效调整后的示意图，图中入射光线的延长线和出射光线的延长线的交点可作为像方主点p’。因此，像方焦距f’为像方主点p’与像方焦点f’之间的距离。
107.如图10(c)，若入射光线由点光源发出，且出射光线为多条平行光线，则入射点的位置可作为物方焦点f；如图10(d)，为图10(c)所示的光学示意图经过等效调整后的示意图，图中入射光线的延长线和出射光线的延长线的交点可作为物方主点p。因此，物方焦距f为物方主点p与物方焦点f之间的距离。
108.本发明提供的装置中的处理模块13确定位移信息的过程，是以高斯公式和牛顿公式为最基本的原理的。具体地，高斯公式具体如下：
[0109][0110]
其中，f和f'分别为物方焦距和像方焦距，l和l'分别为作为图像源的显示模块12距离光学模块16主点的距离、以及目标图像显示为虚拟图像时距离光学模块16主点的距
离。
[0111]
与上述高斯公式等价的牛顿公式具体如下：
[0112]f·
f'＝x
·
x'
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0113]
其中，f和f'同样分别为物方焦距和像方焦距，x和x'分别为作为图像源的显示模块12距离光学模块16物方焦点的距离、以及目标图像显示为虚拟图像时距离光学模块16像方焦点的距离。
[0114]
由于，光学原理已证明上述高斯公式与牛顿公式等价，因此，在此仅以牛顿公式为例对本发明实施例提供的装置的原理进一步描述。如图11所示，为本发明实施例提供的增强现实显示装置中显示模块和物方焦点之间的距离、与目标图像的显示深度之间的线性关系示意图。x'的倒数可由目标图像在显示为虚拟图像时，虚拟图像所在深度的视度表示，即由变量depth表示，其单位为d，当虚拟图像在无穷远处时，depth＝0d；作为图像源的显示模块12距离光学模块16物方焦点的距离为x，其单位为米(m)。显示模块12距离光学模块16物方焦点的距离、与视度depth的曲线为如图11(a)所示的线性关系。
[0115]
由如图11(a)所示的线性关系可知，通过改变图像源与光学模块16物方焦点的距离x，就可以改变虚拟图像显示位置的深度。
[0116]
进一步地，如图11(b)所示，为显示模块12的位移量范围的示意图。显示模块12的位移量x的调整范围为x1与x2之间，虚拟图像显示位置的深度可相应在depth1与depth2之间改变。
[0117]
特别地，当x1＝0，物方焦距f＝0.02m时，显示模块12的位移量x与虚拟图像显示位置的深度如表1所示。
[0118]
表1当x1＝0，f＝0.02m时，x与虚拟图像显示位置的深度关系表
[0119]
位移量x(毫米)00.10.20.40.81.6深度平面(视度)0d-0.25d-0.5d-1d-2d-4d深度平面(米)无穷远4210.50.25
[0120]
如图12所示，为本发明实施例提供的增强现实显示装置的一种物方远心光学结构的示意图。在显示模块12移动时，光学模块16与显示模块12可保持或近似保持物方远心光学结构，就可以使得显示模块12的位移调整范围为[x1,x2]时，显示模块12中显示的像素点1201发射出的主光线1202进入人眼瞳孔时的角度几乎不发生改变，这就使得，当虚拟图像在不同深度处显示时，增强现实显示的视场角θ几乎不发生改变。
[0121]
具体地，为了使得当显示模块12移动时，人眼接收到虚拟图像的视场角θ不发生变化，显示模块12与光学模块16之间可以尽可能地保持为物方远心光学结构。理想的物方远心光学结构可如图12(a)所示，此时，光轴垂直于显示模块12，且与显示模块12的焦点一般位于显示模块12中心，显示模块12中像素点1201发射的主光线1202相互平行，且人眼瞳孔的中心位于光学模块16的像方焦点，那么，显示模块12中像素点1201发射的主光线1202最后可在像方焦点处聚集。
[0122]
若升降模块14驱动显示模块12沿着光轴移动后，则显示模块12中像素点1201发射的主光线1202、可与显示模块12移动前像素点1201发射的主光线1202重合。因此，在显示模块12沿着光轴移动之后，人眼接收到的主光线1202角度与可与显示模块12移动之前像素点1201发射的主光线1202一致，那么人眼感知到的视野大小将不发生改变。
[0123]
此外，对于近似物方远心光学结构的光学结构，显示模块12中像素点1201发射的主光线1202角度可能有轻微差异，各主光线1202之间不能严格平行，那么，人眼处的视场角可能发生轻微改变。因此，显示模块12的边缘与中心主光线1202的角度差异，可以根据人眼可接受的视场角变化大小来确定，例如该角度差异可以控制在
±5°
、
±
10
°
、
±
20
°
或
±
30
°
内等。
[0124]
如图12(b)所示，为物方远心光学结构中人眼视场角与显示模块12距离光学模块16物方焦点距离的曲线示意图，如图12(c)所示，为物方远心光学结构中人眼视场角与虚拟图形显示位置深度之间关系的示意图。其中，fov为人眼的视场角，其单位为度(deg)；x为显示模块12距离光学模块16物方焦点距离，其单位为米(m)；depth1和depth2分别为虚拟图像的两个显示位置的深度。
[0125]
应理解，根据公式(2)，增强现实显示装置中像源，如显示模块12显示的像素点1201，和物方焦点之间的距离、与目标图像显示的虚拟图像的视度呈线性关系，而像源和物方焦点之间的距离、与虚拟图像的深度呈反比例关系。因此，在升降模块14驱动显示模块12移动时，虚拟图像的显示深度变化量在虚拟图像处于不同深度位置处是不同的。
[0126]
例如，若虚拟图像的初始显示深度为1m的位置，则升降模块14驱动显示模块12向光学模块16的方向移动0.1mm后，虚拟图像的显示深度为3m，即虚拟图像的显示深度变化量为2m；若虚拟图像的初始显示深度为3m的位置，则升降模块14驱动显示模块12向光学模块16的方向移动0.1mm后，虚拟图像的显示深度为8m，即虚拟图像的显示深度变化量为5m。
[0127]
因此，在实际场景中，在虚拟图像显示在不同深度时，升降模块14的电机的转速也相应不同，从而使得虚拟图像的显示深度是等步长变化的。
[0128]
可选地，升降模块14可以被设计为匀速旋转，同时保持虚拟图像的显示深度的等步长变化，从而能够减少显示模块12的位移信息的计算量，降低整个增强现实显示系统的复杂性。如图13所示，为本发明实施例提供的增强现实显示装置的升降模块的工作时长和虚拟图像显示深度的关系示意图。当升降模块14的电机匀速转动时，虚拟图像的显示深度和时间的变化呈线性关系。
[0129]
具体地，如图14所示，为本发明实施例提供的增强现实显示装置的显示模块和焦平面关于黎卡提方程的距离示意图。如图14(a)所示，为本发明实施例提供的增强现实显示装置的一种光学系统的示意图。在虚拟图像的显示深度是等步长变化时，显示模块12与物方焦点的距离需要满足如下黎卡提方程：
[0130][0131]
其中，y为显示模块12与焦平面之间的距离，t为某一时间点，c为常数，12与焦平面之间的距离随时间变化的曲线示意图。其中，时间代表升降模块14中电机的匀速转动。
[0132]
应理解，如图15所示，为本发明实施例提供的增强现实显示装置的显示模块与支撑基板之间的距离随时间变化的示意图。如图15(a)所示，为本发明实施例提供的增强现实显示装置的显示模块与支撑基板之间的距离的示意图；如图15(b)所示，为本发明实施例提
供的增强现实显示装置的显示模块与支撑基板之间的距离随时间变化的曲线示意图。其中，t为时间，d为显示模块12与支撑基板123之间的距离，d为支撑基板123与物方焦点之间的距离。
[0133]
可选地，为了实现上述的虚拟图像的显示深度变化与升降模块14中电机匀速旋转的时间呈线性关系，本发明实施例提供的升降模块14的凸轮1421的轮廓曲线可满足如下公式：
[0134][0135]
其中，支撑平面为过凸轮1421的旋转中心且平行于显示模块12的平面，d为支撑平面与物方焦点之间的距离，c1和c2为常数，θ为凸轮1421轮廓的幅角。
[0136]
例如，如图16所示，为本发明实施例提供的增强现实显示装置的一种凸轮及其旋转效果的示意图。若驱动图16(a)中的凸轮1421始终向一个方向旋转，如顺时针方向，则可实现虚拟图像在图16(b)中的a、b、c、d四个深度平面的轮流显示，即实现虚拟图像在“a、b、c、d、a、b、c、d、a、b、c、d
……”
轮流显示的显示策略。
[0137]
若驱动图16(a)中的凸轮1421交替地向两个方向旋转，如先顺时针方向、在逆时针方向、最后顺时针方向，则可实现虚拟图像在图16(b)中的a、b、c、d四个深度平面的轮流显示，即实现虚拟图像在“a、b、c、d、c、b、a、b、c
……”
轮流显示的显示策略。
[0138]
又例如，如图17所示，为本发明实施例提供的增强现实显示装置的又一种凸轮的示意图。图17中的凸轮1421的轮廓幅角在[π,2π]的范围内，且[0,π]内的轮廓对称分布。
[0139]
无论驱动图17中的凸轮1421始终向一个方向旋转还是交替地向两个方向旋转，都可实现虚拟图像在图16(b)中的a、b、c、d四个深度平面的轮流显示，即实现虚拟图像在“a、b、c、d、c、b、a、b、c
……”
轮流显示的显示策略。
[0140]
可选地，一方面，可同时在本发明实施例提供的增强现实显示装置中设置凸轮1421音圈马达143，从而当显示模块12移动到目标位置附近时，由处理模块13获取显示模块12的位置或位移距离，计算并向音圈马达143发送显示模块12与目标位置之间的距离，使得音圈马达143高速微调显示模块12的位置，矫正位移的误差，进而将虚拟图像准确投射到相应的深度平面，提高了深度显示效果。
[0141]
另一方面，当显示模块12的可位移范围较小时，可只选用音圈马达143，显示模块12与音圈马达143直接连接。
[0142]
应理解，如图18所示，为本发明实施例提供的增强现实显示装置的音圈马达的位移曲线示意图。音圈马达143的位移范围可为0.2mm，一次移动的最小位移量可低于10μm。
[0143]
可选地，在一种实施方式中，为了使得目标图像对应的虚拟图像能够根据人眼注视位置的变化而移动，本发明实施例提供的实施例能够基于人眼注视位置的深度平面的位置信息，确定显示模块12在位移范围内的位移信息。
[0144]
具体地，当目标对象的深度位置信息包括人眼注视位置的深度平面的位置信息时，本发明实施例提供的处理模块13，用于：
[0145]
基于目标图像的显示深度范围、显示模块12与光学模块16之间的像方焦距、以及人眼与光学模块16之间的物方焦距，确定显示模块12的位移范围；
[0146]
基于显示模块12的位移范围和人眼注视位置的深度平面的位置信息，确定显示模
块12的位移信息；
[0147]
其中，位移信息在该位移范围之内。
[0148]
可选地，为了保证人眼与光学模块16之间的物方远心光学结构，本发明实施例能够基于显示模块12与光学模块16之间的像方焦距、以及光学模块16与人眼之间的物方焦距，得到显示模块12的位移信息。
[0149]
具体地，本发明实施例提供的装置中的处理模块13，用于：
[0150]
获取显示模块12与光学模块16之间的像方焦距、以及光学模块16与人眼之间的物方焦距；
[0151]
基于人眼注视位置的深度平面的位置信息、显示模块12与光学模块16之间的像方焦距、以及光学模块16与人眼之间的物方焦距，确定显示模块12的位移信息。
[0152]
具体地，如图19所示，为本发明实施例提供的增强现实显示装置基于人眼注视位置来移动显示模块的示意图。
[0153]
首先，深度获取模块11中的人眼跟踪设备，可以实时获取当前人眼注视在真实场景中位置的深度平面，并将如深度等关于该深度平面的位置信息传输至处理模块13。
[0154]
其次，处理模块13可以基于人眼注视位置的深度平面的位置信息、获取到的显示模块12与光学模块16之间的像方焦距、以及光学模块16与人眼之间的物方焦距，计算得到在显示模块12可位移范围内的位移信息，该位移信息中可包括显示模块12的位移方向和位移距离等。
[0155]
与此同时，处理模块13还可基于上述人眼注视位置的深度平面的位置信息、显示模块12与光学模块16之间的像方焦距、以及光学模块16与人眼之间的物方焦距，对原有待显示图像的图像信息进行处理，以得到可适应显示模块12移动后的目标图像的图像信息。
[0156]
然后，处理模块13可将计算得到的显示模块12的位移信息发送至升降模块14，以便于升降模块14根据位移信息，牵动显示模块12移动；处理模块13还可将处理得到的目标图像的图像信息发送至显示模块12，以便于显示模块12显示目标图像。
[0157]
最后，升降模块14牵动显示模块12移动，显示模块12显示目标图像，升降模块14、显示模块12和光学模块16共同完成目标图像对应的虚拟图像的显示，并将该虚拟图像叠加到真实场景中。
[0158]
如图20所示，为本发明实施例提供的增强现实显示装置基于人眼注视位置来移动显示模块时虚拟图像的显示顺序示意图。应理解，因为人眼跟踪设备实时获取人眼注视位置的深度平面的位置信息，所以在一段时间内，处理模块13会接收到一组人眼注视位置的深度平面的位置信息序列，那么，该位置信息序列中的顺序、应与处理模块13处理得到的目标图像的图像信息序列中的顺序相对应。
[0159]
可选地，在一种实施方式中，当目标对象的深度位置信息包括目标图像待显示的多个深度平面的位置信息时，处理模块13，用于：
[0160]
基于目标图像的显示深度范围、显示模块12与光学模块16之间的像方焦距、以及人眼与光学模块16之间的物方焦距，确定显示模块12的位移范围；
[0161]
基于显示模块12的位移范围和目标图像待显示的多个深度平面的位置信息，确定显示模块12的位移序列，位移序列包括多个位移信息；
[0162]
其中，位移序列中的多个位移信息在位移范围之内。
[0163]
可选地，为了使得目标图像对应的虚拟图像能够在目标位置处显示，本发明实施例提供的实施例能够基于目标图像待显示的多个深度平面的位置信息，确定显示模块12在位移范围内的位移信息。
[0164]
具体地，本发明实施例提供的处理模块13，用于：
[0165]
获取显示模块12与光学模块16之间的像方焦距、以及人眼与光学模块16之间的物方焦距；
[0166]
基于目标图像待显示的多个深度平面的位置信息、显示模块12与光学模块16之间的像方焦距、以及目标图像待显示的多个深度平面的序列，确定显示模块12的位移序列。
[0167]
具体地，如图21所示，为本发明实施例提供的增强现实显示装置基于目标图像待显示位置来移动显示模块的示意图。
[0168]
首先，深度获取模块11中的如结构光深度传感设备的其他传感设备，可以实时获取目标图像待显示的多个深度平面的位置信息，并将如深度等关于该多个深度平面的位置信息传输至处理模块13。
[0169]
其次，处理模块13可以基于目标图像待显示的多个深度平面的位置信息、获取到的显示模块12与光学模块16之间的像方焦距、以及目标图像待显示的多个深度平面的序列，计算得到包括多个在显示模块12可位移范围内的位移信息的位移序列，该位移信息中可包括显示模块12的位移方向和位移距离等。
[0170]
与此同时，处理模块13还可基于上述目标图像待显示的多个深度平面的位置信息、显示模块12与光学模块16之间的像方焦距、以及目标图像待显示的多个深度平面的序列，对原有待显示图像的图像信息序列进行处理，以得到可适应显示模块12移动后的目标图像的图像信息序列。
[0171]
然后，处理模块13可将计算得到的显示模块12的位移序列发送至升降模块14，以便于升降模块14根据位移序列，依次牵动显示模块12移动；处理模块13还可将处理得到的目标图像的图像信息序列发送至显示模块12，以便于显示模块12依次显示目标图像。
[0172]
最后，升降模块14根据位移序列中位移信息的顺序牵动显示模块12移动，显示模块12根据图像信息序列中图像信息的顺序显示目标图像，升降模块14、显示模块12和光学模块16共同完成多个目标图像对应的多个虚拟图像的显示，并将该多个虚拟图像叠加到真实场景中，使得该多个虚拟图像能够在真实场景中循环显示。
[0173]
如图22所示，为本发明实施例提供的增强现实显示装置基于目标图像待显示位置来移动显示模块时虚拟图像的显示顺序示意图。应理解，因为上述这种增强现实的显示方法是基于目标图像待显示位置实现的，所以，人眼注视位置的变化顺序与目标图像对应的虚拟图像的显示顺序无关。
[0174]
应理解，本发明实施例提供的增强现实显示装置，可同时基于人眼注视位置的变化、以及目标图像待显示位置来移动显示模块12，从而带给人眼更加个性化的增强现实观看体验。
[0175]
可选地，在一种实施方式中，当目标对象的深度位置信息包括人眼注视位置的深度平面的位置信息、和目标图像待显示的多个深度平面的位置信息时，本发明实施例提供的处理模块13，用于：
[0176]
当目标图像包括动态显示的图像时，基于人眼注视的深度信息的序列，确定显示
模块12的位移信息；
[0177]
当目标图像包括静态显示的图像时，基于目标图像的待显示的深度位置信息范围，确定显示模块12的位移序列。
[0178]
具体地，当需要向人眼展示如小动物、人物等可以跟随人眼注视位置的变化而移动的目标图像时，处理器可以基于人眼注视的深度信息的序列，确定显示模块12的位移信息；与此同时，若还需要向人眼展示如物体、建筑等循环显示的目标图像时，处理器也可以基于目标图像的待显示的深度位置信息范围，确定显示模块12的位移序列。
[0179]
应理解，当目标对象的深度位置信息同时包括人眼注视位置的深度平面的位置信息、和目标图像待显示的多个深度平面的位置信息时，显示模块12既要显示动态显示的图像，又要显示静态显示的图像。此时，处理模块13可交替式地向升降模块14和显示模块12分别发送目标图像的图像信息、以及显示模块12的位移信息，即处理模块13可先发送与静态显示的图像相关的位移信息和图像信号，再发送与动态显示的图像相关的位移信息和图像信号，接下来再发送与静态显示的图像相关的位移信息和图像信号。
[0180]
由于处理模块13发送位移信息和图像信息的速度极快，且升降模块牵动显示模块12移动的速度也相当快，所以人眼的视觉暂留现象使得人眼无法辨别出显示模块12迅速移动和迅速切换目标图像。因此，本发明实施例提供的增强现实显示装置同时基于人眼注视位置的变化、以及目标图像待显示位置来移动显示模块12并显示目标图像，并不会影响人眼的光看体验。
[0181]
可选地，当目标对象的深度位置信息包括人眼注视位置的深度平面的位置信息、和目标图像待显示的多个深度平面的位置信息时，本发明实施例提供的处理模块13，用于：
[0182]
若人眼注视位置的深度平面的位置信息在目标图像待显示的多个深度平面的位置信息内，则基于目标图像的待显示的深度位置信息范围，确定显示模块12的位移序列；
[0183]
若人眼注视位置的深度平面的位置信息不在目标图像待显示的多个深度平面的位置信息内，则基于人眼注视的深度信息的序列，确定显示模块12的位移信息。
[0184]
具体地，当人眼注视位置的深度平面位于目标图像待显示的深度位置范围内时，人眼能够看到在该深度位置范围内的目标图像，则深度获取模块11不必实时获取人眼注视位置；而当人眼注视位置的深度平面不在目标图像待显示的深度位置范围内时，人眼不能够看到该深度位置范围内的目标图像，则深度获取模块11需要实时获取人眼注视位置，使得人眼能够看到目标图像。
[0185]
可选地，为了使得本发明实施例提供的增强现实显示装置在应用时，能够展示更加符合人眼视觉效果的虚拟图像，可对人眼注视范围外的目标图像进行离焦渲染处理。
[0186]
具体地，本发明实施例提供的处理模块13，还用于：
[0187]
基于人眼注视位置的深度平面的位置信息，确定人眼待注视位置的多个深度平面的位置信息；
[0188]
基于人眼待注视位置的多个深度平面的位置信息，确定目标图像的待显示位置；
[0189]
对目标图像，进行离焦渲染处理。
[0190]
可选地，在一种实施方式中，当增强现实显示装置处于双目显示状态时，可以结合人眼待注视深度下人眼的视差信息和图像虚化处理技术，例如低通滤波平滑图形等技术，对人眼待注视深度处的目标图像进行离焦渲染处理。
[0191]
如图23所示，为本发明实施例提供的增强现实显示装置基于人眼注视位置移动显示模块时的离焦渲染处理示意图。字符“dep”和字符“th”处于不同的深度平面，且字符“dep”所在的深度为人眼注视位置的深度，此时人眼可以观看到清晰的字符“dep”；而此时字符“th”位于人眼待注视位置的深度平面，即不是人眼当前注视的对象，因此当人眼注视着字符“dep”所在的深度时，字符“th”为离焦的模糊显示。于是，可以通过双目视差的方式，在字符“dep”所在的深度平面显示具有视差信息的离焦图像“th”，可以得到字符“th”的离焦显示效果，，并且，可以将字符“th”的显示效果渲染到其待显示的深度。
[0192]
可选地，在一种实施方式中，类似于上述离焦渲染处理方式和效果，当增强现实显示装置处于双目显示状态时，可以结合视差信息和图像虚化处理技术，例如低通滤波平滑图形等技术，对目标图像待显示的深度平面外的图像进行离焦渲染处理。
[0193]
如图24所示，为本发明实施例提供的增强现实显示装置基于目标图像待显示位置移动显示模块时的离焦渲染处理示意图。虽然，字符“dep”、“th”和“dis”分别显示于不同的深度平面，但是人眼可通过注视在它们显示的多个深度平面的范围内，看到字符“dep”、“th”和“dis”。而字符“play”显示于上述多个深度平面的范围外，因此人眼观看其他字符时，字符“play”为离焦的模糊显示。于是，可以通过双目视差的方式，在显示字符“dep”、“th”或“dis”时，在字符“dep”、“th”或“dis”所在的深度平面上，显示具有“play”视差信息的离焦图像，并且，可以将字符“play”的显示效果渲染到其待显示的深度。
[0194]
本发明实施例提供的增强现实显示装置，包括深度获取模块、显示模块、处理模块、升降模块和镜架，其中：深度获取模块，用于获取目标对象的深度位置信息，该目标对象包括人眼、目标图像和人眼视野范围内的真实环境中的至少一种，该目标对象的深度位置信息包括人眼注视位置的深度平面的位置信息、和/或目标图像待显示的深度平面的位置信息、和/或真实环境的深度平面的位置信息；显示模块，用于显示目标图像；处理模块与显示模块固定连接，处理模块用于基于深度获取模块获取的目标对象的深度位置信息，确定显示模块的位移信息；升降模块和镜架固定连接，升降模块与处理模块通过线缆连接，升降模块中的驱动单元和显示模块固定连接，升降模块用于基于处理模块确定的位移信息，驱动显示模块移动到目标位置，该目标位置为位移信息指示显示模块最终到达的位置。
[0195]
这样，在显示模块移动时，能够通过保证显示模块与光学模块之间的物方远心光学结构，来确保人眼接收到光线的角度不发生变化，从而使得升降模块基于处理模块确定的位移信息，驱动显示模块在位移范围内移动，就可以实现实时的多深度增强现实显示。
[0196]
本发明实施例还提供一种增强现实显示设备，该增强现实显示设备可以包括上述所述增强现实显示装置。应理解，该增强现实显示设备在实际应用中包括但不限于如增强现实显示眼镜等可穿戴设备，还可以用于能够为用户提供增强现实体验的设备中的至少一种。
[0197]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0198]
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体
实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。