改善双眼视觉的系统与方法与流程

1.本发明涉及改善双眼视力的系统及方法，特别是，该系统及方法根据该观看者的眼睛信息显示从第一位置移动到第二位置的虚拟影像，以改善该观看者弱眼的视力。


背景技术：

2.弱视和斜视是两种最常见的眼部疾病。弱视是指其中一眼的视力明显比另外一眼衰弱。弱视通常是由病人早期的视力发育异常所引起，它是导致儿童及年轻人单眼的视力衰弱的主因。斜视与病人的双眼错位有关，对于斜视的病人，其中一只眼睛可能相对于另外一眼会转向不同的方向。大多数斜视是因为眼睛移动的神经肌肉控制异常所引起的。有很多方法用来诊断及治疗弱视与斜视。以弱视而言，通常会使用眼镜、隐形眼镜或遮盖疗法来矫正视力较弱的眼睛。在其他情况下，频率对比或色彩对比刺激的物体会用来改善弱眼的视力。事实证明，数种刺激的结合效果更好。对于斜视，通常使用眼球运动来改善眼球肌肉的相关性，从而矫正两眼之间的错位。近年来，使用医疗设备来治疗近视及弱视有一些进展。然而，这些传统的设备无法提供训练双眼在不同深度下聚焦的方法。故需要创新的系统及方法以改善双眼视力。


技术实现要素：

3.本发明涉及一种改善观看者双眼视力的系统及方法，该观看者的一眼比另一眼异常或衰弱。该系统及方法通过产生视觉刺激(例如虚拟影像)来刺激人眼的视神经并增加眼球运动，进而治疗斜视、弱视、辐辏障碍及其他眼球运动障碍等眼睛疾病。该正常眼睛被称为第一眼，有可能为该观看者的右眼或左眼。该衰弱或异常眼(统称为弱眼)被称为第二眼，有可能为该观看者的右眼或左眼(该正常眼的剩余另一眼)。本发明说明系统及方法，该系统及方法根据该观看者的眼睛信息产生在两个不同深度间移动的虚拟影像，以刺激并补强/治疗该观看者的弱眼，最终改善或修复其双眼视力。
4.改善双眼视力的系统包括眼动追踪模组及虚拟影像模组。该眼动模组用于追踪该观看者的双眼并提供相关信息，例如该观看者每一眼的瞳孔位置、瞳孔大小、视角及辐辏角度。这些眼睛信息可以用于确定该观看者瞳孔的位置，甚至观看者的凝视位置及凝视深度。
5.该虚拟影像模组根据该观看者的眼睛信息，例如该观看者双眼瞳孔的位置，向观看者的第一眼投射数条正常光信号以形成正常影像；向观看者的第二眼投射数条调整光信号以形成调整影像，借此显示第一虚拟物体。该第一虚拟物体显示在第一目标位置及第一目标深度。该观看者第一眼看到该第一虚拟物体的该正常影像；该观看者的第二眼看到该第一虚拟物体的该调整影像。该第一目标深度与投射到该观看者眼中的该第一正常光信号与该第一调整光信号之间的该第一角度有关。
6.此外，为了使该观看者的第一眼可以看到该正常影像并同时让该观看者的第二眼可以看到调整影像，该虚拟影像模组需要根据该眼动追踪模组所提供的该观看者的瞳孔位置来调整该数条正常光信号及该相对的数条调整光信号的方向及位置，使其可以分别投射
到该观看者的第一眼及第二眼中。
7.该虚拟影像模组显示该第一虚拟物体，该影像从该第一目标位置及该第一目标深度移动到该第二目标位置及该第二目标深度。该第一目标深度跟该第二目标深度不同。该第二目标深度与该第二正常光信号及该相对第二调整光信号之间的第二角度有关。当该第一虚拟物体移动时，该观看者的眼睛会跟着移动。因此，该第一虚拟物体在两个视深平面之间的移动会增加弱眼的运动，并为该弱眼提供更多刺激。因此，该弱眼的视力会改善并最终重新建立双眼视觉。
8.当该虚拟影像模组显示该第一虚拟物体从该第一目标位置及该第一目标深度移动到该第二目标位置及该第二目标深度时，该投影到该观看者第二眼的调整光信号在光的方向上会比该投影到该观看者第一眼的正常光信号改变更多。因此，该弱眼必须比该正常眼移动(运动)更多以追踪该第一虚拟物体的移动。或者，当该虚拟影像模组显示该第一虚拟物体从该第一目标位置及该第一目标深度移动到该第二目标位置及该第二目标深度时，该投影到该观看者第一眼的正常光信号完全不改变其光的方向。在该情况下，该观看者的第一眼完全不需要移动，而该观看者的第二眼必须移动以追踪该第一虚拟物体的移动。
9.为了改善该观看者弱眼的视力，该虚拟影像模组可以将给该观看者第一眼的该正常影像的对比度及空间频率与给观看者第二眼的该调整影像的对比度及空间频率区分开来。具体而言，该虚拟影像模组可以用来产生相较于该相对正常影像拥有更高对比度或是更低空间频率的该调整影像。
10.该虚拟影像模组可以根据该观看者的其中一眼或是双眼的视觉诱发电位(vep)显示该第一虚拟物体，包括选择适当的对比度、空间频率及该第一虚拟物体的移动方向及速度。该改善双眼视力的系统可以进一步包括视觉诱发电位量测模组以量测该观看者眼睛的视觉诱发电位(vep)。
11.当该观看者能够练习凝视，该虚拟影像模组可以将该第一虚拟物体显示在由该眼动追踪模组所提供的该观看者的凝视位置及凝视深度。当该观看者将其凝视点从第一凝视位置及第一凝视深度移动至第二凝视位置及第二凝视深度，该虚拟影像模组会根据该观看者的凝视点移动该第一虚拟物体。该虚拟影像模组可以在预设的位置及深度显示第二虚拟物体。当该观看者在预设时间内移动其凝视点，使该第一虚拟物体移动至该第二虚拟物体的预设空间范围中时，该第二虚拟物体会改变并与该第一虚拟物体互动。
12.本发明的其他特征及优点将在后面描述，一部份可以从说明或是本发明的实例中得知。本发明的目标及其他优点将由书面说明、权利要求、以及附图所特别指出的结构及方法实现。可以这样理解，上述一般的说明和下面详细的说明都是示例性的和说明性的，其旨在对所要求保护的发明提供进一步的解释。
附图说明
13.图1为方块图，示出本发明中带有各种模组的系统的实施例。
14.图2为示意图，示出本发明中系统的实施例，该实施例使用头戴式装置改善双眼视觉。
15.图3为示意图，示出本发明中虚拟影像模组的实施例。
16.图4为示意图，示出本发明中在两个不同深度间移动虚拟物体的实施例。
17.图5a至5c为示意图，示出本发明中在数个不同深度间移动虚拟物体的数个实施例。
18.图6a及6b为示意图，示出本发明中该弱眼随着虚拟物体移动的实施例。
19.图7a至7d为示意图，示出本发明中异常眼的例子。
20.图8为示意图，示出本发明中根据该观看者的眼睛信息调整该光线方向及角度的实施例。
21.图9为影像，示出本发明中视觉对比敏感度的例子。
22.图10为示意图，示出本发明中因显示深度不同而调整虚拟物体的空间频率的实施例。
23.图11a及11b为示意图，示出本发明中根据观看者眼睛的凝视点移动第一虚拟物体，以迭加在第二虚拟影像上的实施例。
24.图12为示意图，示出本发明中虚拟双眼像素与相对应的该正常像素及调整像素之间的关系。
25.图13为示意图，示出本发明中该光线从光信号产生器到合光元件，再到观看者的视网膜的路径。
26.图14为示意图，示出本发明中由正常光信号及调整光信号形成的该虚拟双眼像素。
27.图15为表格，示出本发明中查询表的实施例。
具体实施方式
28.本文中所使用的词汇用来描述本发明特定具体实施例中的细节，所有的词汇应以最大的范畴做合理解读。某些词汇将在以下特别强调；任何限制性用语将由具体实施例定义。
29.本发明涉及改善一只眼睛异常或较另一眼衰弱的观看者的双眼视力的系统及方法。有些人天生、因病或意外，有一只眼睛异常或较另一只眼睛衰弱，例如斜视(包括外斜视、下斜视、上斜视、内斜视)、弱视(懒惰眼)、辐辏障碍、及其他眼睛运动障碍的症状。正常的眼睛被称为第一眼50，它可以是该观看者的右眼或左眼。较衰弱或异常的眼睛(统称为弱眼)被称为第二眼60，它可以是该观看者的右眼或是左眼(除该正常眼之外的其余眼睛)。本发明公开系统及方法，该系统及方法产生在两个不同深度间移动的虚拟影像，以刺激并补强/治疗该观看者弱视/异常的眼睛，最终根据该观看者眼睛的信息改善或修复其双眼视力。
30.如图1所示，改善双眼视力的系统，其中包含眼动追踪模组110及虚拟影像模组120。该眼动追踪模组110用来追踪观看者的双眼并提供相关眼睛信息，例如该观看者每一眼的眼睛运动、瞳孔位置、瞳孔大小、视角及辐辏角度。该眼动追踪模组可以包含第一相机112以追踪该第一眼及第二相机114以追踪该第二眼。该虚拟影像模组120根据该观看者的眼睛信息，例如该观看者双眼瞳孔的位置，向观看者的第一眼投射数条正常光信号以形成正常影像；向观看者的第二眼投射数条调整光信号以形成调整影像，借此显示第一虚拟物体。该虚拟影像模组120包括正常光信号产生器10、正常合光元件20、调整光信号产生器30及调整合光元件40。该正常光信号产生器10产生数条正常光信号，通过该正常合光元件20
投射到该观看者第一眼中以形成正常影像。该调整光信号产生器30产生数条调整光信号，通过该调整合光元件40投射到该观看者第二眼中以形成调整影像。该虚拟影像模组120可以进一步包括控制元件125，该元件可以处理并储存数据。
31.该系统100可以进一步包括vep量测模组130、使用者接口140、真实物体量测模组150及回馈模组160。该vep量测模组130量测该观看者眼睛的vep，vep是视觉刺激下在视觉皮层产生的电信号。该虚拟影像模组120可以根据该观看者的其中一眼或双眼的vep，以一种方式显示该第一虚拟物体。使用者接口140可以让该观看者或训练员控制该系统100的各种功能。该使用者接口140可通过踏板、键盘、滑鼠、旋钮、开关、手写笔、按钮、棍子、触控荧幕等形式，通过声音、手势、手指/脚的运动等方式操作。该真实物体量测模组150测量真实物体的位置及深度，它与该第一虚拟物体有关。该真实物体量测模组150也可以撷取环境中的影像及影片。该回馈模组160在预设条件满足时向该观看者提供反馈，例如声音及震动。外部伺服器170，不为该系统100的一部份，但可以提供额外的计算效能以达到更复杂的计算。这些模组的每一个及该外部伺服器可以通过有线或无线的方式彼此通信。无线的方式可以包含wifi、蓝芽、近场通讯(nfc)、网路、电信、无线电波(rf)等等。
32.如图2所示，该系统100进一步包括可以戴在该观看者头上的支撑结构。该正常光信号产生器10、该调整光信号产生器30、该正常合光元件20及该调整合光元件40均由该支撑结构乘载。在一实施例中，该系统为头戴式装置，例如虚拟实境(vr)护目镜或一副扩增实境(ar)/混合实境(mr)眼镜。在该情况下，该支撑结构可以为一副带有或是没有镜片的镜框。该镜片可以是用来矫正近视、远视等处方镜片。此外，该眼动追踪模组，包括该第一相机112及该第二相机114，由该支撑结构乘载并追踪该观看者的双眼。该真实物体量测模组150也可以由该支撑结构乘载并量测真实物体的距离及深度。
33.该眼动追踪模组110至少用于追踪观看者两个瞳孔的位置。此外，该眼动追踪模组可以用于提供更多关于该观看者眼睛的信息，包括但不限于该观看者每一眼的眼睛运动、瞳孔大小、视角及辐辏角度。这些眼睛信息不只可以用来决定投射虚拟影像的光信号的方向及位置，更可以用来决定该观看者的凝视位置及凝视深度。该眼动追踪模组同样可以包括第一相机112以追踪该第一眼50及第二相机114以追踪该第二眼60。
34.除了传统眼动追踪相机，该第一相机112及该第二相机114可以由超小型微机电系统(mems)技术制造。该第一相机112及该第二相机114可以使用红外光发射器及传感器来检测及获得各种眼睛信息。该眼动追踪模组110可以进一步包括积体惯性测量单元(imu)、使用加速计、陀螺仪或磁力计的组合来测量并反映身体的比力、角速度或身体的面向的电子设备。
35.如图3所示，该虚拟影像模组120根据该观看者的眼睛信息，例如该观看者的两个瞳孔52,62的位置，投射数条正常光信号至该观看者的第一眼50以形成正常影像122，并投射相对应数条调整光信号至该观看者的第二眼60以形成调整影像124，以显示第一虚拟物体70，例如网球。该第一虚拟物体70显示在第一目标位置及第一目标深度(统称为第一目标地点或是t1)。该虚拟影像模组120包括正常光信号产生器10以产生数条正常光信号，如nls_1、nls_2、nls_3，分别为12,14,16；正常合光元件20将该数条正常光信号重定向至观看者的正常视网膜54上；调整光信号产生器30以产生数条调整光信号，如als_1、als_2、als_3，分别为32,34,36；及调整合光元件40将该数条调整光信号重定向至该观看者的调整视网
膜上64上。该观看者有正常眼50，包含正常瞳孔52及正常视网膜54；以及弱眼60，包含调整瞳孔62及调整视网膜64。人类瞳孔的直径一般在2厘米至8厘米之间，其中部分取决于环境的光量。成年人正常瞳孔大小在明亮环境下约为2至4厘米，在阴暗环境下约为4至8厘米。该数条正常光信号会由该正常合光元件20重定向，穿过该正常瞳孔52并最终由该正常视网膜54所接收。该正常光信号nls_1是指在特定水平面上，该观看者的正常眼可以看到的最右边光信号。该正常光信号nls_2是指在特定水平面上，该观看者的正常眼可以看到的最左边光信号。在接收到该重定向正常光信号后，该观看者在重定向后的正常光信号nls_1及nls_2的延伸部分所包含的区域a中，感知到位在第一目标地点t1的该第一虚拟物体70的数个正常像素(形成正常影像)。该区域a被称为正常眼50的视野。同样的，该数条调整光信号会由该调整合光元件40重定向，穿过该调整瞳孔62并最终由该调整视网膜64所接收。该调整光信号als_1是指在特定水平面上，该观看者的弱眼可以看到的最右边光信号。该调整光信号als_2是指在特定水平面上，该观看者的弱眼可以看到的最左边光信号。在接收到该重定向调整光信号后，该观看者在重定向后的调整光信号als_1及als_2的延伸部分所包含的区域b中，感知到该第一虚拟物体70的数个调整像素(形成调整影像)。该区域b被称弱眼60的视野。当两边的数个正常像素及数个调整像素在区域a及区域b的重迭部分区域c中显示时，至少一显示正常像素的正常光信号以及相对应显示调整像素的调整光信号会融合，并在区域c的特定深度显示虚拟双眼像素。该第一目标深度d1与投射到观看者视网膜的重定向正常光信号16’及重定向调整光信号36’之间的角度θ1有关，该角度也被称为辐辏角。
36.如上所述，该观看者第一眼50感知到该第一虚拟物体70的该正常影像122，该观看者第二眼60感知到该第一虚拟物体70的该调整影像124。对于有适当影像融合功能的观看者，因为他的大脑会将该正常影像122及该调整影像124融合为双眼虚拟影像，所以会在该第一目标位置及该第一目标深度感知到单一第一虚拟物体。然而，若观看者有弱眼，他则没有适当的影像融合功能。在这种情况下，该观看者的第一眼50及第二眼60会分别在第一正常影像位置及深度与第一调整影像位置及深度感知到该正常影像122及该调整影像124(复视)。该第一正常影像位置及深度跟该第一调整影像位置及深度会接近但不一样。此外，该第一正常影像及该第一调整影像的位置及深度跟该第一目标位置及该第一目标深度接近。同样的，该第一目标深度d1与投射到观看者眼睛的该第一正常光信号16’及相对应的该第一调整光信号36’之间的角度θ1有关。
37.此外，为了让该观看者的第一眼50感知到该正常影像122且让该观看者的第二眼60感知到该调整影像124，该虚拟影像模组120需要根据该眼动追踪模组110所提供该观看者瞳孔的位置，调整数个正常光信号及相对应的数个调整光信号的方向及位置，使之分别投射到该观看者的第一眼50及第二眼60。
38.该虚拟影像模组120显示的该第一虚拟物体70从该第一目标地点t1移动到该第二目标位置及该第二目标深度(统称为第二目标地点或t2)。该第一目标深度d1跟该第二目标深度d2不一样。该第二目标深度d2与该第二正常光信号16’及相对应的该第二调整光信号38’之间的角度θ2有关。从该眼动追踪模组得到信息，包括该观看者两个瞳孔的位置与追踪能力(尤其是弱眼)，为选择该第二位置及该第二深度的因素之一。该观看者眼睛的追踪能力可以通过瞳孔追踪该第一虚拟物体移动的速度来评估。该观看者眼睛的追踪能力越强，该第二目标地点就会离第一目标地点越远。当该虚拟影像模组120在该第一目标位置显示
该第一虚拟物体70后，在视觉暂留时间内(例如1/18秒)在该第二目标地点显示该第一虚拟物体70，该观看者眼睛会感知到该第一虚拟物体70从第一目标地点t1移动到第二目标地点t2并随之移动。该第一虚拟物体70在两个虚拟深度平面移动会增加该弱眼的运动，包括连续型视线追踪及眼睛辐辏运动，以及提供该弱眼更多刺激。结果，该弱眼的视力会得到改善，最终重新建立双眼视力(包括影像融合功能)。
39.如图4所示的实施例，当该虚拟影像模组120显示该第一虚拟物体70从该第一目标地点t1移动至该第二目标地点t2时，投射到该观看者第二眼60的该调整光信号会比投射到该观看者第一眼50的该正常光信号改变更多光线方向。也就是说，θ4比θ3大。所以该弱眼需要比该正常眼移动(运动)更多来追踪该第一虚拟物体70的移动。在斜视及弱视的情况下，该弱眼运动比该正常眼运动的越多，两眼间的视力差距缩小的越快，甚至会消失。如图5a至5c所示的另一实施例，当该虚拟影像模组120显示该第一虚拟物体70从该第一目标地点t1移动至该第二目标地点t2时，投影到该观看者第一眼50的该正常光信号不会改变光线方向。在这个情况下，该观看者的第一眼50完全不需要移动，而该观看者的第二眼需要移动更多以追踪该第一虚拟物体的移动。根据上述原因，因为该弱眼被迫做所有运动，所以斜视的情况可能会有更有效的治疗。
40.在该第一虚拟物体70从该第一目标地点t1移动到该第二目标地点t2后，该虚拟影像模组120可进一步显示该第一虚拟物体70从该第二目标地点t2移动到第三目标位置及第三目标深度(统称第三目标地点或t3)。同样的，从该第二目标地点t2移动到第三目标地点t3有两个不同的实施例：(1)投影到该观看者第二眼60的该调整光信号会比投射到该观看者第一眼50的该正常光信号改变更多光线方向；(2)投影到该观看者第一眼50的正常光信号并不改变光线路径，如图5a至5c所示。同样的，根据训练计划的需求，该虚拟影像模组120可以在数个目标地点间不断地显示该第一虚拟物体70，例如t1
→
t2
→
t3
→
t4。
41.为了避免复杂化，图4及5a至5c没有展示瞳孔随着该第一虚拟物体70移动。图6a至6b示出了当该第一虚拟物体70从该第一目标地点t1移动到该第二目标地点t2时，该第二眼60实际上从左手边移动到中间，而该第一眼50则维持在大约相同的位置。
42.此外，为了让观看者在目标深度感知到虚拟物体，该系统100包括该眼动追踪模组110及该虚拟影像模组120，需要先替该观看者进行校正。因为每个观看者眼睛的物理特性(包括瞳距)并不相同，该系统需要特别为该观看者校正，以确保该正常光信号及调整光信号投射至该观看者的双眼，让该观看者感知到显示在该目标深度的该虚拟影像。
43.由该眼动追踪模组110所得到的该观看者眼睛信息，例如瞳孔位置、瞳孔大小、视角及辐辏角度，可以让该虚拟影像模组判断该第一虚拟物体70移动的方向及速度。举例来说，当该弱眼60没办法跟上该第一虚拟物体70的移动时，该虚拟影像模组120可以将该第一虚拟物体70移回至该观看者的弱眼还能感知到调整影像的上一个位置，并且减缓移动的速度。该虚拟影像模组120也可以使用这些观看者眼睛信息来决定该正常光信号及调整光信号的方向及角度，以确保两只眼睛，尤其是该弱眼60接收到光信号并可以感知到该第一虚拟物体70。图7a至7d分别示出了下斜视(眼睛向下)、上斜视(眼睛向上)、外斜视(眼睛向外)、内斜视(眼睛向内)，这四种情况该弱眼60的瞳孔没办法自由转动与该正常眼50的瞳孔相互配合。以外斜视为例，如图8所示，该虚拟影像模组120可分别调整该正常光信号及调整光信号的方向与角度，以让该弱眼60感知到该调整影像。
44.在一些实施例中，该系统100可以用来矫正外斜视或其他相似情况。该虚拟影像模组120可以显示该第一虚拟物体70并缓慢的向该观看者的弱眼60靠近及/或远离。该眼动追踪模组110提供该观看者的眼睛信息，例如瞳孔位置、瞳孔大小、视角及辐辏角度，可以让该虚拟影像模组120根据这些信息分别向该正常眼投射正常光信号使其感知该正常影像；向该弱眼投射调整光信号使其感知到该调整影像。接着该虚拟影像模组120渐渐移动该调整影像至适当的方向并移离该弱眼的原始位置以达到矫正的目的。于是，由该弱眼所感知到的该调整影像可会有点模糊且/或该观看者的双眼感知到复视(当影像融合失败，于是该正常影像与调整影像分离)。人类大脑有自动执行双眼调节的倾向及能力，以获得物体的清晰影像。因此，该观看者可试着稍微转动其弱眼以重新获得清晰影像或是避免复视。当该观看者成功后，该反馈模组120会提供反馈，像是声音或震动，给该观看者。该虚拟影像模组120可以重复的来回移动该调整影像，以训练该弱眼转动至适当的方向，使该观看者双眼的错位问题改善。
45.为了改善该观看者弱眼60的视力，该虚拟影像模组120可区分给该观看者第一眼50的该正常影像122与给该观看者第二眼60的该调整影像124之间的对比度与空间频率。具体而言，该虚拟影像模组120会产生跟该正常影像124相比拥有更高解析度或更低空间频率的调整影像122。该虚拟影像模组120可部分根据该弱眼的视觉对比敏感度，为调整影像122选择适当的对比度及空间频率，使该观看者的弱眼60接收到更强的刺激并清楚的感知到该调整影像124。每只眼睛都有其视觉对比敏感度，就如图9所示。该虚拟视觉模组120可调整该正常影像122的对比度且/或空间频率，使该正常眼50接收少一点刺激并感知到较低对比度与较高空间频率的该正常影像122。因此，该弱眼60得到更多运动及训练，为该观看者的视力有贡献。如果没有该系统100改善双眼视力，该观看者会避免让其无法看见清晰影像的弱眼运动，然后该弱眼60会变得更加衰弱，甚至看不见。
46.对比度是指一个物体(或其影像或在显示器中的表现)可被区分的亮度或颜色的差异。在现实世界的视觉感知中，对比度是由物体和同一视野内的其他物体的颜色与亮度的差异决定的。通过视觉对比敏感度测试，可以绘制该观看者眼睛的视觉对比敏感度曲线(也称为视觉对比敏感度函数)，横轴为角频率，纵轴为对比度阈值。在这种测试中，向观看者展示的图像在纵坐标上有不同的对比度，在横坐标上有不同的角频率。不同宽度和对比度的平行条，被称为正弦波光栅，由观看者依次观看并绘制曲线。条的宽度和它们之间的距离代表角频率，以每一度为一周期来衡量。研究表明，相对于低角频率或高角频率，中等大小的角频率，大约为每度5-7个周期，对大多数人而言有最佳的测试结果。该对比度阈值可以定义为病人可以看见的最小对比度。
47.如上所述，该虚拟影像模组120可投射较高对比度及/或较低空间频率的调整影像124至该观看者的弱眼60。以下为一些例子，对高对比度而言，该调整影像124会比该正常影像122有更高亮度；该调整影像124有各种色彩而该正常影像122为黑白影像(有灰阶)；该调整影像124为绿色而该正常影像122为红色。对低空间频率而言，该调整影像124为影像的前景而该正常影像122为同一影像的后景。该虚拟影像模组120将影像区分为空间频率较低部分及空间频率较高部分，接着投射该空间频率较低部分(例如前景)至该弱眼60，并投射该空间频率较高部分(例如后景)至该正常眼50。在这情况下，该调整影像124(空间频率较低部分)跟该正常影像122(空间频率较高部分)对于双眼融合有很重要的关联，虽然该调整影
像及该正常影像因为不同模式及空间频率看起来有些不同，但他们均来自同一影像。
48.如图10所示，当该虚拟影像模组120将该第一虚拟物体70移动到不同目标深度的地点时，该第一虚拟物体70的空间频率会因为该目标深度而改变。当该相同虚拟物体移动到一个更深的地点，因为它距离该观看者更远，该相同虚拟物体的空间频率就自动上升。于是，当该虚拟物体远离该观看者时，该弱眼60在清楚感知该虚拟物体上会有困难。为了让该观看者的弱眼能清楚感知到该调整影像，该虚拟影像模组可调整该第一虚拟物体(包括该调整影像及该正常影像)的空间频率，让该第一虚拟物体显示在更深的位置时，有较低空间频率。如图10所示，当该第一虚拟物体70移动到更深的地方，举例来说从该第一目标地点t1到该第二目标地点t2，再到该第三目标地点t3，该第一虚拟物体70的空间频率降低解决了上述问题。
49.改善双眼视力的该系统100可进一步包含vep量测模组130以量测该观看者眼睛的视觉诱发电位(vep)。vep是视觉刺激下在视觉皮层产生的电信号。vep是指从视觉皮层上方的头皮纪录的电位，这些电位是通过信号平均从脑电图中撷取的。一般情况下，纪录电极放在头部后方的枕叶头皮中线。veps用来量化视神经、从眼睛到大脑视觉皮层的视觉回路以及枕叶皮层的功能完整性。因此，vep为该虚拟影像模组提供了重要信息，以调整显示该第一虚拟物体的方式，包括该第一虚拟物体70的移动速度及方向，以及该调整影像124的对比度及空间频率。
50.该vep量测模组130可持续地测量观看者一只或两只眼睛的vep，并将这些信息提供给该虚拟影像模组。测量可以以实时的方式进行，也可以在该观看者的弱眼有改善后一段时间内做一次。vep可以反映出该观看者的弱眼能够感知到该调整图像的程度。vep也可以反映出该观看者的眼睛，特别是弱眼在一段时间内是否固定。例如，当该观看者的弱眼不固定并且做一些动作时，弱眼的vep可能会有波动。然而，当该观看者的弱眼保持固定时，弱眼的vep可能会维持大致相同。因此，该虚拟影像模组可以根据该观看者任一或两只眼睛的vep，显示该第一虚拟物体，包括选择适当的对比度及空间频率，以及该第一虚拟物体的运动方向及速度。
51.即使该系统不包含该vep测量模组，该虚拟影像模组120也可以根据该观看者任一或两只眼睛的vep来显示该第一虚拟物体70。分开vep量测模组可以通过有线或无线的方式传送该观看者任一或两只眼睛的vep。无线的方式可以包含wifi、蓝芽、近场通讯(nfc)、网路、电信、无线电波(rf)等等。该观看者任一或两只眼睛的vep也可以通过系统的使用者接口，例如键盘或滑鼠，输入到系统中。
52.用于改善双眼视力的该系统100首先投射带有适当的对比度及空间频率的该调整影像，让该观看者的弱眼得到足够大的刺激并运动。当该观看者的弱眼变得更强壮，该虚拟影像模组可以在该观看者清楚感知到该调整影像的前提下，逐渐降低该调整影像对比度且/或增加该调整影像的空间频率，直到该调整影像跟该正常影像非常接近。同一时间，该第一虚拟物体从该第一地点移动到该第二地点可以训练该观看者的弱眼跟随影像移动并感知到该第一虚拟物体的深度。当该观看者有办法练习凝视时，该虚拟影像模组可以将该第一虚拟物体显示在由该眼动追踪模组提供的该观看者的凝视位置及凝视深度(统称凝视地点)。当该观看者将其凝视点从第一凝视位置及第一凝视深度(统称第一凝视地点或f1)移动到第二凝视位置及第二凝视深度(统称第二凝视地点或f2)，该虚拟影像模组会根据该
观看者的凝视点移动该第一虚拟物体。
53.通过使用上述让该第一虚拟物体跟着该观看者的凝视点移动这个机制，很多游戏被设计来训练该观看者凝视及影像融合的能力。该虚拟影像模组可以在预设位置及预设深度显示第二虚拟物体75。当该观看者移动其凝视点，使该第一虚拟物体在该第二虚拟物体的预设空间范围内移动，或是在预设时间内迭加在该第二虚拟物体上时，该第二虚拟物体会改变并与该第一虚拟物体互动。如图11a及11b所示的第一例，该第一虚拟物体70为会根据该观看者的凝视点，从f1移动至f2再到f3的瞄准游标，而该第二虚拟物体75是射击目标，例如战斗机。当该第一虚拟物体70(即瞄准游标)移动并重迭在该第二虚拟物体75(即战斗机)上，该第二虚拟物体75会显示爆炸以提供该观看者反馈，让其得知该第二虚拟物体75被击中并摧毁。在第二例中，该第一虚拟物体为保龄球，而该第二虚拟物体为保龄球球瓶堆。当该观看者移动其凝视点使保龄球跟球瓶堆重迭(击中)时，该虚拟影像模组会显示部分球瓶倒下，以提供给该观看者有关击中的反馈。在第三例中，该第一虚拟物体为由数个区块组成的“蛇”，通过该观看者的凝视点移动并“吃”掉其他的区块，即该第二虚拟物体。这些区块可以由各种不同对比度及空间频率的图案组合而成。因此，该移动的蛇可以加强对该观看者视觉皮层的刺激并促进更好的训练结果。
54.该系统100可以跟现实互动。跟上述的射击游戏相似，该观看者可以在预设时间内，移动其凝视点使该第一虚拟物体(如瞄准游标)在真实物体(如桌上的茶壶)的预设范围内移动。接着该虚拟影像模组可以显示虚拟物体(如烟火)作为反馈，以向该观看者说明该真实物品被击中了。这些反馈情景及训练游戏中的其他参数，如预设空间范围、预设时间、反馈的虚拟物体可以由该观看者或训练员预先设定好。因此，该训练游戏可以设定该瞄准游标需要与该真实物体重迭至少三秒钟。
55.该系统100可进一步包含真实物体量测模组150以测量真实物体的位置及深度，例如挂在墙上的时钟及图片。该真实物体可以为移动物体，如遥控飞机或狗。该真实物体量测模组150与该系统的其他模组相连接，可以连续或定期测量该真实物体相对于该物体量测模组(或该观察者)的位置及深度，并将相关信息传达给该虚拟影像模组以确定是否满足反馈条件。举例来说，在接收这些信息后，该控制模组125可以计算该第一虚拟物体(如瞄准游标)与该真实物体之间的距离，判断该第一虚拟物体有没有重迭在该真实物体上。该真实物体与该真实物体量测模组150(或该观看者眼睛)之间的距离会随着时间改变。在一情况下，该真实物体105，如遥控飞机，可能会在游戏期间移动。在另一情况下，该系统100可能由观察者(如病人)穿戴，而该观察者可能会在游戏期间移动他的头。因此，需要量测并计算该真实物体与该观看者眼睛之间的距离，以准确地确定是否满足反馈条件。该真实物体量测模组150可以包含陀螺仪、室内/室外全球定位系统(gps)及距离量测元件(即发射器与传感器)以精准追踪该真实物体的位置或深度变化。
56.除了显示虚拟物体，例如爆炸的飞机，作为反馈，该系统100可提供其他种类的反馈，例如声音或震动。因此，该系统100可以进一步包括反馈模组160，当反馈条件满足时产生反馈。该反馈模组可以为制造声音(如爆炸声)的扬声器，或是震动产生器以提供不同种类的震动。反馈的种类可以由该观察者或该训练员通过该使用者接口140设定。
57.下面将详细讨论该虚拟影像模组120、在特定位置及深度产生虚拟物体70,75的方法、以及依照需求移动该虚拟物体的方法。于2020年11月6日提交的pct国际申请pct/us20/
59317，标题为”system and method for displaying an object with depths”，其全部内容通过引用纳入本文。
58.如图12所示，该观看者在该观看者前方的区域c感知到该第一虚拟物体，即该网球70。在第一目标地点t1(深度为d1)显示的网球虚拟物体70的影像由第一双眼像素72(其影像的中点)表示；当该第一虚拟物体70移动到第二目标地点t2(深度为d2)时，由第二双眼像素74表示。该第一重定向正常光信号16’(该第一正常光信号)与相对应的该第一重定向调整光信号36’(该第一调整光信号)之间的该第一角度为θ1。该第一深度d1跟该第一角度θ1有关。特别是，该第一虚拟物体70的第一虚拟双眼像素的第一深度可以由该第一重定向正常光信号及相对的该第一重定向调整光信号光线延伸路径之间的第一角度θ1所决定。结果，该第一虚拟双眼像素72的该第一深度d1可以由下列公式算出近似值：
[0059][0060]
该正常瞳孔52与该调整瞳孔62之间的距离为瞳距(ipd)。相同的，该第二重定向正常光信号18’(该第二正常光信号)与相对应的该第二重定向调整光信号36’(该第二调整光信号)之间的该第二角度为θ2。该第二深度d1跟该第二角度θ2有关。特别是，该虚拟物体70的第二虚拟双眼像素的第二深度可以通过相同公式，由该第二重定向正常光信号及相对的该第一重定向调整光信号光线延伸路径之间的第二角度θ2所决定。因为该第二虚拟双眼像素74跟该第一虚拟双眼像素72，在距离该观看者较远的地方被感知(深度较大)，该第二角度θ2会比该第一角度θ1小。
[0061]
此外，虽然nls_2的该重定向正常光信号16’与als_2的该重定向调整光信号72共同在该第一深度d1显示第一虚拟双眼像素72。nls_2的该重定向正常光信号16’可能会和相对应的als_2的该重定向调整光信号36’有相同或不同的视角。换句话说，虽然该第一角度θ1决定该第一虚拟双眼像素72的深度，但nls_2的该重定向正常光信号16’与相对应的als_2的该重定向调整光信号36’可能有视差。因此，红绿蓝(rgb)色光的强度及/或该正常光信号及该调整光信号的亮度可以大致相同，也可以因为阴影、视角等等的关系而有些许不同，以达到更好的3d效果。
[0062]
如上所述，该数条正常光信号是由该正常光信号产生器10产出、由该正常合光元件20重定向、接着由该正常视网膜扫描后，在该正常视网膜上形成正常影像122(图13中的正常视网膜影像86)。同样地，该数条调整光信号是由该调整光信号产生器30产出、由该调整合光元件40重定向、接着由该调整视网膜扫描后，在该调整视网膜上形成调整影像124(图13中的调整视网膜影像96)。如图12所示的实施例，正常影像122包含36个正常像素(6x6矩阵)且调整影像124也包含36个调整像素(6x6矩阵)。在另一实施例中，正常影像122可包含921600个正常像素(1280x720矩阵)且调整影像124也可包含921600个调整像素(1280x720矩阵)。该虚拟影像模组120用来产生数个正常光信号及相对应的数条调整光信号，这些信号分别在正常视网膜上形成该正常影像122，且在该调整视网膜上形成调整影像124。结果，该观看者因为影像融合而感知到具有特定深度的虚拟物体。
[0063]
参考图12，来自该正常光信号产生器10的该第一正常光信号16被该正常合光元件20接收并反射。该第一重定向正常光信号16’穿过该正常瞳孔52到达该观看者的该正常视网膜并显示该正常视网膜像素r43。来自该调整光信号产生器30的该相对应的调整光信号
36被该调整合光元件40接收并反射。该第一重定向调整光信号36’穿过该调整瞳孔62到达该观看者的该调整视网膜并显示该调整像素l33。作为影像融合的结果，观看者在该第一深度d1感知到该第一虚拟物体70，其深度是由该第一重定向正常光信号及相对应的该第一重定向调整光信号之间的该第一角度而决定。重定向正常光信号与相对应调整光信号之间的角度是由该正常像素与该调整像素之间的相对水平距离决定的。因此，虚拟双眼像素的深度跟形成该虚拟双眼像素的该正常像素及相对应的该调整像素之间的水平距离成反比。换句话说，该观看者感知到的虚拟双眼像素越深，形成该虚拟双眼像素的该正常像素与调整像素之间的水平距离越小。举例来说，如图12所示，该观看者感知到的该第二虚拟双眼像素74比该第一虚拟双眼视觉像素72更深(也就是比该观看者更远)。因此，在视网膜影像122,124上，该第二正常像素与该第二调整像素之间的水平距离会比该第一正常像素与该第一调整像素之间的水平距离更小。具体来说，形成该第二虚拟双眼像素74的该第二正常像素r41与该第二调整像素l51之间的水平距离为四个像素长。然而，形成该第一虚拟双眼像素72的该第一正常像素r43与该第一调整像素l33之间的水平距离为六个像素长。
[0064]
如图13所示的实施例，示出了来自光信号产生器的数条正常光信号及数条调整光信号的光线路径。该数条正常光信号由该正常光信号产生器10产生并向该正常合光元件20投射并形成正常合光元件影像(rsi)82。该数条正常光信号由该正常合光元件20重定向并汇聚至微小正常瞳孔影像(rpi)84穿过该正常瞳孔52，最终到达该正常视网膜54并形成正常视网膜影像(rri)86(正常影像122)。rsi,rpi,rri均由ixj个像素组成。每个正常光信号rls(i,j)都会经过相对应的像素，从rsi(i,j)到rpi(i,j)、接着到rri(x,y)。举例来说，rls(5,3)会从rsi(5,3)到rpi(5,3)，再到rri(2,4)。相同地，该数条调整光信号由该调整光信号产生器30产生并向该调整合光元件40投射并形成调整合光元件影像(lsi)92。该数条调整光信号由该调整合光元件40重定向并汇聚为微小调整瞳孔影像(lpi)94穿过该调整瞳孔62，最终到达该调整视网膜64并形成调整视网膜影像(lri)96(调整影像124)。lsi,lpi,lri均由ixj个像素组成。每个调整光信号als(i,j)都会经过相对应的像素，从lsi(i,j)到lpi(i,j)、接着到lri(x,y)。举例来说，als(3,1)会从lsi(3,1)到lpi(3,1)，再到lri(4,6)。(0,0)像素是每个影像最左上方的像素。视网膜影像中的像素跟合光元件影像中相对应的像素为左右相反且上下颠到的。在该光信号产生器及合光元件的相对位置都已经安排好的情况下，每个光信号都有其自己从光信号产生器到视网膜的光线路径。在正常视网膜上显示正常像素的正常光信号及相对应的在调整视网膜上显示调整像素的调整光信号会共同形成带有特定深度的虚拟双眼像素，并由观看者感知。因此，在空间中的虚拟双眼像素可以由一对正常视网膜像素及调整视网膜像素或是一对正常合光元件像素及调整合光元件像素表示。
[0065]
观看者在区域c中感知到虚拟物体可能包括数个虚拟双眼像素，但在本发明中仅由虚拟双眼像素表示。为了可以精确地描述虚拟双眼像素在空间中的位置，每个空间中的位置都会有一个立体座标，例如xyz座标，其他立体座标系统可以用在其他实施例中。于是，每个虚拟双眼像素都有一个立体座标：水平方向、垂直方向以及深度方向。水平方向(或x轴方向)是沿着瞳孔间线的方向；垂直方向(或y轴方向)沿着脸部中线的方向并垂直于水平方向；深度方向(或z轴方向)是指正平面的法线并与水平方向及垂直方向均垂直。水平方向座标与垂直方向座标在本发明中被统称为位置。
[0066]
图14示出该正常合光元件影像中的像素、该调整合光元件影像中的像素、以及该虚拟双眼像素之间的关系。如上所述，该正常合光元件影像中的像素每个都与该正常视网膜影像中的像素(正常像素)相对应。该调整合光元件影像中的像素每个都与该调整视网膜影像中的像素(调整像素)相对应。然而，该视网膜影像中的像素与相对应在合光元件影像中的像素左右相反且上下颠倒。对于由36个(6x6)正常像素组成的正常视网膜影像与由36个(6x6)调整像素组成的调整视网膜影像，假设所有光信号都在该观看者两只眼睛的视野(fov)内，则在区域c中有216个(6x6x6)虚拟双眼像素(显示为一点)。重定向正常光信号的光线延伸路径会与该影像中同一排的所有重定向调整光信号的光线延伸路径相交。同样地，重定向调整光信号的光线延伸路径会与该影像中同一排的所有重定向正常光信号的光线延伸路径相交。因此，一层会有36个(6x6)虚拟双眼视觉而空间中一共有六层。虽然在图14中看起来例如平行线，但是相邻两条光线延伸路径相交并形成虚拟双眼像素代表他们之间有小角度。在视网膜中大约相同高度的正常像素及相对应的调整像素(即在正常视网膜影像与调整视网膜影像的同一行)通常会更早融合。因此，正常像素与在视网膜影像同一行的调整像素配对，并形成虚拟双眼像素。
[0067]
如图15所示，创造了查询表以方便识别每一虚拟双眼像素的正常像素及调整像素对。举例来说，216个虚拟双眼像素由36个正常像素及36个调整像素组成，编号从1至216。该第一(1
st
)虚拟双眼像素vbp(1)代表正常像素rri(1,1)及调整像素lri(1,1)。该第二(2
nd
)虚拟双眼像素vbp(2)代表正常像素rri(2,1)及调整像素lri(1,1)。该第七(7
th
)虚拟双眼像素vbp(7)代表正常像素rri(1,1)及调整像素lri(2,1)。该第三十七(37
th
)虚拟双眼像素vbp(37)代表正常像素rri(1,2)及调整像素lri(1,2)。该第两百一十六(216
th
)虚拟双眼像素vbp(216)代表正常像素rri(6,6)及调整像素lri(6,6)。因此，为了向该观看者显示虚拟物体在空间中的特定虚拟双眼像素，需要确定那一对正常像素及调整像素可以用来产生相对应的正常光信号及调整光信号。此外，在查询表中虚拟双眼像素的每一行包括指标，该指标导向储存该vbp的感知深度(z)及感知位置(x,y)的记忆体位址。额外的讯息也可以储存在vbp，例如尺寸比例、重迭物品的数量、以及序列深度。尺寸比例为特定vbp与标准vbp相比的相对大小信息。举例来说，该虚拟物体显示在该观看者面前一公尺处的该标准vbp时，尺寸比例可以设为1。因此，对于在该观看者前面90公分的该特定vbp，该尺寸比例可以设为1.2。同样地，对于在该观看者前面1.5公尺的特定vbp，该尺寸比例可以设为0.8。当该虚拟物体从第一深度移动到第二深度时，尺寸比例可以用来决定该虚拟物体显示的尺寸。尺寸比例在本发明中可以为放大率。重迭物品的数量为因重迭而部分或完全被其他物品覆盖的物品数量。序列深度包含各个重迭影像的深度排序。举例来说，有三个影像相互重迭。在最前面的该第一影像的序列深度设为1，
[0068]
而被该第一影像覆盖的该第二影像的序列深度设为2。重迭影像的数量与序列深度是用来决定当各种重迭物品移动时，该显示哪个影像及该影像的哪个部分。
[0069]
该查询表由下列步骤创造。第一步骤：根据该观察者ipd获得一个人虚拟地图，该虚拟地图是由该虚拟影像模组在启动或校正时创建，它指定了区域c的边界，在该边界中该观察者可以因为正常视网膜影像及调整视网膜影像的融合而感知到带有深度的虚拟物体。第二步骤：对于z轴方向上的每个深度(z轴上的每个点)计算辐辏角度，以确定该正常视网膜影像及该调整视网膜影像上的一对正常像素及调整像素，无论其x座标与y座标。第三步
骤：沿x轴方向移动该对正常像素及调整像素，以确定每对在特定深度的正常像素及调整像素的x座标及z座标，无论其y座标。第四步骤：沿y轴方向移动该对正常像素及调整像素，以确定每对正常像素及调整像素的y座标。因此，可以确定该正常视网膜影像及该调整视网膜影像上的每对正常像素及调整像素的三维座标系，如xyz，以建立该查询表。此外，第三步骤跟第四步骤可以互换。
[0070]
该光信号产生器10及30可以为雷射、发光二极体(led)，包含mini led及micro led、有机发光二极体(oled)、或超辐射发光二极体(sld)、硅基液晶(lcos)、液晶显示器(lcd)，或其任何组合作为其光源。在一实施例中，该光信号产生器10及30为雷射扫描投影器(lbs projector)，该投影器由光源(包括红光雷射、绿光雷射及蓝光雷射)、色彩修饰物(例如双色合光镜及偏振合光镜)、以及二维可调式反光镜(例如二维微机电系统镜)。该二维可调式反射镜可以由两个一维反射镜取代，例如两个一维微机电系统(mems)镜。该lbs投影器依序产生并扫描光信号以在预设解析度下形成二维影像，例如每帧1280x720像素。因此，该投影器产生像素的光信号并一次性投射到该合光元件20及40上。为了让观看者的眼能够看到该平面影像，该lbs投影器需要在视觉暂留时间内(例如1/18秒)依序产生每个像素的光信号(例如1280x720个光信号)。因此，每个光信号的持续时间约为60.28奈秒。
[0071]
在另一实施例中，该光信号产生器10及30可为数位光处理投影器(dlpprojector)，该投影器可以一次产生平面彩色影像。德州仪器的dlp技术为可以用来制造dlp投影器的数个技术之一。该完整平面彩色影像(可能由1280x720个像素所组成)会同时投射至该合光元件20及40上。
[0072]
该合光元件20,40接收并重定向由该光信号产生器10,30所产生的数条光信号。在一实施例中，该合光元件20,40反射该数条光信号，所以该重定向光信号与该入射光信号在同一侧。在另一实施例中，该合光元件20,40折射该数条光信号，所以该重定向光信号与该入射光信号在不同侧。当该合光元件20,40作为折射镜，其反射率变动很大，如20％至80％，部分取决于该光信号产生器的功率。在该领域有通常知识者知道如何根据该光信号产生器及该合光元件的特性决定适当的反射率。此外，该合光元件20,40在入射光信号另一侧的环境光下为光学透明的，所以该观看者可以在同一时间看到该即时影像。根据其应用不同，透明度的变动范围很大。若是应用在ar/mr，其透明度最好大于50％，例如在一实施例中约为75％。
[0073]
该合光元件20,40可以由眼镜或像透镜一样的塑胶材料制成，涂上特定材质(例如金属)让它部分透明且部分反射。使用反射合光元件将光信号导向该观看者眼睛，而非现有技术中的导波器的一个优点为消除不良的绕射效应，例如重影、色彩置换等等。
[0074]
上述所提供的实施例的描述是为了使所属领域具有通常技术者得以制造并使用本发明。对该实施例的各种修改对于所属领域具有通常技术者是显而易见的，并且此处确定的基本原理不需要创造性劳动便可以应用于其他实施例。因此，本所要求的主题不仅限于此处展示的实施例，而是要符合与此处公开的原理及新颖特征一致的最广范围。可以预想其他的实施例也在本发明所公开的精神及范围内。因此，本发明意旨为涵盖属于所附的专利权利要求及其等同物的范围内的修改及变化。