全息指纹的制作方法

1.本公开涉及投影仪。更具体地，本公开涉及全息投影仪、全息投影方法和全息投影系统。本公开的实施例涉及布置成进行场景的飞行时间测量的光检测和测距(“lidar”)系统和监控lidar系统的操作的方法，例如用于安全监控。一些实施例涉及汽车lidar系统或包含在便携式设备中的lidar系统。其他实施例涉及具有改进的安全性的平视显示器。


背景技术：

2.从物体散射的光包含振幅和相位信息。可以通过众所周知的干涉技术在例如感光板上捕获该振幅和相位信息，以形成包括干涉条纹的全息记录或“全息图”。可以通过用合适的光照射来重建全息图，以形成代表原始物体的二维或三维全息重建或回放图像。
3.计算机生成的全息术可以在数值上模拟干涉过程。可以通过基于数学变换比如菲涅耳或傅立叶变换的技术来计算计算机生成的全息图。这些类型的全息图可被称为菲涅耳/傅立叶变换全息图或简称为菲涅耳/傅立叶全息图。傅立叶全息图可被认为是物体的傅立叶域/平面表示或物体的频域/平面表示。例如，还可以通过相干射线追踪或点云技术来计算计算机生成的全息图。
4.可以在布置为调制入射光的振幅和/或相位的空间光调制器上对计算机生成的全息图进行编码。例如，可以使用电可寻址液晶、光学可寻址液晶或微镜来实现光调制。
5.空间光调制器通常包括多个单独可寻址像素，其也可以称为单元或元素。光调制方案可以是二进制、多级或连续的。可替代地，装置可以是连续的(即不包括像素)，因此光调制可以在整个装置上是连续的。空间光调制器可以是反射性的，这意味着调制光以反射输出。空间光调制器可以同样是透射性的，这意味着调制光以透射输出。
6.可以使用本文描述的系统来提供全息投影仪。这种投影仪已经应用于平视显示器“hud”和头戴式显示器“hmd”，例如包括近眼设备。全息投影仪可用于光检测和测距(lidar)。光检测和测距(lidar)系统可用于各种应用，包括便携式设备和车辆。
7.在使用相干光的设备比如全息投影仪中，可以使用移动漫射器来提高图像质量。
8.本公开涉及全息投影仪的监控操作的改进，例如在光检测和测距(lidar)系统内。特别地，这样的改进可以包括用于在lidar系统内监控全息显示设备的安全操作的更可靠和/或更精确的技术。


技术实现要素：

9.本公开的各方面在所附独立权利要求中定义。
10.总体上，提供了一种方法、系统和设备，其能够精确有效地监控和控制全息投影仪的操作，例如包括在布置成进行场景的飞行时间测量的光检测和测距“lidar”系统中的全息投影仪。监控和控制可以确保全息投影仪和布置成照亮全息投影仪的光源的安全操作。提供一个或多个光检测器来监控光信号。被监控的光信号可以来自全息重建，当显示光图案的全息图的显示设备比如空间光调制器(slm)被合适的光比如激光照射时形成全息重
建。在另一示例中，被监控的光信号可以来自从被照射的slm向全息回放平面传播且因此还没有完全形成全息重建的光。在这样的示例中，被监控的光可被称为“部分”全息重建或包含在其内。在另一示例中，被监控的光信号可以来自已经在全息回放平面上形成全息重建(其可被称为“中间”全息重建)并且被投影到屏幕、漫射器或其他平面的光，以在其上形成中间全息重建的图像。中间全息重建本身可以在自由空间中形成，或者它可以例如在屏幕比如漫射器上形成。
11.检测器包括或通信耦合到处理器或故障检测电路，该处理器或故障检测电路配置为将检测器在给定时间针对特定全息图检测到的光信号与如果全息投影仪准确且安全地操作在该时针对该特定全息图应该已经检测到的光信号的预期进行比较。具体而言，该方法可以基于来自全息重建的光信号和/或光是否处于眼睛安全的亮度或强度水平来确定显示设备在给定时间是否正确显示了期望的全息图。该方法可以进一步包括控制光源暂停或停止照射(即照亮)显示设备，或者如果存在其可能不能正常工作的指示则改变照射光的参数。因此，对于观察者来说，这可以起到防止眼睛损伤和/或眼睛不适的保护作用，否则，如果允许显示设备继续不准确或不正确的操作，可能会出现这种情况。在一些情况下，该方法可以包括控制光源以降低照射强度。这可以确保眼睛安全，同时继续提供足够的光来监控，以确定slm(或投影仪的其他方面)是否/何时从错误状态中恢复。
12.根据一方面，提供了一种全息投影仪，包括空间光调制器(slm)，该空间光调制器布置成显示用于投影的光图案的全息图，并根据显示对光进行空间调制，以形成全息重建，其中全息重建与空间光调制器在空间上分离。如果全息投影运行正常，所形成的全息重建应该与光图案相对应。全息投影仪还包括检测器阵列，该检测器阵列包括多个光检测元件，这些光检测元件布置成检测对应于全息重建的相应多个位置的光，并提供与光检测相关的相应多个输出信号，以及故障检测电路，该故障检测电路布置成将来自相应多个光检测元件的多个输出信号中的一个或多个与基于光图案的光分布的多个预期信号中的一个或多个进行比较。
13.作为所述比较的结果，故障检测电路或包含在全息投影仪内或与之通信耦合的另一处理器或电路)可以布置成确定多个输出信号中的一个或多个与多个预期信号中的一个或多个之间是否存在差异。
14.由故障检测电路进行的比较的目的可以是评估全息重建的有效性。比较可以确定全息投影仪是否安全运行，或者是否存在不安全的风险。该比较可以在给定时间将来自多个光检测元件中的每个的输出信号与来自那些光检测元件中的每个的预期输出信号进行比较。一个或多个预期时间信号可以是时变的。例如，预期信号的时间变化可能是由于预期全息图将改变，从而改变光图案，和/或预期光图案将动态地改变位置或方位，从而改变在给定的时间光图案的哪个部分(如果有的话)将预期出现在特定光检测元件的位置。例如，全息重建可以预期在回放平面上被平移或“扫描”。在某些情况下，预期发出光信号的检测元件的身份可能会随着时间而改变。
15.来自相应多个光检测元件的多个输出信号(和/或多个预期信号)可以包括来自检测器阵列中的多个光检测元件(或多个光检测元件的子组或子集)的组合或级联信号。例如，光检测元件可以配置成在任何给定时间提供指示光信号的存在(“1”)或不存在(“0”)的二进制信号。级联信号可以包括来自多个光检测元件中的每个的二进制输出序列(或者来
自那些光检测元件的预期二进制输出序列)。这种级联二进制信号的长度(以比特为单位)可以等于它所涉及的光检测元件的数量。在另一示例中，光检测元件可以配置成提供非二进制(“灰度”)信号，该信号提供关于例如检测到的光的强度或亮度的信息。
16.全息投影仪可以包括光源，或者与光源一起提供。光源可以是激光光源。光可以是例如红外(ir)光、可见光或紫外光。
17.故障检测电路可包括任何合适的控制器或处理器，或者包含在其内或与之通信耦合。该控制器或处理器还可以配置为执行与全息投影仪相关的其他动作。例如，它可以布置成控制空间光调制器上全息图的选择和显示。故障检测电路可简单地称为“控制器”或“信号比较电路”或任何其他合适的术语。
18.故障检测电路可以布置成如果其识别出来自相应多个检测元件的所述一个或多个输出信号与一个或多个预期信号之间的差异则改变或防止进一步的光投影，以确保全息投影仪的安全操作。在一些情况下，它可以布置成不完全防止进一步的光投影，而是改变光投影，例如通过降低其强度。例如，全息投影仪可以布置成如果其识别出来自相应多个检测元件的所述一个或多个输出信号和一个或多个预期信号之间的差异则防止或减少从光源向空间光调制器(slm)的进一步光投影，和/或防止或减少由slm发射的光，和/或防止或减少由slm发射的光到达其目标物体或场景，和/或防止或减少从该场景或物体向观察者反射的光。例如，光源的操作可以暂停或向下拨动，和/或可以暂停或取消slm的操作，例如通过激活位于光源和slm之间和/或slm和以其他方式布置成照亮的场景或目标之间，或者甚至位于场景或目标和观察者之间的快门或其他屏障。在一些情况下，可以采用多个屏障或快门，用于在光源和观察者之间的多个不同的相应方位或位置处阻挡光路。
19.故障检测电路可以布置成容许来自相应多个检测元件的一个或多个输出信号和一个或多个预期信号之间的某些差异。例如，如果差异的值(即大小或范围)不大于可接受值，则该差异是可容忍的(因此允许进一步的光投影)。换句话说，故障检测电路可以允许某些差异存在，直至达到预定阈值，但可以确定超过该预定阈值的值的差异是不可接受的，因此必须停止、减少或暂停进一步的光投影，直到这些差异的原因被调查并且如果合适的话被补救。故障检测电路可以布置成区分不同的相应类型或性质的差异。在接收信号和预期信号之间可能存在一些被认为是不可接受的差异(或不匹配)，而不管它们的幅度如何，而在接收信号和预期信号之间的其他差异(或不匹配)可能被认为是可接受的，并且如果它们的幅度相对较小，则存在低安全风险。在一些情况下，接收信号和预期信号之间的某些差异(或不匹配)可以促使控制器降低光的强度，但不完全防止它，至少在预定的时间窗口内，从而为差异的来源提供了被解决和补救的机会，而不需要在该时间窗口内完全停止投影仪的操作。
20.在一些布置中，检测到的差异的类型和/或程度可以确定(或有助于确定)采取哪个或哪些步骤来阻挡光源和观察者之间的光路。
21.全息图所代表的光图案的全息重建可以形成在自由空间中的全息回放平面上，或者形成在诸如漫射器的屏幕上或在观察者的眼睛中。全息回放平面可以是平面的。在某些情况下，全息回放场可能不是平面的。例如，全息重建中的不同点可以在同一三维(3d)图像中的不同深度聚焦。
22.由全息图表示的光图案可以是时变的，使得多个预期信号中的一个或多个也可以
是时变的。例如，在检测器阵列内，预期输出与光检测相关的信号的一个或多个光检测元件的身份和/或位置可以随时间变化。
23.光图案序列可以由相应的全息重建序列(或多个或系列全息重建)来表示，这些全息重建是通过用来自光源的光照射slm而形成的。光图案序列中的每个光图案可以对应于不同的相应全息图。可替代地或另外，光图案序列中的两个或更多个光图案可以对应于公共全息图，对于序列中的每个不同光图案，结合不同的相应光栅函数。也就是说，序列中两个光图案之间的差异可以包括它们各自的全息重建(以及它们各自的全息回放场)在全息回放平面上的位置或方位的差异。
24.用于投影的光图案序列中的每个光图案可以配置成使得一次仅所述多个检测元件中的一个检测元件应接收对应于该光图案的全息重建的光。在一些情况下，应接收光的检测元件可以随着光图案序列的每个连续光图案而改变。在一些情况下，一次可能预期不止一个检测元件接收光，但预期接收光的元件的特定组合可能随着光图案序列中的每个光图案而改变。
25.检测元件可以基本位于全息回放平面处，在该平面处形成光图案的(中间)全息重建。可替代地或另外，一些或所有检测元件可以位于图像平面处，在该图像平面处形成中间全息重建的图像。可替代地或另外，一些或所有检测元件可以位于全息回放平面的上游(即在slm和全息回放平面之间)和/或全息回放平面的下游(例如在全息回放平面和图像平面之间)。因此，在一些情况下，全息重建可能还没有完全形成，和/或可能没有适当聚焦在一个或多个检测元件的位置处。例如，在一些情况下，全息回放场可以位于观察者眼睛的视网膜上，使用眼睛的透镜作为傅立叶透镜来形成全息重建。因此，在这种布置中，对来自slm的光的任何监控都将在傅立叶透镜的上游。
26.全息重建的多个位置(对于这些位置存在相应多个光检测元件)可以是全息重建本身的一个或多个部分的多个位置。例如，当光栅或其他函数用于在其全息回放平面上平移全息重建时，它们可以包括全息重建内的一个(或多个)光点可以移动到的多个位置。例如，它们可以包括在全息重建内光点可能(或可能不)出现的多个位置，这取决于在给定时间照射可能全息图的选择中的哪一个。
27.多个光检测元件可以布置成检测“对应于”全息重建的相应多个位置的光，在这种意义上，光检测元件可能实际上不位于全息回放平面处，在该全息回放平面处全息重建被完全形成和聚焦。相反，它们可能在另一平面处，该平面可能平行于全息回放平面。换句话说，它们可以位于光的轨迹或光路中的不同点处，而不是在全息回放平面处。光检测元件可以检测向全息回放平面行进的光，以形成全息重建，和/或从其全息回放平面向前投影的光，已经形成全息重建。
28.光检测元件可以位于至少在某些时间或在某些情况下在全息重建内可能形成(或可能已经形成)一个或多个光点的光预期出现的位置。因此，光检测元件可以位于特定全息重建的全息回放平面上游的平面上，在可以检测光的相应多个位置处，其中该光在朝向全息回放平面的轨迹(或光路)上，在那里它可以在全息重建内形成一个或多个光点。可替代地或另外，光检测元件可以位于特定全息重建的全息回放平面下游的平面上，在可以检测光的相应多个位置处，其中该光在远离全息回放平面的轨迹(或光路)上，并且其中该光可能已经在全息重建内预先形成了一个或多个光点。
29.用于投影的光图案可以包括主光图案区域和副光图案区域。光检测元件布置成检测光的多个位置中的每个位置可以在副光图案区域内。
30.可选地，副光图案区域可以不同于主光图案区域，例如，副光图案区域可以与主光图案区域在空间上分离。例如，主光图案区域可以包括旨在由观看者观看的图像内容。相反，副光图案区域可以不包括旨在由观看者观看的图像内容。例如，全息图可以是目标图像的全息图，其中主光图案对应于目标图像的图像内容，副光图案对应于附加全息图内容。例如，全息图可以是修改的目标图像的全息图，其具有添加到原始图像内容的标记或标识符。主光图案区域可以对应于目标图像的原始图像内容，副光图案可以对应于添加的标记或标识符。添加的标记或标识符可被称为“全息指纹”。
31.可以提供块、挡板或屏障，以防止副光图案区域内的光基本透射到全息回放平面之外。可以提供孔或开口或窗口，以允许主光图案区域内的光基本透射到全息回放平面之外。
32.副光图案区域和主光图案区域都可以包含在全息回放平面上的共同阶全息回放场内。例如，它们都可以包含在零阶全息回放场中。
33.可替代地，副光图案区域和主光图案区域可以包括在全息回放平面上的不同的相应阶全息回放场中。例如，主光图案区域可以包括在零阶全息回放场内，而副光图案区域可以包括在一阶全息回放场内。
34.分别由多个检测元件监控的多个位置中的位置可以与副光图案区域一致。如果检测元件设置在全息回放平面的上游，则分别由多个检测元件监控的多个位置可以与将形成副光图案区域的光重合(当其到达全息回放平面时)。如果检测元件设置在全息回放平面的下游，则分别由多个检测元件监控的多个位置可以与全息回放平面上先前形成副光图案区域的光重合。因此，分别由多个检测元件监控的多个位置中的位置可以在零阶全息回放场内，或者可以在零阶全息回放场内的更高阶重复内。高阶重复内的多个位置可以基本邻近零阶全息回放场。
35.如果分别由多个检测元件监控的多个位置在零阶全息回放场的高阶重复内，则检测器阵列可以基本与全息回放平面共面或者基本与之垂直。
36.光图案可以包括用于光检测和测距“lidar”的光点阵列。全息投影仪可以包含在lidar系统内，用于观察或询问场景或目标。
37.lidar控制器可被提供和布置成及时移动或改变其中形成全息重建的全息回放场，使得光点阵列中的每个光点在扫描周期期间有效地占据全息回放平面上的多个不同位置。当全息回放场被移动或改变时，光点阵列作为整体移动。光点在扫描周期期间向它们的不同位置的移动可以与分别由多个检测元件监控的多个位置相关。换句话说，多个检测元件可以定位成当光点移动时从光点阵列内的一个或多个特定光点捕获光信号。
38.例如，在扫描周期期间，对用于光检测和测距(lidar)的“主”光点阵列没有贡献但包含在包括“主”光点阵列的同一全息重建中的一个(或多个)光点(或其他光形式)可以在全息回放平面上的被监控的多个不同位置中的两个或更多个之间移动。该一个(或多个)光点(或其他光形式)可以包括用于全息重建的全息标识符或“指纹”。可以监控指纹的一个或多个特征，以确定全息投影仪在给定时间是否正确操作。由于指纹或部分指纹的检测而产生的一个或多个信号可以被监控，并且可以与一个或多个相应的预期信号进行比较，以确
定全息投影仪在给定时间是否正确和安全地操作。
39.多个检测元件中的至少一个检测元件对光的检测可以用于使用光点阵列中的光点来触发飞行时间测量的开始。
40.光图案可以是用于平视显示器的图像。
41.根据一方面，提供了一种监控全息投影仪的操作的方法，该全息投影仪包括：空间光调制器，其布置成显示光图案的全息图，并对光进行空间调制以形成全息重建，其中全息重建与空间光调制器在空间上分离；检测器阵列，其包括多个光检测元件，光检测元件布置成检测对应于全息重建的相应多个位置的光，并提供与光检测相关的相应多个输出信号；以及故障检测电路。该方法包括：在空间光调制器处显示光图案的全息图；照亮空间光调制器，以形成光图案的全息重建；在检测器阵列处检测对应于全息重建的光信号；在故障检测电路处接收来自检测器阵列内的光检测元件的输出信号，该输出信号与对应于全息重建的检测到的光信号相关；以及将接收的输出信号与基于光图案的光分布的多个预期信号中的一个或多个进行比较。
42.多个预期信号中的一个或多个可以是时变的。用于投影的光图案可以包括主光图案区域和副光图案区域，其中多个位置中的每个位置可以在副光图案区域内。
43.如果全息投影操作正确和安全，所形成的全息重建应该与光图案相对应。故障检测电路可以布置成在其上存储或访问多个预期信号，如果全息投影仪正确操作，则预期从检测器阵列接收到这些预期信号，并且适当地形成显示在空间光调制器(slm)上的一个或多个特定光图案的全息重建，该特定光图案由一个或多个相应的全息图表示。故障检测电路可以布置为访问一个或多个特定的预期信号，该预期信号对应于当前显示的全息图的光图案，并且将从光检测元件接收的输出信号与该一个或多个特定的预期信号进行比较。
44.该方法还可以包括作为所述比较的结果，故障检测进一步确定所接收的输出信号和多个预期信号中的一个或多个之间是否存在任何差异，并且可选地还确定该差异是否大于可接受值。
45.该方法还可以包括控制全息投影仪，使得如果确定所接收的输出信号和多个预期信号中的一个或多个之间存在差异，和/或如果确定存在大于可接受值的差异，则防止或改变进一步的光投影。改变或防止进一步的光投影可以包括采取步骤来停止或暂停光源对slm的照明，或者改变照明的参数，和/或它可以包括沿着光路在全息投影仪内激活光源和观察者之间的一个或多个屏障或快门。
46.根据上述任何方面的全息投影仪可以包含在光检测和测距“lidar”系统中。
47.根据上述任何方面的方法可以是计算机实现的方法。
48.可以提供包括指令的计算机程序，其在由数据处理设备执行时使得数据处理设备执行根据上述任何方面的方法。
49.可以提供存储根据上述方面的计算机程序的计算机可读介质。
50.术语“全息图”用于指代包含关于物体的振幅信息或相位信息或其某种组合的记录。术语“全息重建”用于指代通过照射全息图而形成的物体的光学重建。本文中公开的系统被描述为“全息投影仪”，因为全息重建是真实图像并且与全息图在空间上分离。术语“回放场”用于指代在其内形成全息重建并完全聚焦的2d区域。如果将全息图显示在包括像素的空间光调制器上，则回放场将以多个衍射级的形式重复，其中每个衍射级是零阶回放场
的副本。零阶回放场通常对应于优选或主要回放场，因为它是最亮的回放场。除非另有明确说明，否则术语“回放场”应被认为是指零阶回放场。术语“回放平面”用于指代包含所有回放场的空间中的平面。术语“图像”、“回放图像”和“图像区域”指的是通过全息重建的光照射的回放场的区域。在一些实施例中，“图像”可包括离散点，其可被称为“图像点”，或仅出于方便起见，被称为“图像像素”。
51.术语“编码”、“写入”或“寻址”用于描述向slm的多个像素提供分别确定每个像素的调制水平的相应多个控制值的过程。可以说，slm的像素配置为响应于接收到多个控制值而“显示”光调制分布。因此，可以说slm“显示”全息图，并且全息图可被认为是光调制值或水平的阵列。
52.已经发现，可以从仅包含与原始物体的傅立叶变换有关的相位信息的“全息图”形成可接受质量的全息重建。这样的全息记录可被称为仅相位全息图。实施例涉及仅相位全息图，但本公开同样适用于仅振幅全息图。
53.本公开也同样适用于使用与原始物体的傅立叶变换有关的振幅和相位信息来形成全息重建。在一些实施例中，这是通过使用包含与原始物体有关的振幅和相位信息的所谓全复数全息图的复数调制来实现的。因为分配给全息图的每个像素的值(灰度级)具有振幅和相位分量，所以这种全息图可被称为全复数全息图。分配给每个像素的值(灰度级)可以表示为具有振幅和相位分量的复数。在一些实施例中，计算全复数计算机生成的全息图。
54.可以参考计算机生成的全息图或空间光调制器的像素的相位值、相位分量、相位信息或者简单地说是相位，作为“相位延迟”的简写。即，所描述的任何相位值实际上是代表该像素提供的相位延迟量的数字(例如在0至2p范围内)。例如，空间光调制器的描述为具有π/2相位值的像素将使接收光的相位延迟π/2弧度。在一些实施例中，空间光调制器的每个像素可在多个可能的调制值(例如相位延迟值)之一中操作。术语“灰度级”可以用来指多个可用的调制水平。例如，术语“灰度级”可以为了方便而用于指代仅相位调制器中的多个可用相位水平，即使不同的相位水平没有提供不同的灰色阴影。为了方便起见，术语“灰度级”也可以用来指复数调制器中的多个可用复数调制水平。
55.因此，全息图包括灰度级阵列，即光调制值阵列，比如相位延迟值或复数调制值阵列。全息图也被认为是衍射图案，因为它是当在空间光调制器上显示并且用波长相对于(通常小于)空间光调制器的像素间距的光照射时引起衍射的图案。本文中参考将全息图与其他衍射图案比如用作透镜或光栅的衍射图案组合。例如，可以将用作光栅的衍射图案与全息图组合以在回放平面上平移回放场，或者可以将用作透镜的衍射图案与全息图组合以将全息重建聚焦在近场中的回放平面上。
56.尽管可以在下面的详细描述中分别公开不同的示例、布置、方面、实施例和实施例组，但任何示例、布置、方面、实施例或实施例组的任何特征可以与任何实施例或实施例组的任何其他特征或特征的组合相结合。即，设想了本公开中所公开的特征的所有可能的组合和置换。
附图说明
57.仅参考以下附图以示例的方式描述特定实施例：
58.图1是示出在屏幕上产生全息重建的反射型slm的示意图；
59.图2a示出了示例gerchberg-saxton类型算法的第一迭代；
60.图2b示出了示例gerchberg-saxton类型算法的第二及后续迭代；
61.图2c示出了示例gerchberg-saxton类型算法的替代第二及后续迭代；
62.图3是反射型lcos slm的示意图；
63.图4是可用作全息光检测和测距(lidar)系统的一部分的光源系统或全息投影仪的示意图；
64.图5是可用作全息光检测和测距(lidar)系统的一部分的光检测器系统的示意图；
65.图6是可用作全息光检测和测距(lidar)系统的一部分的组合光源和检测器系统的示意图；
66.图7a和7b示出了根据实施例的改进的全息光检测和测距(lidar)系统；
67.图8a示出了在第一光栅位置的全息重建；
68.图8b示出了图8a在第四光栅位置的全息重建；
69.图8c示出了图8a在第十三光栅位置的全息重建；
70.图8d示出了图8a在第十六光栅位置的全息重建；
71.图8e示出了来自四个相应光检测器的预期信号，光检测器配置成在多个光栅位置处检测图8a的全息重建；
72.图9示出了根据实施例的用于改进的lidar系统的防护方法的示意图；
73.图10a示出了根据进一步实施例的改进的lidar系统的第一布置；
74.图10b示出了根据进一步实施例的改进的lidar系统的第二布置；
75.图10c示出了根据进一步实施例的改进的lidar系统的第三布置；
76.图11示出了根据一些实施例的包括一对平行镜的波导光瞳扩展器；
77.图12示出了根据其他实施例的包括透明材料光学平板的波导光瞳扩展器；
78.图13示出了间接视图全息系统，包括中间全息回放屏幕和波导光瞳扩展器；以及
79.图14示出了包括波导光瞳扩展器的直接视图全息系统。
80.在整个附图中将使用相同的附图标记指代相同或相似的部件。
具体实施方式
81.本发明不限于以下描述的实施例，而是扩展到所附权利要求的全部范围。即，本发明可以以不同的形式实施，并且不应被解释为限于所描述的实施例，实施例出于说明的目的而阐述。
82.除非另有说明，否则单数形式的术语可以包括复数形式。
83.被描述为形成在另一结构的上部/下部或者在另一结构之上/之下的结构应被解释为包括结构彼此接触的情况以及在其之间设置有第三结构的情况。
84.在描述时间关系时，例如当事件的时间顺序描述为“之后”、“随后”、“下一个”、“之前”等时，本公开应被认为包括连续和非连续事件，除非另有规定。例如，描述应被认为包括除非使用诸如“仅”、“紧邻”或“直接”之类的措词否则不连续的情况。
85.尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但这些元件不受这些术语的限制。这些术语仅用于区分各个元件。例如，在不脱离所附权利要求的范围的情况下，第一元件可被称为第二元件，类似地，第二元件可被称为第一元件。
86.不同实施例的特征可以部分或整体地彼此耦合或组合，并且可以彼此不同地互操作。一些实施例可以彼此独立地执行，或者可以以相互依存的关系一起执行。
87.光学配置
88.图1示出了其中计算机生成的全息图被编码在单个空间光调制器上的实施例。计算机生成的全息图是用于重建的物体的傅立叶变换。因此可以说全息图是物体的傅立叶域或频域或光谱域表示。在该实施例中，空间光调制器是反射型硅上液晶“lcos”器件。全息图在空间光调制器上编码，并且在回放场例如光接收表面比如屏幕或漫射器处形成全息重建。
89.设置光源110，例如激光或激光二极管，以经由准直透镜111照射slm140。准直透镜使光的大致平面波前入射在slm上。在图1中，波前的方向是偏离法线的(例如，与真正垂直于透明层的平面相距两或三度)。然而，在其他实施例中，大致平面波前以法向入射提供，并且分束器布置用于分离输入和输出光路。在图1所示的实施例中，布置使得来自光源的光从slm的镜面后表面反射并与光调制层相互作用以形成出射波前112。出射波前112被施加到包括傅立叶变换透镜120的光学器件，其焦点位于屏幕125上。更具体地，傅立叶变换透镜120接收来自slm140的调制光束，并执行频率-空间变换以在屏幕125上产生全息重建。
90.值得注意的是，在这种类型的全息图中，全息图的每个像素都有助于整个重建。回放场上的特定点(或图像像素)与特定的光调制元件(或全息图像素)之间没有一对一的相关性。换句话说，离开光调制层的调制光分布在整个回放场上。
91.在这些实施例中，全息重建在空间中的位置由傅立叶变换透镜的屈光度(聚焦)确定。在图1所示的实施例中，傅立叶变换透镜是物理透镜。即，傅立叶变换透镜是光学傅立叶变换透镜，并且傅立叶变换是光学进行的。任何透镜都可以充当傅立叶变换透镜，但透镜的性能将限制其执行的傅立叶变换的准确性。技术人员理解如何使用透镜来执行光学傅立叶变换。
92.全息图计算
93.在一些实施例中，计算机生成的全息图是傅立叶变换全息图，或者简单地是傅立叶全息图或基于傅立叶的全息图，其中通过利用正透镜的傅立叶变换特性在远场中重建图像。通过将回放平面中的所需光场傅立叶变换回透镜平面来计算傅立叶全息图。可以使用傅立叶变换来计算计算机生成的傅立叶全息图。
94.可以使用算法比如gerchberg-saxton算法来计算傅立叶变换全息图。此外，gerchberg-saxton算法可用于根据空间域(比如照片)中的仅振幅信息来计算傅立叶域中的全息图(即傅立叶变换全息图)。从空间域中的仅振幅信息中有效地“检索”与物体有关的相位信息。在一些实施例中，使用gerchberg-saxton算法或其变型从仅振幅信息计算计算机生成的全息图。
95.gerchberg-saxton算法考虑了当已知分别在平面a和b中的光束的强度截面ia(x,y)和ib(x,y)并且ia(x,y)和ib(x,y)通过单个傅立叶变换关联时的情况。对于给定的强度横截面，求出了平面a和b中的相位分布的近似值，分别为ψa(x,y)和ψb(x,y)。gerchberg-saxton算法通过遵循迭代过程来找到该问题的解决方案。更具体地，gerchberg-saxton算法迭代地应用空间和频谱约束，同时在空间域和傅立叶(频谱或频率)域之间重复传输代表ia(x,y)和ib(x,y)的数据集(振幅和相位)。通过算法的至少一次迭代获得频谱域中的相应
计算机生成的全息图。该算法是收敛的并且布置为产生表示输入图像的全息图。全息图可以是仅振幅全息图、仅相位全息图或全复数全息图。
96.在一些实施例中，仅相位全息图是使用基于gerchberg-saxton算法的算法来计算的，比如在英国专利2498170或2501112中描述的，其全部内容通过引用结合于此。然而，本文公开的实施例仅通过示例的方式描述计算仅相位全息图。在这些实施例中，gerchberg-saxton算法检索数据集的傅立叶变换的相位信息ψ[u,v]，其产生已知的振幅信息t[x,y]，其中振幅信息t[x,y]代表目标图像(例如照片)。由于幅度和相位在傅立叶变换中是固有组合的，因此变换后的幅度和相位包含有关计算数据集的准确性的有用信息。因此，该算法可以与振幅和相位信息的反馈一起迭代地使用。然而，在这些实施例中，仅相位信息ψ[u,v]用作全息图，以在图像平面上形成目标图像的全息表示。全息图是相位值的数据集(例如2d阵列)。
[0097]
在其他实施例中，基于gerchberg-saxton算法的算法用于计算全复数全息图。全复数全息图是具有幅度分量和相位分量的全息图。全息图是包括复数数据值阵列的数据集(例如2d阵列)，其中每个复数数据值包括幅度分量和相位分量。
[0098]
在一些实施例中，算法处理复数数据，并且傅立叶变换是复数傅立叶变换。可以将复数数据视为包括(i)实数分量和虚数分量，或(ii)幅度分量和相位分量。在一些实施例中，复数数据的两个分量在算法的各个阶段被不同地处理。
[0099]
图2a示出了根据一些实施例的用于计算仅相位全息图的算法的第一迭代。算法的输入是包括像素或数据值的2d阵列的输入图像210，其中每个像素或数据值是幅度或振幅值。即，输入图像210的每个像素或数据值不具有相位分量。因此，输入图像210可被视为仅幅度或仅振幅或仅强度分布。这样的输入图像210的示例是照片或包括帧时间序列的视频的一帧。算法的第一迭代从数据形成步骤202a开始，该步骤包括使用随机相位分布(或随机相位种子(seed))230将随机相位值分配给输入图像的每个像素，以形成起始复数数据集，其中数据集的每个数据元素包括幅度和相位。可以说，起始复数数据集代表了空间域中的输入图像。
[0100]
第一处理块250接收起始复数数据集并执行复数傅立叶变换以形成傅立叶变换的复数数据集。第二处理块253接收傅立叶变换的复数数据集并输出全息图280a。在一些实施例中，全息图280a是仅相位全息图。在这些实施例中，第二处理块253量化每个相位值并将每个振幅值设置为1，以便形成全息图280a。根据可以在空间光调制器的像素上表示的相位水平来量化每个相位值，该空间光调制器的像素将用于“显示”仅相位全息图。例如，如果空间光调制器的每个像素提供256个不同的相位水平，则将全息图的每个相位值量化为256个可能相位水平中的一个相位水平。全息图280a是代表输入图像的仅相位傅立叶全息图。在其他实施例中，全息图280a是全复数全息图，其包括从接收的傅立叶变换的复数数据集导出的复数数据值(每个包括振幅分量和相位分量)阵列。在一些实施例中，第二处理块253将每个复数数据值约束到多个可允许复数调制水平之一以形成全息图280a。约束步骤可以包括将每个复数数据值设置为复数平面中最接近的可允许复数调制水平。可以说全息图280a代表频谱或傅立叶或频域中的输入图像。在一些实施例中，算法在该点处停止。
[0101]
然而，在其他实施例中，算法继续，如图2a中的虚线箭头所示。换句话说，遵循图2a中的虚线箭头的步骤是可选的(即并非对所有实施例都是必不可少的)。
[0102]
第三处理块256从第二处理块253接收修改的复数数据集，并执行逆傅立叶变换以形成逆傅立叶变换的复数据集。可以说逆傅立叶变换的复数数据集代表空间域中的输入图像。
[0103]
第四处理块259接收逆傅立叶逆变换的复数数据集，并提取幅度值211a的分布和相位值213a的分布。可选地，第四处理块259评估幅度值211a的分布。具体地，第四处理块259可以将逆傅立叶变换的复数数据集的幅度值211a的分布与输入图像510进行比较，输入图像510本身当然是幅度值的分布。如果幅度值211a的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280a是可接受的。即，如果幅度值211a的分布与输入图像210之间的差足够小，则第四处理块259可以确定全息图280a是输入图像210的足够准确表示。在一些实施例中，为了比较的目的，忽略了逆傅立叶变换的复数数据集的相位值213a的分布。将理解的是，可以采用任何数量的不同方法来比较幅度值211a的分布和输入图像210，并且本公开不限于任何特定方法。在一些实施例中，计算均方差，并且如果均方差小于阈值，则认为全息图280a是可接受的。如果第四处理块259确定全息图280a是不可接受的，则可以执行算法的进一步迭代。然而，该比较步骤不是必需的，并且在其他实施例中，执行的算法的迭代次数是预定的或预设的或用户定义的。
[0104]
图2b表示算法的第二迭代以及算法的任何进一步迭代。通过算法的处理块来反馈先前迭代的相位值213a的分布。丢弃幅度值211a的分布，而采用输入图像210的幅度值的分布。在第一迭代中，数据形成步骤202a通过将输入图像210的幅度值的分布与随机相位分布230相结合来形成第一复数数据集。然而，在第二和后续迭代中，数据形成步骤202b包括通过将(i)来自算法的先前迭代的相位值213a的分布与(ii)输入图像210的幅度值的分布相结合来形成复数数据集。
[0105]
然后，以参照图2a描述的相同方式处理由图2b的数据形成步骤202b形成的复数数据集，以形成第二迭代全息图280b。因此，此处不再重复对该过程的说明。当已经计算了第二迭代全息图280b时，算法可以停止。然而，可以执行该算法的任何数量的进一步迭代。将理解的是，仅在需要第四处理块259或需要进一步的迭代时才需要第三处理块256。输出全息图280b通常随着每次迭代而变得更好。然而，实际上，通常会达到一个无法观察到可测量的改进的点，或者执行进一步迭代的正面好处被额外的处理时间所带来的负面影响抵消。因此，该算法被描述为迭代和收敛的。
[0106]
图2c表示第二和后续迭代的替代实施例。通过算法的处理块来反馈先前迭代的相位值213a的分布。拒绝幅度值211a的分布，有利于幅度值的替代分布。在该替代实施例中，幅度值的替代分布是从先前迭代的幅度值211的分布中得出的。具体地，处理块258从先前迭代的幅度值211的分布中减去输入图像210的幅度值的分布，通过增益因子α缩放该差，并从输入图像210中减去经缩放的差。通过以下等式在数学上来表达此，其中下标文本和数字表示迭代次数：
[0107]rn 1
[x,y]＝f'{exp(iψn[u,v])}
[0108]
ψn[u,v]＝∠f{η
·
exp(i∠rn[x,y])}
[0109]
η＝t[x,y]-α(|rn[x,y]|-t[x,y])
[0110]
其中：
[0111]
f'是逆傅立叶变换；
[0112]
f是正向傅立叶变换；
[0113]
r[x,y]是第三处理块256输出的复数数据集；
[0114]
t[x,y]是输入或目标图像；
[0115]
∠是相位分量；
[0116]
ψ是仅相位全息图280b；
[0117]
η是幅度值211b的新分布；以及
[0118]
α是增益因子。
[0119]
增益因子α可以是固定的或可变的。在一些实施例中，基于输入目标图像数据的大小和速率来确定增益因子α。在一些实施例中，增益因子α取决于迭代次数。在一些实施例中，增益因子α仅是迭代次数的函数。
[0120]
在所有其他方面，图2c的实施例与图2a和图2b的实施例相同。可以说，仅相位全息图ψ(u,v)包括频域或傅立叶域中的相位分布。
[0121]
在一些实施例中，使用空间光调制器执行傅立叶变换。具体地，全息图数据与提供光焦度的第二数据组合。即，写入空间光调制的数据包括表示物体的全息图数据和表示透镜的透镜数据。当显示在空间光调制器上并用光照射时，透镜数据会模拟物理透镜，即，它以与相应物理光学元件相同的方式将光聚焦。因此，透镜数据提供了光或聚焦焦度。在这些实施例中，可以省略图1的物理傅立叶变换透镜120。已知如何计算代表透镜的数据。代表透镜的数据可以称为软件透镜。例如，仅相位透镜可以通过计算由透镜的每个点由于其折射率和空间变化的光路长度而引起的相位延迟来形成。例如，在凸透镜的中心的光路长度大于在透镜的边缘的光路长度。仅振幅透镜可以由菲涅耳波带片形成。在计算机生成的全息术领域中，还已知如何将代表透镜的数据与全息图相结合，从而可以在不需要物理傅立叶透镜的情况下执行全息图的傅立叶变换。在一些实施例中，通过简单的加法比如简单的矢量加法将透镜化数据与全息图组合。在一些实施例中，物理透镜与软件透镜结合使用以执行傅立叶变换。可替代地，在其他实施例中，完全省略傅立叶变换透镜，使得全息重建在远场中发生。在进一步的实施例中，全息图可以以相同的方式与光栅数据组合，即布置成执行光栅函数(比如图像转向)的数据。同样，在本领域中已知如何计算这样的数据。例如，可以通过对由闪耀光栅的表面上的每个点引起的相位延迟进行建模来形成仅相位光栅。仅振幅光栅可以简单地与仅振幅全息图叠加以提供全息重建的角度转向。提供透镜化和/或转向的第二数据可被称为光处理函数或光处理图案，以与可被称为图像形成函数或图像形成图案的全息图数据区分开。
[0122]
在一些实施例中，傅立叶变换由物理傅立叶变换透镜和软件透镜联合执行。即，由软件透镜提供有助于傅立叶变换的一些光功率，而由一个或多个物理光学器件提供有助于傅立叶变换的其余光功率。
[0123]
在一些实施例中，提供了一种实时引擎，其布置为使用算法接收图像数据并实时计算全息图。在一些实施例中，图像数据是包括图像帧序列的视频。在其他实施例中，全息图被预先计算，存储在计算机存储器中并且根据需要被调出以显示在slm上。即，在一些实施例中，提供了预定全息图的储存库。
[0124]
实施例仅通过示例的方式涉及傅立叶全息术和gerchberg-saxton类型算法。本公开同样适用于可通过类似方法计算的菲涅耳全息术和菲涅耳全息图。本公开还适用于通过
其他技术比如基于点云方法的技术计算的全息图。
[0125]
光调制
[0126]
可以使用空间光调制器来显示包括计算机生成的全息图的衍射图案。如果全息图是仅相位全息图，则需要调制相位的空间光调制器。如果全息图是全复数全息图，则可以使用调制相位和振幅的空间光调制器，或者可以使用调制相位的第一空间光调制器和调制振幅的第二空间光调制器。
[0127]
在一些实施例中，空间光调制器的光调制元件(即像素)是包含液晶的单元。即，在一些实施例中，空间光调制器是其中光学活性成分是液晶的液晶装置。每个液晶单元配置为选择性地提供多个光调制水平。即，每个液晶单元在任何时候配置为以从多个可能光调制水平中选择的一个光调制水平操作。每个液晶单元可动态地重新配置为与多个光调制水平不同的光调制水平。在一些实施例中，空间光调制器是反射型硅上液晶(lcos)空间光调制器，但本公开不限于这种类型的空间光调制器。
[0128]
lcos装置在小孔(例如几厘米宽)内提供密集的光调制元件或像素阵列。像素通常约为10微米或更小，这导致几度的衍射角，意味着光学系统可以紧凑。充分照射lcos slm的小孔比其他液晶装置的大孔要容易得多。lcos装置通常是反射型的，这意味着驱动lcos slm像素的电路可以埋在反射表面下。结果导致更高的孔比。换句话说，像素紧密堆积，这意味着像素之间几乎没有死角。这是有利的，因为它减少了回放场中的光学噪声。lcos slm使用硅底板，其优点是像素在光学上是平坦的。这对于相位调制装置特别重要。
[0129]
下面仅以举例的方式，参考图3来描述合适的lcos slm。使用单晶硅基板302形成lcos器件。其具有方形的平面铝电极301的2d阵列，其由间隙301a间隔开，布置在基板的上表面上。可以通过掩埋在基板302中的电路302a来对每个电极301进行寻址。每个电极形成各自的平面镜。取向层303设置在电极阵列上，液晶层304设置在取向层303上。第二取向层305设置在例如由玻璃制成的平面透明层306上。例如由ito制成的单个透明电极307设置在透明层306和第二取向层305之间。
[0130]
每个方形电极301与透明电极307的覆盖区域和中间液晶材料一起限定可控的相位调制元件308，通常称为像素。考虑到像素301a之间的空间，有效像素面积或填充因子是光学上活性的总像素的百分比。通过控制相对于透明电极307施加到每个电极301的电压，可以改变各个相位调制元件的液晶材料的特性，从而为入射在其上的光提供可变延迟。效果是向波前提供仅相位调制，即不发生振幅效果。
[0131]
所描述的lcos slm以反射方式输出空间调制的光。反射型lcos slm具有的优势在于，信号线、光栅线和晶体管位于镜面之下，这导致了高填充因子(通常大于90％)和高分辨率。使用反射型lcos空间光调制器的另一优势在于，液晶层的厚度可以是使用透射型装置时所需厚度的一半。这大大提高了液晶的切换速度(投影运动视频图像的关键优势)。然而，可以使用透射型lcos slm同样地实现本公开的教导。
[0132]
光检测和测距(
‘
lidar’或lidar’)系统
[0133]
先前已经公开了诸如本文所述的全息部件和技术可用于形成光检测和测距(lidar)系统的基础。本领域技术人员将意识到，一般而言，lidar描述了这样的装置和方法，其中可以通过用脉冲激光照射目标并使用传感器或检测器测量与从目标反射的光相关的参数来测量到目标的距离。例如，可以测量反射光的返回时间，并且可以用于形成场景或
场景内目标的表示，比如三维(3d)表示。
[0134]
wo2019/224052公开了一种全息投影仪，用于使用所谓的“结构光”照射目标、场景或平面，以便作为lidar系统的一部分观察或询问该目标(或场景或平面)。例如，结构光的特征可以是具有特定的形式和/或形状和/或图案。结构光的图案来自全息投影器内由空间光调制器显示并由激光光源照射的全息图。全息投影仪可以布置成顺序地(即一个接一个地)照射多个不同的全息图，以动态地改变在目标上形成的结构光图案。
[0135]
通过参考本文的图4至6以及下面的描述，可以进一步理解lidar。
[0136]
仅作为示例，图4示出了布置成投影结构光图案的光源系统或“全息投影仪”。光源系统包括空间光调制器(slm)402，其包括配置为显示全息图的像素阵列。在图4中，示出的slm402具有5
×
5的像素阵列(即总共25个像素)，但应当理解，这仅仅是说明性的，并且像素的数量和布置可以不同于所示的特定示例。
[0137]
在图4中，还有投影透镜404，光通过它从slm402向回放场406传播。回放场406可以包括例如光接收表面，比如屏幕或漫射器。回放场406可以包括例如真实世界的目标物体或场景。光源系统可以布置成询问(interrogate)或观察真实世界的目标物体或场景和/或获得与其相关的一个或多个测量值和/或提供真实世界的目标或场景内的一个或多个特征的目标照明。
[0138]
slm402布置成接收来自诸如激光二极管的光源(未示出)的光，以便照射全息图。本示例中的全息图是计算机生成的全息图。slm402布置成从合适的控制器(未示出)接收计算机生成的全息图，并对其进行编码。slm402可以布置成接收多个不同的计算机生成的全息图，并且存储或以其他方式访问这些全息图，以便在不同的相应时间显示。
[0139]
尽管图4中未示出，但光源系统中可以包括傅立叶变换(ft)透镜，以在全息回放场处形成所照射的全息图的全息重建。“全息回放场”是二维区域(在“全息回放平面”内)，在相应全息图的照射下，在该区域内形成所需光图案的全息重建。这种ft透镜可以是物理透镜(图4中未示出)，或者是形成在slm上的软件透镜，或者是软件透镜和物理透镜的组合。本领域技术人员将熟悉ft透镜及其在形成全息图的全息重建中的作用，因此本文不提供对该特征的进一步描述。
[0140]
在一些布置中，所照射的全息图的全息重建可以在slm402的下游形成，比如在位于slm402和投影透镜404之间的中间全息回放场408的自由空间中。在这样的实施例中，投影透镜404形成中间全息回放场408的图像，并将其投影到用于光检测和测距的全息回放场406上。因此，应当理解，全息回放场406实际上是由投影透镜402形成的中间全息回放场408的图像。在一些实施例中，由投影透镜402形成的全息回放场406的图像可以是中间全息回放场408的放大图像。在这些布置中，术语“回放场”通常用于指代中间全息回放场408的图像，因为那是实际使用的回放场。
[0141]
在一些其他布置中，投影透镜404有助于显示在slm402上的全息图的(光学)傅立叶变换，因此全息回放场位于slm402和投影透镜404的下游。
[0142]
在图4的系统中，回放场406包括多个离散的光区域—在该示例中，有四个离散的光区域，但应当理解，离散的光区域的数量可不同于所示的示例。
[0143]
图4中全息图的照射导致全息重建(以及该全息重建的图像)，其在该示例中包括四个离散的光点；回放场406的四个离散的光区域中的每个都有一个。这种光图案被认为是
所谓的“结构光”，因为它包括在回放场406的相应多个离散区域(或子区域)中提供光的多个离散光特征或子覆盖区。应当理解，在任何给定时间，可以形成由暗区分开的离散光特征比如光点的任何图案，并且可以基于在slm402上适当的相应全息图的选择和照射而单独调节每个光特征或光点的亮度。
[0144]
在图4中，四个离散的光点示出为处于固定位置，在回放场406的它们各自的离散光区域内。在一些布置中，光点(或其他光结构)将不会保持固定位置，而是可以例如使用软件光栅在相应区域周围移动或扫描。这将在后面的描述中结合随后的附图进行更详细的讨论。
[0145]
在图4所示的示例中，全息图的像素和回放场406的光特征(或离散光区域)之间不存在一对一的相关性。相反，所有全息像素都对回放场406的所有区域有贡献。回放场内的结构光图案可用于询问场景，例如帮助形成场景的精确图像或模型(或一系列图像或模型)，和/或进行场景的测量。
[0146]
光源系统(或全息投影仪)布置成将结构光引导到其上的场景可以不是平面的，而可以具有深度。全息投影仪因此可以布置成动态地调整其操作参数，以改变回放场406和全息回放平面的精确位置，从而探索场景内不同的相应深度。可以向全息图402添加透镜函数，以便在任何给定时间保持结构光图案在感兴趣平面上的聚焦。在一些情况下，全息回放场本身可以不是平面的，因此可以包括布置成在同一3d重建(或图像)内的不同相应深度聚焦的光点。光源系统(或全息投影仪)可以包括透镜或其他合适的光学器件，以确保其在给定时间相对于正在探索的任何感兴趣平面具有一些固有的景深或焦深。
[0147]
全息投影仪的slm(和全息图)和感兴趣平面之间的距离可以称为“范围(range)”。该范围可以沿着连接slm(和全息图)的中心和零阶回放场的中心的(虚拟)线来测量。该线可以称为“投影轴”。因此，可以说，图4的全息投影仪可被控制(例如使用透镜函数或多个透镜函数)成改变沿着其投影轴的范围，以使得能够观察目标或场景的多个平面，从而观察多个深度。这将在下面结合后续附图进一步讨论。
[0148]
图5示出了包括光检测器502和成像透镜504的光检测器系统。光检测器502包括以阵列布置的多个单独的光检测元件。在图5所示的示例中有四个光检测元件，其中这些光检测元件分别编号为1至4。本领域技术人员将理解，这种数量的光检测元件仅仅是示例，并且可以设想其他尺寸和阵列布置以及其他数量的光检测元件。
[0149]
光检测器502可以包括例如电荷耦合器件(ccd)相机，其包括ccd元件阵列。可替代地，光检测器502可以是包括spad元件阵列的单光子雪崩二极管(spad)阵列。
[0150]
光检测器502布置成接收来自将被询问或观察的目标或场景506的反射光。来自观察场景506的光经由成像透镜504向光检测器502传播。
[0151]
光检测器502可以包括或者可以通信耦合到合适的控制器。控制器可以配置成处理来自光检测器502的光检测信号，以便获得对观察到的场景506的测量，或者做出与其相关的其他确定，如下面将结合后续附图进一步讨论。
[0152]
在图5的布置中，观察场景506包括标记为a、b、c和d的物体。图5中的光检测器502的每个单独的光检测元件(1、2、3、4)布置成接收来自观察场景506中的单个相应的对应物体(a、b、c、d)的光。图5的示例中的每个光检测元件布置成仅接收来自其对应物体的光，因此不接收来自观察场景506内的任何“其他”物体的光。即，光检测器系统的光学器件布置成
使得例如元件1仅接收来自物体a的光，元件2仅接收来自物体b的光，元件3仅接收来自物体c的光，元件4仅接收来自物体d的光。因此，可以说，在观察场景506内，单个光检测元件(1、2、3、4)与其对应物体(a、b、c、d)之间存在一对一的相关性，尽管光检测元件和物体可以具有不同的相应尺寸。可替代地，元件4可以仅接收来自物体a的光，元件3可以仅接收来自物体b的光，元件2可以仅接收来自物体c的光，元件1可以仅接收来自物体d的光。
[0153]
尽管a、b、c、d在图5中表示为特定的几何形状(长方体)，但应该理解，这仅仅是说明性的，而不应被认为是限制性的。在实践中，光检测器502的各个光检测元件(1、2、3、4)可以配置为与场景或目标的各个区域或区域(或子区域或子区域)具有一对一的相关性，光从场景或目标被反射向光检测器502。因此，光检测元件可以配置成在给定时间接收来自场景的相应区域中存在的任何物体或构造的反射光。为了简明起见，在本公开中，在给定时间，场景的特定区域中存在的任何东西都被称为“物体”。技术人员将理解，每个“物体”实际上可能是同一物体—例如汽车或树的不同区域。
[0154]
根据本公开，还可以说每个光检测元件(1、2、3、4)具有场景(分别为a、b、c、d)的相应或对应的单独视场。例如，图5的光检测元件1的单个视场使其能够检测来自单个视场a内的物体的反射光，但不能检测来自单个视场b、c或d内的物体的反射光。在一些实施例中，单个视场(例如a、b、c、d)不重叠。在实施例中，各个视场共同提供场景区域的基本连续的覆盖。然而，本领域技术人员将理解，实际上，在各个视场之间可能存在“死区”，在该“死区”内，系统不能检测到光。本领域技术人员将理解成像透镜504如何起到在每个光检测元件(1、2、3、4)和单个视场(a、b、c、d)之间建立一对一的相关性的作用。在成像领域，如何设计成像透镜是已知的，并且根据系统的操作参数，可以使用任意数量的不同成像透镜。本领域技术人员还将理解，成像透镜504提供景深，使得可以同时进行图5的每个“物体”(a、b、c、d)的光检测和测距。换句话说，本公开中提到的“范围”包括公差—例如范围可以是100 /-2米，其中 /-2米反映了景深。该示例是说明性的，不应被视为限制性的—可以设想其他尺寸的范围和其他景深。为了避免疑问，由于成像透镜504提供的景深，为了执行与图5中所示的四个“物体”(a、b、c、d)相关的光检测和测距，不需要连续调整例如软件透镜函数。
[0155]
本领域技术人员将理解，各种类型的光学系统可用于提供观察场景506内的单个光检测元件与其对应的单个视场之间的一对一的相关性。例如，在实施例中，光学系统可以包括单个透镜(如在相机中)，或者微透镜阵列，其中每个微透镜与单独的检测器相关。但是包括光感测元件阵列的任何合适的光电检测器都是可能的，并且可以用于此目的。
[0156]
可以看出，在图5中，并非所有被标记的物体(a、b、c、d)都与相应的其它物体位于距光检测器502相同的距离处。在该示例中，物体c离光检测器502最近，物体a和d离光检测器502次最近，彼此距离相同，物体b离检测器502最远。光检测器502和/或通信耦合到光检测器502的控制器(图5中未示出)可以配置成考虑观察场景内的一个或多个物体的不同相应深度。这在例如由当前申请人提交的gb专利申请好2002276.0中进行了讨论，该申请的全部内容通过引用结合于此。然而，其中公开的方法不是本公开的主要焦点，因此在此不再重复。
[0157]
图6示出了组合系统，包括全息投影仪(或光源)和光检测器，其分别类似于图4和图5所示的全息投影仪和光检测器系统。全息投影仪包括slm402和投影透镜404。全息投影仪还包括傅立叶变换透镜(未示出)，其布置成在slm402和投影透镜404之间的自由空间(因
此也未示出)中形成全息重建。如上所述，投影透镜404形成“中间”自由空间全息重建的图像。该图像可以是放大的图像，并且包括投影到场景506上的中间全息重建的结构光图案。在slm402的上游还有光源，用于向slm402传输光，这在图6中未示出。根据应用要求，光可以是红外(ir)光、可见光或紫外光。在与lidar相关的实施例中，光源可以是红外线。在与平视显示器相关的实施例中，光源可以是可见的。
[0158]
在图6中，slm402和投影透镜404偏心。这是为了使从投影透镜404向观察场景506行进的全息光锥410能够与从场景506向成像透镜504和光检测器502行进的反射结构光锥510部分重叠。
[0159]
在图6中，已经离开slm402并穿过投影透镜404的全息光锥410被示为朝向观察场景506行进。光被描述为“全息的”，因为它包括已经由slm402上的全息图编码的光，并因此形成了照亮观察场景506的结构光图案。然后，光从场景反射向光检测器502。如上关于图4所述，slm402可以配置成在不同的时间显示多个全息图。在一些布置中，slm402可以配置成一个接一个地显示全息图序列(或系列或多个全息图)，使得多个不同的结构光图案一个接一个地形成在观察场景506上。
[0160]
如以上讨论的图5的布置中的情况，在观察场景506中，并非所有被标记的元件或“物体”都与相应的其他元件或“物体”位于距光检测器502相同的距离处。代替地，物体c最靠近光检测器502，物体a和d次之，彼此距离光检测器502相同，物体b距离光检测器502最远。投影透镜404布置成使得它在观察场景506上形成的结构光图案同时“聚焦”在a、b、c和d中的每个上，尽管它们彼此不共面。全息光410被观察场景506内的物体a、b、c和d反射，并且所产生的反射光510朝向成像透镜504行进，并且朝向光检测器502行进。如上文关于图5所述，图6中的光检测器502包括光检测元件阵列，其与观察场景中的物体(a、b、c、d)具有一对一的相关性。应当理解，也可以设想具有不同相应数量和物体阵列的其他类型的场景，以及具有不同光检测元件阵列的光检测器。
[0161]
虽然在图6中没有明确示出，但光检测器502的光检测元件可以布置成当在光检测器502处接收到来自观察场景506的反射光时，每个输出光响应信号。本领域技术人员会知道：来自全息投影仪的结构光图案可被开-关选通以创建“显示事件”序列。可选地，每个显示事件可以对应于不同的全息图，因此对应于不同的结构光图案。来自全息投影仪的开-关选通结构光图案可以引起从光检测器502输出的光响应信号的切换。光响应信号可以传输到处理器或控制器，用于计算和/或存储或显示目的。因此，例如，基于由相应的光检测元件输出的光响应信号，可以计算去往和/或来自观察场景506内的每个物体(a、b、c、d)的光的飞行时间(tof)值。
[0162]
因此，图6的布置可以作为光检测和测距“lidar”系统的一部分来提供，该系统可以布置成扫描或勘测场景。
[0163]
在全息投影仪中，与许多其他基于激光的应用一样，安全性是重要的考虑因素。全息投影系统内的激光器发射的功率通常应被控制在预定的安全限度内，比如“可达到的发射限度”(ael)。这是为了确保系统内设备的安全操作水平，并确保任何用户或其他观察者的眼睛安全。在某些系统中，比如lidar系统，例如包含在车辆内的直视平视显示器(hud)，其中观察者(车辆驾驶员)实际上直接观察由激光光源照射的空间光调制器(slm)，可以进一步控制激光器以确保驾驶员不会被照射的slm“眩惑”，从而可以继续安全驾驶。
[0164]
全息投影系统的潜在安全风险是slm(例如如上所述的硅上液晶(lcos)slm)无法正确显示全息图，从而导致照明激光无法按预期分布的风险。例如，如果slm是lcos slm，并且如果它错误地向所有lcos像素提供均匀相位，在应用软件透镜之前，则激光发射将被集中到单个点，因为透镜将均匀照明聚焦到点，就像物理透镜一样。在某些示例中，如此高浓度的激光可能会损害观察者的眼睛。因此，激光安全分类规则通常要求在“扫描系统”故障的情况下进行工程控制，比如这种类型的lcos故障。
[0165]
本领域技术人员将会理解，虽然出于安全原因，监控和控制全息投影系统中的激光发射是必要的，但从用户的角度来看，实际上需要在系统的效率和平稳操作之间进行平衡。
[0166]
有已知的激光监控技术，其中一些可以应用于全息投影系统。例如，wo2018/100395描述了一种方法，其中在主全息图像旁边提供副全息图像，其中副全息图像不包括打算给主图像的观察者的信息，但可以用于获得光功率的度量。
[0167]
本发明人已经认识到，可以准确和有效地监控全息投影仪的操作，而不会中断其核心功能。一般来说，可以提供检测器或检测系统，用于检测，当包括全息图的slm被激光照亮(或“照射”)时，位于其上形成全息重建的全息回放场上的孔或其他观看区域之外的全息标识符。全息标识符可以包含在全息回放平面上的零阶全息回放场内，或者它可以包含在全息回放平面上的零阶全息回放场的更高阶重复中。这将从下面的详细示例中得到更好的理解。
[0168]
全息标识符可以是时变的，其中如果slm工作正常，其位置和/或另一个检测到的特征，和/或由于部分或全部指纹的检测而产生的信号，将会在不同的相应时间之间以特定的方式变化。检测器可以包括或者可以通信地耦合到控制器，用于控制激光源，以使得能够实现反馈回路。例如，如果对全息标识符的检测表明slm没有以预期的方式工作，因此存在激光以不安全的方式向观察者传输的风险，则控制器可以配置为关闭激光源或者以其他方式阻止或防止激光进一步照射slm，或者降低激光照射的强度，至少直到任何潜在的故障问题被解决。
[0169]
一般来说，在全息投影系统中由slm显示的每个全息图都是用来自“目标图像”的算法计算的。“目标图像”包括常规图像，例如数字照片。本发明人已经认识到，指纹或标识符可被添加到目标图像—例如在目标图像内的外围区域(例如在一个角落)和/或在目标图像紧邻周围的区域。然后可以计算目标图像的全息图，包括添加的指纹，使得当全息图被适当显示和照射时，指纹将与目标图像一起被重建。添加到目标图像的指纹可以是任何合适的形式。例如，它可以包括简单的几何图案，比如正方形阵列。
[0170]
一种可以体现本发明人的认识的全息投影系统是全息lidar系统。图7a和7b包括体现由本发明人做出的认识的lidar系统的示例的系统图。lidar系统可被设置在例如车辆中，作为导航系统的一部分，或者在便携式设备中，或者在一系列其他应用中。
[0171]
该系统包括slm754和光检测器，其在该示例中包括阵列检测器774，它们在一个公共平面上彼此共面，但在空间上彼此分开。slm754与投影透镜756结合提供，检测器774与成像透镜776结合提供。在该示例中具有包括激光二极管752的光源。激光二极管752布置成将光导向用全息图编码的slm754，并且在用来自激光二极管752的光照射全息图时，该slm754布置成经由投影透镜756将结构化光反射向图像平面760。图像平面760被定位成通过在其
上形成结构光图案758而与要被观察或询问的目标场景重合。结构光将通过成像透镜776从目标场景至少部分反射回阵列检测器774。
[0172]
激光二极管752被定位和定向成使得入射光以与slm754的中心横轴(未示出)成锐角到达。结果，结构光也以锐角从slm754经投影透镜756向图像平面760反射。
[0173]
虽然没有明确示出，但slm754可以包括软件透镜函数，其使得全息重建的图像能够聚焦在远离投影透镜756的平面的不同相应距离处。这可以适应具有一些固有深度的目标场景，从而能够在多个不同深度观察场景。可以提供多个不同的透镜函数，每个具有不同的相应焦距，存储在合适的储存库中，用于在需要时选择以实现slm754的期望范围。在其他布置中，投影透镜754布置成使得不需要使用软件透镜来微调焦点。
[0174]
尽管在图7a和7b中未示出，但ft(傅立叶变换)透镜与slm754结合提供。ft透镜可以是软件透镜或硬件透镜或者两者的组合。ft透镜可与slm754一起操作，以在位于slm754和投影透镜756之间的全息回放平面741上在全息回放场的自由空间中形成全息重建。如上文关于先前附图所述，投影透镜756因此向图像平面760投影全息重建的图像，该图像平面760与将使用lidar系统700观察的目标场景一致。
[0175]
屏障742沿着反射光的光路位于slm754和投影透镜756之间。在该示例中，屏障742包括基本第一壁744和第二壁745，位于基本中心的开口或孔746的任一侧。然而，也可以考虑其他形式的屏障和/或开口。
[0176]
在图7a和7b所示的示例布置中，屏障742布置成位于或基本位于全息回放平面741上。此外，屏障742内的孔746的位置、大小和形状设计成与零阶全息回放场一致，使得零阶全息重建的至少一部分将在孔746内的自由空间中形成。
[0177]
在其他示例中，屏障可以位于不同于全息回放平面的平面上。例如，它可以位于基本平行于全息回放平面但在其上游或下游的平面上。
[0178]
孔746的具体尺寸和形状可以在不同的相应布置之间变化。一般而言，孔746可被定制为全息回放场的尺寸，其本身取决于许多因素，比如slm 754的像素尺寸和光的波长。全息回放场的大小和形状不受不同相应全息图之间全息图内容的变化的影响。然而，全息回放场可以使用软件光栅在其全息回放平面上平移。因此，为了适应任何这样的运动，可能需要在孔的尺寸上有一些公差。换句话说，孔746的尺寸和形状可以稍大于全息回放场。然而，本领域技术人员会知道，任何这种运动的幅度都非常小。在一些布置中，孔746和屏障742可以是可移动的。
[0179]
在该示例中，孔746基本是四边形的，这可以从下面讨论的图8a至8d中更好地看出，然而在相应的其他光学布置中，也可以考虑其他类型的孔。在图7a和7b的示例中，孔746的位置、尺寸和形状设置成占据大部分零阶全息回放场，并围绕全息重建的第一部或第一部分，该第一部分旨在向前朝向投影透镜756行进，以在图像平面760上形成全息重建的第一部分的图像，用于观察目标场景。
[0180]
根据本文所述的方法，全息重建的第二部或第二部分可能不位于孔746内，因此将被屏障742的壁744、745阻挡向前传输。全息重建的该第二部分可以包括全息标识符，其可被称为全息“指纹”。指纹可以采取任何合适的形式。例如，指纹可以是光的分布，其在不同的相应全息图之间变化和/或随着光栅被应用于在slm754上显示和照明的全息图而四处移动。如上所述，指纹可以从标记或指纹中获得，该标记或指纹在全息图计算之前被结合到目
标图像中，并且在照射全息图时用目标图像的剩余部分全息重建。上面提到的全息重建的第一和第二部分可以称为第一和第二相应的光图案区域。
[0181]
图7b示出了图7a内区域790的放大视图。从图7b中可以更清楚地看出，可以提供一个或多个光检测器来检测全息标识符或“指纹”。例如，在图7a和7b中，分别在屏障742的第一壁744和第二壁745上，在孔746的任一侧设置第一光电二极管748和第二光电二极管749。在图7a和7b中，光电二极管748、749设置在壁744、745的位于屏障742的slm侧的面上。但应当理解，在某些布置中，光检测器可以考虑其他位置。此外，在图7a和7b的示例中，仅示出了两个光电二极管，但可以提供任何合适数量和布置的光检测器。
[0182]
光检测器比如图7a和7b的光电二极管748、749可以配置成检测全息指纹的存在，并将检测信号传输到合适的处理器或控制器。这将在下面进一步讨论。这种处理器或控制器可以通信地耦合到另一处理器或控制器，其控制lidar系统700的其他方面的操作，包括激光二极管752的操作。可以实现反馈回路，其中，如果来自光电二极管748、749的检测信号不同于已经检测到的一个或多个预期信号，如果slm754在给定时间正确显示当前全息图，则lidar系统的控制方面可以配置为采取行动，以防止或减少slm754的进一步不正确操作。例如，lidar系统700的控制方面可以配置为暂停或停止激光二极管752的操作，或者降低其强度，或者在激光到达slm754之前和/或在slm754和观察者之间阻挡激光的路径，至少直到slm754可被检查并且如果必要的话问题被解决。
[0183]
当提供多个光电二极管时，在任何给定时间，全息指纹可被期望触发来自仅一个(或更大组中的仅一个子组)光电二极管的检测信号。由于指纹，预期检测光信号的光电二极管可以在不同的相应时间帧或时间实例之间变化。例如，这可能是因软件光栅的存在而由于全息回放场在全息回放平面上被平移。在这种情况下，当其全息回放场被平移时，构成指纹的光点或其他光分布将与全息重建的剩余光一起被平移。
[0184]
一般而言，具有可由不同的光检测元件在不同的时间检测到的移动指纹可以提高全息投影仪正常工作的舒适度，因为安全检查不仅仅依赖于一个传感器。相反，随着时间的推移，它能够将多个传感器中的每个的检测信号与一个或多个预期信号(或一个或多个预期信号模式)进行比较，因此提供了更高程度的验证。例如，全息投影仪系统可以布置成基于来自多个光传感器中的每个的多个时变信号来验证(或无效)全息图的照射，这些光传感器专用于检测指纹。在传感器之间以及可选地在进行比较的信号实例之间具有冗余，增加了全息投影仪系统配置成精确确定其部件(比如其slm)是否正常工作的总体可能性。此外，为了激光安全，在两个光栅或全息图变化中，可能有必要非常快速地关闭或降低激光功率，以防slm故障，以确保不会对观察者的眼睛造成危害。具有对应于全息重建中一个或多个光点的多个可能位置的多个检测器有可能增加在相对少量的光栅/全息图变化中检测到故障的概率，因此增加可检测到并且在可能的情况下补救slm的这种故障的速度。
[0185]
在图7a和7b的示例中，lidar系统700的控制方面被表示为包括系统控制器705、全息图控制器710和场景检测控制器720。系统控制器705是lidar系统700的整体(或中央)控制器，并且可以配置为从全息图控制器710和场景检测控制器720接收输入并向其提供输出。在图7a和7b中，系统控制器705还配置成从光电二极管748、749接收输入。还可以有提供给系统控制器705的其他输入730，和/或系统控制器705可以提供一个或多个其他输出740。
[0186]
全息图控制器710配置为控制向slm754提供全息图，并控制激光二极管752的操
作。场景检测控制器720配置为从阵列检测器774接收光检测信号，并且将那些接收到的光检测信号发送到系统控制器705，或者将关于那些接收到的光检测信号做出的确定发送到系统控制器705，以便对与图像平面760重合的目标场景进行观察。用于观察这种场景的lidar技术是已知的，并且不是本公开的主要焦点，因此在此不再详细讨论。
[0187]
尽管诸如系统控制器705、全息图控制器710和场景检测控制器720之类的控制方面在图7a和7b中被示为在物理上彼此不同，但这只是示意性/功能性表示。实际上，它们的功能可以由任何合适的计算机、控制器或处理器以任何合适的组合来实现。
[0188]
系统控制器705配置成控制选择合适的全息图和/或合适的光栅函数和/或合适的软件透镜，用于在slm754上显示。全息图控制器710和/或系统控制器705还可以向激光二极管752传送操作信号，例如控制朝向slm754的光脉冲的定时。
[0189]
可以控制slm754在不同的相应时间显示不同的全息图。每个全息图在被照射时将产生独特的结构光图案的全息重建，具有离散的光区域(特定的亮度)和其间的暗区。多个不同的全息图可以随机或顺序地单独显示。在实施例中，投影到场景上的结构光图案在两个全息图之间保持相同，但“指纹”在它们之间改变。这提供了及时的证据，表明即使当lidar系统不需要改变结构光模式时，slm仍然正常工作(由于光电二极管上的信号发生变化)。
[0190]
根据示例，可以控制slm754一个接一个地显示第一和第二全息图，其中全息图的“主要”部分(代表目标图像)在第一和第二全息图之间不变，但全息指纹在第一和第二全息图的每个中是不同的。在这样的示例中，投影到场景上的结构光图案在两个全息图之间保持相同，但“指纹”在它们之间改变。因此，对于第一和第二全息图中的每一个，预期的光检测信号将是不同的。这也可以及时证明slm仍在(或不在)正常工作，即使在lidar系统不需要改变场景上的结构光模式时。
[0191]
全息图控制器710可以配置为计算适当的全息图或者从存储器中检索适当的全息图，以在给定时间显示在slm754上。它可以包括硬件和软件的任何合适的组合。它可以包括存储器和/或可以访问单独的存储器。它还可以包括数据帧生成器和显示引擎或者与之通信地耦合，显示引擎可以包括例如现场可编程门阵列(fpga)。显示引擎可以配置为将生成或检索的全息图与任何其他合适的方面(比如软件透镜和/或软件光栅)相结合，以便由slm754显示。
[0192]
全息图控制器710可以控制(或“驱动”)slm754通过软件透镜和/或软件光栅(如果选择的话)显示适当的全息图。结果，当激光二极管752照射slm时，将在图像平面760上形成合成的全息重建，并且为了观察场景，应该与阵列检测器774的单个视场(ifov)对准。
[0193]
如上所述，图7a和7b的系统可以基于反馈回路操作，其中从一个或多个先前帧中导出的信息可以用于驱动后续选择和/或其他动作。例如，从一个或多个光电二极管748、749导出的信息可用于控制激光二极管752的后续控制。具体而言，光电二极管748、749可被定位成检测在给定时间由于在slm754上的全息图的照明而在全息重建平面741处形成的全息重建的第二部分(或第二光图案区域)中应该显示的全息指纹的存在(或不存在)。
[0194]
系统控制器705可以配置为从光电二极管748、749接收指示全息指纹的一个或多个特征的一个或多个光检测信号，并且将它们与在给定时间正确全息图被正确照亮的情况下全息指纹预期的相应一个或多个特征进行比较。在这个意义上，“特征”可以包括例如关
于在一个或多个特定传感器处全息指纹的光的存在或不存在的二元指示符。因此，系统控制器可以例如配置成将在给定时间期望哪些传感器检测全息指纹的光的预期与在该时间实际上哪些传感器已经检测到全息指纹的光的记录或测量进行比较。系统控制器还可以或者替代地配置成将在一段时间内检测全息指纹的光的不同相应传感器(在不同相应位置)的预期时间模式或序列与在该时间段内实际上哪个模式或序列传感器已经检测到全息指纹的光的记录或测量进行比较。
[0195]
在一些情况下，全息指纹的特征可以包括非二进制(或“灰度”)指示符，比如从光传感器信号导出的幅度或其他测量值。例如，如果指纹包括具有不同的相应尺寸和/或亮度的一个以上的光点，则系统控制器可以配置成根据接收到的光传感器信号来确定在给定时间是否已经检测到(由预期检测到它的传感器)预期尺寸和/或亮度的光点。
[0196]
如上所述，系统控制器705可被编程为“知道”(并且可能控制)在给定时间应该显示哪个全息图—例如在lidar系统700的特定操作“帧”期间。根据本公开，系统控制器705还可被编程为“知道”(并且可能控制)当全息图被激光二极管752正确且安全地照射时该全息图的零阶全息重建的第二光图案区域内应该包括哪个全息指纹。因此，系统控制器705—或者包括在lidar系统700内或与之通信地耦合的任何其他合适的处理器或控制器—可以配置为基于全息指纹的检测而在给定时间将来自光电二极管748、749的一个或多个信号与一个或多个相应的预期信号进行比较。
[0197]
光电二极管可以配置为检测与全息指纹相关的例如以下各项的任意组合：指纹的存在或不存在(即是否检测到任何指纹的指示符)；指纹位置的指示(例如它被哪个(些)光电二极管检测到的指示)；其亮度、形状、光分布模式或大小的指示。如上所述，多个传感器可以配置成检测指纹，并且在一些情况下，当指纹在全息回放平面周围平移时，预期检测指纹的传感器的身份将是时变的。
[0198]
指纹可以具有任何合适的形状或光分布图案—例如，它可以包括简单的图案，比如两个光点，或者它可以更复杂。例如，指纹可以包括其中在指纹内的不同相应光点或其他位置之间存在光强度灰度变化的图案或结构。不管指纹的复杂性如何，系统控制器705可以配置成监控指纹(或指纹的一部分)如何(和/或何时)与光传感器交互。在图7a和7b的示例中，系统控制器705可以布置成基于传感器的位置和指纹光图案的形状/配置以及(如果适用的话)其在全息回放平面741周围的预期移动而在每个时间帧内知道多个传感器中的哪些应该被激活及哪些不应该被激活。因此，对于给定的时间帧，系统控制器705可以使用多个传感器中的每个比如光电二极管748、749的输出来验证或无效系统的操作。
[0199]
如果比较确定指纹的检测信号在给定时间至少在预定容限水平内不匹配该指纹的预期，则系统控制器705可以配置为采取行动，以避免或至少降低lidar系统700的故障风险，例如防止激光眩目和/或对观察者造成眼睛损伤的风险。
[0200]
在与指纹相关的任何检测信号与预期不匹配的情况下，系统控制器705可以配置为采取的动作可以取决于预期和检测之间不匹配的信号的细节且可能取决于不匹配的性质和/或程度。系统控制器705可被编程(或以其他方式配置)以遵循不同的相应过程，这取决于发现哪些信号(和/或特性)不匹配它们的期望，和/或取决于它们与它们的期望水平/位置/幅度等的差异有多大。
[0201]
至少在一些情况下，如果系统控制器705确定与全息指纹相关的检测信号不满足
预期，至少在预定的容许水平内，则它可以配置为发出信号以停止或至少暂停激光二极管752的操作，或降低其功率，和/或以其他方式经由slm754阻挡激光二极管752和观察者之间的光路。这是为了防止激光被slm754错误地传输(例如作为聚光点被传输)到观察者，这可能导致他或她眼睛受损，也可能使观察者眩目，使他或她暂时看不见。可以理解的是，如果观察者是车辆的驾驶员，即使激光不集中或强度不足以导致眼睛损伤，他或她被弄眩目的风险也可能非常高。
[0202]
在一些布置中，系统可以配置成使得为了观察场景而与阵列检测器774的单个视场(ifov)对准的全息重建(或全息重建的图像)的光对于每个ifov具有在眼睛安全限度内的光功率。因此，如果slm功能正常，由阵列检测器774检测到的并且可能被观察者观察到的光功率不应该给观察者带来眼睛损伤的风险。然而，在这样的布置中，虽然每个单独的ifov可能具有眼睛安全的光功率量，但所有ifov(或者组合的多个ifov)的光功率总量可能超过(可能大大超过)眼睛安全限度。因此，如果slm发生故障，例如所有的光功率都聚焦在单个中心点上，该点的光功率对观察者的眼睛来说可能非常危险。因此，在这样的布置中，知道slm在场景内的不同单个视场(ifov)上正确地工作以传播光并因此传播光功率是非常重要的。
[0203]
一个或多个预期信号和一个或多个测量信号之间的比较可以以任何合适的间隔进行。例如，它可以与slm754的帧间隔同步。在一些布置中，可以独立于slm帧速率周期性地进行比较，或者例如与激光脉冲速率同步，或者以任何其他合适的频率进行比较。
[0204]
图8a至8d示出了包括全息指纹的全息重建的示例，其可以由全息投影系统形成，例如诸如图7a和7b所示的lidar系统。应当理解，该示例仅是说明性的，不应被视为限制性的。在图8a中，零阶全息回放场820显示为基本四边形区域。它包含在全息回放平面上或内部，然而为了简单起见，全息回放平面的剩余部分没有在图8a中示出。图8a中也未示出更高阶全息回放场，然而，本领域技术人员将理解，像素化显示设备比如slm例如lcos slm的照射将导致多阶回放场的产生，其中零阶在回放场的中心且是最亮的。为简单起见，在本说明书中，零阶全息回放场820将被称为“全息回放场820”。
[0205]
孔840限定在全息回放场820内。孔840可以形成为屏障中的开口或窗口，比如图7a和7b所示的屏障742，或者形成为另一合适结构。然而，这种屏障的壁没有在图8a中示出，以便于看到否则会被那些壁阻挡的特征。在该示例中，孔840的形状、大小和位置设置成框住在其内形成全息重建的全息回放场的第一部分或第一光图案区域。使用如图7a和7b所示的光学装置，通过在slm上照射全息图来产生全息重建。第一光图案区域包括以网格形式布置的多个光块830，其中每个光块830在栅格形式内占据其各自的区域(或坐标)。在该示例中，有布置成4
×
4网格形式的16个光块830。光块830以其网格形式形成结构光图案。结构光图案可以围绕全息回放平面平移或扫描，这将在下面更详细地讨论。
[0206]
根据以上关于图7a和7b详细描述的示例，该示例中的孔840(以及其中形成孔840的屏障或其他结构)配置为允许包含在第一光图案区域内(即形成在孔840的周界内)的结构光图案的透射。因此，包括16个块的网格的结构光图案可以例如向投影透镜透射，以便在要观察或询问的场景内的图像平面上形成该结构光图案的图像。
[0207]
在图8a的全息重建内还有第二部分或第二光图案区域。第二光图案区域包括全息回放场820内的位于第一光图案区域之外且因此位于孔840的周界之外的区域。因此，在实
践中，当孔840形成在屏障或其他结构内时，该屏障的壁(其围绕孔)将防止第二光图案区域内的任何光向前透射，例如朝向投影透镜、图像平面或要观察的场景或物体。因此，第二光图案区域内的任何光都不会对入射到目标场景或物体上的结构光图案有所贡献。
[0208]
尽管如此，本发明人已经认识到，在第二光图案区域内提供光图案—例如提供全息标识符或指纹—可能非常有用。这是因为这样的全息指纹可被检测到，因此全息回放场可被监控，正好在其中形成第一光图案区域的孔或区域的外部，该第一光图案区域包括将被传输到目标场景或物体的结构光图案的部分。然而，至少在一些布置中，可以防止全息标识符本身向目标场景或感兴趣的物体传输。
[0209]
根据该方法，全息标识符可以包括确定的指纹，该指纹可以是时变的，并且其特征可以用于确定诸如lidar系统的光学系统内全息图被照亮的方式，特别是检测其中的潜在故障。
[0210]
合适的检测器比如光检测器可以位于全息回放场的副光图案区域内，以检测和/或监控全息指纹。在图8a中，为此目的提供了四个光电二极管801、802、803、804。在该示例中，已经选择了光电二极管801、802、803、804的定位，以便与全息指纹的多个不同的预定位置一致。光电二极管801、802、803、804在两个方向(在图8a中示出为竖直(y)方向和水平方向(x))上彼此空间分离。光电二极管801、802、803、804正好位于孔840的周界之外。因此，它们配置为检测副光图案区域中标识符或指纹的存在，而不是检测第一光图案区域中的任何光。
[0211]
在一些布置中，光电二极管801、802、803、804可以配置成检测全息指纹内的光的幅度、大小或强度。在其他布置中，光电二极管801、802、803、804配置用于二进制操作。在这种布置中，每个光电二极管801、802、803、804的输出将是0(无光)或1(有光)。可以提供组合或级联输出，包括四个光电二极管801、802、803、804的单独二进制读数的组合。例如，如果对于特定帧，第一和第二光电二极管801、802预期检测指纹的光，而第三和第四光电二极管803、804不预期检测指纹的光，则预期的级联输出将是“1100”。在实践中，如果对于该帧，来自四个光电二极管801、802、803、804的级联输出不是“1100”，则这可被视为系统内“失败”的指示符，如前所述，必须采取与该指示符相关的步骤。指纹传感器提供的输出响应于回放平面上的光图案而不断变化。
[0212]
该示例中的全息指纹包括两个相对较小的光块，在两个方向上彼此偏移(在图8a中示出为竖直(y)方向和水平方向(x))。为简单起见，这些块在本文将被称为“上”块和“下”块。然而，应当理解，这些相对位置术语仅用于说明目的，与图8a至8d所示的例子相关，并且不应被视为限制。类似地，本文对“左”、“右”或任何其他相对位置术语的任何引用都是为了帮助理解图8a至8d所示的说明性示例，而不应被视为限制。
[0213]
在图8a中的第一位置示出了全息重建，其包括占据第一光图案区域的光块830的网格以及在第二光图案区域中构成全息指纹的两个光块。如本领域技术人员所知，软件光栅可以与slm上的全息图相结合，其中软件光栅的功能是确定或移动或移位全息回放场(实际上，包括更高阶的回放场的整个阵列，在图8a至8d中未示出)在全息回放平面上的位置。为了方便起见，这可被称为“扫描”全息回放平面，但本领域技术人员将理解本文公开的全息结构光系统和使用例如旋转棱镜进行“扫描”的lidar系统之间的根本区别。因此，图8a所示的全息回放场的且因此全息重建的第一位置可以对应于应用于全息图的第一光栅，或者
例如不应用光栅。在该示例中，全息重建有16个不同位置，每个对应于不同的相应光栅函数，即4个不同的x-光栅和4个不同的y-光栅，导致16个不同的组合。
[0214]
当占据第一光图案区域的光块830的网格处于(十六个中的)第一位置时，每个光块830占据网格内其相应的正方形或坐标的左上角。当构成第二光图案区域中全息指纹的上下光块处于第一位置(在图8a中标记为位置814a)时，下光块与第一光电二极管801重合。因此，当全息重建处于其第一位置时，指纹(或至少指纹内的下块)是可检测的。在此位置，上块与任何光电二极管都不重合。因此，对于该位置，来自光电二极管801、802、803、804的预期光信号将以二进制形式为“1000”。
[0215]
当图8a所示的全息回放场(和全息重建)包含在lidar系统内时，全息重建(或其图像)被投影到目标物体或场景上，并且光检测器布置成检测从目标或场景反射的光。在实施例中，由图8a中全息回放场的网格内的每个相应正方形或坐标内的光照射的目标或场景的每个部分由在lidar检测器中以规则阵列布置的多个传感器内的相应传感器检测。当网格内的每个光点830在其相应正方形或坐标上被扫描(使用软件光栅)时，在任何时候，lidar检测器内每个正方形或坐标只有一个传感器将接收光，并且每个正方形或检测器的其他传感器将是暗的，因此不产生检测信号。
[0216]
图8b至8d示出了在另外三个可能位置的图8a的全息重建，对应于另外三个相应的光栅函数。
[0217]
在对应于(16个中的)第四光栅函数的图8b中，第一光图案区域中的每个光块830占据网格内其相应正方形或坐标的右上角。在该第四位置(在图8b中标记为位置814b)的第二光图案区域中，全息指纹的下块与不同的第二光电二极管802重合。因此，当全息重建处于其第四位置时，指纹(或至少指纹内的下块)是可检测的。在此位置，上块与任何光电二极管都不重合。因此，来自该位置的光电二极管801、802、803、804的预期光信号将以二进制形式为“0100”。
[0218]
在对应于第十三(16个中的)光栅函数的图8c中，第一光图案区域中的每个光块830占据网格内其相应正方形或坐标的左下角。在该第十三位置(在图8c中标记为位置814c)的第二光图案区域中，全息指纹的上块与第三光电二极管803重合。因此，当全息重建处于其第十三位置时，指纹(或至少指纹内的上块)是可检测的。在该位置，下块与任何光电二极管都不重合。因此，来自该位置的光电二极管801、802、803、804的预期光信号将以二进制形式为“0010”。
[0219]
在对应于第十六(16个中的)光栅函数的图8d中，第一光图案区域中的每个光块830占据网格内其相应正方形或坐标的右下角。在该第十六位置(在图8d中标记为位置814d)的第二光图案区域中，上块与第四光电二极管804重合。因此，当全息重建处于其第十六位置时，指纹(或至少指纹内的上块)是可检测的。在该位置，下块与任何光电二极管都不重合。因此，来自该位置的光电二极管801、802、803、804的预期光信号将以二进制形式为“0001”。
[0220]
slm可以配置或控制成周期性地将光栅函数应用于全息图，从而通过其16个可能的位置重复移动相应的全息重建。slm可以配置或控制为动态显示多个不同的全息图，并且对于这些全息图中的至少一些，应用一个或多个光栅函数，以便在动态基础上改变相应全息重建在全息回放平面上的位置。
[0221]
全息系统的控制器比如图7a和7b的lidar系统700的系统控制器705或任何其他合适的控制器可以配置为“知道”在特定时间哪个全息图和适用时哪个光栅和/或哪个软件透镜应在slm上显示和照明。这种控制器可以配置为“知道”期望什么样的指纹，以及检测该指纹的光的信号应该是什么。例如，控制器可被编程为知道在给定时间全息指纹的一些或全部应该处于绝对和/或相对于光电二极管801、802、803、804的位置的什么位置。在图8a至8d的示例中，这意味着系统控制器应该知道哪个光电二极管(如果有的话)应该在特定时间被全息指纹的一个或另一个块照亮—例如在slm操作的特定帧期间。因此，系统控制器705可以配置为验证从光电二极管801、802、803、804接收的检测信号，它们是否匹配一个或多个预期检测信号，或者时间信号的预期时间序列。
[0222]
本领域技术人员将理解，在图8a至8d的示例中，将有全息指纹可能预期不与任何光电二极管801、802、803、804重合的时间(例如对应于特定的光栅函数，因此对应于回放平面上全息重建的特定位置)。此时，来自四个光电二极管801、802、803、804的预期二进制输出将是“0000”。这在本文的图8e中示出，其示出了随时间的信号迹线861、862、863、864，它们分别对应于来自第一至第四光电二极管801、802、803、804中的每个的预期光检测信号。信号迹线861、862、863、864显示在一个时间段852上，在此期间全息重建循环通过其16个不同的位置。在该示例中，系统控制器可以配置成在这样的时间段852期间将从一个或多个光电二极管801、802、803、804接收的(即实际测量的)信号迹线与图8e所示的预期信号迹线进行比较。如果在该时间段852期间从任何光电二极管801、802、803、804接收到的信号的定时和/或强度不匹配，则控制器可以将此视为已经照亮了不正确的全息图和/或全息图已经被不正确地照亮的指示，例如由于slm或slm驱动器的故障，这意味着没有显示正确的全息图(或者根本没有显示全息图)。因此，这可以作为控制器(或用户)进一步调查潜在问题的触发器。它可被用作正在照明slm的激光光源的触发器，以暂停或停止其操作，或者以另一种方式停止激光光源和观察者之间的光发射，比如通过激活物理屏障或快门，以消除可能有损害用户眼睛和/或使观察者眩目的风险的任何进一步故障的可能性。
[0223]
应当理解，光栅的扫描顺序不需要遵循上述“从左到右、从上到下”的顺序。例如，可以配置光栅的顺序，使得指纹中存在最小的停歇时间，即光电二极管的预期输出为“0000”的最小时间。在这样的示例中，因此总是存在指纹是否显示正确信号的一些证据，因为总是存在至少一个检测到的光电二极管信号来与检测到的信号进行比较。
[0224]
作为总结，图9示出了根据本发明人在此做出的认识的lidar系统控制器或其他合适的控制器或处理器可以采用的防护方法。方法900包括反馈回路，其中方法900的步骤可以循环进行。这些步骤如下：
[0225]
在步骤902，光源比如图7a和7b的lidar系统700的激光二极管752发射光，例如激光。光被导向显示设备，比如像素化显示设备，例如slm，例如lcos slm。激光源可以在合适的控制器的控制下发射光。
[0226]
在步骤904，显示设备被照亮。显示设备可以是lcos slm，配置为显示全息图，该全息图可以与光栅和/或软件透镜组合。还可以提供ft透镜，与lcos slm结合，以便其照明产生全息重建的形成。
[0227]
在步骤906，检测器例如诸如光电二极管(或多个光电二极管)的光检测器检测由显示设备的照明形成的全息重建内的光信号。尽管在本技术中迄今为止讨论的示例具有位
于其上形成全息重建的零阶全息回放场的光电二极管，但光电二极管有可能位于图像平面上，在图像平面上形成全息重建的图像和/或位于更高级全息回放场内，这将在下面结合后续示例进行更详细的描述。光电二极管也可以位于中间位置，例如在slm和全息回放平面之间或者在全息回放场和下游图像平面之间。可以有一个以上检测器，并且它/它们的位置、大小和/或形状可以设计成以便检测全息重建的特定特征，比如特定的全息标识符或指纹。
[0228]
在步骤908，来自检测器的一个或多个信号由控制器接收和处理，该控制器包括或包含在或通信地耦合到在步骤902控制来自激光源的光发射的控制器。控制器在步骤908处理来自检测器的信号，以确定它们是否如预期的那样。如果是，控制器可以验证全息标识符或指纹。
[0229]
如果控制器已经验证了全息标识符或指纹，则在步骤910，控制器(或通信地耦合至其的另一控制器)继续向激光器发出指令以发射光(或继续发射光)，此时方法900返回到步骤902并重复自身。然而，如果在步骤908全息标识符或指纹没有被验证，则保护方法将暂停或停止光发射，或降低光发射的光功率，以使调查能够发生，并进行任何适当的修复，以确保系统的安全操作。
[0230]
根据另一示例，其也体现了图9中概括的保护方法900，可以在更高阶全息回放场中提供一个或多个光检测器，以便评估全息系统比如lidar系统是否正常工作。
[0231]
图10a示出光锥1008、1010的横截面，光锥分别形成零阶全息回放场和一阶(即x-方向的负一阶，或(0，-1)阶)全息回放场的一个实例，当显示全息图的slm被合适的激光照射时发生这种情况。为了简单起见，光源和slm本身没有显示在图10a中。
[0232]
在图10a中，全息回放平面1014由穿过光锥1008、1010的横截面的上边缘的虚线描绘。全息回放平面1014是(中间)全息回放场所在的平面，因此是将形成照明全息图的多个全息重建(零阶和更高阶)的平面。
[0233]
在图10a中，零阶全息回放场的宽度(即沿x轴的横向范围)由双面箭头1006表示。在光的传播方向上，如箭头1004所示，刚在全息回放平面1014的下游提供诸如屏障的结构1002。光从被照亮的slm(未示出)向要被观察的场景(也未示出)传播，例如作为lidar系统的一部分。屏障1002包括开口或孔，其尺寸和形状匹配零阶全息回放场1006的一些或全部的尺寸和形状。在一些布置中，可能只需要零阶全息回放场1006的一部分，因为分别已知其他部分包含噪声(不是图像内容)。例如，这种噪声可能来自全息图计算算法。因此，任何这样的噪音都可能被孔故意裁剪掉。因此，孔配置成将零阶全息重建内的所有光(或零阶全息重建内的所有期望光)向前传输到要被观察的场景。
[0234]
以上是事实，光检测器定位成检测零阶全息重建的一部分中的光可能是不利的，因为它会阻碍零阶全息重建朝向场景的路径。因此，在该示例中，提供了一个或多个光检测器1012a来监控更高阶全息回放场—在这种情况下是x方向的负一阶或(0，-1)阶回放场。
[0235]
该示例中的方法非常类似于上面关于监控零阶全息重建的一部分所描述的方法。总之，一个或多个适当放置的光检测器1012a可用于监控负一阶全息回放场信号，更具体地，监控与(0，-1)回放场内的包括全息指纹的副光图案区域相关的光检测信号。例如，可以监控这些信号的定时和/或强度，以及特定个体(或子组)检测器1012a检测全息指纹的光的定时和/或顺序。可以进行这种监控以提供评估系统特别是slm是否正常工作的证据。光检测器1012a或与其耦合的控制器可以监控来自一个或多个检测器1012a的信号的变化，例如
当应用光栅来围绕全息回放平面移动全息回放场时，并且检测系统的预期行为和检测行为之间的任何异常。
[0236]
在图10a的示例中，光检测器1012a设置在一阶(0，-1)全息回放场的整个宽度上。因此，通过检测器1012a可以整体地检测一阶全息重建。
[0237]
图10b示出了一种替代布置，其非常类似于图10a的布置，除了光检测器1012b仅设置在一阶(0，-1)全息回放场的一部分上。因此，检测器1012b只能检测到一阶全息重建的一部分。然而，在许多情况下，这可能足以提供对系统功能的可靠监控。
[0238]
图10c示出了另一种替代布置，其非常类似于图10a和10b的布置，除了光检测器1012c沿着平面1011布置，该平面1011在形成负一阶(0，-1)全息回放场的光锥1010内在slm(未示出)和全息回放平面1014之间延伸(沿着y轴)，基本垂直于全息回放平面1014。因此，一阶全息重建将不会聚焦在图10c中的光检测器1012c上。尽管如此，在那些光检测器1012c的位置处的光仍可以充当被照射的全息图的指纹或标识符。因此，在许多情况下，来自这些光检测器1012c的光信号足以提供对系统功能的可靠监控。
[0239]
本领域技术人员将会意识到，在照射全息图时形成的一阶全息重建基本是零阶全息重建的再现。因此，一阶全息重建通常是高度可靠的，作为代表零阶全息重建的标识符或指纹，以及作为特定全息图是否被正确照亮的指示符。与零阶全息重建相比，一阶全息重建的强度降低了sinc2包络。因此，用于在一阶全息重建中检测光信号的一个或多个光检测器的灵敏度可能必须相对较高。
[0240]
因此，在一些实施例中，在计算相应的全息图之前，不将单独的标记或指纹引入目标图像。相反，主图像的一部分的较高阶副本(即第一光图案区域的一部分的较高阶副本)用作指纹。例如，包含在第一光图案区域内的主图像可以是图8a至8d所示的光点阵列。可以选择应该监控特定高阶回放场的哪一部分，并相应地定位光检测器。例如，光电二极管801、802、803、804可以与(0，-1)回放场中光点的顶排(或顶两排)的高阶副本对准。该系统然后可以监控来自光检测器的信号，与一个或多个期望进行比较，如以上关于其他实施例详细描述。
[0241]
利用(部分)高阶回放场作为全息指纹是有利的，因为这意味着专用指纹实际上不需要结合到主图像中。因此，它简化了本文描述的方法。它也是光学高效的，因为添加指纹固有地需要一些可用的光，而当像素化显示设备上的全息图(或光栅)被照射时，固有地产生高阶回放场。因此，如果一阶光用于监控全息重建，则没有光功率被浪费。因此，这种监控可被描述为零功率损耗方法。
[0242]
本领域技术人员将会知道，对于每个零阶全息重建，都有四个不同的一阶全息重建，在两个方向(例如x和y方向)中的每个方向上—一个负的和一个正的。这四个不同的一阶全息重建可以具有不同的相应强度，这取决于包含slm的系统的光学设置。因此，控制器或处理器可以配置成确定检测器(或多个检测器)应该位于四个一阶全息回放场中的哪一个，以便监控其中的光信号。在实施例中，控制器布置成监控平均而言对于所有光栅位置来说哪个高阶回放场是最亮的第一阶回放场。
[0243]
波导光瞳/观察窗口扩展器
[0244]
本文描述的方法和系统可以在各种不同的全息投影系统中实现，例如在形成车辆导航系统一部分的lidar系统中实现。对于本领域技术人员来说是已知的一种类型的全息
投影系统的示例是直视平视显示器(hud)系统。在这样的系统中，光学器件配置成使得驱动器(即观察者)有效地直视slm，其间没有漫射器。因此，有一项安全要求，即确保slm运行正常，以避免对驾驶员的眼睛造成伤害，同时避免在给定时间用太多的光使他或她“眩目”，这可能会损害他或她的驾驶能力。
[0245]
在诸如平视显示器(hud)的全息投影系统中，期望扩展与眼盒区域或观察窗口相对应的出射光瞳。特别地，观察者需要能够左右移动其头部，从而能够在眼盒/观察距离的有限区域内从任何位置观察完整图像。这就是众所周知的眼动盒(emb)、眼盒或更一般的观察窗口。因此，可以采用光瞳扩展器来扩大emb或观察窗口。通常，光瞳扩展器通过划分入射波前的振幅产生额外光线来扩大emb。
[0246]
图11示出了包括波导的示例光瞳扩展器。在该示例中，波导包括两个反射表面，但以下描述同样适用于平板配置，其中光通过平板的顶表面和底表面之间的内部反射由平板在内部被引导。波导的一般原理在本领域中是已知的，在此不详细描述。波导通过内部反射在一对平行反射表面之间的层内引导光。光瞳扩展器由包括第一渐变/部分反射表面1120(例如具有随距离变化的反射率的渐变镜)和第二全反射表面1110(例如具有基本100％的反射率的镜)的波导形成。特别地，第一反射表面1120包括反射涂层，其反射率沿着平板的长度减小。该层可以是玻璃或有机玻璃。因此，波导可以是玻璃或有机玻璃块或平板。第一反射表面可以是玻璃块的第一表面，第二反射表面可以是玻璃块的第二表面，其中第一表面与第二表面相对并平行。可替代地，该层可以是空气，而第一和第二反射表面可以是单独部件，例如在空间上分开的第一和第二镜，以形成气隙，光在其内通过内部反射传播。
[0247]
因此，如图11所示，包括输入光线的输入光束1102(其可以包括用图片(即图片/图像的光或仅图片)编码的空间调制光或者用全息图编码的空间调制光)通过其输入端口进入波导。波导布置成将在输入端口处接收的光引导至观察窗口。在所示的布置中，输入端口在波导的一端附近在第一部分反射表面1120中包括间隙，但用于输入端口的其他位置也是可能的。观察窗口是观察者可以在其内观察图像的区域或体积，如本文所述。输入光束1102的入射角使得光线由于第一部分反射表面1120和第二全反射表面1110的内部反射而沿着波导的长度传播。示例性光线在图4中示出。由于第一反射表面1120的渐变反射率，一定比例的光被第一反射表面1120透射，以沿波导的长度提供多个输出光线1104a-f(在这里称为“副本”，因为它们复制输入光线)。因此，第一反射表面1120形成观察表面。据说光瞳(或观察窗口)被波导形成的副本扩展。特别地，通过沿着波导的长度形成多个副本1104a-f，观察窗口的尺寸增加。每个副本1104a-f对应于输入光束1102的一定比例的振幅(强度或亮度)。期望渐变沿着波导的长度提供第一反射表面1120的反射率的减小(或者相反，透射率的增加)，使得每个副本1104a-f具有基本相同的振幅。因此，在距第一反射表面1120的观察距离处的眼盒处具有右观察者眼睛1130r和左观察者眼睛1130l的观察者能够在扩展的观察窗口内的任何位置处观看图像，如箭头1140所示。
[0248]
如图11所示的波导在一维上扩展观察窗口，该一维对应于光束在波导内传播所沿的纵向方向，如箭头1140所示。如技术人员将理解的，如果需要，可以通过使用两个正交波导在二维上扩展观察窗口。
[0249]
波导的第一反射表面1120可以涂覆有包括大量薄膜(例如25个以上薄膜)的涂层，以便提供必要的渐变反射率。特别地，如上所述，这样的薄膜或类似涂层需要利用传播距离
来提供降低的反射率，从而增加透射率，使得每个副本1104a-f的亮度(光线强度)基本恒定。由于副本1104a-f的输出以及由于任何其他光学损耗(例如来自第二反射表面1110的不完全反射)，传播光束的振幅随着传播距离而减小。因此，将第一反射表面1120的渐变设计成考虑到传播光束的强度随传播距离的下降，同时确保每个副本1104a-f具有基本相同的强度，以使所看到的图像在整个观察窗口上(即在所有观察位置处)具有均匀的亮度。
[0250]
根据本文所述的方法，波导中的一个或多个副本(比如本文图11所示的多条输出光线1104a-f)可用于监控全息重建内的光，例如用于检测全息指纹的存在和/或一个或多个特征，和/或用于监控指示这种指纹存在或不存在的检测信号。因此，副本不仅可以用于扩展观察窗口，还可以用于监控显示设备(比如slm)的正确操作，以保护观察者免受眼睛损伤和眩目。
[0251]
可以在合适的位置提供一个或多个光检测器，用于监控光而不干扰波导的核心功能。例如，在图11所示的示例中，一个或多个光电二极管可以位于第一反射表面1120处或其附近，在期望副本光线之一接触它的点处。虽然在图11中未示出，但可以提供附加的副本光线，其不穿过第一反射表面1120以扩展观察窗口，而是被光检测器基本吸收(或偏转或以其他方式中断)。例如，在如图11所示的副本1104f之后紧接着可能包括这样的附加副本。可以实现反馈回路，由此由波导中的一个或多个检测器输出的信号可以用于控制激光源的后续操作，如以上参考先前附图详细描述。
[0252]
在波导-hud的一些布置中，例如下面详细讨论的图14中的布置，全息重建直到到达其观察者眼睛的视网膜才形成。也就是说，观察者的眼睛透镜充当傅立叶透镜，用于形成全息重建。在这种布置中，可以包括傅立叶透镜，以仅作用于用于监控的副本光线。因此，副本光线可以从波导中提取，通过傅立叶透镜传播，然后可以朝着一个或多个监控光电二极管行进。
[0253]
图12示出了包括输入端口1201的平板波导1200，输入端口1201布置为接收输入光1210，比如图片的光或全息图的光。平板由折射率大于空气的材料制成。接收到平板1200中的光由底表面1203b和相对的顶表面1203a之间的一系列内部反射引导。底表面1203b可以是基本完美的反射器，比如镜子，而顶表面1203a可以是大部分反射性的。顶表面1203a可以允许光的一些透射。因此，光通常通过内部反射沿平板传播，但由于顶表面1203a的部分透射率，形成了光线的一系列副本r0至r7。图12中所示的光的划分(或光线的副本)用于扩展波导的出射光瞳。光线副本实现的光瞳扩展使具有右眼1230r和左眼1230l的观察者在仍接收图片光线的同时(即在仍能够看到图片或全息图的同时)在观察窗口区域(或体积)内移动(如箭头1240所示)。如参考图11所述，顶表面的反射率随着距输入端口的距离而减小，使得每个副本r0到r7的强度基本相同。顶表面1203a的所谓的渐变反射率可以通过多层介电涂层来提供。实际上，很难制造出足够的介电涂层来进行高质量的显示，尤其是全彩色显示。
[0254]
如以上关于图11详细描述，根据本文描述的方法，一个或多个光检测器可以包括在图12的波导中。例如，可以提供附加的副本光线，其目的是向光电二极管或其他检测器提供光信号，以便监控slm的操作，并确保观察者的眼睛安全和舒适。
[0255]
本公开还提供了一种基于平板的改进的波导。为了避免疑问，图13和14示出了根据本公开的示例性系统配置，仅通过示例的方式示出了由两个镜子而不是具有反射涂层的
平板形成的波导。为了保持简单性，在图中未完全示出光折射的影响，但本领域技术人员将很好地理解它们。
[0256]
第一示例系统
[0257]
图13示出了根据第一示例系统配置的包括形成波导光瞳扩展器的波导的全息显示系统。图13和14仅通过示例的方式指代彩色投影系统，并且本公开同样适用于单色系统。
[0258]
全息显示装置包括图片生成单元，其布置为形成第一图片(也称为“第一图像”)和第二图片(也称为“第二图像”)。第一单色通道(也称为“第一显示通道”)布置为形成第一图片，并且包括第一光源1310、第一准直透镜1312和第一二向色镜1314。第一二向色镜1314布置为沿着公共光路反射第一波长的光以照射空间光调制器(slm)1340。光的第一波长对应于第一颜色(例如红色)的第一显示通道。第二单色通道(也称为“第二显示通道”)布置为形成第二图片，并且包括第二光源1320、第二准直透镜1322和第二镜1324。第二镜1324布置为沿着公共光路反射第二波长的光以照射slm1340。光的第二波长对应于第二颜色(例如绿色)的第二单色通道。在其他实施例中，图片生成单元可以包括布置为形成第三图片的第三单色/显示通道(等同于第一和第二通道)，其中第三颜色通道对应于第三颜色(例如蓝色)的光的波长。在所示的实施例中，slm1340包括由第一和第二波长的光照射的光调制像素(例如lcos)的单个阵列。在其他实施例中，slm1340可以包括由相应的第一和第二波长的光照射的光调制像素的单独阵列。
[0259]
全息显示装置还包括全息控制器1302，其布置成控制图片生成单元。slm1340输出与第一图片相对应的第一颜色的第一空间调制光，以在诸如屏幕或漫射器的光接收表面1370上形成第一单色图像(例如红色图像)。第一单色计算机生成的全息图由全息控制器1302计算，并例如通过显示驱动器1342在slm1340上编码。slm1340显示第一全息图，并被来自第一颜色/显示通道的第一颜色的光照射，以在位于回放平面处的光接收表面1370上形成第一全息重建。类似地，slm1340输出与第二图片相对应的第二颜色的第二空间调制光，以在光接收表面1370上形成第二单色图像(例如绿色图像)。第二单色计算机生成的全息图由全息控制器1302被编码在slm1340上。slm1340显示第二全息图，并被来自第二颜色/显示通道的第二颜色的光照射，以在回放平面处的光接收表面上形成第二全息重建。
[0260]
在所示的布置中，分束器立方体1330布置成将到slm1340的输入光和由slm1340输出的空间调制光分离。在输出空间调制光到光接收表面1370的光路中提供傅立叶透镜1350和镜1360。可以说第一/第二图片形成在光接收表面1370上。第一/第二图片是相应第一/第二全息图的第一/第二全息重建。因此，可以在组合第一和第二图片的光接收表面1370上形成合成彩色图片。布置投影透镜1380，以将形成在光接收表面1372上的第一和第二图片投影到波导1390形式的光瞳扩展器的输入端口。观察者1308可以从由于投影透镜1380的光功率而由波导1390形成的扩展的眼盒(“观察窗口”)观察图片的放大图像。波导1390包括光学透明介质，其由第一和第二反射表面分开，如上面参考图11所述。因此，全息显示装置具有“间接视图”配置—即观察者不直接观察全息重建，而是观察在光接收表面1370上形成的图片。
[0261]
在其他示例实施方式中，可以提供三个或更多个显示通道，其配置为显示相应的单色全息图。例如，可以通过显示相应的红色、绿色和蓝色单色全息图来形成全色合成图像/图片。可以使用包括任意数量的仅包括一个颜色通道的单个颜色通道的图片生成单元
来实现本公开。
[0262]
第二示例系统
[0263]
图14示出了根据第二示例系统配置的包括波导光瞳扩展器的全息显示系统。
[0264]
图14所示的全息显示系统类似于图13的全息显示系统，但其特征在于在空间光调制器和观察平面之间没有屏幕。图14中与图13中相似的部件具有相似的附图标记，但以“14”而不是“13”开头。第一显示通道布置成在位于回放平面处的光接收表面上形成第一图像(例如红色图像)。第一单色计算机生成的全息图由全息控制器1402在slm1440上编码。slm1440显示第一全息图，并且由来自第一颜色通道的光照射，以在光接收表面上形成第一全息重建。类似地，第二显示通道布置为在光接收表面上形成第二图像(例如绿色图像)。第二单色计算机生成的全息图由全息控制器1402在slm1440上编码。slm1440显示第二全息图，并且由来自第二颜色通道的光照射，以在回放平面处的光接收表面上形成第二全息重建。
[0265]
全息显示装置还包括分束器立方体1430，其布置成将输入光分离到slm1440和分离来自slm1440的输出光。然而，与图13相反，全息显示装置是直接观察系统。在所示的布置中，透镜1450位于由slm1440输出的空间调制光的光路中。透镜1450是可选的。观察者1408可以直接观察来自空间光调制器的空间调制光。如上所述，在一些实施例中，观察者眼睛的晶状体在眼睛的视网膜上形成全息重建。在这些实施例中，可以说观察者接收到用全息图编码的空间调制光。在其他实施例中，观察者接收图片的光或用图片编码的光。图片可以形成在自由空间中的中间平面处。波导1490包括由如上所述的第一和第二反射表面分开的光学透明介质。因此，全息显示装置具有“直接视图”配置，其中观察者直接注视显示装置(即空间光调制器)，使得图13的光接收表面是可选的。
[0266]
同样，根据本文描述的方法，图13和14的布置可以配置为在波导内包括一个或多个光检测器，用于检测从slm比如slm1340和/或slm1440发射的光。例如，波导1390或波导1490可以配置为包括一个或多个光电二极管，以监控一个或多个副本光线的存在或不存在，以及可选地一个或多个特性。波导1390、1490可以配置为提供除了图13和14中示出的以及上文描述的那些光线之外的另外一条或多条副本光线，其中该另外一条或多条光线专用于被一个或多个合适的光检测器检测，用于监控slm1340、1440的输出，用于确保相应系统的安全操作。
[0267]
虽然上面已经详细说明和描述了具体的示例，但也可以考虑其他变化。例如，在图7a和7b中，孔746和光电二极管748、749被示出和描述为基本位于中间全息回放平面，在该平面处初始(或“原始”或“中间”)全息重建形成在自由空间中。然而，根据一些布置，孔和光电二极管可以替代地位于图像平面处，物理透镜(类似于图7a和7b所示的成像透镜756)可选地存在于slm和图像平面之间。图像平面处可能存在物理光学部件，比如漫射器。
[0268]
根据一些布置，可包括物理透镜，以在z方向上移动全息回放平面。因此，全息回放平面可能不位于slm和成像透镜之间，如本文图7a和7b所示。
[0269]
在其他布置中，可以实现一个或多个检测器，以便在投影透镜(比如图7a和7b所示的投影透镜756)的内表面之外成像和/或监控全息重建的零阶回放场内包含的结构光的散射(分布)。这种检测器可以监控光的“安全”分布的证据，作为slm的安全或操作的指示符，slm的照射形成了全息重建。
[0270]
用于监控光以确定slm的安全操作的一个或多个光检测器或光电二极管也可以具有其他功能。例如，尽管上面详细描述的示例监控slm是否显示正确的内容，但一个或多个光检测元件也可以用于监控从激光源发射的功率。如本文所述，这可使保护方法能够监控激光功率低于阈值和slm正确分配光。
[0271]
例如，在一些布置中，可以使用一个或多个光电二极管测量作为lidar飞行时间测量的时间触发。也就是，由于光电二极管将位于从slm发射(例如反射)的光的“传输”路径上，由光电二极管记录的信号的时间标记可用于“启动时钟”，其记录离开slm的光脉冲从场景反射回lidar系统中的场景检测器的时间。本领域技术人员会知道，目前，“启动时钟”的触发来自驱动激光脉冲的电子设备，而不是试图直接测量出射光的时间。因此，使用沿传输路径来自光电二极管信号的时序可以提高lidar系统测量和观察的整体精度。
[0272]
因此，本文描述的方法和系统提供了对例如lidar系统内的slm的受欢迎的且通常是必要的监控，以确保其安全且正确地操作，并且不会危及观察者的眼睛安全或舒适或驾驶安全。
[0273]
本文所述的系统和方法能够高度可靠地监控lidar系统中的场景照明。例如，如果全息重建的特征(或全息重建的图像)易于随环境温度而变化，这可能特别有用。在这样的场景下，通过精确和密切地监控全息重建的实际特征和/或与全息重建相关的实际检测信号，可以确定其性质，因此可以进行适当的选择，以便为系统设置或修改后续的照明模式。
[0274]
本文描述的系统和方法可以以简单且相对低成本的方式提供。包括孔和一个或多个光检测器可以容易地在现有的光学装置和/或未来的光学装置中实现。此外，对来自一个或多个光检测器的信号的监控以及相应地控制信号的发出可以容易地由现有的控制器或其他处理器来执行，而不会对其造成过度的计算负担。
[0275]
附加特征
[0276]
实施例仅通过示例的方式涉及电激活的lcos空间光调制器。本公开的教导可以等同地在能够显示根据本公开的计算机生成的全息图的任何空间光调制器上实现，例如任何电激活的slm、光学激活的slm、数字微镜设备或微机电设备。
[0277]
在一些实施例中，光源是诸如激光二极管的激光器。在一些实施例中，检测器是光电检测器，比如光电二极管。在一些实施例中，光接收表面是漫射表面或屏幕，比如漫射器。本公开的全息投影系统可以用于提供改进的平视显示器(hud)或头戴式显示器。在一些实施例中，提供了一种车辆，其包括安装在车辆中以提供hud的全息投影系统。车辆可以是机动车辆，比如汽车、卡车、厢式货车、运货卡车、摩托车、火车、飞机、船或轮船。
[0278]
示例描述了用可见光照射slm，但本领域技术人员将理解，光源和slm同样可以用于引导红外光或紫外光，例如如本文所公开。例如，本领域技术人员将会知道为了向用户提供信息而将红外光和紫外光转换成可见光的技术。例如，本公开扩展到为此目的使用磷光体和/或量子点技术。
[0279]
一些实施例仅通过示例的方式描述了2d全息重建。在其他实施例中，全息重建是3d全息重建。也就是说，在一些实施例中，每个计算机生成的全息图形成3d全息重建。
[0280]
本文描述的方法和过程可以体现在计算机可读介质上。术语“计算机可读介质”包括布置为临时或永久地存储数据的介质，比如随机存取存储器(ram)、只读存储器(rom)、缓冲存储器、闪存和高速缓冲存储器。术语“计算机可读介质”也应被认为包括能够存储用于
由机器执行的指令的任何介质或多种介质的组合，使得当指令被一个或多个处理器执行时使该机器整体地或部分地执行本文所述的任何一种或多种方法。
[0281]
术语“计算机可读介质”还涵盖基于云的存储系统。术语“计算机可读介质”包括但不限于以固态存储芯片、光盘、磁盘或其任何合适的组合的示例形式的一个或多个有形和非暂时性数据存储库(例如数据卷)。在一些示例实施例中，用于执行的指令可以由载体介质传递。这样的载体介质的示例包括瞬态介质(例如传递指令的传播信号)。
[0282]
对于本领域技术人员将显而易见的是，在不脱离所附权利要求的范围的情况下，可以进行各种修改和变型。本公开涵盖所附权利要求及其等同物的范围内的所有修改和变型。