用于控制平视显示的方法和设备以及平视显示装置与流程

用于控制平视显示的方法和设备以及平视显示装置
1.本技术要求于2020年8月24日提交到韩国知识产权局的第10-2020-0106554号韩国专利申请以及于2020年10月8日提交到韩国知识产权局的第10-2020-0130402号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
2.与示例实施例一致的方法和设备涉及一种用于基于眼睛跟踪状态来控制平视显示(hud)的方法和设备。


背景技术：

3.平视显示(hud)系统在车辆的驾驶员前方生成虚拟图像，并通过在虚拟图像中显示信息来向驾驶员提供各种信息。提供给驾驶员的信息可包括例如导航信息和仪表盘信息(诸如，车辆速度、燃油油位和发动机每分钟的转数(rpm))。驾驶员可在驾驶期间更容易地识别前方显示的信息而不需要转动他或她的目光，因此，可提高驾驶安全性。除了导航信息和仪表盘信息之外，hud系统还可使用增强现实(ar)向驾驶员提供例如车道指示符、施工指示符、事故指示符或行人检测指示符，以在视场较差和/或不足时辅助驾驶。


技术实现要素：

4.一个或多个示例实施例可至少解决以上问题和/或缺点以及上面未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述任何问题。
5.根据公开的一方面，提供一种控制平视显示(hud)的方法，所述方法包括：执行对拍摄的图像中的用户的眼睛的眼睛跟踪；基于眼睛跟踪的结果确认眼睛跟踪状态；基于眼睛跟踪状态将hud图像的渲染模式确认为二维(2d)渲染模式和三维(3d)渲染模式中的一个；以及以确认的渲染模式渲染hud图像。
6.确认眼睛跟踪状态的步骤可包括：基于眼睛坐标是否存在于眼睛跟踪的结果中或者基于眼睛坐标的改变速率，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
7.确认渲染模式的步骤可包括：基于眼睛跟踪状态被分类为稳定状态，将渲染模式确认为3d渲染模式；以及基于眼睛跟踪状态被分类为不稳定状态，将渲染模式确认为2d渲染模式。
8.基于眼睛坐标被包括在眼睛跟踪的结果中并且眼睛坐标的改变速度小于参考值，可将眼睛跟踪状态分类为稳定状态。
9.参考值可对应于系统处理速率。
10.基于眼睛坐标被包括在眼睛跟踪的结果中并且眼睛坐标的改变速度大于参考值，或者基于眼睛坐标未包括在眼睛跟踪的结果中，可将眼睛跟踪状态分类为不稳定状态。
11.可基于第一视点的第一源图像和第二视点的第二源图像来渲染hud图像。
12.渲染hud图像的步骤可包括：基于确认的渲染模式是2d渲染，通过将第一视点和第二视点同样地设置为单个视点来渲染hud图像。
13.渲染hud图像的步骤可包括：基于眼睛跟踪的结果包括双眼的当前眼睛坐标并且当前眼睛坐标的改变速度大于参考值，将第一视点和第二视点同样地设置为当前眼睛坐标的中心视点；以及基于眼睛跟踪的结果不包括当前眼睛坐标，将第一视点和第二视点同样地设置为先前眼睛坐标的中心视点。
14.渲染hud图像的步骤可包括：基于确认的渲染模式是3d渲染模式，通过将第一视点和第二视点设置为不同的视点来渲染hud图像。
15.基于渲染模式被确认，可在与多个帧对应的缓冲时间期间将渲染模式从3d渲染模式切换到2d渲染模式或者从2d渲染模式切换到3d渲染模式。
16.可基于第一视点的第一源图像和第二视点的第二源图像来渲染hud图像，其中，渲染hud图像的步骤包括：基于渲染模式从2d渲染模式切换到3d渲染模式，当在缓冲时间内将第一视点和第二视点逐渐改变为在2d渲染模式下使用的单个视点的同时渲染hud图像。
17.根据公开的另一方面，提供一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时使处理器执行所述方法。
18.根据公开的另一方面，提供一种用于控制平视显示(hud)的设备，所述设备包括：存储器，被配置为：存储一条或多条指令，以及处理器，被配置为：执行所述一条或多条指令以：执行对拍摄的图像中的用户的眼睛的眼睛跟踪，基于眼睛跟踪的结果确认眼睛跟踪状态，基于眼睛跟踪状态将hud图像的渲染模式确认为二维(2d)渲染模式和三维(3d)渲染模式中的一个，以及以确认的渲染模式渲染hud图像。
19.处理器还可被配置为：基于眼睛坐标是否存在于眼睛跟踪的结果中或者基于眼睛坐标的改变速率，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
20.处理器还可被配置为：基于眼睛跟踪状态被分类为稳定状态，将渲染模式确认为3d渲染模式，以及基于眼睛跟踪状态被分类为不稳定状态，将渲染模式确认为2d渲染模式。
21.基于渲染模式被确认，可在与多个帧对应的缓冲时间期间将渲染模式从3d渲染模式切换到2d渲染模式或者从2d渲染模式切换到3d渲染模式。
22.根据公开的另一方面，提供一种平视显示(hud)装置，包括：眼睛跟踪相机，被配置为：拍摄包括用户的图像；处理器，被配置为：对拍摄的图像执行眼睛跟踪，基于眼睛跟踪的结果确认眼睛跟踪状态，基于眼睛跟踪状态将hud图像的渲染模式确认为二维(2d)渲染模式和三维(3d)渲染模式中的一个，并且以确认的渲染模式渲染hud图像；以及显示装置，被配置为：使用增强现实(ar)向用户提供hud图像。
23.处理器还可被配置为：基于眼睛坐标是否存在于眼睛跟踪的结果中并且基于眼睛坐标的改变速率，将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。
24.处理器还可被配置为：基于渲染模式被确认，在与多个帧对应的缓冲时间期间将渲染模式从3d渲染模式切换到2d渲染模式或者从2d渲染模式切换到3d渲染模式。
25.根据公开的另一方面，提供一种显示设备，包括：存储器，被配置为：存储一条或多条指令；以及处理器，被配置为：执行所述一条或多条指令以：接收关于拍摄的图像中的用户的眼睛的眼睛跟踪信息；基于眼睛跟踪信息确认眼睛跟踪是稳定的还是不稳定的；基于眼睛跟踪是不稳定的，以二维(2d)图像输出虚拟对象；以及基于眼睛跟踪是稳定的，以三维(3d)图像输出虚拟对象。
26.根据公开的另一方面，提供一种显示方法，包括：接收关于图像中的用户的眼睛的
眼睛跟踪信息；基于眼睛跟踪信息来确认眼睛跟踪是稳定的还是不稳定的；基于眼睛跟踪是不稳定的，以二维(2d)图像输出虚拟对象；以及基于眼睛跟踪是稳定的，以三维(3d)图像输出虚拟对象。
附图说明
27.通过参照附图描述特定示例实施例，以上和/或其他方面将更清楚，其中：
28.图1a示出根据示例实施例的平视显示(hud)装置；
29.图1b示出根据示例实施例的与hud装置相关的光的路径；
30.图2示出根据示例实施例的显示装置的结构；
31.图3示出根据示例实施例的三维(3d)增强现实(ar)；
32.图4示出根据示例实施例的生成hud图像的处理；
33.图5示出根据示例实施例的眼睛跟踪状态；
34.图6示出根据示例实施例的观看空间中的眼睛移动；
35.图7示出根据示例实施例的切换渲染模式的处理；
36.图8示出根据示例实施例的用于切换渲染模式的缓冲视点和缓冲源图像；
37.图9示出根据示例实施例的在3d渲染模式下的图像；
38.图10示出根据示例实施例的在二维(2d)渲染模式下的图像；
39.图11和图12示出根据示例实施例的使用跟踪区域跟踪眼睛的处理；
40.图13示出根据示例实施例的基于眼睛跟踪生成hud图像的处理；
41.图14示出根据示例实施例的考虑眼睛跟踪状态来控制hud的方法；
42.图15示出根据示例实施例的hud控制设备的配置；以及
43.图16示出根据示例实施例的电子装置的配置。
具体实施方式
44.在下文中，将参照附图详细描述示例实施例。然而，可对示例实施例进行各种改变和修改。这里，示例实施例不被解释为限于公开。示例实施例应被理解为包括在公开的构思和技术范围内的所有改变、等同物和替换物。
45.在此使用的术语仅用于描述特定示例实施例，而不是对示例实施例的限制。除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还将理解，当术语“包括”和/或“包含”在此被使用时，说明存在叙述的特征、整体、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
46.除非另有定义，否则在此使用的所有术语(包括技术术语和科学术语)具有与示例所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非在此明确地如此定义，否则术语(诸如在通用词典中定义的术语)应被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于形式化的含义进行解释。
47.当参照附图描述示例实施例时，相同的参考标号表示相同的构成元件，并且与其相关的重复描述将被省略。在示例实施例的描述中，当认为公知的相关结构或功能的详细描述将导致对本公开的模糊解释时，将省略这样的描述。
48.此外，在组件的描述中，当描述公开的组件时，在此可使用诸如第一、第二、a、b、
(a)、(b)等的术语。这些术语仅用于将一个构成元件与另一构成元件区分开，并且构成元件的性质、序列或顺序不受这些术语的限制。当一个构成元件被描述为“连接”、“结合”或“附接”到另一构成元件时，应理解，所述一个构成元件可直接连接到或附接到所述另一构成元件，并且中间构成元件也可被“连接”、“结合”或“附接”到所述构成元件。
49.可使用相同的名称来描述包括在上述示例实施例中的元件和具有共同功能的元件。除非另有说明，否则对示例实施例的描述可适用于下面的示例实施例，因此，为了简明，将省略重复的描述。
50.图1a示出根据示例实施例的平视显示(hud)装置。参照图1a，hud装置100包括hud控制设备110、显示装置120、眼睛跟踪相机130和半透明光学装置140。hud装置100可被安装在交通工具(例如，汽车或飞机)上以向用户(例如，驾驶员、飞行员等)提供hud图像。hud装置100可使用增强现实(ar)来提供hud图像。例如，通过ar hud提供的内容可包括仪表盘信息、导航信息、车道指示符、施工指示符、事故指示符、行人检测指示符等。ar可被应用于hud、透射式头戴显示器(hmd)等。在下文中，将描述hud。然而，下面的描述也可应用于hmd或其他显示装置。
51.显示装置120可包括光源、显示面板、三维(3d)光学层和光学组件。光学组件可包括折反射(cata-dioptric)系统。与hud图像对应的光可由显示装置120的显示面板和光源提供，折反射系统可将与hud图像对应的光朝向半透明光学装置140反射。在这种情况下，折反射系统可折射与hud图像对应的光以放大hud图像。可使用发光二极管(led)或激光器作为光源。
52.虚拟屏幕150可由显示装置120输出的与hud图像对应的光形成。由显示装置120输出的光的一部分可由位于用户前方的半透明光学装置140反射并且被用户看见。半透明光学装置140可以是汽车或飞机的挡风玻璃，或者是为了反射hud图像而与挡风玻璃分开设置的组合器。用户同时观看穿过半透明光学装置140的前方的光，以及由显示装置120发射的光之中的由半透明光学装置140反射的光的一部分。因此，真实对象和虚拟对象可彼此重叠并且作为ar内容提供给用户。例如，真实对象可以是通过半透明光学装置140可见的周围环境中的对象。
53.hud控制设备110可在与真实对象对应的位置显示虚拟对象。例如，车辆的行驶方向信息、车道信息、危险信息等可通过hud被显示为在与真实对象对应的位置的虚拟对象。背景或周围环境上将要显示虚拟对象的位置可被称为目标位置。hud控制设备110可使用眼睛跟踪相机130的坐标系与虚拟屏幕150的坐标系之间的变换关系、关于背景的3d信息和眼睛位置信息来在目标位置显示虚拟对象。
54.例如，可通过被设置为面向车辆前方的相机或3d传感器来获得关于背景的3d信息。可通过被设置为面向用户的眼睛跟踪相机130来获得用户的眼睛位置。眼睛跟踪相机130可拍摄用户并生成包括用户(例如，用户的面部)的用户图像，hud控制设备110可通过对用户图像执行眼睛跟踪来获得眼睛位置。hud控制设备110可生成用于在连接用户的眼睛位置和目标位置的线与虚拟屏幕150相交的交点处显示虚拟对象的hud图像，并且显示装置120可通过显示hud图像来在目标位置表示虚拟对象。
55.显示装置120可通过3d光学层提供3d图像。hud控制设备110可生成第一视点(例如，左眼)的第一源图像(例如，左图像)和第二视点(例如，右眼)的第二源图像(例如，右图
像)，并且基于由眼睛跟踪相机130跟踪的眼睛位置、第一源图像以及第二源图像来渲染hud图像。这里，视点可对应于观看位置(例如，观看者的眼睛的位置)。渲染hud图像的操作可包括确定hud图像的像素值，使得第一源图像可以以第一视点被观看，并且第二源图像可以以第二视点被观看。在下文中，将描述将两个视点用于3d图像的示例。然而，公开的实施例不限于下面的描述，因此，根据另一示例实施例，两个或更多个视点可用于光场。
56.显示装置120可显示如上所述生成的hud图像。显示装置120可在显示面板上显示hud图像。hud图像可穿过3d光学层，并被提供给用户。在这种情况下，与第一源图像和第二源图像对应的不同图像可被提供给用户的双眼。针对第一源图像和第二源图像中的每个，hud控制设备110可渲染hud图像，使得虚拟对象可在连接用户的每个眼睛位置和目标位置的线与虚拟屏幕150相交的交点处被显示。
57.图1b示出根据示例实施例的与hud装置相关的光的路径。参照图1b，hud装置101包括显示装置161以及镜162和163。显示装置161可对应于图1a的显示装置120。显示装置161可包括显示面板和光源，并且通过显示面板和光源提供与hud图像对应的光。例如，光源可包括背光单元(blu)。
58.由显示装置161输出的与hud图像对应的光可被镜162和163反射并被投射到挡风玻璃170上。镜162和163中的至少一个可对应于非球面镜，并且调整与hud图像对应的光的路径以放大hud图像。用户可通过由挡风玻璃170朝向观察框190反射的光在虚拟屏幕180上观看与hud图像对应的虚拟图像。
59.以这种方式，hud装置101可通过投影在设置于用户前方的虚拟屏幕180上显示信息。为了通过hud提供ar信息，在其上观看hud图像的虚拟屏幕180可以以宽视场(fov)来实现。如果将要表示的图像的尺寸不够大或者fov不够宽，则可能难以使用ar表示关于车辆前方的对象或背景的信息。
60.显示装置161以及镜162和163可安装在车辆的仪表盘中。显示装置161以及镜162和163可被设计为提供足够宽的fov以实现ar。例如，显示装置161的blu可使用次级透镜阵列来优化从led输出的光的输出角度，并且使用侧面反射器来补偿输出角度的不足。在这种情况下，可将漫射器板(diffuser plate)和偏振漫射器板的漫射角保持在小的值，从而可防止blu的效率降低。因此，可实现紧凑的blu体积、宽的fov、均匀性、改善的侧面亮度等。
61.图2示出根据示例实施例的显示装置的结构。参照图2，显示装置200包括光源210、漫射器(diffuser)220、显示面板230和3d光学层240。光源210可对应于blu。根据示例实施例，光源可包括白色led、红色/绿色/蓝色(rgb)led或rgb激光器。如果使用非球面镜作为放大和反射的镜，则可使用白色led、rgb led和rgb激光器中的任何一种。然而，如果使用全息镜(holographic mirror)，则可根据记录特性使用rgb led或rgb激光器。漫射器220可以以膜的形式实现，并且光源210与显示面板230之间的光均匀性可通过漫射器220来提供。根据示例实施例，漫射器220可直接形成在显示面板230上。根据另一示例实施例，漫射器220可以与显示面板230间隔开。
62.显示面板230可包括液晶显示(lcd)面板或空间光调制器(slm)(诸如，数字光处理器(dlp)和硅基液晶(lcos))。3d光学层240可以是视差屏障、双凸透镜和定向背光单元中的任何一种。显示面板230可显示hud图像，并且3d光学层240可控制与hud图像对应的光的路径。例如，3d光学层240可对与hud图像对应的光赋予方向性，使得不同视点的图像可被提供
给用户的双眼。
63.图3示出根据示例实施例的3d ar。参照图3，在连接用户的眼睛位置310和目标位置350的线与虚拟屏幕330相交的交点处显示虚拟对象335。可通过眼睛跟踪相机320来跟踪眼睛位置310。在这种情况下，可在眼睛位置310处观看场景331。场景331包括虚拟对象335和真实对象340。通过眼睛跟踪相机320的坐标系与虚拟屏幕330的坐标系之间的关系、关于背景的3d信息和关于眼睛位置310的信息，可在目标位置350准确地显示虚拟对象335。
64.可针对用户的每只眼睛执行这个处理。例如，第一源图像(例如，左图像)可被生成，使得虚拟对象335可在连接第一视点(例如，左眼)和目标位置350的线与虚拟屏幕330相交的交点处被显示，第二源图像(例如，右图像)可被生成，使得虚拟对象335可在连接第二视点(例如，右眼)和目标位置350的线与虚拟屏幕330相交的交点处被显示。此后，通过基于第一源图像和第二源图像渲染hud图像，可将场景331实现为3d ar hud。
65.根据示例实施例，3d hud可响应于用户位置的改变而在各种深度处表示虚拟对象335，因此，3d hud可比2d hud更准确地在目标位置350显示虚拟对象335。然而，为了稳定地提供这样的3d hud，眼睛位置310的连续跟踪可能是必须的，并且虚拟对象335可基于跟踪的眼睛位置310在虚拟屏幕330上显示。
66.在一个示例场景中，眼睛位置310可能由于环境因素(诸如，低照度)或者因为眼睛被覆盖而未被跟踪。此外，与当前眼睛位置310对应的适当hud图像可能由于系统因素(诸如，系统延迟)而未被生成。在这个示例中，可发生3d hud的质量劣化(诸如，当左眼的图像被提供给右眼时在图像中观察到的串扰)。在这种情况下，可通过提供2d hud而不是低质量的3d hud来稳定地提供驾驶信息。根据示例实施例，可基于与眼睛跟踪相关联的当前环境来选择性地执行2d渲染或3d渲染，由此可提高hud稳定性。
67.图4示出根据示例实施例的生成hud图像的处理。可对用户图像的当前帧执行下面描述的操作410至操作440。参照图4，在操作410中，hud控制设备执行眼睛跟踪。例如，hud控制设备可使用眼睛跟踪相机生成用户图像，并对用户图像执行眼睛跟踪。hud控制设备可在执行眼睛跟踪的同时生成眼睛跟踪结果。如果眼睛跟踪成功，则眼睛跟踪结果可包括眼睛坐标。如果眼睛跟踪失败，则眼睛跟踪结果可不包括眼睛坐标。相反，眼睛跟踪结果可包括指示眼睛跟踪已经失败的信息。眼睛坐标可包括每只眼睛的3d坐标值。
68.在操作420中，hud控制设备确定眼睛跟踪状态。例如，hud控制设备可基于眼睛跟踪结果是否符合3d渲染条件将眼睛跟踪状态分类为稳定状态和不稳定状态中的一个。这里，可基于眼睛坐标的存在和眼睛坐标的改变的速度来定义3d渲染条件。如上所述，为了保持3d hud图像的质量，必须确认眼睛坐标，并且需要用于跟踪眼睛坐标的改变的系统性能。
69.例如，如果不存在眼睛坐标，或者如果存在眼睛坐标但是眼睛坐标改变如此严重以至于系统的渲染性能不能应对改变，则可能在3d hud图像中观察到串扰。因此，在眼睛跟踪结果包括眼睛坐标并且相对于眼睛坐标的位置改变速度小于或等于阈值的第一状态下，眼睛跟踪状态可被分类为稳定状态。在这种情况下，阈值可对应于系统处理速率。此外，在眼睛跟踪结果包括眼睛坐标并且相对于眼睛坐标的位置改变速度大于阈值的第二状态下，或者在眼睛跟踪结果不包括眼睛坐标的第三状态下，眼睛跟踪状态可被分类为不稳定状态。
70.在操作430中，hud控制设备确定渲染模式。这里，确定的渲染模式可用于渲染与用
户图像的当前帧对应的hud图像。渲染模式可包括2d渲染模式和3d渲染模式。hud控制设备可基于眼睛跟踪状态将hud图像的渲染模式确定为2d渲染模式和3d渲染模式中的一个。例如，如果眼睛跟踪状态被分类为稳定状态，则hud控制设备可将渲染模式确定为3d渲染模式。相反，如果眼睛跟踪状态被分类为不稳定状态，则hud控制设备可将渲染模式确定为2d渲染模式。
71.hud控制设备可渲染hud图像，使得在2d渲染模式下向用户的双眼提供相同的hud图像，或者hud控制设备可渲染hud图像，使得在3d渲染模式下向用户的双眼提供不同的图像。例如，hud控制设备可生成第一视点(例如，左眼)的第一源图像(例如，左图像)和第二视点(例如，右眼)的第二源图像(例如，右图像)，并且hud控制设备可渲染hud图像，使得第一源图像可被提供给第一视点，并且第二源图像可被提供给第二视点。如果渲染模式被确定为2d渲染模式，则hud控制设备可通过将第一视点和第二视点同样地设置为单个视点来渲染hud图像。相反，如果渲染模式被确定为3d渲染模式，则hud控制设备可通过将第一视点和第二视点设置为不同的视点来渲染hud图像。
72.2d渲染模式可包括跟踪2d渲染模式和固定2d渲染模式。如上所述，在眼睛跟踪结果包括眼睛坐标并且相对于眼睛坐标的位置改变速度大于阈值的第二状态下，或者在眼睛跟踪结果不包括眼睛坐标的第三状态下，眼睛跟踪状态可被分类为不稳定状态。在第二状态的情况下，由于存在眼睛坐标，因此可使用眼睛坐标来执行跟踪2d渲染模式。例如，如果眼睛跟踪结果包括双眼的当前眼睛坐标并且相对于当前眼睛坐标的位置改变速度大于阈值，则可将第一源图像的第一视点和第二源图像的第二视点同样地设置为当前眼睛坐标的中心视点。另一方面，在第三状态的情况下，由于不存在眼睛坐标，因此可使用先前获得的眼睛坐标来执行固定2d渲染模式。例如，如果眼睛跟踪结果不包括当前眼睛坐标，则可将第一视点和第二视点同样地设置为最近使用的前一眼睛坐标的中心视点。
73.在操作440中，hud控制设备以确定的渲染模式来渲染hud图像。hud图像可由显示装置显示并通过3d光学层提供给用户。如果执行了3d渲染，则hud图像可穿过3d光学层，使得不同视点的图像可被提供给用户的双眼。即使执行了2d渲染，hud图像也可通过3d光学层被提供给用户。然而，在这种情况下，与3d渲染不同，可向用户的双眼提供相同视点的图像。在如上所述对当前帧执行操作440之后，可对后续帧执行操作410至操作440。可对用户图像的每个帧执行这个处理。
74.图5示出根据示例实施例的眼睛跟踪状态。参照图5，可通过对用户图像510执行眼睛跟踪来针对用户图像510中的每个帧获得在标记有“x”的位置处的眼睛坐标。此外，由于每个帧的眼睛坐标没有很大变化，因此，用户图像510的眼睛跟踪状态可被分类为稳定状态。
75.对于用户图像520，也可通过眼睛跟踪针对每个帧获得在标记有“x”的位置处的眼睛坐标。然而，由于针对用户图像520的每个帧的眼睛坐标改变很大，因此，用户图像520的眼睛跟踪状态可被分类为不稳定状态。例如，如用户图像520中所示，当车辆在减速带上行驶、在不平坦的道路上行驶或急转弯时，眼睛位置可快速地改变。
76.示出眼睛跟踪失败的情况的用户图像530不具有与每个帧的眼睛位置对应的“x”标记。例如，由于诸如低照度或遮挡的环境因素，如在用户图像530中那样，眼睛跟踪可能失败。
77.如果眼睛跟踪状态被分类为稳定状态，如在用户图像510中那样，则可通过3d渲染模式来渲染hud图像。如果眼睛跟踪状态被分类为不稳定状态，如在用户图像520和530中那样，则可通过2d渲染模式来渲染hud图像。如果在用户图像520中存在眼睛坐标，则可执行跟踪2d渲染模式。如果在用户图像530中不存在眼睛坐标，则可执行固定2d渲染模式。
78.图6示出根据示例实施例的观看空间中的眼睛移动。参照图6，观看空间600包括在其中观看第一源图像的第一观看空间s1和在其中观看第二源图像的第二观看空间s2。眼睛位置611是在时间t1的第一视点(例如，左眼)的位置，眼睛位置621是在时间t1的第二视点(例如，右眼)的位置。时间t1与时间t2之间的差可对应于两个连续帧之间的时间差。用户可通过眼睛位置611的第一视点观看第一源图像，并且通过眼睛位置621的第二视点观看第二源图像。第一观看空间s1和第二观看空间s2可通过边界线630来划分。hud控制设备可响应于眼睛位置611和621的改变来调整边界线630，使得眼睛位置611可停留在第一观看空间s1中，并且眼睛位置621可停留在第二观看空间s2中。
79.眼睛位置611是第一视点在时间t1的位置，眼睛位置612是第一视点在时间t2的位置。此外，眼睛位置621是第二视点在时间t1的位置，眼睛位置622是第二视点在时间t2的位置。因此，眼睛位置611和621(或眼睛坐标)的改变速度(或移动速度)可被定义为ve。此外，边界线630的调整速度(或移动速度)可被定义为v
t
。ve和v
t
可对应于在两个连续帧之间的时间差期间眼睛位置611和621的变化以及边界线630的变化。由于需要诸如更新hud图像的系统处理来调整边界线630，因此，v
t
的最大值可受系统处理速率的限制。如果ve大于v
t
的最大值，则例如如图6中所示，第一视点的眼睛位置612可在第二观看空间s2中，并且第二视点的眼睛位置622可在第一观看空间s1中。因此，可观察到串扰。
80.可基于系统处理速率来设置阈值。阈值可以是基于系统处理速率可调整到最大值的边界线630的速度。例如，阈值可被设置为240毫米每秒(mm/s)。在这种情况下，如果眼睛位置611和621(或眼睛坐标)的改变速度大于用户图像的帧中的阈值，则针对该帧的眼睛跟踪状态可被确定为不稳定状态。因此，可通过2d渲染模式来渲染与帧对应的hud图像。详细地，由于存在眼睛坐标，因此，可使用跟踪2d渲染模式。
81.图7示出根据示例实施例的切换渲染模式的处理。例如，渲染模式的切换可包括从2d渲染模式切换到3d渲染模式以及从3d渲染模式切换到2d渲染模式。在另一示例中，渲染模式的切换可包括从跟踪2d渲染模式、固定2d渲染模式和3d渲染模式中的一种切换到跟踪2d渲染模式、固定2d渲染模式和3d渲染模式中的另一种。在渲染模式被切换的同时，hud图像中可发生视点的改变，并且导致用户在观看hud图像时感觉不舒服。根据示例实施例，为了减少这种不适，可在预定时间内执行渲染模式的切换。
82.参照图7，在操作710中，hud控制设备确定是否切换渲染模式。例如，在图4的操作430中确定渲染模式之后，在操作710中，基于操作430中的确定来确定是否切换渲染模式。例如，如果针对先前帧进行迭代的渲染模式在操作430中被确定为3d渲染模式，并且针对当前帧进行迭代的渲染模式在操作430中被确定为2d渲染模式，则渲染模式将被切换。在这种情况下，可执行操作720。
83.在操作720中，hud控制设备在缓冲时间期间执行切换操作。缓冲时间可对应于多个帧。例如，如果hud图像的帧速率是每秒60帧(fps)，则缓冲时间可对应于1秒＝60帧。如果渲染模式将从3d渲染模式切换到2d渲染模式，则hud控制设备可在在缓冲时间内将第一视
点和第二视点逐渐改变为在2d渲染模式下使用的单个视点的同时渲染hud图像。将参照图8进一步描述切换操作。
84.如果针对先前帧进行迭代的渲染模式在操作430中被确定为3d渲染模式，并且针对当前帧进行迭代的渲染模式在操作430中被保持为3d渲染模式，则渲染模式将不被切换。在这种情况下，可通过图4的操作440以3d渲染模式渲染与当前帧对应的hud图像。
85.图8示出根据示例实施例的用于切换渲染模式的缓冲视点和缓冲源图像。图8示出将渲染模式从3d渲染模式切换到2d渲染模式的示例。然而，公开不限于此，并且图8的示例和以下描述也可应用于根据另一示例实施例的另一类型的切换处理。参照图8，在观看空间810中示出第一视点820(例如，左眼)、第二视点830(例如，右眼)和中心视点840。中心视点840可位于第一视点820和第二视点830中间。缓冲视点可在第一视点820与中心视点840之间以及在第二视点830与中心视点840之间。缓冲视点的数量可对应于缓冲时间。例如，如果缓冲时间对应于60帧，则60个缓冲视点可在第一视点820与中心视点840之间，并且60个缓冲视点可在第二视点830与中心视点840之间。
86.第一源图像825可对应于第一视点820，第二源图像835可对应于第二视点830，中心源图像845可对应于中心视点840。此外，可存在与缓冲视点对应的缓冲源图像。在3d渲染模式下，可通过基于第一源图像825和第二源图像835渲染hud图像来提供3d hud。此外，在2d渲染模式下，可通过基于中心源图像845渲染hud图像来提供2d hud。如果渲染模式从3d渲染模式切换到2d渲染模式，则可在时间t1基于第一源图像825和第二源图像835来渲染3d hud图像，可在时间t2到时间t
b-1
基于缓冲源图像来渲染缓冲器hud图像，并且可在时间tb基于中心源图像845来渲染2d hud图像。b可对应于缓冲时间。
87.可基于根据第一源图像825、第二源图像835和中心源图像845的插值操作来生成缓冲源图像。例如，可使用第一源图像825和中心源图像845通过插值操作来生成与第一视点820和中心视点840之间的缓冲视点对应的缓冲源图像，并且可使用第二源图像835和中心源图像845通过插值操作来生成与第二视点830和中心视点840之间的缓冲视点对应的缓冲源图像。
88.图9示出根据示例实施例的在3d渲染模式下的图像。参照图9，第一源图像910包括在与第一视点对应的位置处的虚拟对象915，第二源图像920包括在与第二视点对应的位置处的虚拟对象925。在图9中，第一视点和第二视点是不同的视点。第一源图像910被生成以用于在连接第一视点和目标位置的线与虚拟屏幕相交的交点处显示虚拟对象915，并且第二源图像920被生成以用于在连接第二视点和目标位置的线与虚拟屏幕相交的交点处显示虚拟对象925。可基于第一源图像910和第二源图像920通过3d渲染来生成hud图像930，使得观看hud图像930的用户可体验3d的虚拟对象915。
89.图10示出根据示例实施例的在2d渲染模式下的图像。与图9的示例不同，图10中的第一视点和第二视点对应于同一视点。因此，第一源图像1010的虚拟对象1015和第二源图像1020的虚拟对象1025位于相同位置。可基于第一源图像1010和第二源图像1020通过2d渲染来生成hud图像1030。
90.例如，图9的第一源图像910和第二源图像920可对应于图8的第一源图像825和第二源图像835。此外，图10的第一源图像1010和第二源图像1020可对应于图8的中心源图像845。此外，可基于第一源图像910、第二源图像920和第一源图像1010(或第二源图像1020)
通过插值操作来生成图8的缓冲源图像。
91.图11和图12示出根据示例实施例的使用跟踪区域跟踪眼睛的处理。跟踪眼睛的处理可包括使用下面描述的跟踪区域。参照图11，操作1110和操作1111是对用户图像的第一帧f1执行的操作。在操作1110中，hud控制设备对第一帧f1的整个图像区域执行眼睛检测。例如，hud控制设备可通过扫描整个图像来确定与眼睛对应的检测区域。在操作1111中，hud控制设备确定跟踪区域。hud控制设备可基于检测区域来确定跟踪区域。例如，可基于检测区域的尺寸来确定跟踪区域的尺寸，并且可将跟踪区域的位置确定为将检测区域包括在其中心处。
92.接下来，操作1121至操作1123是对用户图像的第二帧f2执行的操作。在操作1121中，hud控制设备基于跟踪区域执行眼睛跟踪。例如，hud控制设备可通过扫描跟踪区域而不是扫描第二帧f2的整个图像区域来检测跟踪区域内的眼睛。这种使用跟踪区域的眼睛检测可被称为眼睛跟踪。在操作1122中，hud控制设备确定在跟踪区域中是否存在眼睛。如果眼睛在跟踪区域中，则在操作1123中，hud控制设备更新跟踪区域。以与基于第一帧f1的检测区域确定跟踪区域的方式相同的方式，可基于第二帧f2的检测区域更新跟踪区域。
93.接下来，操作1130至操作1133是对用户图像的第三帧f3执行的操作。响应于操作1122确定在跟踪区域中不存在眼睛，在操作1130中，hud控制设备终止跟踪模式并返回到检测模式以在第三帧f3的整个图像区域中执行眼睛检测。如果响应于操作1122确定在跟踪区域中存在眼睛而在操作1123中更新了跟踪区域，则在操作1131中，hud控制设备基于更新的跟踪区域执行眼睛跟踪。操作1131至操作1133的详情与操作1121至操作1123的详情相同。如上所述，如果在跟踪区域中存在眼睛，则可更新跟踪区域并且可保持跟踪模式。然而，如果在跟踪区域中没有眼睛，则可再次激活检测模式以扫描整个图像。
94.参照图12，示出用户图像的帧f1、f2和f3。hud控制设备确定帧f1中的检测区域，并且基于检测区域确定第一跟踪区域1210。帧f2中的眼睛可处于比帧f1中的眼睛更右上的位置。hud控制设备从帧f2中的第一跟踪区域1210检测到眼睛。由于在第一跟踪区域1210中检测到眼睛，所以hud控制设备基于帧f2中的第一跟踪区域1210内的检测区域来更新跟踪区域。因此，确定了第二跟踪区域1220。以与帧f2中的方式相同的方式，可从帧f3中的第二跟踪区域1220检测到眼睛，并且可通过更新跟踪区域来确定第三跟踪区域1230。以这种方式，响应于确定眼睛被包括在每个跟踪区域中，hud控制设备可在不扫描整个图像的情况下跟踪眼睛。
95.图13示出根据示例实施例的基于眼睛跟踪生成hud图像的处理。参照图13，在操作1310中，hud控制设备确定眼睛跟踪状态。在操作1320中，hud控制设备确定眼睛跟踪状态是否是稳定状态。根据参照图11和图12描述的示例实施例，可使用跟踪区域来执行眼睛跟踪。
96.如果眼睛跟踪状态对应于稳定状态，则在操作1330中，hud控制设备执行3d渲染。如果眼睛跟踪状态不对应于稳定状态，则在操作1340中，hud控制设备执行2d渲染。例如，如果通过眼睛跟踪在跟踪区域中确定眼睛位置，但是眼睛位置的改变速度大于阈值，则在操作1341中，可执行跟踪2d渲染。当通过眼睛跟踪在跟踪区域中未确定眼睛位置时，在操作1342中，可执行固定2d渲染。在这种情况下，可取消眼睛跟踪的跟踪模式，并且可再次激活检测模式。
97.当通过操作1340执行2d渲染的同时，hud控制设备在操作1350中检查状态是否改
变。例如，状态改变的情况可包括在执行跟踪2d渲染的同时眼睛位置的改变速度降低到低于或等于阈值的情况，以及在执行固定2d渲染的同时尽管在跟踪区域之外检测到眼睛，但是眼睛位置的改变速度小于或等于阈值的情况。如果状态改变，则在操作1360中，hud控制设备在缓冲时间期间将渲染模式从2d渲染模式切换到3d渲染模式。然后，在操作1330中，hud控制设备执行3d渲染。
98.类似地，在通过操作1330执行3d渲染的同时，hud控制设备在操作1370中检查状态是否改变。例如，状态改变的情况可包括眼睛位置的改变速度超过阈值的情况，以及在跟踪区域中未检测到眼睛的情况。如果状态改变，则在操作1380中，hud控制设备在缓冲时间期间将渲染模式从3d渲染模式切换到2d渲染模式。然后，在操作1340中，hud控制设备执行2d渲染。
99.图14示出根据示例实施例的考虑眼睛跟踪状态来控制hud的方法，并且进一步描述了图4的示例。参照图14，在操作1410中，hud控制设备通过对用户图像执行眼睛跟踪来生成眼睛跟踪结果。在操作1420中，hud控制设备基于眼睛跟踪结果确定与眼睛位置的改变有关的眼睛跟踪状态。在操作1430中，hud控制设备基于眼睛跟踪状态将hud图像的渲染模式确定为2d渲染模式和3d渲染模式中的一个。在操作1440中，hud控制设备以确定的渲染模式来渲染hud图像。此外，参照图1a至图13、图15和图16提供的描述可应用于控制hud的方法，因此，为了简明起见，将省略详细描述。
100.图15示出根据示例实施例的hud控制设备的配置。参照图15，hud控制设备1500包括处理器1510和存储器1520。存储器1520连接到处理器1510，并且可存储能够由处理器1510执行的指令、将由处理器1510计算的数据或处理器1510处理过的数据。存储器1520可包括非暂时性计算机可读介质(例如，高速随机存取存储器)和/或非易失性计算机可读介质(例如，磁盘存储装置、闪存装置、或另一非易失性固态存储器装置)。然而，公开不限于此，根据另一示例实施例，存储器1520可以是被配置为存储数据、信息和/或指令的存储装置。
101.处理器1510可执行指令以执行参照图1a至图14和图16描述的操作。例如，处理器1510可通过对用户图像执行眼睛跟踪来生成眼睛跟踪结果，基于眼睛跟踪结果确定与眼睛位置的改变有关的眼睛跟踪状态，基于眼睛跟踪状态将hud图像的渲染模式确定为2d渲染模式和3d渲染模式中的一个，并且以确定的渲染模式渲染hud图像。此外，参照图1a至图14和图16提供的描述可应用于hud控制设备1500，因此，为了简明起见，将省略详细描述。
102.图16示出根据示例实施例的电子装置的配置。参照图16，电子装置1600可获取用户图像，从获取的用户图像跟踪眼睛，并基于眼睛跟踪状态提供arhud图像。电子装置1600可在结构上和/或功能上包括图1a的hud装置100、图1a的hud控制设备110和/或图15的hud控制设备1500。例如，图1a的hud装置100、图1a的控制设备110和/或图15的hud控制设备1500可被实现为电子装置1600。
103.电子装置1600可包括处理器1610、存储器1620、相机1630、存储装置1640、输入装置1650、输出装置1660和网络接口1670。然而，公开不限于此，因此，根据另一示例实施例，电子装置1600可包括其他组件，或者图16中所示的组件中的一个或多个组件可从电子装置1600中省略。处理器1610、存储器1620、相机1630、存储装置1640、输入装置1650、输出装置1660和网络接口1670可通过通信总线1680彼此通信。例如，电子装置1600可被实现为交通
工具(诸如，汽车或飞机)的一部分。
104.处理器1610执行将在电子装置1600中执行的指令或功能。例如，处理器1610可处理存储在存储器1620或存储装置1640中的指令。处理器1610可执行通过图1a至图15描述的操作。
105.存储器1620存储用于提供hud图像的各种数据。存储器1620可包括计算机可读存储介质或计算机可读存储装置。存储器1620可存储将由处理器1610执行的指令，并且可在电子装置1600执行软件和/或应用时存储相关信息。
106.相机1630可拍摄照片和/或视频。例如，相机1630可拍摄包括用户(例如，用户的面部)的用户图像。详细地，相机1630可包括图1a的眼睛跟踪相机130。相机1630可提供包括与对象有关的深度信息的3d图像。
107.存储装置1640包括计算机可读存储介质或计算机可读存储装置。存储装置1640可存储用于提供hud图像的各种数据。与存储器1620相比，存储装置1640可长时间存储更多数量的信息。例如，存储装置1640可包括磁性硬盘、光盘、闪存、软盘或本领域已知的其他非易失性存储器。
108.输入装置1650可通过键盘和鼠标以传统输入方式以及以新的输入方式(诸如，触摸输入、语音输入和图像输入)从用户接收输入。例如，输入装置1650可包括键盘、鼠标、触摸屏、麦克风或从用户检测输入并将检测到的输入发送到电子装置1600的任何其他装置。
109.输出装置1660可通过视觉、听觉或触觉通道向用户提供电子装置1600的输出。输出装置1660可包括例如显示器、触摸屏、扬声器、振动发生器或向用户提供输出的任何其他装置。详细地，输出装置1660可包括图1a的显示装置120。网络接口1670可通过有线网络或无线网络与外部装置通信。
110.根据上述示例的方法可记录在包括用于实现上述示例实施例的各种操作的程序指令的非暂时性计算机可读介质中。介质还可单独包括程序指令、数据文件、数据结构等，或者还可包括程序指令、数据文件、数据结构等的组合。记录在介质上的程序指令可以是为了示例实施例的目的而专门设计并构造的程序指令，或者它们可以是计算机软件领域的技术人员公知和可用的类型。非暂时性计算机可读介质的示例包括：磁介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，cd-rom盘、dvd和/或蓝光盘)；磁光介质(诸如，光盘)；以及专门被配置为存储和执行程序指令的硬件装置(诸如，只读存储器(rom)、随机存取存储器(ram)、闪存(例如，usb闪存驱动器、存储卡、记忆棒等)等)。程序指令的示例包括诸如由编译器产生的机器代码和包含可由计算机使用解释器执行的更高级代码的文件二者。装置可被配置为用作软件模块，以便执行上述示例的操作，反之亦然。
111.软件可包括计算机程序、代码段、指令或它们的一些组合，以独立地或统一地指示或配置处理装置以根据需要进行操作。软件和数据可永久地或临时地呈现在任何类型的机器、组件、物理或虚拟装置、计算机存储介质或装置中，或者呈现在能够向处理装置提供指令或数据或由处理装置解释的传播信号波中。软件还可分布在联网的计算机系统上，使得软件以分布式方式存储和执行。软件和数据可由非暂时性计算机可读记录介质存储。
112.上面已经描述了许多示例实施例。然而，应理解，可对这些示例实施例进行各种修改。例如，如果描述的技术以不同的顺序执行和/或如果描述的系统、架构、装置或电路中的组件以不同的方式组合和/或由其他组件或其等同物替换或补充，则可实现合适的结果。因
此，其他实施方式在权利要求的范围内。