用于呈现虚拟元素的方法与流程

1.本发明涉及一种用于在车辆的至少一个显示装置的显示区内呈现虚拟元素的方法，其中在显示装置的显示区内呈现三维空间，其中基于至少一个数据源来确定用于对至少一个虚拟元素的定位的三维坐标，其中如果该至少一个虚拟元素在所呈现的三维空间中的三维坐标位于显示装置的显示区之内，则该虚拟元素作为二维图像被变换到在显示装置的显示区内所呈现的该三维空间中，而且其中该至少一个虚拟元素在显示装置的显示区内相对于三维空间透视准确地被呈现在驾驶员的视野内。


背景技术：

2.随着虚拟和增强现实技术和应用的不断深入发展，这些虚拟和增强现实技术和应用也进入到汽车中。增强现实（augmented reality，ar）是通过虚拟元素对真实世界的丰富，这些虚拟元素在三维空间中位置准确地被登记或定位并且允许实时交互。平视显示器（head-up-display，hud）提供了相对应地用透视准确的虚拟增强来使驾驶舱丰富的可能的技术实现方案。
3.正是在平视显示器的情况下，通过集成在仪表板中的成像单元、诸如tft显示器来形成虚拟显示。该图像经由多个镜朝着挡风玻璃的方向被偏转，在该挡风玻璃处，光被反射到驾驶员的眼睛中。该驾驶员将该图像感知为视野中的虚拟显示。在这种系统的设计方面，光被反射到的区域在空间上受到限制，以便通过更少的光散射来实现更高的亮度。该区域被称为“eyebox”，因为驾驶员的视野必须位于该区域内，以便能够实现对该虚拟图像的感知。
4.由于视野相对狭窄，可能无法透视准确地呈现虚拟元素，因为虚拟对象必须定位于“eyebox”之外。为了显示不在驾驶员的视野内的对象，进行了不同的努力。
5.de 10 2017 211 244 b3例如公开了一种用于用附加信息来丰富车辆的驾驶员的视野的方法。为此规定：针对有车辆用主动的闪光信号灯来预告存在变换车道的意图的情况，该车辆通常被闪烁地显示在驾驶员的视野内。
6.上述现有技术的缺点在于：驾驶员并没有感觉到与视野之外的重要对象的实际距离。


技术实现要素：

7.因而，本发明所基于的任务在于说明一种方法，在该方法中，位于显示装置的显示区之外的虚拟元素对于驾驶员来说能以一定的距离或方向估计来被感知。
8.在本发明中，该任务通过如下方式来被解决：如果该至少一个虚拟元素的所确定的三维坐标位于显示装置的显示区之外，则用信号通知车辆的驾驶员。以这种方式，向车辆的驾驶员报告对于该驾驶员来说重要的对象位于该驾驶员的视野之外。在此，所述用信号通知可以以视觉方式进行，但是例如也可以以声音方式进行。
9.显示装置的显示区可以是在中间区域或在驾驶舱区域、例如在车辆的组合仪表中
的显示器。替选地或附加地，显示装置的显示区可以被设计成平视显示器。平视显示器应被理解成如下显示区，在该显示区的情况下，驾驶员可以保持其头部姿势或视线方向，因为信息被投影到他的视野中、例如被投影到车辆的挡风玻璃上。
10.所呈现的三维空间可以优选地描述沿行驶方向位于车辆之外的区域。在平视显示器的情况下，显示装置的显示区或三维空间能等同于透过挡风玻璃的视野。那么，该三维空间因此是在车辆前方位于驾驶员或副驾驶员的视野内的空间。相对应的针对虚拟元素所计算的三维坐标例如可以是笛卡尔坐标。
11.对于计算这些坐标所需的数据源可以是不同类型的。优选地，这些数据源是车辆数据或导航数据，这些车辆数据或导航数据通过车辆的定位传感装置、诸如gps、转速传感器或摄像机来被记录。
12.在计算虚拟元素的三维坐标时，查明该元素是否可以透视准确地被呈现在驾驶员的视野内。相反，如果由于三维坐标位于视野之外而情况不是如此，则向驾驶员显示这种虚拟元素不在显示装置的显示区内或不在他的视野内。
13.虚拟元素可以是不同的图像元素和/或按键，这些图像元素和/或按键被呈现在显示装置的显示区内。虚拟元素可具有与车辆数据的关联和/或取决于车辆的驾驶特性。这些数据例如可以来自现有的驾驶辅助系统。但是，也可设想的是：所呈现的虚拟元素对于车辆的驾驶特性来说不重要。
14.本发明的其它优选的设计方案从其余的、在从属权利要求中提到的特征中得到。
15.在本发明的第一设计方案中规定：基于距前方行驶的车辆的距离测量来确定虚拟元素的三维坐标。以这种方式，可以使用所谓的“自适应巡航控制（adaptive cruise control，acc）”的数据。在该功能的情况下，用户可以在例如五个级别之间做出选择，这五个级别分别引起距前方车辆的不同的距离。
16.在此，会是可设想的是：标记作为接触模拟的虚拟元素被投影到驾驶员的视野内，这些标记简化了对空间距离的估计。如果因为为了将这种标记透视准确地呈现在显示装置的显示区内而该距离例如过大所以这种标记不再存在于驾驶员的视野内，则根据本发明的方法来向驾驶员指出这一点。
17.替选地或附加地，在按照本发明的方法的另一设计方案中可以规定：基于距前方行驶的车辆的时间间隔来确定虚拟元素的三维坐标。通过时距调节，车辆的驾驶员可以在例如五个级别之间做出选择，这五个级别分别引起距前方车辆的不同的距离。根据术语“时距”，每个级别都通过距前方车辆的特定时间间隔、诸如1 s来被限定。根据实际速度以及该时距来算出所要保持的距离，该距离可以作为接触模拟的线条被呈现在显示装置的显示区内。在此，也可设想的是其它呈现。
18.根据该限定，该线条透视地向后或向前（在2d视野内向上或向下）移动，使得该线条可能移动出视野。在理想情况下，所有可选的级别都能在视野内看到。然而，根据速度，个别线条可能移动出视野，由此不再存在对当前活跃的时距的呈现。因而，按照本发明的方法来向驾驶员报告这些线条或标记之一处在显示区之外。
19.在按照本发明的方法的一个有利的设计方案中规定：在显示装置的显示区的边缘区域呈现：该至少一个虚拟元素的三维坐标位于显示装置的显示区之外。以这种方式，虽然用信号通知驾驶员：由于虚拟元素透视地处在显示区之外，所以该虚拟元素不能被呈现在
该区域内。但是，如果所述用信号通知仅在边缘区域内进行，则使驾驶员不必要地分心。因此，所呈现的其它虚拟元素也不被叠加，并且显示装置的显示区整体上不让驾驶员感到混乱。
20.为了使按照本发明的方法更加直观，在另一设计方案中规定：如果该至少一个虚拟元素的三维坐标透视地在背景中远得使得该虚拟元素的二维图像位于显示装置的显示区上方，则在显示装置的显示区的上方边缘区域呈现：该至少一个虚拟元素的三维坐标位于显示装置的显示区之外。
21.在显示装置的显示区内透视地有更大的距离地位于后面的元素在2d视野内向上移动。即，通过在上方边缘区域内的所述用信号通知来向驾驶员提示：有元素移动到背景中或向后移动得远得使得该元素不再能够被呈现在显示装置的显示区内。
22.相对应地，在按照本发明的方法的另一设计方案中规定：如果该至少一个虚拟元素的三维坐标透视地在前景中远得使得该虚拟元素的二维图像位于显示装置的显示区下方，则在显示装置的显示区的下方边缘区域呈现：该至少一个虚拟元素的三维坐标位于显示装置的显示区之外。
23.即，通过在下方边缘区域内的所述用信号通知来向驾驶员提示：有元素移动到前景中或向前移动得远得使得该元素不再能够被呈现在显示装置的显示区内。
24.有利地，在按照本发明的方法的另一设计方案中规定：通过在显示装置的显示区内呈现虚拟信令元素来实现所述用信号通知。在驾驶员的视野内淡入的虚拟信令元素可以以简单的方式用信号通知：真正的虚拟元素不在显示装置的显示区内。该虚拟信令元素可具有多种不同的设计方案。重要的是：该虚拟信令元素适合于向驾驶员指出有其它重要的虚拟元素未被呈现在显示装置的显示区内。
25.例如，会是可设想的是：该虚拟信令元素具有图形简单的设计方案，以便不会不必要地影响驾驶员的注意力。该虚拟信令元素例如可以是点或者线条。但是，例如也可设想的是呈现以例如相对应的未被呈现的对象的名称为形式的文本。
26.在按照本发明的方法的另一设计方案中规定：该虚拟信令元素具有未被呈现的虚拟元素的在对于该虚拟元素来说透视准确的呈现形式下的宽度。以这种方式，车辆的驾驶员可以大致估计未被呈现的虚拟元素离得多远。因此，通过透视准确的宽度，驾驶员可以识别出该虚拟信令元素与最近的所呈现的例如应该是上述距离线条的虚拟元素相比窄了多少。由于涉及虚拟元素的实际坐标的透视准确地呈现的宽度，所以驾驶员可以在想象中使透视扩展并且在想象中透视准确地融入该虚拟信令元素。
27.相对应地，在按照本发明的方法的另一设计方案中规定：该虚拟信令元素对应于未被呈现的虚拟元素；而且该虚拟信令元素具有该虚拟元素的在透视准确的呈现形式下的大小。通过该虚拟信令元素就未处在显示装置的显示区内的实际三维坐标而言的透视准确的大小，驾驶员还可以在想象中更简单地使透视扩展并且在想象中透视准确地融入该虚拟信令元素。因此，驾驶员可以在想象中使他的视野扩展。
28.替选地或附加地，可以规定：该虚拟信令元素被呈现为图标。图标可具有任意大小，而且要么可以相对应地被呈现在显示装置的显示区的边缘区域内，要么当涉及比较小的图标时也可以布置在驾驶员的更直接的视野内。
29.只要在个别情况下不另作解释，本发明的在本技术中提到的不同的实施方式就能
有利地彼此结合。
附图说明
30.随后，本发明在实施例中依据所属的附图来被阐述。其中：图1示出了在执行按照本发明的方法的实施例时显示装置的显示区的示意图；图2示出了在执行按照本发明的方法的另一实施例时显示装置的显示区的另一图示；以及图3示出了具有用于执行按照本发明的方法的设备的车辆的示意图。
具体实施方式
31.图1示意性示出了在显示装置14的显示区12中对虚拟元素10的呈现。在显示区12中示出了三维空间16。虚拟元素10通过二维图像18在可能的情况下透视准确地被呈现在显示区12中。为此，基于至少一个数据源来确定用于对虚拟元素10中的至少一个虚拟元素的定位的三维坐标。在此，这些三维坐标应该说明：为了形成二维图像18接触模拟地被感知、即被感知为周围环境的部分的尽可能逼真的印象，必须将二维图像18精确地定位在哪里。
32.在确定这些三维坐标时，可能的是：基于该数据源，所要呈现的虚拟元素10必须位于显示装置14的显示区12之外。为此规定：如果有对于车辆的驾驶员来说重要的虚拟元素10不能被呈现在显示区12中，则可以用信号通知该驾驶员。这些虚拟元素10例如可以是驾驶辅助系统的被接通的功能。
33.在该实施例中，通过虚拟信令元素20来向驾驶员报告：与所选择的功能相关联的虚拟元素10不能被显示在显示装置14的显示区12中。在当前实施例中，基于距前方行驶的车辆22的距离测量来确定虚拟元素10的三维坐标。以这种方式，可以使用所谓的“自适应巡航控制（adaptive cruise control，acc）”的数据。在该功能的情况下，用户可以在例如多个显示级别之间做出选择，这些显示级别分别引起距前方行驶的车辆22的不同的距离。
34.在当前情况下，确定距前方行驶的车辆22的时间间隔或时距调节。根据术语“时距”，每个级别都通过距前方行驶的车辆22的特定时间间隔、诸如1 s来被限定。根据实际速度以及该时距来算出所要保持的距离，该距离可以作为接触模拟的线条作为虚拟元素10被呈现在显示装置14的显示区12内。在此，也可设想的是其它呈现。
35.在图1中能看出：这些时间间隔作为线条以对于驾驶员来说显眼的方式被投影到车行道24上。在该实施例中，向驾驶员显示三条所选择的线条，这些线条取决于到前方行驶的车辆22的时间间隔。能看出：在透视上离驾驶员最近的以最下方的虚拟元素10为形式的线条未布置在显示装置14的显示区12中。在所示出的方法中识别出：该虚拟元素10的三维坐标未处在显示装置14的显示区12中。
36.借助于虚拟信令元素20来向驾驶员报告这一点。虚拟信令元素20被呈现在显示装置14的显示区12的下边缘处，并且对应于其三维坐标位于显示区12之外的虚拟元素10。这意味着：虚拟信令元素20未透视准确地被显示在显示区12中，而是以原本为了虚拟信令元素20的准确定位而会设置的大小和特性来被显示。以这种方式，车辆的驾驶员可以在想象中推断出：原本所要呈现的虚拟元素10、在这种情况下是应该距前方行驶的车辆22有特定时间间隔地被显示的线条比该虚拟元素可能会通过显示装置14来被呈现的情况近得多。
37.即，通过在显示装置14的显示区12的下方边缘区域内呈现虚拟信令元素20，向驾驶员提示：有元素移动到前景中或向前移动得远得使得该元素不再能够被呈现在显示装置14的显示区12内。
38.类似于图1，图2示例性示出了：这些时间间隔作为线条以对于驾驶员来说显眼的方式被投影到车行道24上。在该实施例中，向驾驶员显示三条所选择的线条，这些线条取决于到前方行驶的车辆22的时间间隔。能看出：在透视上离驾驶员最远的以最上方的虚拟元素10为形式的线条未布置在显示装置14的显示区12中。在所示出的方法中识别出：该虚拟元素10的三维坐标未处在显示装置14的显示区12中。
39.借助于虚拟信令元素20来向驾驶员报告这一点。虚拟信令元素20被呈现在显示装置14的显示区12的上边缘处，并且对应于其三维坐标位于显示区12之外的虚拟元素10。这意味着：虚拟信令元素20未透视准确地被显示在显示区12中，而是以原本为了虚拟信令元素20的准确定位而会设置的大小和特性来被显示。因而，该虚拟信令元素与其在准确定位的情况下会被呈现在该位置处的情况相比更小地被呈现。以这种方式，车辆的驾驶员可以在想象中推断出：原本所要呈现的虚拟元素10、在这种情况下同样是应该距前方行驶的车辆22有特定时间间隔地被显示的线条比该虚拟元素可能会通过显示装置14来被呈现的情况远得多。
40.图3示例性示出了该方法的另一设计方案或具有相对应的用于执行该方法的设备的车辆。在显示装置14的显示区12中，呈现以导航指示为形式的虚拟元素10。在这种情况下表示转弯的导航指示不能完全透视准确地被呈现在显示装置14的显示区12中。同样以虚拟信令元素20的形式向车辆的驾驶员显示这一点。在所呈现的示例中，涉及所要行驶的左转弯道，该左转弯道通过所呈现的虚拟元素10并未完全透视准确地被呈现。
41.通过在显示装置14的显示区12的左侧边缘区域中呈现虚拟信令元素20，向车辆的驾驶员显示：当该驾驶员仅会跟随所呈现的虚拟元素10时，该转弯尚未结束。通过以其三维坐标位于显示装置14的显示区12之外的虚拟元素10的大小来呈现虚拟信令元素20，驾驶员可以估计该转弯还将持续超出所呈现的指示的程度。
42.附图标记列表10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
虚拟元素12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示区14
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示装置16
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
三维空间18
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
二维图像20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
虚拟信令元素22
ꢀꢀꢀꢀꢀꢀ
前方行驶的车辆24
ꢀꢀꢀꢀꢀꢀꢀꢀ
车行道。