用于在显示位置呈现虚拟对象的方法和设备与流程

1.该方案的出发点是一种根据独立权利要求的前序部分所述的设备或方法。本方案的主题也是一种计算机程序。


背景技术：

2.机动车中的增强现实应用正处于后期研发状态。为了向驾驶员提供附加信息，由一个或多个车辆摄像机拍摄的图像利用虚拟对象来增强，这些虚拟对象的准确位置主要通过图像处理来确定。这些虚拟对象（也称为“ar对象”）例如包括道路上的人工导航箭头、驾驶员辅助功能的可视化或者对兴趣点的参阅。在此，要么在驾驶员的视野内在平视显示器上直接进行呈现，要么在中控台上与摄像机图像叠化地进行呈现。


技术实现要素：

3.在该背景下，利用这里所介绍的方案，提出了根据独立权利要求所述的一种用于在显示位置呈现虚拟对象的方法，还提出了根据独立权利要求所述的一种使用该方法的设备，以及最后提出了根据独立权利要求所述的一种相对应的计算机程序。通过在从属权利要求中提及的措施，对在独立权利要求中说明的设备的有利的扩展方案和改进方案都是可能的。
4.能利用所介绍的方案实现的优点在于：提出了一种能够在基础设施装置的对于驾驶员来说有利的轮廓部段上显示虚拟对象的方法。在这种情况下，该显示可以对于驾驶员来说有利地以关联相似（kontaktanalog）且能特别好地感知到的方式进行。
5.提出了一种用于在图像中呈现的基础设施装置上或在车辆的显示装置中的基础设施装置上的显示位置呈现虚拟对象的方法。该方法具有选择步骤、指定步骤和显示步骤。在选择步骤中，选择至少一个在基础设施装置上呈现的虚拟对象。在指定步骤中，在使用车辆相对于基础设施装置的当前的车辆位置的情况下指定基础设施装置的轮廓部段。在显示步骤中，在轮廓部段上显示虚拟对象。
6.虚拟对象是所谓的“增强现实”对象，简称“ar对象”，该“增强现实”对象例如直接在车辆的驾驶员的视野内在例如视野显示设备（英文也称为“head
‑
up
‑
display”）上叠加地被呈现。替选地，但是虚拟对象也可以在例如车辆的中控台上在摄像机图像或视频图像上叠化地被呈现。虚拟对象例如可以显示关于基础设施装置的信息。基础设施装置可以是任意的不动产，例如所谓的“兴趣点”，英文“point of interest”、简称“poi”。轮廓部段可以是或者表示基础设施装置的外表面。该外表面例如可以平面地成型。在指定步骤中，可以有利地指定基础设施装置的能被驾驶员看到的轮廓部段。这里介绍的方法可以实现在基础设施装置的对于驾驶员来说能特别好地看到的轮廓部段上显示虚拟对象。
7.在指定步骤中，可以指定在基础设施装置的多个轮廓部段中具有距车辆的预定距离的轮廓部段。预定距离也可以被理解为预定距离范围。例如，在这种情况下可以在指定步骤中指定具有距车辆的最小距离的轮廓部段。这样可以保证：虚拟对象对于驾驶员来说能
在适当的距离良好地被识别。
8.但是，在指定步骤中也可以根据车辆朝着基础设施装置的多个轮廓部段之一移动的速度来指定该轮廓部段。例如，在这种情况下可以在指定步骤中指定车辆以最快速度朝着其移动的轮廓部段。这样，为了显示虚拟对象，也可以指定对于驾驶员来说能尽可能好地识别出的轮廓部段。最快地朝着车辆移动的轮廓部段可以在使用车辆的导航系统的路线和/或最可能路径（most probable path）、简称“mpp”和/或车辆的当前的移动矢量的情况下被识别。
9.按照一种实施方式，在选择步骤中可以选择在是或者表示建筑物的基础设施装置上呈现的虚拟对象，其中在指定步骤中指定建筑物的建筑物墙壁作为轮廓部段。这样，关于建筑物的虚拟对象可以有利地被呈现在相关建筑物处或被呈现在相关建筑物上。
10.还有利的是：在指定步骤中，指定具有至少一个预定尺寸的轮廓部段。该尺寸例如可以是部段长度、例如基础设施装置的墙壁长度。这样，可以不考虑在很窄的建筑物墙壁上显示，而且例如替选地可以指定第二接近车辆或者朝着车辆第二快地移动的建筑物墙壁。
11.该方法还可以在显示步骤之前具有确定步骤，其中在确定步骤中为了显示而确定在轮廓部段上的显示位置，该显示位置位于轮廓部段的中心。这可以在例如虚拟对象作为对poi的参阅的情况下有利。
12.还有利的是：在显示步骤中，虚拟对象从原来的显示位置迭代到该显示位置地被显示。在这种情况下，虚拟对象可以例如经由原来的显示位置与该显示位置之间的一个或多个中间位置从原来的显示位置迁移到该显示位置地被显示。这实现了一种在这两个位置之间的平滑的可视觉感知到的过渡，而不会由于例如突然的显示变化而引起驾驶员的困惑。
13.该方法还可具有分配步骤，在该分配步骤中将虚拟对象分配给基础设施装置，其中在选择步骤中从多个虚拟对象中选择在分配步骤中被分配的虚拟对象中的至少一个虚拟对象。这样可以保证：针对仅仅一个或多个适用于特定基础设施装置的虚拟对象确定经修正的显示位置。
14.在分配步骤中，虚拟对象例如可以在使用数字地图和/或云和/或基础设施装置的在其中识别虚拟对象的给定轮廓的情况下被分配给基础设施装置。
15.此外，在分配步骤中，当基础设施装置位于距车辆的所限定的距离范围内时，可以将虚拟对象分配给该基础设施装置。距离范围可以被理解为车辆与基础设施装置相距的间距或间距范围。所限定的距离范围可包括车辆中的驾驶员能看到的范围。这样，例如相距很远的基础设施装置可以被忽略，因为这些基础设施装置很可能总归不能被驾驶员看到或者无关紧要。这样可以降低计算负荷。
16.还有利的是：按照该方法的一个实施方式，当车辆的车辆位置发生变化时，重复该方法的步骤。这样，该显示可以根据车辆位置始终动态地被适配，其中始终可以为虚拟对象指定尽可能好的显示位置。
17.该方法例如可以以软件或硬件或者以软件和硬件的混合形式例如实现在控制设备中。
18.这里所提出的方案还提供了一种设备，该设备被构造用于在相对应的装置中执行、操控或实现这里所提出的方法的变型方案的步骤。通过本方案的以设备形式的该实施
变型方案，也可以快速并且高效地解决本方案所基于的任务。
19.为此，该设备可具有：至少一个计算单元，用于处理信号或数据；至少一个存储单元，用于存储信号或数据；至少一个与传感器或执行器的接口，用于从传感器读入传感器信号或者用于将数据信号或控制信号输出给执行器；和/或至少一个通信接口，用于读入或输出嵌入到通信协议中的数据。计算单元例如可以是信号处理器、微控制器或者诸如此类的，其中存储单元可以是闪速存储器、eeprom或者磁存储单元。通信接口可以被构造用于无线地和/或有线地读入或输出数据，其中可读入或输出有线数据的通信接口可以例如电地或光学地从相对应的数据传输线中读入这些数据或者可以例如电地或光学地将这些数据输出到相对应的数据传输线中。
20.在当前情况下，设备可以被理解为电气设备，该电气设备对传感器信号进行处理并且根据此来输出控制和/或数据信号。该设备可具有接口，该接口可以硬件式地和/或软件式地来构造。在硬件式的构造方案中，接口例如可以是所谓的系统asic的部分，该部分包含该设备的各种各样的功能。然而也可能的是，这些接口是特有的集成电路或者至少部分地由分立式器件组成。在软件式的构造方案中，这些接口可以是软件模块，这些软件模块例如与其它软件模块并存于微控制器上。
21.在一个有利的设计方案中，通过该设备来控制虚拟对象在图像中呈现的基础设施装置上或在车辆的显示装置中的基础设施装置上的显示位置处的呈现。该操控通过如下执行器来进行，如：选择装置，该选择装置被构造用于选择至少一个在基础设施装置上呈现的虚拟对象；指定装置，该指定装置被构造用于在使用车辆相对于基础设施装置的当前的车辆位置的情况下指定基础设施装置的轮廓部段；和显示单元，该显示单元被构造用于在该轮廓部段上显示虚拟对象。
22.也有利的是一种具有程序代码的计算机程序产品或计算机程序，该程序代码可以存储在机器可读载体或者存储介质（如半导体存储器、硬盘存储器或光学存储器）上而且尤其是当该程序产品或该程序在计算机或设备上实施时被用于执行、实现和/或操控根据上述实施方式之一所述的方法的步骤。
附图说明
23.这里所提出的方案的实施例在附图中示出并且在随后的描述中进一步予以阐述。其中：图1示出了按照实施例的用于在图像中呈现的基础设施装置上或在车辆的显示装置中的基础设施装置上的显示位置呈现虚拟对象的设备的示意图；图2示出了在使用按照实施例的设备的情况下的修正轨迹的示意图；图3示出了按照实施例的用于在图像中呈现的基础设施装置上或在车辆的显示装置中的基础设施装置上的显示位置呈现虚拟对象的方法的流程图；以及图4示出了按照实施例的方法的流程图。
具体实施方式
24.在随后对本方案的有利的实施例的描述中，相同或者类似的附图标记被用于在不同的附图中示出的并且起类似作用的要素，其中省去了对这些要素的重复的描述。
25.图1示出了按照实施例的用于在图像中呈现的基础设施装置上或在车辆120的显示装置中的基础设施装置115上的显示位置110呈现虚拟对象105的设备100的示意图。
26.设备100具有选择装置125、指定装置130和显示单元135。选择装置125被构造用于选择至少一个在基础设施装置上呈现的虚拟对象105。指定装置130被构造用于在使用车辆120相对于基础设施装置115的当前的车辆位置的情况下指定基础设施装置115的轮廓部段137。显示单元135被构造用于在轮廓部段137上显示虚拟对象105。
27.虚拟对象105是所谓的“增强现实”对象，简称“ar对象”，按照该实施例，该“增强现实”对象直接在车辆120的驾驶员的视野内在以视野显示设备（英文也称为“head
‑
up
‑
display”）形式的显示装置中叠加地被呈现。按照替选的实施例，虚拟对象105在例如车辆120的中控台上在摄像机图像或视频图像上叠化地被呈现。按照实施例，虚拟对象105显示关于基础设施装置115的信息。基础设施装置115是任意的不动产，例如所谓的“兴趣点”，英文“point of interest”、简称“poi”。按照该实施例，轮廓部段137成型为基础设施装置115的外表面或者表示这种外表面。这里，该外表面例如平面地成型。指定装置130被构造用于从基础设施装置115的多个轮廓部段137中指定能被驾驶员看到的轮廓部段137。按照该实施例，指定装置130还被构造用于指定在基础设施装置115的多个轮廓部段137中具有距车辆120的预定距离的轮廓部段137。例如，指定装置130被构造用于指定具有距车辆120的最小距离的轮廓部段137。按照替选的实施例，指定装置130被构造用于根据车辆120朝着基础设施装置115的多个轮廓部段137中的轮廓部段137移动的速度来指定该轮廓部段137。例如，在这种情况下指定车辆120以最快速度朝着其移动的轮廓部段137。最快地朝着车辆120移动的轮廓部段137由按照实施例的设备100由指定装置130在使用车辆120的导航系统的路线和/或最可能路径、简称“mpp”和/或车辆120的当前的移动矢量的情况下来识别。按照实施例，指定装置130还被构造用于指定具有至少一个预定尺寸、例如平面部段长度的轮廓部段137。按照该实施例，指定装置130被构造用于读入位置信号138，该位置信号表示车辆120的当前的车辆位置和/或基础设施装置115的基础设施位置。
28.按照实施例，设备100还具有确定装置，该确定装置被构造用于为了显示虚拟对象105而确定在轮廓部段137上的显示位置110，该显示位置位于轮廓部段137的中心，其中显示单元135被构造用于在由确定装置确定的显示位置110上显示虚拟对象105。按照实施例，确定装置是指定装置130的一部分。
29.按照该实施例，选择装置125被构造用于选择在是或者表示建筑物的基础设施装置115上呈现的虚拟对象105，其中指定装置130被构造用于指定建筑物的建筑物墙壁作为轮廓部段137。
30.按照该实施例，显示单元135被构造用于从原来的显示位置140迭代到该显示位置110地显示虚拟对象105。按照实施例，在这种情况下，虚拟对象105例如经由原来的显示位置140与该显示位置110之间的一个或多个中间位置从原来的显示位置140迁移到该显示位置110地被显示。
31.按照该实施例，设备100仅仅可选地还具有识别装置145和/或分配装置150。
32.识别装置145被构造用于识别至少一个在图像中或在显示装置中呈现的虚拟对象105。例如，识别装置145被构造用于识别在多个在图像中呈现的基础设施装置上的多个或全部虚拟对象105或者在显示装置中的多个基础设施装置115上呈现的虚拟对象105。
33.分配装置150被构造用于将虚拟对象105分配给基础设施装置115，其中选择装置125被构造用于从多个虚拟对象中选择由分配装置150分配的虚拟对象105中的至少一个虚拟对象。按照实施例，分配装置150在这种情况下被构造用于例如在使用数字地图和/或云和/或基础设施装置115的在其中识别虚拟对象105的给定轮廓的情况下将虚拟对象105分配给基础设施装置115。按照实施例，分配装置150还被构造用于当基础设施装置115位于距车辆120的所限定的距离范围、例如能被驾驶员看到的范围内时，将虚拟对象105分配给基础设施装置115。
34.设备100被构造用于：当车辆120的车辆位置发生变化时，重复执行所有上文描述的由装置125、130、135、145、150执行的步骤。
35.在下文，再次更详细地描述了设备100的细节：利用ar对象对摄像机图像的增强、例如作为对兴趣点（poi）的参阅对摄像机图像的增强的情况下，从数字地图中或者直接从云中提取所需的数据。在此，poi的位置大多位于所属的建筑物内、例如位于所属的建筑物的中心。这里在该增强的情况下可能出现的问题在于：在视频图像中的ar对象在车辆正在移动的同时好像沿着建筑物墙壁一并迁移。由此，对于用户来说形成该增强不是关联相似的印象。车辆离建筑物越近，该效果就越强烈。这里提出的设备100解决了该问题，其方式是虚拟对象105在行驶期间动态地被修正到建筑物轮廓的适合的位置上。在这种情况下，设备100有利地被构造用于依据建筑物数据来执行对虚拟对象105的修正。
36.避开上述问题的直观方案是：将ar对象的位置在给定时间点沿着视线移动到相对应的建筑物墙壁上。不过，这会导致：ar对象又会从另一车辆位置或另一视角在相当不利的位置处被呈现，例如在建筑物的拐角处或在建筑物的后方被呈现。出于该原因，这里提出的设备100有利地动态地、根据当前的车辆位置始终将虚拟对象105修正到建筑物轮廓的从用户角度尽可能好的位置上。在图3和4中示意性示出了由设备100执行的修正方法的做法。
37.图2示出了在使用按照实施例的设备的情况下的修正轨迹的示意图。在此，该设备可以是依据图1所描述的设备。
38.修正轨迹示出了根据由该设备执行的方法的示范性修正的结果。线205是车辆行驶的路段。多边形210是建筑物轮廓，而点215是虚拟对象的原来的显示位置。实线220示出了这些显示位置的修正轨迹，而虚线225指示了车辆在修正时间点的位置。通过由该设备执行的方法，ar对象动态地并且预测性地被移动到建筑物轮廓的从用户角度尽可能好的位置上并且在那里对于该增强来说重新恢复了关联相似的印象。
39.图3示出了按照实施例的用于在图像中呈现的基础设施装置上或在车辆的显示装置中的基础设施装置上的显示位置呈现虚拟对象的方法300的流程图。在此，该方法可以是能由依据图1描述的设备来实施的方法300。
40.方法300具有选择步骤305、指定步骤310和显示步骤315。在选择步骤305中，选择至少一个在基础设施装置上呈现的虚拟对象。在指定步骤310中，在使用车辆相对于基础设施装置的当前的车辆位置的情况下指定基础设施装置的轮廓部段。在显示步骤315中，在轮廓部段上显示虚拟对象。
41.按照该实施例，方法300可选地还具有分配步骤320和/或确定步骤325。
42.在分配步骤320中，将虚拟对象分配给基础设施装置，其中在选择步骤305中从多
个虚拟对象中选择在分配步骤320中被分配的虚拟对象中的至少一个虚拟对象。在显示步骤315之前，在确定步骤325中，为了显示而确定在轮廓部段上的显示位置，该显示位置位于轮廓部段的中心。
43.图4示出了按照实施例的方法300的流程图。在此，该实施例可以是在图3中描述的方法300的实施例。
44.按照该实施例，在第一步骤400中做出究竟应该针对哪些虚拟对象来执行修正的预先选择。这样，方法300例如只对于被分配给特定建筑物的虚拟对象来说有意义。按照实施例，如果该分配不是从数字地图或云得出，则在第一子步骤405中替选地检查虚拟对象是否位于给定的建筑物轮廓之一内。按照实施例，除此之外在第二子步骤410中针对该方法限定最大距离，以便降低计算负荷。现在，按照该实施例，如果针对其应该执行修正的所有虚拟对象都已知，则在计算步骤415中计算所属的修正点。计算步骤415可以是在图3中描述的指定步骤310。为此，在第一计算子步骤420中针对每个虚拟对象首先创建所有可能的修正墙壁的列表。这样，例如只考虑对于用户来说从当前的车辆位置就能看到的墙壁。在第三子步骤425中检查可见性。为了避免不必要地多的修正步骤，还在第四子步骤430中排除了长度太小的墙壁。紧接着，在第二计算子步骤435中从该列表中选择特定墙壁。为此，存在两种可能性。要么在第五子步骤440中指定离车辆最近的墙壁，要么在第六子步骤445中指定最快地朝着车辆移动的墙壁。对于后一种情况来说，需要知道车辆的移动。按照实施例，该信息在第六子步骤445中从导航系统的路线、最可能路径（mpp）和/或简单从车辆的当前的移动矢量中得知。现在，在选择该墙壁之后，在第三计算子步骤450中确定修正点。这里，理论上也存在多种可能性。在虚拟对象作为对poi的参阅的情况下，从用户角度，尽可能好的呈现位置是修正墙壁的中心。即，按照实施例，在虚拟对象作为对poi的参阅的情况下，在确定步骤325中为显示位置确定修正墙壁的中心。为了虚拟对象没有由于该修正而突然从一个位置跳变到另一个位置并且因此引起用户的困惑，在最后一个步骤455、即按照该实施例在显示步骤315中，该修正迭代地被执行，也就是说在每个时间步长中执行整个修正的一小部分。以这种方式，用户看到虚拟对象从原来的显示位置流场地过渡到经修正的显示位置。
45.这里提出的方法步骤可以重复地以及以与所描述的顺序不同的顺序来实施。
46.如果一个实施例包括在第一特征与第二特征之间的“和/或”逻辑关系，那么这应理解为：该实施例按照一个实施方式不仅具有第一特征而且具有第二特征，而按照另一实施方式要么只具有第一特征要么只具有第二特征。