实现内容可视化的装置和方法与流程

实现内容可视化的装置和方法
1.相关申请的交叉引用
2.本技术要求于2020年8月18日在韩国知识产权局递交的韩国专利申请no.10-2020-0103404的优先权，其全部公开内容通过引用合并于此以用于所有目的。
技术领域
3.以下描述涉及可视化内容的技术。


背景技术：

4.可以通过安装在车辆和其他运输工具上的显示器或导航系统来提供表示各种视觉信息的增强现实(ar)，以辅助驾驶车辆和其他运输工具。例如，已经作出努力使得通过基于ar的平视显示器(hud)显示驾驶信息。


技术实现要素：

5.提供本发明内容以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。
6.在一个总体方面，一种处理器实现的方法包括：基于投影到投影平面上的虚拟内容对象的形状调整虚拟内容对象；以及在投影平面上可视化调整后的虚拟内容对象。
7.调整虚拟内容对象可以包括：将属于与虚拟内容对象相对应的空间的点之一设置为参考点；以及基于所设置的参考点来改变所述虚拟内容对象。
8.改变虚拟内容对象可以包括：沿着从用户朝向参考点定向的方向轴扩展虚拟内容对象的形状。
9.改变虚拟内容对象可以包括：在参考点处设置与从用户朝向参考点定向的方向轴垂直的参考轴；以及基于参考轴旋转虚拟内容对象。
10.将所述点之一设置为参考点可以包括：将平行于参考平面并且从用户朝向虚拟内容对象定向的方向轴穿过虚拟内容对象的点之一确定为参考点。
11.将所述点之一设置为参考点可以包括：基于用户的视点和所述点的物理位置之间的距离来选择所述点之一。
12.选择所述点之一可以包括：将所述点中最靠近用户视点的点确定为参考点。
13.调整虚拟内容对象可以包括：基于投影到投影平面上的虚拟内容对象的形状的高度与宽度(h/w)比来改变虚拟内容对象。
14.改变虚拟内容对象可以包括：使h/w比适合针对参考距离指定的目标比。
15.改变虚拟内容对象可以包括：基于属于与虚拟内容对象相对应的空间的点之中，最靠近视点的近端点在投影平面上的位置和最远离视点的远端点在投影平面上的位置，来计算虚拟内容对象的高度；以及计算虚拟内容对象沿参考轴的宽度。
16.可视化调整后的虚拟内容对象可以包括：将虚拟内容对象的下端部分布置在参考
平面上，并且将下端部分被布置在参考平面上的虚拟内容对象进行可视化。
17.参考平面可以与虚拟内容对象被可视化的对象布置空间的底表面相对应。
18.调整虚拟内容对象可以包括：在与左图像相对应的第一图形对象中设置第一参考点和第一参考轴；基于第一参考点和第一参考轴调整第一图形对象；在与右图像相对应的第二图形对象中设置第二参考点和第二参考轴；以及基于第二参考点和第二参考轴调整第二图形对象。
19.可视化调整后的虚拟内容对象可以包括：向用户的左眼提供调整后的第一图形对象，并且向用户的右眼提供调整后的第二图形对象。
20.调整虚拟内容对象可以包括：响应于检测到用户视点的移动而改变虚拟内容对象的形状。
21.调整虚拟内容对象可以包括：响应于用户的视点和所述虚拟内容对象的物理位置之间的距离减小，减小所述虚拟内容对象沿平行于参考平面并且从用户朝向参考点定向的方向轴的长度；或者，响应于用户的视点和虚拟内容对象的物理位置之间的距离增加，增加虚拟内容对象沿平行于参考平面并且从用户朝向参考点定向的方向轴的长度。
22.调整虚拟内容对象可以包括：响应于用户的视点和所述虚拟内容对象的物理位置之间的距离减小，减小参考平面和所述虚拟内容对象的底表面之间基于参考轴的角度；或者，响应于用户的视点和虚拟内容对象的物理位置之间的距离增加，增加参考平面和虚拟内容对象的底表面之间基于参考轴的角度。
23.可视化调整后的虚拟内容对象可以包括：通过增强现实(ar)眼镜装置的显示器，在将调整后的虚拟内容对象可视化在投影平面上的同时，将调整后的虚拟内容对象覆盖在真实环境上。
24.可视化调整后的虚拟内容对象可以包括：通过车辆的平视显示器(hud)，在投影平面上可视化调整后的虚拟内容对象。
25.在另一个总体方面，一种非暂时性计算机可读存储介质存储指令，当指令由处理器执行时，使处理器执行上述方法。
26.在另一个总体方面，一种实现内容可视化的装置包括：处理器，被配置为基于投影到投影平面上的虚拟内容对象的形状来调整虚拟内容对象；以及显示器，被配置为在投影平面上可视化调整后的虚拟内容对象。
27.显示器可以是增强现实(ar)眼镜显示器。
28.显示器可以是车辆的平视显示器(hud)。
29.处理器还可以被配置为：基于投影平面和装置的用户的视点的视场，从存储在存储器中的多个候选对象中检索虚拟内容对象。
30.处理器还可以被配置为：基于装置的位置从存储在存储器中的多个候选对象中检索虚拟内容对象。
31.在另一个总体方面，一种增强现实(ar)眼镜装置包括：处理器，被配置为基于投影到投影平面上的虚拟内容对象的形状来调整虚拟内容对象；以及透明显示器，被配置为通过在将调整后的虚拟内容对象可视化在所述投影平面上的同时将所述调整后的虚拟内容对象覆盖在真实环境上来提供所述调整后的虚拟内容对象。
32.在另一个总体方面，一种车辆包括：传感器，被配置为感测车辆的位置；处理器，被
配置为基于车辆的位置确定要向用户提供的虚拟内容对象，并基于投影到投影平面上的虚拟内容对象的形状来调整虚拟内容对象；以及平视显示器(hud)，被配置为在投影平面上可视化调整后的虚拟内容对象。
33.其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。
附图说明
34.图1示出了可视化内容的示例。
35.图2示出了实现内容可视化的装置的配置的示例。
36.图3示出了实现内容可视化的装置的平视显示器(hud)的配置的示例。
37.图4示出了虚拟内容对象的可视化的示例。
38.图5和图6示出了实现内容可视化的方法的示例。
39.图7至图10示出了虚拟内容对象的变形的示例。
40.图11示出了虚拟内容对象的旋转的示例。
41.图12和图13示出了在虚拟内容对象上设置参考点和参考轴的示例。
42.图14示出了虚拟内容对象的各种变形的示例。
43.贯穿附图和具体实施方式，相同的附图标记应被理解为指代相同的元件、特征和结构。附图可以不按比例绘制，并且为了清楚、说明和方便，可以扩大附图中元件的相对尺寸、比例和描绘。
具体实施方式
44.提供以下详细描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解了本技术的公开之后，本文中描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。例如，本文中描述的操作顺序仅仅是示例，并且不限于在本文中阐述的那些操作顺序，而是可以在理解了本技术的公开之后明显改变，除了必须以一定顺序进行的操作之外。此外，为了更加清楚和简洁，可以省略对本领域已知的特征的描述。
45.本文描述的特征可以以不同形式来实施，并且不应被解释为限于本文描述的示例。准确地说，提供本文中描述的示例仅仅是为了说明实现本文中描述的方法、装置和/或系统的许多可行方式中的一些方式，在理解了本技术的公开之后这些方式将显而易见。
46.在此，请注意，相对于实施例或示例使用术语“可以”(例如，关于实施例或示例可以包括或实现什么)意味着存在至少一个实施例或示例，其中包括或实现了这种特征，而所有实施例和示例不限于此。
47.贯穿说明书，当诸如层、区域或基板之类的元件被描述为在另一元件“上”、“连接到”或“耦接到”另一元件时，它可以直接在该另一元件“上”、“连接到”或“耦接到”该另一元件，或者可以存在介于其间的一个或多个其他元件。相反，当元件被描述为“直接在另一元件上”、“直接连接到”或“直接耦接到”另一元件时，可以不存在介于其间的其他元件。
48.如本文中所使用的，术语“和/或”包括关联列出的项目中的任何一个以及任何两个或更多个的任何组合。
49.虽然本文中可以使用诸如“第一”、“第二”、“第三”之类的术语来描述各构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不应被这些术语限制。相反，这些
术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分加以区分。因此，在不脱离示例的教导的情况下，本文中描述的示例中提及的第一构件、组件、区域、层或部分也可以被称为第二构件、组件、区域、层或部分。
50.本文中使用的术语仅用于描述各种示例，而不用于限制本公开。除非上下文另外明确指示，否则冠词“一”、“一个”和“该”也意在包括复数形式。术语“包括”、“包含”和“具有”表示存在所阐述的特征、数目、操作、构件、元件和/或其组合，但并不排除存在或添加一个或多个其他特征、数目、操作、构件、元件和/或其组合。
51.在理解了本技术的公开之后，可以显而易见地以各种方式组合本文中所描述的示例的特征。此外，尽管本文中所描述的示例具有各种配置，但在理解了本技术的公开之后，其他配置能够变得显而易见。
52.除非另有定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开相关领域中通常含义相同的含义。还应理解，诸如在常用词典中定义的术语等的术语应被解释为其含义与在相关领域的上下文中的含义相一致，而不应将其解释为理想的或过于形式化的含义，除非本文明确如此定义。
53.当参考附图描述示例时，相同的附图标记表示相同的组成元件，并且可以省略与其相关的重复描述。在对示例的描述中，当对公知的相关结构或功能的详细描述可能导致对本公开的模糊解释时，可以省略这样的描述。
54.图1示出了可视化内容的示例。
55.参照图1，实现内容可视化的装置(以下被称为“内容可视化装置”)可以对虚拟内容对象进行可视化。虚拟内容对象可以表示与内容相对应的图形对象。虚拟内容对象可以包括例如与路线引导内容121相对应的图形对象。
56.例如，内容可视化装置可以在对象布置空间110中的任意位置处布置图形对象并将其可视化。内容可视化装置可以通过分别向用户的左眼和用户的右眼呈现左图像和右图像来立体地提供图形对象。左图像和右图像可以包括彼此间隔开一定距离的相应的图形对象，该距离与沿水平轴的深度视差相对应。因此，用户可以识别出立体渲染的图形对象的深度。
57.对象布置空间110可以是要布置图形对象的三维(3d)空间。在示例中，对象布置空间110可以是其中具有深度的图形对象被立体可视化的空间。可以按与物理世界的地理坐标相同或相似的比例来映射属于对象布置空间110的每个点的坐标。可以基于平视显示器(hud)的结构确定对象布置空间110的边界。例如，内容可视化装置可以在最小深度(例如，最小距离)和最大深度(例如，最大距离)之间的空间中可视化图形对象。最小深度和最大深度可以基于hud的结构来确定。
58.可以基于与用户的视野相对应的空间确定对象布置空间110。可以基于可以由hud提供的眼箱(eye box)190和视场(fov)的大小确定对象布置空间110的形状和大小。例如，对象布置空间110可以是以从眼箱190延伸以与fov相对应的矩形锥形状设置的空间。眼箱190可以是设置为使得用户的双眼定位在其中的区域。眼箱190的位置可以是固定的，然而示例不限于此。例如，眼箱190的位置可以基于所检测到的用户眼睛的位置而改变。另外，示例不限于矩形锥形状，并且对象布置空间110的形状可以根据设计而变化。
59.内容可视化装置可以被实现为在挡风玻璃180上方将各种类型的图形表示可视化
在对象布置空间110中的显示位置处，并且将不同类型的图形表示可视化在不同的对象布置空间110中。
60.例如，要在对象布置空间110中显示的图形表示的类型可以包括路线引导内容121、路径指示线122和警告内容123。另外，可以修改要在对象布置空间110中显示的图形表示的类型，并且在不脱离本文所描述的说明性示例的精神和范围的情况下，可以使用其他类型的图形表示。
61.用户可以将相应的图形表示识别为存在于与对象布置空间110中的显示位置相对应的物理位置处。如上所述，对象布置空间110中的每个坐标可以被映射到单个物理坐标。另外，虚拟内容对象可以占据与形状相对应的空间。例如，虚拟内容对象可以占据对象布置空间110的一部分。
62.路线引导内容121可以是具有可视化的路线引导信息的内容，该可视化的路线引导信息需要被设置为沿着到目的地的路线行进。路线引导内容121可以包括：例如，指示用户需要直行的距离的数字和字母，指示在十字路口要进行的转弯(例如，左转和右转)的箭头，车辆当前正在行驶的道路170上的限速，以及车辆当前正在行驶的所在位置的道路名称或区域名称。路线引导信息可以是基于用户设置的路线和与该路线相关联的信息来引导用户行进的信息。路线引导信息可以包括例如用户需要直行的距离和在十字路口要进行的转弯。路线可以是用户从出发地到达目的地需要行驶的路径。另外，路线引导信息可以是与到目的地的路线相关联的信息，并且可以包括例如路线中包括的道路170的位置、区域、名称、属性和安全信息(例如，限速、施工信息或事故信息)。路径指示线122可以是指示到达目的地的路径的线，并且可以以与路线引导内容121的形式不同的形式被可视化为路线引导信息。警告内容123可以包括在当前驾驶环境中根据需要将向用户提供的警告消息。
63.内容可视化装置可以使用传感器估计车辆的位置，传感器例如是相机传感器、全球导航卫星系统(gnss)模块、无线电检测和测距(radar)或光检测和测距(lidar)。考虑到从车辆的位置到驾驶员的眼睛的位置的误差距离，内容可视化装置可以将与路线引导内容121相对应的图形对象可视化为与真实道路(即，道路170)相匹配。当使用高清晰度(hd)地图数据时，内容可视化装置可以将路线引导内容121匹配到更准确的位置。通过这种匹配，内容可视化装置可以提高驾驶员的心理稳定性。
64.尽管为了描述的方便，主要将路线引导内容121的调整描述为可视化虚拟内容对象的示例，但是内容可视化不限于路线引导内容121的调整。内容可视化可以适用于在对象布置空间中可视化的所有图形对象。
65.图2示出了内容可视化装置200的配置的示例。
66.参考图2，内容可视化装置200可以包括例如传感器210、显示器220、处理器230和存储器240。
67.传感器210可以感测将被用于可视化内容的信息。传感器210可以测量到位于用户附近的对象的距离，并且可以包括例如lidar和radar。在示例中，传感器210可以感测与安装有内容可视化装置200的设备的状态相关联的信息。例如，当内容可视化装置200安装在车辆上时，传感器210可以感测与车辆相关联的信息，并且与车辆相关联的信息可以包括车辆的位置信息、与车辆的位置相对应的道路信息以及车辆的驾驶相关信息。在示例中，驾驶相关信息可以是与车辆的驾驶相关的信息，并且可以包括例如与车辆的速度、加速度、位
置、燃料和维护相关的信息。传感器210可以包括捕捉车辆内部的内部传感器。内部传感器可以包括例如相机传感器，例如彩色相机、红外传感器、深度传感器和热成像传感器。然而，内部传感器不限于上述示例。内部传感器可以获得与车辆中的用户的眼睛相关联的信息，并且处理器230可以确定眼睛的位置，并且可以使用眼睛的位置来设置对象布置空间并可视化立体图像(例如，一对左图像和右图像)。
68.车辆的位置信息可以指示车辆所处的当前坐标以及关于车辆当前正在其上行驶的车道的信息。在示例中，传感器210可以通过gnss获得车辆的二维(2d)坐标。另外，传感器210可以获得车辆前方的视野的前视图像，并且处理器230可以根据前视图像确定道路的多个车道中车辆当前正在行驶的车道(例如，自我车道)。然而，本公开不限于上述示例。处理器230可以基于从传感器210收集的图像估计车辆的当前位置。
69.道路信息可以包括以下各项中的任何一项或任何两项或更多项的任何组合：道路的宽度、道路的车道数量、每个车道的宽度、中心线、转弯点、交通信号和其他交通相关信息。
70.显示器220可以可视化内容并向用户提供内容。显示器220可以在投影平面上可视化调整后的虚拟内容对象。在示例中，显示器220可以是被配置为在用户前方形成投影平面并通过投影平面向用户提供内容的hud。在另一示例中，显示器220可以是透明显示器，以通过在增强现实(ar)眼镜装置中将虚拟内容对象覆盖在真实环境上来提供虚拟内容对象。
71.显示器220可以向用户的左眼提供左图像，并向用户的右眼提供右图像。例如，处理器230可以生成左图像和右图像，左图像包括与驾驶员的左眼相对应的第一图形表示，右图像包括与驾驶员的右眼相对应的第二图形表示。显示器220可以提供左图像和右图像，以便在左图像和右图像之间具有视差。显示器220可以将具有深度的内容可视化为立体图形对象，并通过基于双目视差将具有左图像中可视化的内容的图形对象与具有右图像中可视化的内容的图形对象彼此间隔开，来向用户提供内容。可以针对图形对象的每个像素确定视差，并且可以针对每个像素表达深度感。在示例中，与靠近用户的近端部分相对应的图形对象的像素可以通过左图像和右图像之间的相对较大视差彼此间隔开。在另一示例中，与远离用户的远端部分相对应的图形对象的像素可以通过左图像和右图像之间的相对较小视差彼此间隔开。
72.例如，显示器220可以在处理器230所确定的显示区域中可视化与路线引导内容相对应的图形对象。用户双眼的位置可以由传感器210(例如，内部传感器)测量，并且可以被提供给处理器230。可以在车辆行驶时始终跟踪用户双眼的位置，使得即使当驾驶员向上、向下、向右和向左移动头部或者调整座椅高度时，也可以立体地输送内容。
73.处理器230可以创建和调整要通过显示器220可视化的内容。处理器230可以基于在车辆前方估计的道路区域生成对象布置空间。处理器230可以将布置在对象布置空间中的虚拟内容对象渲染为投影到投影平面上，并且可以通过显示器220向用户提供虚拟内容对象。处理器230可以基于投影到投影平面上的虚拟内容对象的形状来调整虚拟内容对象。例如，处理器230可以基于参考点和参考轴使虚拟内容对象变形或旋转。然而，处理器230的操作不限于上述操作，并且处理器230还可以将上述操作与下面将参考图3至图14描述的一个或多个操作一起执行。
74.存储器240可以临时或永久地存储将被用于对内容可视化的信息。存储器240可以
存储将由处理器230执行的指令，以执行下面将参考图3至图14描述的操作。另外，存储器240可以存储虚拟内容对象、路线引导信息和地图数据库(db)。地图db可以是存储地图数据的db。例如，地图db可以存储hd地图db。hd地图db可以包括例如与精细数据相关的信息，例如，车道数量、每个车道的宽度和中心线的位置。
75.例如，内容可视化装置200可以被实现为用于车辆的3d hud、或者指示车辆的驾驶路线的导航系统。内容可视化装置200也可以被实现为向用户提供ar。例如，内容可视化装置200可以将内容显示到超出车辆引擎盖的预定范围(例如，距车辆5米(m)至70m)内的深度。然而，内容可视化装置200的应用不限于上述应用。
76.图3示出了内容可视化装置310的hud的配置的示例。
77.内容可视化系统300可以是向用户390提供虚拟内容对象361的系统，并且可以是例如安装了内容可视化装置310的设备。
78.内容可视化装置310可以包括例如传感器311、处理器312和hud313。
79.传感器311可以检测内容可视化装置310前方(例如，安装了内容可视化装置310的车辆的前方)的对象。传感器311可以测量到内容可视化装置310前方的对象的距离。然而，传感器不限于上述配置。传感器311可以测量到车辆附近的对象的距离，并且可以生成指示到车辆附近的对象的距离的附近距离图。另外，传感器311可以通过捕捉车辆的前方、后方、左手侧和右手侧的环境来生成图像。传感器311可以包括被配置为测量和估计内容可视化装置310的位置的模块(例如，gnss)。
80.处理器312可以获得将向用户390提供的虚拟内容对象361。虚拟内容对象361可以是向用户提供信息的对象。在示例中，处理器312可以对对象进行建模，可以检测对象的位置，或者可以通过分析由传感器311感测到的附近信息(例如，到周围对象的距离和包括该对象的图像)来识别对象。在另一示例中，处理器312可以确定内容可视化装置310的当前位置。处理器312可以基于根据hud 313的fov和所述当前位置的对象布置空间来选择并加载要向用户提供的虚拟内容对象361。下面将参照图12进一步描述选择虚拟内容对象361的示例。
81.hud 313可以在位于用户390前方的可视区域中可视化虚拟内容对象361。例如，hud 313可以在布置在用户390前方的窗户(例如，车辆的挡风玻璃)上可视化虚拟内容对象361。hud 313可以形成虚拟投影平面350。投影平面350可以是在其上显示由hud 313生成的包括虚拟内容对象361的虚拟图像的平面。用户390可以将该虚拟图像识别为显示在投影平面350上。投影平面350可以形成在用户390的眼睛可观察到的区域中。
82.另外，hud 313可以在投影平面350上可视化具有深度的虚拟内容对象361。处理器312可以针对虚拟内容对象361的每个像素来确定虚拟内容对象361基于投影平面350将被可视化到的深度，并且hud 313可以基于所确定的深度来可视化虚拟内容对象361，以具有基于用户390相对远离或靠近投影平面350的深度。换句话说，可以针对虚拟内容对象361的每个像素确定双目视差。hud 313可以在投影平面350上的虚拟区域360中可视化具有相应深度的虚拟内容对象361。处理器312可以基于hud 313的光学系统将虚拟内容对象361渲染为3d图形表示。3d图形表示可以是具有深度的立体图形表示，并且将在以下示例中被称为图形对象。hud 313可以基于虚拟内容对象361的深度形成显示左图像和右图像的投影平面350，并且可以通过投影平面350将左图像提供给用户390的左眼，并将右图像提供给用户
390的右眼。因此，用户390可以识别被立体渲染的虚拟内容对象361的深度感。
83.hud 313可以包括例如图像生成器314、折叠镜(fold mirror)315和凹面镜316。然而，hud 313的配置不限于上述组件，并且可以包括设计为形成投影平面350的各种组件，其中通过朝向布置在用户390前方的窗户进行投影，将虚拟图像聚焦在投影平面350上。
84.尽管本文中描述了内容可视化装置310安装在车辆上的示例，但是本公开不限于这种示例。内容可视化装置310可以应用于组合现实世界的信息和虚拟世界的信息的技术，例如，ar眼镜或混合现实(mr)设备。
85.在示例中，即使由hud 313形成的投影平面350的位置没有改变，内容可视化装置310也可以通过调整虚拟内容对象361的深度来继续表达虚拟内容对象361的深度。由于不需要改变投影平面350的位置，因此内容可视化装置310可以不需要对hud 313中包括的组件进行物理控制。当内容可视化装置310安装在车辆上时，内容可视化装置310可以在驾驶员前方动态地可视化3d虚拟内容对象361。如图3所示，用户390观察到的场景391可以包括虚拟内容对象361，虚拟内容对象361被叠加在背景和真实物理对象上并且被可视化。
86.内容可视化装置310可以调整虚拟内容对象361以更自然地进行可视化。将在下面进一步描述内容可视化装置310的操作。
87.图4示出了虚拟内容对象的可视化的示例。
88.如上所述，用户可以观察通过投影平面480可视化的图形对象。图4示出了以距用户不同距离布置的第一虚拟内容对象471、第二虚拟内容对象472和第三虚拟内容对象473的可视化示例。参照图4，第一虚拟内容对象471、第二虚拟内容对象472和第三虚拟内容对象473可以具有相同的形状和相同的大小。第一虚拟内容对象471可以是布置在距用户第一距离处的对象。第二虚拟内容对象472可以是布置在距用户第二距离处的对象。第三虚拟内容对象473可以是布置在距用户第三距离处的对象。第三距离可以大于第二距离，并且第二距离可以大于第一距离。
89.第一虚拟内容对象471可以以具有宽度w1和高度h1的形状461投影到投影平面480上。第二虚拟内容对象472可以以具有宽度w2和高度h2的形状462投影到投影平面480上。第三虚拟内容对象473可以以具有宽度w3和高度h3的形状463投影到投影平面480上。当用户和虚拟内容对象之间的距离增加时，投影到投影平面480上的虚拟内容对象的形状可能由于由投影平面480和视点490限定的fov以及场景中包括的消失点而失真。由于上述由消失点引起的失真，虚拟内容对象471、472或473中包括的信息的传递可能受到限制。在图4的示例中，投影到投影平面上的每个单独的虚拟内容对象471、472和473的形状的高度与宽度(h/w)比可以满足h1/w1＞h2/w2＞h3/w3。换句话说，当视点490和虚拟内容对象之间的距离增加时，与预期大小相比，虚拟内容对象可能被平平地显示在投影平面上。
90.在本公开中，每个虚拟内容对象在投影平面上的宽度可以是矩形边界框450的宽度，矩形边界框450包围投影到投影平面上的相应虚拟内容对象的形状。例如，投影到投影平面上的虚拟内容对象的形状的宽度可以是沿着该形状中的最左点和最右点之间的水平轴的距离(例如，该形状的最大水平距离)。内容可视化装置可以计算虚拟内容对象沿参考轴的宽度。类似地，每个虚拟内容对象在投影平面上的高度可以是矩形边界框450的高度，矩形边界框450包围投影到投影平面上的相应虚拟内容对象的形状。例如，投影到投影平面上的虚拟内容对象的形状的高度可以是沿着该形状中的最高点和最低点之间的竖直轴的
距离(例如，该形状的最大竖直距离)。内容可视化装置可以基于属于与虚拟内容对象相对应的空间的点之中，最靠近视点490的近端点在投影平面上的位置和最远离视点490的远端点在投影平面上的位置，来计算虚拟内容对象在投影平面上的高度。
91.在下文中，将描述即使用户和虚拟内容对象之间的距离增加，也可以防止虚拟内容对象的可视性降低的内容可视化的示例。
92.图5和图6示出了内容可视化的示例。
93.参照图5，在操作s510中，内容可视化装置的处理器基于投影到投影平面上的虚拟内容对象的形状来调整虚拟内容对象。在一个示例中，处理器可以为虚拟内容对象设置参考点，并且可以基于该参考点使虚拟内容对象变形。在另一示例中，处理器可以为虚拟内容对象设置参考轴，并且可以基于该参考轴旋转虚拟内容对象。下面将参照图6进一步描述基于参考点使虚拟内容对象变形以及基于参考轴旋转虚拟内容对象的示例。
94.在示例中，处理器可以为与左图像相对应的第一图形对象设置第一参考点和第一参考轴。处理器可以基于第一参考点和第一参考轴来调整第一图形对象。另外，处理器可以为与右图像相对应的第二图形对象设置第二参考点和第二参考轴。处理器可以基于第二参考点和第二参考轴来调整第二图形对象。与以下将参照图6至图14描述的方案相同的方案可以应用于基于参考点和参考轴对左图像和右图像中的每一个的虚拟内容对象进行变形和旋转。例如，可以基于左眼视点来设置与左图像相对应的第一图形对象的第一参考点和第一参考轴。可以基于右眼视点来设置与右图像相对应的第二图形对象的第二参考点和第二参考轴。然而，本公开不限于前述示例，并且左眼视点和右眼视点也可以被确定为相同位置(例如，与眼箱相对应的视点)。
95.除非与描述相反，否则调整虚拟内容对象的操作可以被理解为调整虚拟内容对象的3d形状的操作以及调整投影到投影平面上的虚拟内容对象的形状的操作。
96.参照图5，在操作s520中，内容可视化装置的显示器将调整后的虚拟内容对象可视化在投影平面上。例如，显示器可以将虚拟内容对象的下端部分布置在参考平面上并且可以可视化虚拟内容对象。参考平面可以是对象布置空间的底表面(例如，地面)。处理器可以保持虚拟内容对象的下端部分布置在参考平面上方，并且相应地，显示器可以显示虚拟内容对象，使得虚拟内容对象可以不与参考平面重叠。因此，可以防止由于虚拟内容对象和参考平面之间的重叠而发生串扰。
97.在示例中，显示器可以向用户的左眼提供调整后的第一图形对象，并且可以向用户的右眼提供调整后的第二图形对象。因此，内容可视化装置可以可视化虚拟内容对象以保持对于用户的每个单独视点(例如，左眼视点和右眼视点)的可视性。
98.下面参照图6描述基于参考点的变形和基于参考轴的旋转的示例。
99.参照图6，在操作s611中，内容可视化装置确定内容可视化装置的位置。例如，传感器可以收集与内容可视化装置的位置相关联的信息。内容可视化装置可以基于与内容可视化装置的位置相关联的信息(例如，gnss信息、加速度信息、速度信息或关于周围场景的图像信息)来确定内容可视化装置的位置。
100.在操作s612中，内容可视化装置检索要被可视化的虚拟内容对象。例如，内容可视化装置可以基于所确定的位置从内容db获取内容可视化装置周围的候选对象。内容可视化装置可以通过访问存储在内部存储器中的内容db来加载候选对象，或者可以通过经由外部
服务器访问内容db来接收候选对象。
101.内容db可以包括关于多个虚拟内容对象的信息。例如，内容db可以包括每个虚拟内容对象的位置信息和外观信息。虚拟内容对象的外观信息可以包括例如可视化的虚拟内容对象的形状和大小。例如，当虚拟内容对象是3d图形对象时，外观信息可以包括顶点信息、边缘信息、纹理信息、网格信息和多边形信息。虚拟内容对象的位置信息可以包括虚拟内容对象被映射到的物理位置，并且可以包括例如地理坐标。除了2d坐标外，映射到虚拟内容对象的物理位置还可以是包括距地面高度的3d坐标。
102.例如，内容可视化装置可以基于所确定的位置从内容db获取映射到阈值距离内的物理位置的候选对象。内容可视化装置可以基于内容可视化装置当前所确定的距候选对象的位置来选择映射到对象布置空间内的物理位置的候选对象。
103.在操作s613中，内容可视化装置为虚拟内容对象设置参考点和/或参考轴。例如，内容可视化装置可以将虚拟内容对象布置在显示器提供的对象布置空间中，并且可以基于所布置的虚拟内容对象和用户之间的位置关系来设置参考点和参考轴中的至少一个。
104.内容可视化装置可以基于所检索到的虚拟内容对象的物理位置和用户的位置(例如，内容可视化装置的位置)、视点高度和注视方向来计算所检索到的虚拟内容对象相对于用户当前位置的相对位置。内容可视化装置可以基于所计算出的相对位置将虚拟内容对象布置在对象布置空间中。当用户的位置改变时，内容可视化装置可以基于改变后的用户位置来更新虚拟内容对象在对象布置空间中的位置。
105.内容可视化装置可以将对象沿方向轴的点之一设置为参考点，该方向轴平行于参考平面并且从用户朝向虚拟内容对象的中心定向。内容可视化装置可以在参考点处设置垂直于该方向轴的参考轴。下面将参考图12进一步描述设置参考点和参考轴的示例。
106.在操作s614中，内容可视化装置可以基于参考点使虚拟内容对象变形，或者基于参考轴使虚拟内容对象旋转。例如，内容可视化装置可以将变形和旋转中的一者或两者应用于虚拟内容对象，以防止虚拟内容对象在投影平面上被平平地可视化。因此，内容可视化装置可以使远离用户的虚拟内容对象的可视性最大化。
107.图7至图10示出了虚拟内容对象的变形的示例。
108.在示例中，内容可视化装置可以基于用户的视点790和虚拟内容对象的物理位置之间的距离来使虚拟内容对象变形。例如，内容可视化装置可以沿着从用户朝向参考点定向的方向轴扩展虚拟内容对象的形状。内容可视化装置可以基于投影到投影平面780或平行于投影平面780的平面781、782和783上的虚拟内容对象的形状来确定虚拟内容对象的扩展长度。可以基于视点790和虚拟内容对象的物理位置之间的距离来确定扩展长度。内容可视化装置可以调整虚拟内容对象的扩展长度以保持布置在预定距离处的虚拟内容对象在与预定注视方向轴相对应的视图中被观察到的可视性水平，而与用户和虚拟内容对象之间的距离无关。可视性水平可以指示例如表示信息(例如，图片、字母、数字或符号)的形状被用户清楚地辨别的程度。
109.在一个示例中，当视点790和虚拟内容对象的物理位置之间的距离减小时，内容可视化装置可以减小虚拟内容对象沿平行于参考平面760并且从用户朝向参考点定向的方向轴796的长度。在另一示例中，当视点790和虚拟内容对象的物理位置之间的距离增加时，内容可视化装置可以增加虚拟内容对象沿方向轴796的长度。
110.在图7中，第一虚拟内容对象771可以是布置在距用户第一距离处的对象。第二虚拟内容对象772可以是布置在距用户第二距离处的对象。第三虚拟内容对象773可以是布置在距用户第三距离处的对象。第三距离可以大于第二距离，并且第二距离可以大于第一距离。第一距离至第三距离可以与图4中的第一距离至第三距离相同。如图7所示，布置在第二距离处的第二虚拟内容对象772和布置在第三距离处的第三虚拟内容对象773可以具有从第一虚拟内容对象771沿方向轴796扩展的形状。下面将参照图8描述第一虚拟内容对象771的可视化，该可视化是要向用户提供的目标可视性水平的标准。下面将参照图9和图10描述具有沿平行于参考平面760的参考轴扩展的形状以保持目标可视性水平的第二虚拟内容对象772和第三虚拟内容对象773。第二虚拟内容对象772和第三虚拟内容对象773可以具有变形的第一虚拟内容对象771的形状。第一虚拟内容对象771、第二虚拟内容对象772和第三虚拟内容对象773可以是例如路线引导信息，并且可以指示限速信息(例如，限速为每小时100公里(100km/h)以下)。
111.图8示出了与距用户的第一距离相匹配的第一虚拟内容对象771的可视化的示例。例如，内容可视化装置可以输出图形对象810，图形对象810表示投影到投影平面780上的第一虚拟内容对象771的形状。在第一虚拟内容对象771的参考点处平行于投影平面780的平面781可以是投影平面780沿fov被放大的平面。平面781的侧表面880可以具有与投影平面780的侧表面相同的大小，并且可以如图8所示按比例缩放和表示。投影到投影平面780上的第一虚拟内容对象771可以具有高度h1和宽度w1。内容可视化装置可以在所有距离处保持图形对象810在投影平面780上的h/w比。内容可视化装置可以通过保持图形对象810在投影平面780上的h/w比来提供在第一距离处甚至在各种距离处用于观察第一虚拟内容对象771的可视性水平。
112.在示例中，内容可视化装置可以基于图形对象810在投影平面780上的h/w比来改变虚拟内容对象。例如，内容可视化装置可以确定为参考距离(例如，3m)指定的目标比。在图8中，内容可视化装置可以将第一距离确定为参考距离，并且可以将图形对象810的h/w比确定为目标比，其中图形对象810表示在参考距离处可视化并投影到投影平面780上的第一虚拟内容对象771的形状。在参照图9和图10提供的以下描述中，可以针对第二虚拟内容对象772和第三虚拟内容对象773保持目标比。
113.参照图9，内容可视化装置可以沿着虚拟内容对象的方向轴796扩展长度930。内容可视化装置可以使投影的虚拟内容对象的形状的h/w比适合针对参考距离指定的目标比。例如，内容可视化装置可以使第二图形对象910的h
′2/w2比适合作为目标比的h1/wi比，其中第二图形对象910表示投影到投影平面780上的第二虚拟内容对象772的形状。当布置在第二距离处的具有高度h2的第二虚拟内容对象772被投影到投影平面780上时，如图9所示，内容可视化装置可以将第二图形对象910的高度增加δh2。换句话说，内容可视化装置可以通过沿方向轴796扩展长度930来增加投影平面780和投影平面780的侧表面980中的高度h
′2。
114.参照图10，类似于图9，内容可视化装置可以基于目标比沿虚拟内容对象的方向轴796扩展长度1030。例如，内容可视化装置可以使第三图形对象1010的h
′3/w3比适合作为目标比的h1/w1比，其中第三图形对象1010表示投影到投影平面780上的第三虚拟内容对象773的形状。当布置在第三距离处的具有高度h3的第三虚拟内容对象773被投影到投影平面780上时，如图10所示，内容可视化装置可以将第三图形对象1010的高度增加δh3。换句话说，
内容可视化装置可以通过沿方向轴796扩展长度1030来增加投影平面780和投影平面780的侧表面1080中的高度h
′3。
115.可视性水平可以取决于观察对象的注视轴角度以及距离。注视轴角度可以是在注视方向轴和参考平面760之间形成的角度。例如，当以第一注视轴角度和第一距离观看的第一虚拟内容对象771具有h1/w1比时，并且当如上所述针对第二虚拟内容对象772和第三虚拟内容对象773保持上述的h1/w1比时，可以提供犹如以第一距离(例如，3m)和第一注视轴角度(例如，向下20度)观察第二虚拟内容对象772和第三虚拟内容对象773的相同可视性水平。因此，即使当距离增加时所输出虚拟内容的大小减小，由消失点引起的失真也可以被最小化。
116.另外，用户可以选择表示投影到投影平面上的虚拟内容的形状的图形对象的h/w比。例如，在初始化操作期间，内容可视化装置可以以各种角度和距用户的各种距离来可视化用于校准的初步图形对象。内容可视化装置可以将用户选择的初步图形对象在投影平面上的h/w比应用于其他初步图形对象。
117.图11示出了虚拟内容对象的旋转的示例。
118.在示例中，内容可视化装置可以基于参考轴旋转虚拟内容对象。内容可视化装置可以旋转虚拟内容对象，使得虚拟内容对象可以立于参考平面760(例如，地面)上。例如，当用户的视点和虚拟内容对象的物理位置之间的距离减小时，内容可视化装置可以减小参考平面760和虚拟内容对象的底表面之间基于参考轴的角度。当用户的视点和虚拟内容对象的物理位置之间的距离增加时，内容可视化装置可以增加参考平面760和虚拟内容对象的底表面之间基于参考轴的角度。内容可视化装置可以调整参考平面760和虚拟内容对象的底表面之间的角度，使得表示投影到投影平面上的虚拟内容对象的形状的图形对象的h/w比可以适合目标比。
119.如图11所示，可以将布置在第二距离处的第二虚拟内容对象1172旋转第一角度1132。可以将布置在第三距离处的第三虚拟内容对象1173旋转第二角度1133。第二角度1133可以大于第一角度1132。通过投影第二虚拟内容对象1172获得的第二图形对象1112和通过投影第三虚拟内容对象1173获得的第三图形对象1113可以具有适合目标比的形状。
120.图12和图13示出了为虚拟内容对象设置参考点和参考轴的示例。
121.如上所述，内容可视化装置可以从内容db中检索多个候选对象(例如，第一候选对象1211、第二候选对象1212和第三候选对象1213)之中位于对象布置空间1289中的虚拟内容对象1220。例如，当内容可视化装置被安装在车辆上或被实现为车辆本身时，内容可视化装置可以基于车辆的位置来确定要向用户提供的虚拟内容对象。尽管示出了单个虚拟内容对象(即，虚拟内容对象1220)，但是本公开不限于该示例。例如，在对象布置空间1289中可以存在多个虚拟内容对象1220。如上所述，可以基于例如投影平面1280和用户的视点1290的fov来确定对象布置空间1289。
122.在示例中，内容可视化装置可以将属于与虚拟内容对象1220相对应的空间的点之一设置为参考点1231。内容可视化装置可以基于参考点1231来改变虚拟内容对象1220。
123.内容可视化装置可以将平行于参考平面并且从用户朝向虚拟内容对象1220定向的方向轴穿过虚拟内容对象1220的点之一确定为参考点1231。例如，内容可视化装置可以基于视点1290和所述点的物理位置之间的距离来选择属于与虚拟内容对象1220相对应的
空间的点之一。内容可视化装置可以将所述点中最靠近视点1290的点确定为参考点1231。然而，本公开不限于该示例，并且参考点1231也可以被设置为虚拟内容对象1220所占据的空间中的点(例如，中心点)。
124.另外，内容可视化装置可以在参考点1231处设置与从用户朝向参考点1231定向的方向轴垂直的参考轴1240。例如，可能需要将到虚拟内容对象1220的最短距离设置为参考点1231，并且可能需要基于参考点1231来设置参考轴1240，以防止在虚拟内容对象1220旋转期间发生与参考平面的串扰。
125.内容可视化装置可以在从参考点1231起的注视方向上将沿着平行于参考平面并且从视点1290朝向虚拟内容对象1220定向的方向轴1232的扩展1239应用于虚拟内容对象1220。内容可视化装置可以将基于参考轴1240的旋转1249应用于虚拟内容对象1220。
126.尽管上面已经参考图12描述了虚拟内容对象位于视点前方的示例，但是以上描述类似地适用于倾斜于视点1390的注视中心轴1391布置的虚拟内容对象1320，如图13所示。例如，内容可视化装置可以将在视点1390和虚拟内容对象1320之间的最短距离处的点设置为参考点1331。内容可视化装置可以在参考点1331处设置与平行于参考平面并且从视点1390朝向参考点1331定向的方向轴1332垂直的参考轴1340。内容可视化装置可以将基于参考点1331和方向轴1332的扩展1339和基于参考轴1340的旋转1349中的一者或两者应用于虚拟内容对象1320。因此，可以将投影平面上的与虚拟内容对象1320相对应的图形对象1321调整为具有增强可视性的图形对象1322。因此，即使注视中心轴1391不面对对象，也可以使比例调整期间的失真最小化。
127.图14示出了虚拟内容对象的各种变形的示例。
128.在示例中，当检测到用户的视点1490移动时，内容可视化装置可以改变虚拟内容对象的形状。例如，内容可视化装置可以将基于参考点的变形和基于参考轴的旋转中的一者或两者应用于虚拟内容对象。
129.例如，当投影到平行于投影平面1480的虚拟平面(例如，第一平面1411和第二平面1421)上的虚拟内容对象的形状的高度h
′
和h
″
相同时，可以保持上述目标比。第一平面1411和第二平面1421可以分别布置在布置有多条虚拟内容的位置处。例如，在第一距离处投影到第一平面1411上的第一虚拟内容对象1410的形状的高度h
′
和在第二距离处投影到第二平面1421上的第二虚拟内容对象1420的形状的高度h
″
可以保持相同。在该示例中，第一虚拟内容对象1410在第一距离处的宽度和第二虚拟内容对象1420在第二距离处的宽度可以与w相同。因此，当第一平面1411和第二平面1421平行于投影平面1480的高度1450相同时，如上所述，可以保持以上参照图1至图13描述的目标比。
130.因此，内容可视化装置可以基于视点1490、投影平面1480和高度1450来确定第一虚拟内容对象1410沿参考平面的长度b
′
和第二虚拟内容对象1420沿参考平面的长度b
″
。例如，当虚拟内容对象的底表面平行于参考平面时，内容可视化装置可以将虚拟内容对象扩展到各自的最大长度b
′
和b
″
。另外，内容可视化装置可以基于视点1490、投影平面1480和高度1450来确定虚拟内容对象的扩展长度和旋转角度。
131.处理器230和312、存储器240、图像生成器314、执行本技术中所描述的操作的图1-图14中的处理器和存储器通过被配置为执行由硬件组件执行的本技术中所描述的操作的硬件组件来实现。在适当的情况下可用于执行本技术中所描述的操作的硬件组件的示例包
括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行本技术中所述的操作的任何其他电子组件。在其他示例中，用于执行本技术中所描述的操作的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(例如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望结果的任何其他设备或设备的组合)来实现。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，例如，操作系统(os)和在os上运行的一个或多个软件应用，以执行本技术中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本技术中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器、或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、单指令多数据(simd)多处理、多指令单数据(misd)多处理和多指令多数据(mimd)多处理。
132.执行本技术中所描述的操作的图1-图14中示出的方法由计算硬件执行，例如，由一个或多个处理器或计算机执行，其中计算硬件如上所述地实现为执行指令或软件以执行本技术中所描述的由这些方法执行的操作。例如，单个操作或者两个或更多个操作可以由单个处理器、或者两个或更多个处理器、或者处理器和控制器执行。一个或多个操作可以由一个或多个处理器、或者处理器和控制器执行，并且一个或多个其他操作可以由一个或多个其他处理器、或者另一处理器和另一控制器执行。一个或多个处理器或者处理器和控制器可以执行单个操作或者两个或更多个操作。
133.用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，用于单独或共同地指示或配置一个或多个处理器或计算机作为机器或专用计算机操作以执行由上述硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级的代码。可以基于附图中所示出的框图和流程图以及说明书中的对应描述(其公开了用于执行由硬件组件执行的操作和如上所述的方法的算法)，使用任何编程语言来编写指令或软件。
134.用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或其上。非暂时性计算机可读存储介质的示例包括只读存储器(rom)、随机存取存储器(ram)、闪存、cd-rom、cd-r、cd r、cd-rw、
cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、磁带、软盘、磁光数据存储设备、光学数据存储设备、硬盘、固态盘、以及被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并且提供指令或软件以及任何相关联的数据、数据文件和数据结构给一个或多个处理器或计算机，使得该一个或多个处理器或计算机可以执行指令的任何其他设备。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何相关联的数据、数据文件和数据结构。
135.尽管本公开包括特定示例，但是在理解了本技术的公开内容之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例应仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述应被认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其他组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不是由详细描述来限定，而是由权利要求及其等同物来限定，并且在权利要求及其等同物的范围内的所有变化都被解释为包括在本公开中。