用于检测可穿戴设备的空间方位的系统和方法与流程

1.本公开涉及一种用于检测可穿戴设备的空间方位的系统、一种具有这样的系统的车辆、一种具有这样的系统的辅助系统、一种用于检测可穿戴设备的空间方位的方法以及一种用于实施该方法的存储介质。本公开尤其是涉及数据眼镜的跟踪。


背景技术：

2.智能眼镜或数据眼镜是可穿戴计算机，其可以为用户的视野添加信息，以便例如能够实现增强现实。这种数据眼镜也可以应用在车辆中，以便通过插入到周围环境中的虚拟元素为用户提供流畅的且可信的假象。为了能够正确地显示虚拟元素，必须确定数据眼镜的姿态。这例如可以借助检测数据眼镜的摄像机来实现。然而，这种传统的跟踪系统尤其是由于对象特征的典型有限的数量而不能实现对于增强现实所期望的精确度。


技术实现要素：

3.本公开的任务是，给出一种用于检测可穿戴设备的空间方位的系统、一种具有这样的系统的车辆、一种具有这样的系统的辅助系统、一种用于检测可穿戴设备的空间方位的方法以及一种用于实施该方法的存储介质，其能够实现改进地跟踪可穿戴设备的空间方位。尤其是，本公开的任务是改进地提供用于可穿戴设备的增强现实(ar)内容。
4.所述任务通过独立权利要求的技术方案来解决。在各从属权利要求中给出有利的设计方案。
5.根据本公开的一个独立方面给出一种用于检测可穿戴设备、尤其是数据眼镜的空间方位的系统。该系统包括：至少一个检测单元，所述检测单元被配置用于检测关于可穿戴设备的图像数据；以及至少一个处理器单元，所述处理器单元被配置用于在使用借助深度学习训练的识别算法的情况下基于所述图像数据确定可穿戴设备的空间方位。
6.根据本发明，借助深度学习来训练识别算法，以便确定可穿戴设备的空间方位。由此能够实现改进地提供增强现实(ar)内容。在此，深度学习是指一种机器学习的方法，该方法在输入层与输出层之间使用具有中间层或隐层的人工神经网络并且由此形成内部结构。
7.在本公开范围内所使用的术语“增强现实”涉及计算机辅助地扩大用户的现实感知。尤其是，术语“增强现实”涉及信息(例如计算机生成的附加信息或虚拟对象)借助插入或叠加的视觉显示。
8.优选地，可穿戴设备是数据眼镜(“智能眼镜”)。数据眼镜或智能眼镜是可穿戴设备，其例如在增强现实的范围内为用户或穿戴者的视野添加信息。然而，本公开不限于此，并且可穿戴设备可以是其空间方位将被确定的其他对象。
9.在本公开范围内所使用的术语“方位”或“空间方位”涉及可穿戴设备在三维空间中的布置或姿态。空间方位可以以合适的方式从图像数据中推导出。
10.所述方位可以包括关于可穿戴设备和可选地关于在其上设置有可穿戴设备的身体部分的一维、二维或三维信息。在此，所述方位可以是绝对的或相对的。优选地，在其上设
置有可穿戴设备的身体部分是用户的头部并且尤其是可穿戴设备的用户或穿戴者的面部。用户例如可以是车辆的驾驶员。
11.优选地，图像数据给出至少一个单个图像(einzelbild，单帧)或者说包括或定义至少一个单个图像。所述至少一个处理器单元可以被配置用于从所述至少一个单个图像中提取可穿戴设备的空间方位。尤其是，可以基于例如在车辆内部空间中由摄像机所拍摄的各单个图像在运行时间借助识别算法在位置和方位方面对可穿戴设备进行定位。
12.术语“单个图像”在此意味着，识别算法从各单个图像中提取关于可穿戴设备的空间方位的信息。换句话说，在本公开的该示例性实施方式中，可穿戴设备的空间方位的提取不是基于多个图像的序列的(时间)相关性，而是基于独立的单个图像实现，或者在不考虑各单个图像的(时间)相关性的情况下实现。
13.借助深度学习训练的识别算法能够从各单个图像中精确地确定可穿戴设备的姿态(位置和方位)。例如，可以通过收集可穿戴设备的图像(在这些图像中可穿戴设备出现在不同的位置和方位中)以及通过记录该位置和方位作为地面实况利用深度学习方法来训练该系统或识别算法。在此，在训练数据中利用不同的可穿戴设备进行训练能够实现跟踪各种可穿戴设备并且因此实现可扩展性。结果是能够识别和定位不同的对象类型，例如各种各样的数据眼镜。
14.优选地，图像数据是视频数据。术语“视频数据”在此涉及运动图像的拍摄和处理。
15.优选地，所述至少一个处理器单元被配置用于从视频数据中提取可穿戴设备的空间方位。例如，在该实施方式中(并且与之前所描述的实施方式不同)，可穿戴设备的空间方位可以基于视频数据的一序列彼此相继的单个图像的时间相关性来确定。
16.借助深度学习训练的识别算法能够从视频数据和包含在该视频数据中的关于时间关联的附加信息中精确地确定可穿戴设备的姿态(位置和方位)。例如，可以通过拍摄可穿戴设备的视频(在该视频中可穿戴设备出现在不同的位置和方位中)以及通过记录该位置和方位作为地面实况利用深度学习方法来训练该系统或识别算法。在此，在训练数据中利用不同的可穿戴设备进行训练能够实现跟踪各种可穿戴设备并且因此实现可扩展性。结果是能够识别和定位不同的对象类型，例如各种各样的数据眼镜。
17.优选地，所述至少一个处理器单元被进一步配置用于基于所述图像数据并且在使用借助深度学习训练的识别算法的情况下确定可穿戴设备的深度信息或形状。
18.尤其是，借助深度学习训练的识别算法可以确定可穿戴设备的三维(3d)形状，由此能够进一步改进可穿戴设备的定位。在此，在训练数据中利用不同的可穿戴设备进行训练能够实现确定各种可穿戴设备的3d形状并且因此能够实现可扩展性。结果是能够识别和定位不同的对象类型，例如各种各样的数据眼镜。
19.优选地，所述至少一个检测单元包括至少一个深度传感器，所述深度传感器被配置用于检测关于可穿戴设备的深度信息。
20.借助深度学习训练的识别算法可以在使用所检测到的深度信息(一个或多个深度图和/或一个或多个云点)来精确地确定可穿戴设备的姿态。例如，可以通过收集可穿戴设备的深度信息(在所述深度信息中可穿戴设备出现在不同的位置和方位中)以及通过记录该位置和方位作为地面实况利用深度学习方法来训练该系统或识别算法。在此，在训练数据中利用不同可穿戴设备进行训练能够实现跟踪各种可穿戴设备并且因此实现可扩展性。
结果是能够识别和定位不同的对象类型，例如各种各样的数据眼镜。
21.优选地，所述系统包括学习单元，该学习单元被配置用于基于检测到的图像数据实施(进一步的)深度学习。
22.因此，该系统可以借助深度学习从各单个图像中明显更精确地确定姿态。在此，出现在不同位置和方位中的可穿戴设备的图像可被用作训练数据。与这些数据时间同步地，可以记录位置和方位的地面实况。借助所标记的数据，可以利用深度学习方法来训练该系统。
23.在一些实施方式中，在将系统应用于车辆之前、即在投入实际运行之前借助深度学习进行训练。在其它实施方式中，该系统可以在实际运行中使用期间被进一步训练，以便不断地改进可穿戴设备的姿态确定。
24.在一些实施方式中，还可以通过用不同的可穿戴设备进行训练来实现跟踪不同类型的可穿戴设备。这导致高的可扩展性。与传统的方案不同，能够这样实现训练，使得一旦各种可穿戴设备例如在摄像机图像中可见，则可以对其进行识别和定位。
25.优选地，所述系统被配置用于：基于可穿戴设备的所确定的空间方位来为可穿戴设备提供增强现实(ar)功能。
26.优选地，该系统被配置用于检测可穿戴设备关于车辆内部的空间方位。因此，例如可以向穿戴数据眼镜的车辆驾驶员提供增强现实内容，该增强现实内容与车辆运动以及驾驶员头部或数据眼镜的运动匹配。
27.优选地，所述至少一个检测单元包括摄像机、尤其是内部空间摄像机。所述摄像机可以检测可穿戴设备，使得可以基于可穿戴设备的特征来确定可穿戴设备的准确姿态。在一些实施方式中，摄像机可以是红外摄像机，该红外摄像机由于图像数据的受控制的、在很大程度上无干扰的且恒定的曝光而是有利的。
28.所述至少一个处理器单元是可编程的运算器，即机器或电子电路，其根据传输的指令控制其它元件并且在此推进算法(过程)。
29.根据本公开的另一个独立方面给出一种车辆、尤其是机动车。该车辆包括根据本公开实施方式的用于检测可穿戴设备、尤其是数据眼镜的空间方位的系统。
30.术语“车辆”包括用于运输人员、货物等的轿车、货车、公共汽车、房车、摩托车等。该术语尤其是包括用于人员运输的机动车。
31.根据本公开的另一个独立方面给出一种尤其是用于车辆的辅助系统。该辅助系统包括根据本公开实施方式的用于检测可穿戴设备的空间方位的系统以及可穿戴设备、诸如数据眼镜。
32.优选地，该可穿戴设备是眼镜、并且尤其是增强现实(ar)眼镜或数据眼镜。
33.根据本公开的另一个独立方面给出一种用于检测可穿戴设备、尤其是数据眼镜的空间方位的方法。该方法包括：检测关于可穿戴设备的图像数据；并且基于所述图像数据并且在使用借助深度学习训练的识别算法的情况下确定可穿戴设备的空间方位。
34.该方法可以实现在本文中所描述的用于检测可穿戴设备、尤其是数据眼镜的空间方位的系统的各方面。
35.根据另一个独立方面给出一种软件(sw)程序。该sw程序可以被配置用于在一个或多个处理器上实施，并且由此实施在本文中所描述的用于检测可穿戴设备、尤其是数据眼
镜的空间方位的方法。
36.根据另一个独立方面给出一种存储介质。该存储介质可以包括sw程序，该sw程序被配置用于在一个或多个处理器上实施，并且由此实施在本文中所描述的用于检测可穿戴设备、尤其是数据眼镜的空间方位的方法。
37.根据本公开的另一个独立方面，当具有程序代码的软件在一个或多个软件控制的装置上运行时实施该软件，以便执行用于检测可穿戴设备、尤其是数据眼镜的空间方位的方法。
附图说明
38.在附图中示出并且在下面进一步描述本公开的实施例。在附图中：
39.图1示意性地示出根据本公开实施方式的用于检测可穿戴设备的空间方位的系统，
40.图2示意性地示出根据本公开实施方式的用户所穿戴的数据眼镜，以及
41.图3示出根据本公开实施方式的用于检测可穿戴设备的空间方位的方法的流程图。
具体实施方式
42.在下面只要没有另外说明，对于相同的和相同作用的元件使用相同的附图标记。
43.图1示意性地示出根据本公开实施方式的用于检测可穿戴设备10的空间方位的系统100。图2示意性地示出根据本公开实施方式的用户穿戴在其头部20上的数据眼镜。
44.系统100包括至少一个检测单元110和至少一个处理单元120。所述至少一个检测单元110(其可以是例如摄相机)被配置用于检测关于可穿戴设备10的图像数据。所述至少一个处理器单元120被配置用于在使用借助深度学习训练的识别算法的情况下基于所述图像数据确定可穿戴设备10的空间方位。
45.利用根据本发明的系统100，例如能够借助基于学习的方法确定增强现实眼镜在车辆内部空间中的姿态(或者说位置和方位)。结果是能够在数据眼镜中借助插入到(实际的)周围环境中的虚拟元素向用户提供流畅且可信的假象。尤其是通过使用深度学习能够实现精确地定位数据眼镜。由此能够实现在数据眼镜中准确地显示虚拟对象。
46.以下描述能够实现对可穿戴设备10进行定位的示例性、等效的和可组合的实施方式。
47.第一种示例性的实施方式
48.在第一种示例性的实施方式中，由所述至少一个检测单元110检测到的图像数据给出至少一个单个图像或者说包括或定义至少一个单个图像。尤其是，可穿戴设备10可以基于例如在车辆内部空间中由摄像机所拍摄的各单个图像在运行时间借助识别算法定位在位置和方位中。
49.例如，摄像机可以拍摄可穿戴设备的图像。尤其是，红外光谱中的摄像机对于在车辆中的使用由于图像数据的受控制的、在很大程度上无干扰的且恒定的曝光而是有利的。基于一定量(大量)的训练数据，经训练的系统100可以自动确定在图像中的诸如对比度梯度和/或边缘的特征，系统100在运行时可以采用所述特征进行姿态确定。由这些单个图像
和在这些图像中存在的特征可以确定可穿戴设备10的姿态或方位。在一些实施方式中，可以传输可穿戴设备10的所确定的姿态或方位，以便现实地显示虚拟对象。
50.在一些可以与在此描述的其它实施方式组合的实施方式中，系统100可以继续进一步学习并且改进姿态确定。例如，系统100包括学习单元，该学习单元被配置用于基于图像数据对识别算法实施(进一步的)深度学习。
51.第二种示例性的实施方式
52.在第二种示例性的实施方式中，图像数据是视频数据。在此，所述至少一个处理器单元120可以被配置用于从所述视频数据中提取可穿戴设备10的空间方位。例如，在该实施方式中(并且与之前所述的第一种实施方式不同)，可穿戴设备10的空间方位可以基于视频数据的一序列彼此相继的单个图像的时间相关性来确定。
53.例如，可以使用摄像机连续拍摄视频用于姿态确定。尤其是，红外光谱中的摄像机对于在车辆中的使用由于视频数据的受控制的、在很大程度上无干扰的且恒定的曝光而是有利的。基于一定量(大量)的训练数据，经训练的系统100可以自动确定在图像中的诸如对比度梯度和/或边缘的特征，系统100在运行时可以采用所述特征进行姿态确定。由所述视频和包含在该视频中的时间信息可以确定可穿戴设备10的姿态或方位。在一些实施方式中，可以传输可穿戴设备10的所确定姿态或方位，以便为用户现实地显示虚拟对象。
54.在一些可以与在此描述的其它实施方式组合的实施方式中，系统100可以继续进一步学习并且改进姿态确定。例如，系统100包括学习单元，该学习单元被配置用于基于视频数据对识别算法实施(进一步的)深度学习。
55.第三种示例性的实施方式
56.在第三种示例性的实施方式中，基于检测到的图像数据来确定可穿戴设备10的深度信息，使得能够改进可穿戴设备的定位。
57.例如，摄像机可以拍摄可穿戴设备10的图像和/或视频。尤其是，红外光谱中的摄像机对于在车辆中的使用由于图像数据的受控制的、在很大程度上无干扰的且恒定的曝光而是有利的。
58.相比于传统的立体观测法，根据本公开的第三种实施方式，借助深度学习从图像信息中学习可穿戴设备(例如数据眼镜)的深度信息或形状并且隐含地确定可穿戴设备的立体特性。因此，不必使用专用和特殊的深度摄像机，由此能够降低根据本发明的系统的制造成本。此外能够获得更准确的深度精度，因为经训练的网络自动确定关于同时记录的图像的最佳像素对应。深度信息可被用于可穿戴设备的姿态确定，例如以便为用户在数据眼镜中现实地显示虚拟对象。
59.深度信息例如也能够实现将数据眼镜应用在车辆中，以便借助真实存在的对象与其他人员(例如“全息”视频电话)或者借助对象与车辆进行远程交互。一种示例是检测和识别对象(例如鞋子)以便在线上商店或在直接在车辆之外的本地商店中进行搜索。因此，对象的深度信息或形状的准确确定可被用于在商店中搜索物品。
60.在一些可以与在此描述的其它实施方式组合的实施方式中，系统100可以继续进一步学习并且改进深度确定。例如，系统100包括学习单元，该学习单元被配置用于基于图像数据对识别算法实施(进一步的)深度学习。
61.第四种示例性的实施方式
62.在第四种实施方式中，所述至少一个检测单元包括至少一个深度传感器，所述深度传感器被配置用于检测关于可穿戴设备的深度信息。换句话说，图像数据(也)可以包括深度信息。
63.深度信息通过根据本发明的基于深度学习的系统被用于姿态确定。深度传感器在此确定可穿戴设备和可选地确定用户(例如驾驶员)的深度信息和形状。经训练的系统可以从大量的训练数据中自动确定例如云点的点之间的位置差异及其来自深度信息的定向，系统在运行时使用所述位置差异和所述定向来确定姿态。在一些实施方式中，可以传输可穿戴设备10的所确定的姿态或方位，以便为用户现实地显示虚拟对象。
64.在一些可以与在此描述的其它实施方式组合的实施方式中，系统100可以继续进一步学习并且改进姿态确定。例如，系统100包括学习单元，该学习单元被配置用于基于深度信息对识别算法实施(进一步的)深度学习。
65.图3示意性地示出根据本公开实施方式的用于检测可穿戴设备的空间方位的方法300的流程图。
66.方法3 00可以由相应的软件来实现，所述软件能由一个或多个处理器(例如cpu)实施。
67.该方法300在方框310中包括检测关于可穿戴设备的图像数据；并且在方框320中包括基于所述图像数据并且在使用借助深度学习训练的识别算法的情况下确定可穿戴设备的空间方位。
68.根据本发明，借助深度学习来训练识别算法，以便确定可穿戴设备的空间方位。由此能够实现改进地提供增强现实(ar)内容。
69.尽管已经通过优选的实施例对本发明进行了更详细的说明和解释，但本发明不受所公开的示例的限制并且本领域技术人员可从中推导出其它变型方案，而不脱离本发明的保护范围。因此清楚的是，存在多种变型可能性。同样清楚的是，示例性地提到的实施方式实际上仅构成示例，其不应以任何方式被理解为对本发明的保护范围、应用可能性或设计的限制。相反，在先的说明和附图说明使本领域技术人员能够具体地实现示例性实施方式，其中，本领域技术人员在了解所公开的发明构思的情况下可做出各种改变，例如关于在示例性实施方式中提到的各个元件的功能或布置，而不脱离由权利要求及其法律等效方案、如在说明书中的广泛描述所定义的保护范围。