增强现实系统的制作方法

1.本发明涉及一种带有头戴式设备和控制元件的增强现实系统(ar系统)以及一种用于运行这样的增强现实系统的方法。本发明此外涉及一种增强现实系统的控制元件。


背景技术：

2.us 2017/0357333 a1(通过参考以其整体并入)公开了一种这样的带有头戴式设备(headset)和控制元件的增强现实系统。在us 2017/0357333 a1中公开的控制元件是笔形的(stiftf
ö
rmig)并且具有长型的中间部件，在该中间部件的端部处设置有光学标记物(marker)。此外，控制元件具有状态led和开关。
3.us 2015/0084855 a1公开了一种头戴式设备(头戴式显示器(hmd))，利用其可识别出用户的手势。us 2006/0227151 a1公开了一种系统，借助于其可将虚拟物体与现实视频或现实空间(工人在其中活动)叠加。us 2007/0184422 a1公开了一种另外的ar系统。
4.de 102015215613 a1公开了一种用于产生增强现实图像的方法，其中，借助于摄像机来记录现实物体的现实图像，其中，从现实物体的现实图像中产生现实物体的边缘图像(kantenbild)，其中，借助于边缘图像来确定虚拟的图像组成部分相对于借助于摄像机记录的现实图像的位置，并且其中，将虚拟的图像组成部分与现实图像的至少一个部分组合成增强现实图像(并且有利地显示在显示器上)。


技术实现要素：

5.本发明的目的是改善开头提到的ar系统或扩展其功能性。
6.前面提到的目的通过控制元件、尤其笔式/长型的控制元件、尤其以笔的形式的控制元件来实现，其中，控制元件包括用于确定控制元件的取向的第一标记物和第二标记物以及用于发射光束的光源。控制元件为了跟踪或确定其定向还可包括尤其与us 2017/037333 a1的教导相应的陀螺仪(kreisel,有时称为回转仪)。此外，尤其设置成，控制元件包括cpu以及为了供电包括蓄电池。
7.可设置成，可将第一标记物与第二标记物区分。尤其可设置成，光源侧的标记物设计为环或包括环。光束可包括可见光，然而光束还可包括uv光或红外光。在有利的设计方案中，光源是二极管或激光二极管。例如通过脉冲和/或编码可使光束个性化。如果编码或脉冲被传达给头戴式设备或由头戴式设备已知，以该方式该头戴式设备可特别适合地辨识出借助于光束标记的物体。在本发明的另一设计方案中，控制元件具有测距器或者光源是测距器的一部分。
8.在本发明的此外有利的设计方案中，控制元件具有轮廓、结构或纹理或类似的，其允许或使能够在触觉上或用手识别出控制元件的取向。在本发明的此外有利的设计方案中，控制元件具有至头戴式设备的接口。在有利的设计方案中，该接口是无线接口或用于无线通信的接口。在本发明的此外有利的设计方案中，控制元件具有一个或多个操作元件。这些操作元件尤其用于调节光源和/或触发借助于光束标记的区域的识别。
9.前面提到的目的此外通过带有头戴式设备的增强现实系统来实现，该增强现实系统包括透明的显示器(透视显示器(durchsichtdisplay))，借助于其可显示虚拟的图像组成部分，其中，头戴式设备具有摄像机组件(用于记录头戴式设备的周围环境的图像)以及跟踪系统(用于根据现实的周围环境的图像来确定虚拟的图像组成部分在透明的显示器上的位置(和取向))，并且其中，增强现实系统具有前面提到的控制元件。在该公开的意义中的头戴式设备尤其还是头戴式显示器(hmd)或数据眼镜或ar眼镜。在该公开的意义中的适合的头戴式设备例如是microsoft
®
的hololens
®
。在该公开的意义中的摄像机组件尤其是带有至少两个摄像机的立体摄像机组件。在该公开的意义中的跟踪系统尤其是无标记物的跟踪系统。
10.可设置成，增强现实系统包括至少两个控制元件和/或至少两个头戴式设备。其例如可形成(带有两个用户的)共同作用的组。
11.在本发明的此外有利的设计方案中，头戴式设备和控制元件在数据技术上借助于尤其无线的通信系统相连接。
12.在本发明的此外有利的设计方案中，头戴式设备或增强现实系统具有局部位置确定模块，用于识别或用于确定头戴式设备的周围环境的借助于光束标记的点或区域的位置。
13.前面提到的目的此外通过用于运行前面提到的增强现实系统的方法来实现，其中，在透明的显示器的视野中借助于光束来标记增强现实系统的周围环境的点或区域。
14.在本发明的(此外)有利的设计方案中，将局部位置和/或全局位置与所标记的点或区域相关联。在本发明的此外有利的设计方案中，将功能与局部位置或全局位置相关联。在本发明的此外有利的设计方案中，测量和/或分离所标记的区域。
附图说明
15.另外的优点和细节由实施例的接下来的说明得出。其中：图1示出了一实施例，图1示出了带有头戴式设备和在数据技术上与头戴式设备相耦联的笔形控制元件的增强现实系统，图2示出了用于根据图1的增强现实系统的控制元件的另一实施例，图3示出了用于根据图1的增强现实系统的控制元件的另一实施例，图4示出了用于根据图1的增强现实系统的控制元件的另一实施例，图5以示例性的原理图示出了根据图1的增强现实系统，图6以示例性的原理图示出了根据图5的增强现实系统的变型方案，图7示出了用于增强现实系统的一示例性应用场景，图8示出了用于前面提到的增强现实系统的另一示例性应用场景，图9示出了用于前面提到的增强现实系统的另一示例性应用场景，以及图10示出了用于前面提到的增强现实系统的另一示例性应用场景。
具体实施方式
16.图1示出了增强现实系统1，其带有(由用户穿戴的)头戴式设备10和在数据技术上与头戴式设备10相耦联的笔形的控制元件20。头戴式设备10包括带有至少两个摄像机kam1
和kam2的摄像机组件kam(参考图5和图6)以及透明的显示器11(透视显示器)。与显示器11相关联的或关于其取向的摄像机组件kam用于记录由头戴式设备10的用户看到的周围环境或相应的物体的现实图像rb。由摄像机组件kam输出的现实图像rb是到无标记物的跟踪系统12中的输入信号，该跟踪系统确定现实图像rb的取向(位置/位置信号)pos。现实图像rb的取向(位置/位置信号)pos是跟踪系统12的输出信号和到场景生成器15中的输入信号。
17.增强现实系统此外包括带有虚拟的图像组成部分的数据库14或虚拟的图像组成部分的其他来源。场景生成器15从该数据库14或其他来源中提取虚拟的图像组成部分virt，该图像组成部分被定位在确定的部位处，使得其在该部位处可借助于透明的显示器来显示。在此在用户的眼睛中实现现实与虚拟的图像组成部分之间的叠加。
18.控制元件20包括标记物m1和标记物m2以及用于发出光束211的光源21。控制元件20此外包括两个操作元件b1和b2，用于操作光源21或用于触发借助于光束211标记的点或区域的识别。
19.图2、图3和图4示出了笔形的控制元件20的备选的设计方案，它们在标记物方面彼此区分。如此，在图2中示出的笔形的控制元件201包括两个环形的标记物m1和m2。在根据图3和图4的两个实施例中，相应的笔形的控制元件202和203具有可区分的标记物，其中，笔形的控制元件202的以附图标记m21标明的标记物设计为环并且笔形的控制元件202的以附图标记m22标明的标记物设计为双重环。在图4中示出的笔形的控制元件203中，以附图标记m31标明的标记物设计为帽(kappe)并且以附图标记m32标明的标记物设计为环。
20.图5以原理图示出了增强现实系统1。在此，图5示出了控制元件20以及头戴式设备10的实施例的原理结构。控制元件20包括光源控制装置25，用于根据操作元件b1和/或b2的操作来控制光源21。在此，操作元件b1在示例性的设计方案中用于接通和切断光源21并且操作元件b2用于选取位置，该位置借助于光源21或其光束211来射中。在控制元件20与头戴式设备10之间可设置有接口，经由其将关于借助于光源控制装置25操控光源21的信息输送给光束识别装置16。在此，例如可设置成，将确定的编码和/或脉冲模式从光源控制装置25传送到光束识别装置16处，以便该光束识别装置可在周围环境中识别出用于标记物体或位置等的光束，使得局部位置识别模块181可测定借助于光束211标记的位置lpos。
21.可选地，还可设置有全局位置识别模块182，其与gps或类似的定位系统(ortungssystem)19共同作用，从而可将局部位置lops转变成全局或绝对位置gpos，即地面坐标(erdkoordinate)中的位置。
22.还可设置有分离模块183，借助于其从现实图像rb中分离截段，更确切地说如此使得通过限定该截段的局部位置信号lpos来标记截段。局部位置辨识模块181、全局位置辨识模块182和分离模块183的操作例如通过手势识别模块17实现，其中，手势可借助于用户的手或借助于控制元件20来实施。手势识别模块17与场景生成器15或显示器11如此共同作用，使得可借助于显示器11显示例如选取选项、菜单、列表、菜单结构等，其中，借助于手势识别模块17来选取或选中借助于显示器11显示的某些条目。
23.图6示出了带有控制元件20'和头戴式设备10'的增强现实系统1的变型方案，其中，光源21由基于光的测距器26代替。该测距器经由背对的光源控制装置25'来操控和评估。所测定的在控制元件20'与所标记的物体之间的距离被输送给头戴式设备10'或局部位置辨识模块181'，其根据控制元件20'的依靠标记物m21,m22,m31,m32识别出的取向和距离
来测定所标记的局部位置lpos。
24.可利用控制元件20或20'，以便将文本或图或标记与真实的地点相联系。如果例如运动员在训练场(parcour)中进行练习，则其利用控制元件20或20'在真实的空间中记下哪些练习如何来进行。如果该运动员在接下来的周中重新进行其训练，则运动员可在显示器11上显示地看到其练习指示。该信息例如可选地能够由
‑ꢀ
仅用户，
‑ꢀ
其选取的联系人，
‑ꢀ
某些收件人和/或
‑ꢀ
网络可访问或可进行访问。
25.数据可由谁进行访问的选取例如可经由手势识别模块17结合显示器11(和借助于该显示器显示的选取菜单)实现。
26.借助于控制元件20或20'还可选择真实的空间中的物体(家具等)并且指示头戴式设备20或20'，将几何形状数字化，以便例如利用该物体装饰其他地点。如果例如在家具店中看中一物体，则可扫描该物体并且将其放置在家里。反过来，还可借助于控制元件20或20'进行空间的尺寸标注，以便将其数字化。
27.增强现实系统1的另一示例性的应用可在于生成采购列表并且经由接口(例如谷歌地图)分享该信息：如此，用户例如确定超市xy，使得其他用户(如果其走进超市)看到采购列表。该用户可在列表上随时划掉某样东西(如果将其被放到购物车中)。
28.图7示出了用于应用增强现实系统1的控制元件20或20'的另一示例性的场景。在此，可(如在图7中描绘的那样)借助于控制元件20(同样201,202,203)或20'实现到真实的空间中存在的一个面和/或多个面上的写或画。头戴式设备10或10'存储该空间关系。
29.在根据图8的另一示例性的场景中，借助于控制元件20(同样201,202,203)或20'实现一个物体(例如所描绘的桌子)和/或多个物体的选择。由此支持视图的存储或借助于头戴式设备10进行的光学测量。如此，例如可设置成，头戴式设备10(借助于显示器10)需要不同的用于标记的角点(最近的点、最远的点等)。
30.此外，控制元件20(同样201,202,203)或20'(如在图9中描绘的那样)通过将任意物体的框入使能够将通过框入实现的选取数字化。
31.此外，控制元件20(同样201,202,203)或20'(如例如在图10中所示)通过类似触摸平板的触摸功能使能够选取物体、文档或文件并且随后通过在头戴式设备10或10'中的显示器11使能够在现实的空间中投影。如此，在图10中例如选取飞机51或飞机51在平板50上的图示并且借助于头戴式设备10的显示器11将其投影到现实的空间中。