配置和显示信息的方法及其计算机程序产品和电子装置与流程

1.本发明涉及用于在增强现实或混合现实或扩展现实中配置和显示与安装在真实场所中的设备有关的信息的方法，以及涉及相关联的计算机程序产品和电子装置。


背景技术：

2.这里将具体参考增强现实或ar来描述根据本发明的方法、计算机程序产品和电子装置。然而，该参考不应被视为限制将根据本发明的方法、计算机程序产品和电子装置应用于其他类型的沉浸式现实，特别是应用于混合现实(或mr)和扩展现实(或xr)的可能性。
3.增强现实如今广泛应用于许多技术领域，例如促进工业机器的诊断和维护。
4.特别是，在增强现实中配置工业机器使得有可能在便携式电子装置的屏幕上显示具有与相同机器相关的相关联信息的机器的丰富图像。
5.可以通过预先配置的一个或多个兴趣点(或poi)来访问信息，以便直接链接到相关信息，并且在触发ar应用期间，它们被叠加在便携式电子装置的屏幕上显示的设备的图像上。
6.因此，必须对已安装设备进行干预的操作者在任何地方都可以获得特定于设备的必要信息，诸如布线图、干预手册、视频、教程等。
7.因此，更准确且更快速地标识设备中需要干预的零件，并且减少了专用于干预、搜索文档和维护的时间，以及减少了人为错误。
8.然而，尽管使用增强现实提供了多种优势，但仍有一些方面需要改进。
9.特别是，在技术装置上配置ar应用时，现在需要手动定义每个兴趣点及其特定信息，诸如技术文档的链接、技术图表的链接、用户指南的链接、常见问题或faq列表的链接、制造商网站的链接等。
10.因此，这是需要实行多个步骤的非常漫长的过程，诸如列出设备的所有文档链接、手动阅读和索引文档中设备的已标识/引用的相关部分、以及手动创建具有对应文档的直接链接的每个poi。
11.此外，当选择预配置的poi时，对链接信息的访问可能不准确，因为相关联的链接在第一页而不是在找到相关信息的文档的确切位置打开文档。
12.因此，用户必须开始自己的搜索以找到必要的技术信息，这可能很困难、会导致错误并花费大量时间。
13.最后，当对某些文档(特别是在技术图表中)已进行修改时，存在ar数据不相干的可能性。


技术实现要素：

14.本发明的目的是提供至少部分解决这些问题的解决方案，特别是一种与已知解决方案相比能够更容易和更快速地标识相关信息的解决方案。
15.该目的通过一种用于在增强现实或混合现实或扩展现实中配置和显示与安装在
真实场所中的至少一个设备有关的信息的方法来实现，该方法的特征在于它至少包括以下步骤：
16.(a)：构建包含多个文档的数据库，多个文档包含与设备相关的信息，其中数据库中包含的文档的每个选择的部分或每个文档都与包含地址的至少一个对应的电子标签相关联，地址引导至与其相关联的文档或与其相关联的文档的所选择的部分；
17.(b)：明确地标识安装在真实场所中的设备；
18.(c)：将如此标识的设备与至少一个电子标签相关联，至少一个电子标签与文档或文档的选择的部分相关联；
19.(d)：创建链接到至少一个电子标签的一个或多个第一兴趣点，每个第一兴趣点被配置为叠加在第一文档上或在相应文档的第一选择的部分上；
20.(e)：创建一个或多个第二兴趣点，以直接叠加在安装在真实场所中的设备上的方式来显示一个或多个第二兴趣点；以及
21.(f)：将第二兴趣点与至少一个第一兴趣点相关联。
22.根据本发明的其他有利方面，这种方法可以包括一个或多个以下特征，单独或以任何技术上允许的组合：
23.后续步骤(g)：将至少一个第一兴趣点与一个或多个附加的第一兴趣点相关联，每个附加的第一兴趣点被链接并且被配置为叠加在不同于第一文档的第二文档上或在第一文档的不同于第一部分的第二部分上。
24.将至少一个第一兴趣点与一个或多个附加的第一兴趣点相关联的步骤(g)包括通过第一软件模块自动地将每个选择的第一兴趣点与一个或多个附加的第一兴趣点相关联；
25.将至少一个第一兴趣点与一个或多个附加的第一兴趣点相关联的步骤(g)包括以下子步骤：
26.(g.1)生成所创建的第一兴趣点的列表；
27.(g.2)从所生成的列表中选择第一兴趣点并手动地将其与一个或多个附加的第一兴趣点相关联；
28.明确地标识安装在真实场所中的设备的步骤(b)包括检测附着到设备的至少一个标记，该标记明确地标识该标记附着的设备。
29.步骤(h)：保存至少在将第二兴趣点与至少一个第一兴趣点相关联的步骤结束时获得的结果；
30.步骤(j)：由对其中安装设备的真实场所进行干预的操作者使用的电子装置的屏幕上显示至少一个第一文档或第一文档的选择的第一部分；
31.步骤(k)：在屏幕上手动地选择在第一文档上或在第一文档的所选择的第一部分上叠加的第一兴趣点；
32.步骤(l)：通过电子装置将至少一个第二兴趣点直接投射到设备上，至少一个第二兴趣点明确地链接到所选择的第一兴趣点；
33.步骤(m)：将显示在电子装置的屏幕上的第一文档的增强现实三维图像或第一文档的所选择的第一部分的增强现实三维图像投射到真实场所(sr)的表面上；
34.构建数据库的步骤(a)至少包括以下子步骤：
35.(a.1)：为每个文档或文档的每个选择的部分选择附着到文档的标识元件，标识元
件明确标识相应文档或文档的对应选择的部分；
36.为每个文档或文档的每个选择的部分选择标识元件的子步骤(a.1)包括通过深度学习或机器学习人工智能软件模块来自动分析每个文档或文档的每个选择的部分；
37.在步骤(b)期间，检测附着到设备的至少一个标记包括通过光学图像识别系统标识至少一个图像；
38.在步骤(b)期间，检测附着到设备的至少一个标记包括使用光学字符识别系统来标识至少一个文字记入；
39.将所标识的设备与至少一个电子标签相关联的步骤(c)包括通过安装在电子装置中的软件模块自动地将设备与一个或多个电子标签相关联；
40.将所标识的设备与至少一个电子标签相关联的步骤(c)包括手动地将设备与一个或多个电子标签相关联；
41.附着到设备的标记包括指示设备在真实场所中的安装位置的坐标，该标记是从包括qr码、rfid标签和条形码的组中选择的元件。
42.本发明的上述目的还通过一种包括软件指令的计算机程序产品来实现，当软件指令由集成到电子装置中的信息处理单元实现时，软件指令实现如上所述的一种用于在增强现实或混合现实或扩展现实中配置和显示与安装在真实场所中的至少一个设备相关的信息的方法。
43.本发明的上述目的还通过一种电子装置来实现，其特征在于它被配置为实现如上所述的一种用于在增强现实或混合现实或扩展现实中配置和显示与安装在真实场所中的至少一个设备相关的信息的方法。
附图说明
44.通过阅读下面的描述，本发明的其他方面和优点将变得显而易见，下面的描述仅通过示例并参考附图给出，附图中：
45.图1是示意性地图示了根据本发明的配置方法的流程图；
46.图2是设备的示意图，在这种情况下是安装在具有根据本发明使用的电子装置的真实场所中的电气外壳；
47.图3是示出当实现根据本发明的方法时，显示在电子装置的屏幕上的设备的图像的视图；
48.图4是示出当实现根据本发明的方法时安装在真实场所中的整个设备的视图，其中电子装置的屏幕上显示文档，并且丰富的增强现实图像投射到安装场所的墙壁上。
具体实施方式
49.应当注意，在下面的详细说明中，从结构和/或功能的角度来看相同或相似的部件都具有相同的附图标记，无论它们是否在本说明书的不同实施例中示出。
50.还应当注意，为了清楚简明地描述本发明，附图不一定按比例绘制，并且一些特征可能以示意图的形式示出。
51.此外，当术语“适配”或“布置”或“配置”或类似术语在此用于指任何组件的整体、或组件的任何部分、或组件的组合时，应该理解，这意味着并涵盖该术语所指的组件或部分
的结构和/或配置和/或形式和/或定位。
52.具体地，关于电子和/或软件部件/模块，上面指示的每个术语都涵盖电子电路以及存储或正在执行的完整程序或软件代码和/或算法。
53.图1是示意性地图示了用于在增强现实或混合现实或扩展现实中配置和显示与至少一个设备相关的信息的方法100的流程图，在图2中用附图标记1表示。
54.特别地，在图2所示的示例中，安装在实际场所sr中的设备是电气外壳1，其包括布置在外壳1中的多个零件或组件，诸如多个电气单元2、4和6，例如断路器。
55.在任何情况下，术语设备不应被认为是限制性的，并且设备1可以是单独考虑的任何装置或单独考虑的任何机器或者装置、机器或组件的集合。
56.如图1所示，根据本发明的方法100包括构建数据库的第一步骤110，在图2中由附图标记10表示，该数据库10包括包含与设备1有关的信息的多个文档d1、d2、d3
…
。
57.特别地，数据库10中包含的文档的每个选择的部分或每个文档优选明确地与对应的电子标签相关联，而每个电子标签包含引导到与其相关联的文档中或与其相关联的文档的选择的部分中包含的信息的地址。
58.因此，即使相关文档是包含多页的文档，电子标签也直接寻址到该文档的相应相关部分，而不仅仅是文档的开头。
59.这种关联可以例如通过安装在电子装置上的第一软件模块来执行。
60.优选地，这样的电子装置是被配置用于增强现实游戏的便携式电子装置或终端，诸如移动电话，例如多功能电话(或智能手机)，换言之，“口袋终端”、电子平板计算机(或平板计算机)或类似的设备。
61.在图2所示的示例中，电子装置以电子平板计算机15的形式示意性地示出并且包括屏幕16、信息处理单元17、用于捕获图像和/或拍摄位于现实世界中的对象并在屏幕16上显示对应图像的相机和/或录像机18、至少一个数据存储单元19和用于外部通信的通信部件21，例如无线通信部件。在图2中，电子平板计算机被示出了两次，以便在右侧示出从外部看到的其结构以及在左侧示出其内部组件。这两个描述之间的双头箭头表示这是以两种方式示出的相同对象。
62.根据图2所示的例子，用附图标记22示意性表示的第一软件模块被安装在电子装置15中并且包含旨在由信息处理单元17执行的软件指令。
63.根据一个可能的实施例，被选择包含在数据库10中的文档d1、d2、d3
…
包括例如与设备1相关或与其组件的一个或多个(例如电气单元2、4和6)相关的至少多个布线图和/或机械图和/或通信图。
64.在所有情况下，术语“文档”在这里应该以最广泛的意义来解释，因此可以被认为包括包含文本、图形、音频和视频数据的数字文档和物理文档。
65.特别地，如本领域技术人员能够容易理解的，取决于具体应用，这些文件d1、d2、d3可以是任何可能的类型并且可以包含也是任何可能类型的信息，例如用户手册、安装手册、包含与设备和/或其组件相关的数据的档案，例如示出设备或设备组件彼此连接的安装和方式的电路图、faq列表、视频顺序、监控屏幕的概览等。
66.根据一个可能的实施例，构建数据库10的步骤110至少包括为每个文档或文档的每个选择的部分选择附着到该文档的标识元件的子步骤112。
67.对于所示出的所有文档d1、d2和d3，在图1中用相同的附图标记11示意性地表示的每个标识元件明确地标识对应的文档或文档的对应的选择的部分。
68.特别地，子步骤112包括通过第一软件模块22或为此目的配置的另一模块，特别是深度学习或机器学习人工智能软件模块，来自动分析每个文档或文档的每个选择的部分。
69.标识元件11例如可以是代码(诸如矩阵码或qr码)、rfid标签、条形码、文本、字母数字组合、技术和/或图形符号、图标、图像、电子标签、地理位置(例如gps坐标、在标识的参考系中以xyz坐标表示的位置)、由人工智能算法识别的形式等。
70.此外，标识元件11可以是已经附着到每个文档d1、d2、d3或文档的相关部分的元件，或者它可以在根据本发明的方法100的执行期间被明确地附着。
71.此外，根据一个可能的实施例，在方法100中使用的数据库10可以是至少部分地对于除了ar之外的需求已经存在的数据库，并且相同的标识符可以在多个视图(例如电子或机械或3d视图等)中使用。
72.根据本发明的方法100还包括明确地标识安装在真实场所sr中的设备1的第二步骤120。
73.根据一个可能的实施例，明确地标识安装在真实场所sr中的设备1的步骤120包括
74.检测至少一个标记(在图2中用附图标记20表示)，该标记附着到设备1并且使得可以明确地标识它所附着到的设备1。
75.根据一个可能的实施例，附着到设备1的标记20包括表示设备1安装在真实场所sr中的位置的坐标。
76.该标记20例如是从包括以下的组中选择的标记：矩阵码或qr码、rfid标签、条形码、文本、字母数字组合、技术和/或图形符号、图标、图像、电子标签、地理位置(例如gps坐标、在标识的参考系中以xyz坐标表示的位置)、由人工智能算法识别的形式等。
77.第二步骤120可以相对于第一步骤110以任何顺序执行，并且两个步骤110和120可以相同时间或不同时间执行。
78.根据一个可能的实施例，步骤120包括通过光学图像识别系统标识附着到设备1的一个或多个图像。这些图像还形成设备1的标记20。
79.根据另一可能的实施例，该步骤120包括使用光学字符识别或ocr系统来标识附着到设备1的一个或多个文字记入。这些文字记入也形成设备1的标记20。
80.例如，光学图像识别系统和/或光学字符识别系统可以安装在电子装置15上，如图2所示，其中它们分别用附图标记24和26表示。
81.显然，可以组合使用系统24和26两者，和/或使用其他标识系统或方法，例如地理定位系统、3d标识系统等。
82.根据本发明的方法100还包括至少一个第三步骤130：将在第二步骤120期间由此通过标记20标识的设备1与至少一个电子标签相关联，该至少一个电子标签在步骤110期间与文档d1、d2、d3或文档的选择的部分明确地相关联。
83.根据一个可能的实施例，步骤130包括通过第二软件模块自动地将设备1与一个或多个电子标签相关联，第二软件模块包括为此目的专门配置的软件指令。
84.该第二软件模块例如也安装在电子装置15中，如图2所示，其中用附图标记28表示。
85.根据另一可能的实施例，将所标识的设备1与至少一个电子标签相关联的步骤130包括手动将设备1与一个或多个电子标签相关联。
86.可以使用软件模块28或使用为此目的专门配置的另一个软件模块直接在屏幕16上执行这种手动关联。
87.根据本发明的方法100还至少包括：
88.第四步骤140：创建一个或多个第一兴趣点p1，其中每个第一兴趣点p1链接到至少一个电子标签并且被配置为叠加在对应的第一文档d1或d2或d3上，或在与电子标签相关联的文档的对应选择的第一部分上；
89.第五步骤150：创建一个或多个第二兴趣点p2，旨在于在增强现实中直接显示和叠加在真实场所sr中安装的设备1上，例如在场所sr上的操作者干预期间,操作者触发ar应用以便访问与设备1相关的信息；以及
90.第六步骤160：将每个第二兴趣点p2与至少一个第一兴趣点p1双向关联。
91.第一兴趣点p1和第二兴趣点p2实际上是图形界面组件，即“小部件”组件，并且可以采用文本、数据、符号、图标或上下文菜单等形式.
92.第四步骤140、第五步骤150和第六步骤160例如通过第三软件模块来执行，该第三软件模块包括用于该目的的软件指令，并且该第三软件模块例如安装在如图2的示例所示的相同电子装置15上，其中第三软件模块用附图标记30来表示。
93.实际上，在步骤140和150的执行期间，第三软件模块30至少定义每个兴趣点的图形形式、标签的链接以及在适用的情况下其他兴趣点的链接。
94.第四步骤140可以相对于第五步骤150以任何顺序执行，并且两个步骤140和150可以相同时间或不同时间执行。
95.根据一个可能的实施例，方法100还包括步骤155：将至少一个第一兴趣点p1与一个或多个附加的第一兴趣点p1'相关联，每个附加的第一兴趣点p1'被链接并且被配置为叠加在不同于第一文档的第二文档上或在第一文档的不同于第一部分的第二部分上。
96.由此有利地创建兴趣点p1之间的分支链接。因此，当操作者选择第一兴趣点p1并访问与其相关联的文档中或在与其相关联的该文档的选择的部分中包含的信息时，如果该信息与在另一个文档中包含且必须查阅(consult)的其他信息链接，操作者被准确地引导到这些其他信息，并且能够快速直接地访问它。
97.根据一个可能的实施例，可以根据分级/优先级准则来组织分支信息，这使得可以更快地找到最相关的信息。例如，可以取决于所包含的信息的类型和内容，例如电气、机械、电子、硬件和/或软件，和/或取决于用户或其简档的标识来组织和访问分支。
98.根据一个可能的实施例，步骤155包括自动地将每个选择的第一兴趣点p1与一个或多个附加的第一兴趣点p1'相关联。
99.自动关联可以由第三软件模块30或通过专门为此目的配置并安装在例如电子装置15上的附加软件模块来执行。
100.作为变型，步骤155包括以下子步骤：
101.157：生成所创建的第一兴趣点p1的列表；
102.159：从所生成的列表中选择第一兴趣点p1并手动地将其与一个或多个附加的第一兴趣点p1'相关联。
103.例如，所生成的列表可以显示在电子装置15的屏幕16上，并且操作者可以使用软件模块30或使用专门为此目的配置的软件模块首先执行选择然后执行期望的关联。
104.对于每个列出的第一兴趣点p1，该选择可以重复多次。
105.根据本发明的方法100包括保存至少在第六步骤160结束时获得的结果的至少一个步骤170。
106.根据一些可能的实施例，还可以保存在执行上述一个或多个步骤期间获得的结果。
107.具体地，在保存最终在第六步骤160结束时获得的结果之前，可以保存在执行期间和/或在第一步骤110结束时、和/或在第二步骤120结束时、和/或在第三步骤130结束时、和/或在第四步骤140结束时、和/或在第五步骤150结束时、和/或在第六步骤160结束时获得的部分结果。
108.部分和/或确定的结果可以保存在数据存储单元19和/或图2所示的增强现实服务器中并用附图标记25表示。该增强现实服务器包含数据库10。根据方法100的一个可能的实施例，当操作者干预安装设备1的真实场所sr时，如图3所示，他可以聚焦或拍摄设备1，例如使用集成到电子装置15中的相机和/或录像机18，并且他可以在该装置15上触发ar应用27，以便在增强现实中查看与该设备1相关的信息。
109.为此，如果它们例如被存储在服务器25中，则与在步骤100至160中为设备1执行的配置有关的结果可以由通信部件21请求并被下载以显示在屏幕16上。
110.作为替代，如果配置的结果被存储在存储单元19中，则它们可以直接被加载到电子装置15内。
111.接下来，根据本发明的方法100包括以下步骤：
112.175：由对真实场所sr进行干预的操作者所使用的电子装置15的屏幕16上显示至少一个第一文档或第一文档的选择的第一部分，例如文档d1；
113.180：在屏幕16上手动地选择在第一文档d1上或在第一文档的所选择的第一部分上叠加的第一兴趣点p1；
114.190：通过电子装置15，将与所选择的第一兴趣点p1相关联的至少一个第二兴趣点p2直接投射到设备1上。
115.如图4所示，至少一个第二兴趣点p2由此被显示并直接叠加在外壳1上，例如在断路器2处，而相关联的第一兴趣点p1被叠加在屏幕16上显示的文档d1上，文档d1包含与断路器2相关的相关信息。
116.此外，在根据本发明的方法100中，如图4所示，通过在设备1前面显示虚拟指示器50，在这两个兴趣点p1和p2之间创建的双向链接在视觉上被突出显示。
117.在图4所示的示例中，另一个第二兴趣点p2被图示并显示在外壳1上，例如对应于断路器6。
118.如果操作者触摸该另一个第二兴趣点p2，并且如果该另一个第二兴趣点p2在步骤160期间已经通过在步骤160期间建立的链接被链接到除了显示在文档d1上的兴趣点以外的第一兴趣点p1，则该不同的第一兴趣点p1被显示在屏幕16上。
119.该不同的兴趣点p1可以与断路器6的相关信息相关联，该相关信息被含在已经显示在屏幕上的相同文档d1中或在另一个文档中，并且在后一种情况下，该另一个文档也显
示在屏幕16上。
120.根据一个可能的实施例，如果多个兴趣点彼此链接，则这些兴趣点可以取决于例如上下文和/或用户的简档被特别过滤或优先化。
121.根据一个可能的实施例，方法100还包括步骤195：将增强现实3d图像投射到真实场所sr的表面(例如墙壁)上，在图4中用附图标记60示意性地示出。图像60对应于显示在电子装置15的屏幕16上的文档或文档的选择的部分。
122.存储在数据库10中的文档的增强现实3d图像可以通过为此目的配置有软件指令的另一个软件模块生成。
123.可以将该其他软件模块安装在电子装置15中并且在图2的示例中用附图标记32示意性地表示。
124.从上面的描述可以清楚地看出，方法100连同对应的计算机程序产品和电子装置15使得可以实现本发明的基本目标。
125.具体地，根据本发明，操作者总是被快速且直接地引导到文档或包含相关信息的文档的特定部分，而不仅仅是文档的开始。
126.此外，该信息与分支相互关联，该分支不费力地将操作者从一个文档或从文档的一部分引导到相同文档的另一部分或到另一个文档。
127.使得能够访问信息的兴趣点非常清楚地显示在电子装置的屏幕上，并且也直接显示在设备上，并且在兴趣点之间创建操作链接，使得错误的可能性最小化。
128.这些结果是通过相对容易实现且高度灵活应用的解决方案来获得的。
129.以这种方式设计的方法100、计算机程序产品和电子装置15能够被修改和改变。例如，所使用的电子装置可以是通常用于配备有屏幕16的增强现实游戏的头戴式套件(headset)，或者是其中每个透镜形成屏幕或被屏幕代替的眼镜。如果使用电子装置，则增强现实服务器25可以远程安装或安装在电子装置15中。软件模块及其对应的软件指令可以存储在电子装置15中，或者分布在彼此分离和远离的存储单元中。
130.此外，所有配置都可以用技术上等同的元件代替。