用于沉浸式人机交互的方法与流程

1.本发明涉及用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的方法以及用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的设施。


背景技术：

2.在工业环境中，诸如虚拟和增强现实(vr、ar)的沉浸式技术或诸如cave(洞穴式自动虚拟环境)的虚拟环境变得越来越重要。沉浸式表示虚拟现实在很大程度上被认为是真实的。特别地，在虚拟现实中的机器(特别是机器或机器控制器或在此使用的操作和监视设备)的用户界面和操作件的交互可视化实现了充满希望的应用。
3.在虚拟试运行期间，在编程或“上传”到真实机器之前，要在模拟环境中测试机器或相关工业自动化组件(可编程逻辑控制器、操作和监视设备等)的控制程序和参数化，以便尽早发现错误并防止可能的间接损失。在虚拟训练中，操作人员学习如何用机器模拟来操作机器，以减少真实机器的培训和停机时间。虚拟用户测试用于优化机器或工业装置的可用性。
4.在该背景下，必须找到在沉浸式环境(例如虚拟现实头盔)内尽量真实地提供人机界面以及人与机之间的交互的可行方案。培训应用特别要求用户在虚拟现实中遇到与以后在真实机器处遇到的情况相同的交互象征。
5.在当前的常规系统中，虚拟的现实(vr(虚拟现实)、ar(增强现实))中人机交互的模拟大部分是通过预定义的交互例程(例如脚本)实现的。这些在用于创建虚拟现实的系统中已完全定义。例如，如果要映射按钮，则将其运动行为(例如可移动性)在用于虚拟显示的系统中永久编程，并由用户通过相应的输入(例如按下虚拟现实控制器上的按钮，即一种远程控制)触发。虚拟现实的系统由此触发通常与机器或操作和监视设备的技术功能直接关联的事件。在上述例子中，例如检测按钮被操作以及进给件被接通等等。在此，在虚拟现实系统侧因此重新实现了人机界面与机器控制器的逻辑互连，即为了可视化目的而两次实现了机器构造的一个方面。
6.由于通常避免这种附加的工程规划开销，因此在商用的工业虚拟现实系统中的交互可行方案通常非常受限。
7.在虚拟现实系统中在用户和操作件(例如按钮)之间的交互的限定与这些脚本的集成还具有以下缺点，即在模拟的装置改变并因此改变了真实的操作件的情况下，每次必须调适虚拟现实的系统。


技术实现要素：

8.因此，本发明的目的是给出用于在沉浸式环境中对人机交互进行真实模拟的设施和方法，其中一方面应减少工程规划开销并且另一方面应能在虚拟现实中尽可能逼真地操纵机械操作件。
9.当前目的的根据本发明的解决方案的核心构思在于，严格保持机器模拟和机器可视化(即虚拟现实系统)的分离，其中通过物理中介或交互模拟对机械操作件进行通用处理，并且其中必要时实现操作和监视系统(hmi(人机界面)系统)的屏幕输出到机器可视化中的集成。
10.该目的尤其通过本发明的方法和设施来实现。
11.在此提出一种用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的方法，其中通过与操作件的交互将输入信息传输至工业自动化装置的组件。在第一步骤中，在用于刚体模拟的模拟装置中对机械操作件进行建模，其中在第二步骤中，将机械操作件映射在虚拟现实中，其中在第三步骤中，通过虚拟现实检测与被显示的操作件的交互，其中从检测到的虚拟交互的第一参数计算关于作用于操作件的模拟物理作用的第二参数，其中在第四步骤中，将第二参数传送至模拟装置，其中在第五步骤中，借助于建模的操作件通过模拟装置将第二参数用于模拟操作件的至少一部分的运动，其中决定是否通过模拟的运动产生操作件的开关状态改变，并且其中在第六步骤中，至少在开关状态改变的情况下将开关状态或开关状态改变作为输入信息报告给组件。通过该方法确保了机器模拟和机器可视化的严格分离。这导致在使用不同的沉浸式环境(vr头盔、cave、平板电脑、ar头盔)方面具有更大的灵活性，可以在多个节点处更好地分配计算负载并改善数据一致性，因为机器行为被连续地描述在设计系统中，其中机器专用技术保留在模拟环境中，也就是保存在工程规划系统中。通过这种分离能够更容易在虚拟现实中实施机器的可访问性和“可用性”的交互式优化。
12.该目的还通过一种用于在虚拟现实中与工业自动化装置的虚拟机械操作件进行沉浸式人机交互的设施来实现，其中，该设施设置成借助于与操作件的交互将输入信息传输至工业自动化装置的组件，设施具有用于生成和可视化虚拟现实的系统，并且其中，机械操作件被映射在虚拟现实中。在此设有用于机械操作件的刚体模拟的模拟装置，其中，虚拟现实设置用于检测与被显示的操作件的交互，其中设计从检测到的虚拟交互的第一参数计算关于作用于操作件的模拟物理作用的第二参数，其中，虚拟现实设置用于将第二参数传送至模拟装置，其中模拟装置设置用于根据第二参数借助于建模的操作件来模拟操作件的至少一部分的运动，其中，模拟装置设计用于决定是否通过模拟的运动产生操作件的开关状态改变，并且其中，模拟装置设置用于至少在实现的开关状态改变的情况下将开关状态改变或开关状态作为输入信息报告给组件。通过这种设施，可以实现已根据该方法说明的优点。
13.根据本发明的方法的有利的改进方案及其优点也相应地适用于根据本发明的设施，并且反之亦然。有利的变体方案既可以单独实施，也可以在适合的组合中实施。
14.在模拟中，有利地将模拟的有质量物体、特别是杠杆、按钮、开关或其他的可移动元件用作操作件的至少一部分。因此，与操作件(用户界面上的软按键、传感器按钮、光栅或类似物)的无显著质量的物体相比，可以更好地模拟许多真实操作件的操作行为。特别地，这减少了由于意外“触摸”而可能发生的操作错误。在现有技术中，为了映射这样的按钮等，人们必须拿起真实的操作件，而用于游戏机等的控制器类型的所谓的虚拟现实控制器可以通过模拟有质量物体来真实地映射机械解决方案的动力。在此，至少将力、力转矩对或另外的动力交互动态作用作为第二参数施加到模拟的有质量物体上。虚拟操作动作能通过如下
方式进一步近似于真实操作动作，即经由虚拟现实利用映射的操作件将关于虚拟手或虚拟手指或其他身体部位的方向和穿透的第一值确定为第一参数，其中随后从这些第一值计算第二参数以计算作用于模拟的有质量物体的模拟作用。
15.如果工业自动化装置包括带有屏幕输出的设备，则该设备的几何体也被映射在虚拟现实中。屏幕输出是在工业自动化装置的模拟环境中生成的，尤其是通过对操作和监视设备(hmi模拟)的模拟生成的，并且以用于制成的视频纹理(“像素缓冲器”)的图像文件、流等形式传输至虚拟现实，并在此显示在虚拟操作和监视设备的示出的壳体几何体或示出的屏幕表面中。这表示，对操作和监视设备或甚至带有其原始程序代码的真实操作和监视设备的真实模拟可以生成屏幕输出，从而在其中只能仿制一个壳体、例如一个面板或另外的工业操作站，并且虚拟现实可以从外部获得屏幕内容作为图像并将其输出到显示的壳体上。因此，在该有利变体方案中，虚拟现实不用于生成屏幕输出或其内容，其反而可以从专门的模拟系统、甚至真实单元获得。因此，具有屏幕输出的设备可以是真实的设备，也可以是模拟的操作和监视设备，其中虚拟现实的输入和/或从动力学刚体模拟生成的模拟工业过程的输入参数和/或状态信息可用于真实的或模拟的操作和监视设备，其中，将真实的或模拟的操作和监视设备的输出传输至虚拟现实并在该处利用或以操作和监视站的成像进行显示。如果将真实的操作和监视设备集成到工业自动化装置的模拟中，则这也称为“硬件在环(hardware
‑
in
‑
the
‑
loop)集成”。这表示将一个真实的系统链接到一个模拟系统，这在几乎不包含机械件的系统中特别有用，例如用于操作和监视任务的计算机通常是这种情况。
16.在一个有利的变体方案中，(仿真的或模拟的)虚拟可编程逻辑控制器可以用作组件，其中，该虚拟可编程逻辑控制器执行被设定用于真实自动化装置的自动化程序，并且其中，在虚拟可编程逻辑控制器中执行该自动化程序时，可以将确定的改变要求用于修改自动化程序，并且其中将已改变的自动化程序用在真实自动化装置中。因此，通过利用虚拟现实操作模拟系统所获得的经验可以导致自动化程序的改进，从而可以优化由其操作的真实自动化装置。
17.在一个有利的变体方案中，将用于工业过程或工业生产的模拟装置与虚拟可编程逻辑控制器连接，其中该虚拟可编程逻辑控制器借助与过程模拟装置的双向数据交换来调节和/或控制利用过程模拟装置模拟的工业过程或工业生产。
18.在一个有利的实施方式中，通过用于刚体模拟的模拟装置将关于模拟的运动的第二参数或第三参数传输至虚拟现实，由此根据传输的参数来适配操作件的显示。由此，例如是压力按钮、杠杆或者开关的操作件的运动可以在虚拟现实中真实地显示出来。优点在于，用户通过其在操作件上的操作动作获得直接的视觉反馈以及可能的声音反馈。这在为训练目的构造的系统中是特别有利的，因为可以用其完全和真实地(“沉浸式”)训练复杂的操作模式。
附图说明
19.下面借助附图阐述根据本发明的方法的实施例。该实施例同时用于阐述根据本发明的设施。
20.图1示出了虚拟现实的示意图。该虚拟现实具有示出的带有虚拟机械或机电的操
作件的工业控制面板、以及带有刚体模拟、虚拟控制器及操作和监视设备仿真的模拟环境。
具体实施方式
21.在图1中，在左侧示出模拟环境su，在本示例中，该模拟环境su包括用于刚体模拟stm的模拟装置、操作和监视设备hmi
‑
e的仿真(hmi模拟；hmi＝人机接口)以及模拟的可编程逻辑控制器v
‑
plc(虚拟可编程逻辑控制器)。如图所示，上述三个单元可以作为单独进程在公共硬件平台上运行，但是它们也可以是完全独立的系统，其可以通过数据网络进行通信。特别地，还能在数据云中实现所示的单个或所有模拟装置。此外，可以特别用非模拟的可编程逻辑控制器或操作和监视设备代替虚拟可编程逻辑控制器v
‑
plc和/或对操作和监视设备hmi
‑
e的仿真，因此涉及硬件在环装置。
22.在图的右侧示出了沉浸式环境iu，也就是说，用户可以在其中具有真实的虚拟体验，尤其可以体验工业自动化装置的组件的操作的环境。在本示例中，沉浸式环境iu包括用于生成虚拟现实的特殊计算机系统(未示出)、数据眼镜vr
‑
hs(虚拟现实显示器)、未示出的用于检测手或其他身体部位的运动的装置、以及在此未显示的运动空间。与模拟环境su分开地建立用于产生沉浸式环境iu的计算机系统。两个系统之间只有数据连接。
23.将示意图简化为基本件。特别地，虚拟可编程逻辑控制器v
‑
plc通常具有到另一模拟系统的数据连接，以用于要控制的工业过程或工业生产。以这样的方式设计模拟环境su，从而在功能上充分地模拟工业自动化装置并且可以在模拟中操作工业自动化装置。
24.为了在虚拟现实(沉浸式环境iu)中显示工业自动化装置，假定自动化世界中的大多数元素已经在数字孪生的范畴中以结构伴随的形式作为模拟环境su的模拟模型存在，由此使得机器或者元素的所有技术上相关的方面都可以通过适当的模拟器映射。这涉及几何、即机器的几何描述，其例如呈数据的形式，其还包括操作设备(面板、开关等)，包括用于刚体力学的多体模拟，其中可以模拟机器的所有机械部件在外力作用下的运动，其还包括机械操作元件(如按钮或调节轮)的动力。还假设通过操作和监视设备hmi
‑
e的模拟可以模拟并生成操作系统的图形用户界面。虚拟可编程逻辑控制器v
‑
plc模拟机器或设备的所有控制程序的流程行为。因此，该控制器还与多体模拟、尤其是刚体模拟stn、仿真的操作和监视设备hmi
‑
e以及用于工业过程或工业生产的模拟(未显示)通信。
25.沉浸式环境iu用于机器模型的图形表示(渲染)和通用用户输入ni(用户交互)的处理、手和头部位置的跟踪(尤其是光标坐标c
‑
kor)以及反馈的显示(特别是示出的操作件的改变的位置l)，而包括人机界面的机器的操作行为的所有方面以及操作和监视设备的显示都被映射在模拟环境su内。为了可视化，将机器的几何描述(几何体g)以简化的形式传输至沉浸式环境iu中并在沉浸式环境中显示，沉浸式环境在实施例中作为操作面板的壳体。
26.针对人机交互，将机械操作元件(杠杆、按钮、旋钮)与虚拟的操作元件(例如操作屏幕上的软按键)和显示器等进行区分。
27.下面示例性地说明在沉浸式环境iu中检测到的用户的手指的人机交互、即用户交互ni。操作件例如是按钮，比如紧急停止按钮，其在左下方的沉浸式环境iu中示出的操作面板的几何体g上以圆圈示出。
28.沉浸式环境iu一旦检测到用户手指与所示操作件的碰撞或穿透，就会建立检测到的虚拟交互的第一参数。例如，这可以是穿透的方向和“深度”。根据这些第一参数，通过在
操作件上的模拟物理作用来计算第二参数。这表示例如根据交互ni的运动来确定力f。例如，这可以通过确定通过虚拟操作路径的成比例的力f来实现，也就是确定操作件被手指穿透的力。然而，也可以假设动力，使得致动过程的速度成比例地包括在力f或假定的脉冲(此处未使用)等中。
29.然后，将操作件和第二参数(此处示例性地为力f)的标识从沉浸式环境iu(即用于虚拟现实的专用计算机系统)传输至模拟环境su、特别是在用于刚体模拟stm的模拟装置中。
30.机械操作元件或操作件在刚体模拟stm中显示为有质量物体，可以通过在其运动学自由度(旋转、平移)的范畴中施加力和转矩来使其移动。因此，这里考虑操作件的开关逻辑、即按钮，因此其可以根据按钮主体的当前位置来表示。为此，根据数据技术将用于模拟装置stm的机械操作件建模为例如具有模拟能力的数字孪生、方程系统、模拟对象等。在刚体模拟stm中，操作装置或其可移动部件现在对应于第二参数，也就是说，由操作过程确定的力f或者脉冲等被运用到操作件和任何与之连接的弹簧、锁定元件等的模拟的有质量物体上。
31.刚体模拟stm计算操作件的得出的运动，在此处示出的按钮的情况下计算按钮头部的运动，其在图中由坐标x表示。如果计算的运动(坐标x)超过阈值(此处：x>0)，则确定操作件已更改其状态，这特别表示开关已触发或已按下“紧急停止”。开关状态或操作件当前有效的开关状态的这种改变被传送到虚拟可编程逻辑控制器v
‑
plc并用信号传输至(虚拟)输入端。
32.虚拟可编程逻辑控制器v
‑
plc中可以运行自动化程序，其例如控制生产站。一旦开关状态改变被信号传输到该v
‑
plc控制器，自动化程序即会做出相应的反应，例如以实施紧急停止的方式。有关自动化程序的新“紧急停止”状态的相应信息也被传输至仿真的控制和监视设备hmi
‑
e。由此，操作和监视设备hmi
‑
e的画面输出发生改变，例如在画面等处输出红色的停止信号，并将该改变后的画面输出处理为改变后的图像数据或改变后的部分图像数据。以下将这些图像数据称为像素缓冲器pb。像素缓冲器pb被传输至沉浸式环境iu并在那里以视频纹理vt的形式显示在具有几何体g的屏幕区域上，以使沉浸式环境iu的用户具有对带有几何体g和像素缓冲器pb的屏幕内容的真实控制面板的印象。为了在所示的操作面板上处理其他输入，可以将光标坐标c
‑
kor和相应的已注册输入(例如虚拟触摸屏上的触摸)传输至仿真的操作和监视设备hmi
‑
e。
33.根据在此选择的示例，虚拟可编程逻辑控制器v
‑
plc还可以将停止模拟工业过程的信息转发到工业过程的模拟(未显示)。如果在模拟中未正确执行此操作，则自动化程序中可能存在错误，该错误由虚拟可编程逻辑控制器v
‑
plc处理。然后可以优化自动化程序，直到其正常运行为止。这样优化的自动化程序然后可以用于真实自动化装置中的修正。
34.借助刚体模拟stm，可以根据按钮主体的当前位置来表示按钮的开关逻辑，并例如以布尔信号(或替代地作为与偏差x成比例的模拟或数字信号)提供给虚拟可编程逻辑控制器v
‑
plc。从外部看，通过在按钮主体上施加压力触发机器功能，其恰好对应于用户的真实期望。针对沉浸式环境iu的侧，确定力转矩对就足够了，该力转矩对被传输到模拟环境su、特别是刚体模拟stm并在那里施加到相应的刚体模拟。操作元件的由此得出的改变随后传递回沉浸式环境iu以进行可视化。这表示，所示的操作件然后相应地改变其在显示器中的
位置，以便向用户提供适当的反馈。可以从用户的“跟踪的”手部运动确定这种交互动力，并在碰撞分析的意义上考虑与操作元件的几何表示的接近程度。
35.虚拟的操作元件(例如gui小部件、传感器按钮、虚拟按钮等)是所示几何图形的操作屏幕的一部分，并通过操作和监视设备hmi
‑
e的仿真在模拟环境su中被处理。通常，该仿真hmi
‑
e会消耗来自标识设备的这些输入事件(光标坐标c
‑
kor、鼠标的击键、触摸输入等)，并将屏幕输出呈现在像素缓冲器pb中，其在真实的机器处在显示器(hmi面板)上将以屏幕输出(视频纹理)的形式显示。为了在沉浸式环境iu的方面实现此行为，根据需要将像素缓冲器pb从模拟环境su转移到沉浸式环境iu，并在那里以视频纹理的形式集成机器几何体(几何体g)的显示中。作为回报，交互所必需的输入事件(光标坐标c
‑
kor、击键)也从用户的身体运动和/或虚拟现实硬件(例如控制器)的适当交互可行方式生成，并通过网络传输至模拟环境su中。
36.机器模拟和机器可视化的严格分离可提高不同沉浸式环境(vr头盔、cave、平板电脑、ar头盔)的灵活性。也可以在多个节点处分配处理负载。由于在设计系统中一致地描述了机器行为，专有技术仍保留在模拟环境中，尤其在计划了模拟工业自动化装置的软件和硬件的基础工程系统中，因此提高了数据一致性。
37.人机交互的通过力/转矩(交互动力)的物理方面的调解可以对机械操作元件进行非常常规的处理。尤其在沉浸式环境中，不需要任何有关可能需要手动建模的机器设计功能方面的信息。根据对物理模拟精度的要求，操作元件的行为还与真实情况完全相同，培训应用从其中受益。通过将hmi仿真嵌入到三维可视化的机器几何结构(视频纹理)中，还可以真实地映射整个hmi系统，这里还要求不将有关操作系统内部逻辑的任何信息传输至沉浸式环境中。