用于控制增强现实设备的方法、增强现实系统和医疗系统与流程

背景技术：

技术实现思路

1、本发明提供了具有独立权利要求的特征的用于控制增强现实设备的方法、增强现实系统和医疗系统。另外的有利实施方式是从属权利要求的主题。

2、根据第一方面，本发明提供了用于控制增强现实ar设备的方法。ar设备可以用于操作透析设备。方法还包括计算辅助方案的步骤。辅助方案可以是用于执行要至少部分地由用户执行以操作透析设备的任务的辅助方案。任务可以是要直接在透析设备上执行或间接地（例如，在透析设备的外围部分或配件如例如消耗品上）执行的任务。辅助方案的计算基于从透析设备接收到的输入数据。方法还包括生成或提供ar设备的输出部件上的输出的步骤，其中，输出部件不一定需要在ar设备上完全实现（输出部件也可能至少部分地在另一设备上实现）。通过应用所计算的辅助方案来生成或计算ar设备的输出部件上的输出。所生成的输出包括虚拟角色或人物的表示。虚拟角色或人物的这样的表示可以被视为所谓的化身。因此，通过技术手段辅助用户操作透析设备。

3、第一方面涉及所要求保护的方法。关于方法描述或要求保护的特征、优点或替选实施方式也可以被转移或分配至其他要求保护的对象（例如，系统、增强现实设备、计算机程序），反之亦然。换句话说，可以利用在方法的背景下描述或要求保护的特征来改进设备或系统，反之亦然。在这种情况下，方法的功能特征分别由装置或设备或系统的结构单元体现，反之亦然。通常，在计算机科学中，软件实现方式和对应的硬件实现方式（例如，作为嵌入式系统）等效。因此，例如，可以利用存储单元和将数据写入到存储装置中的相应指令来执行用于“存储”数据的方法步骤。为了避免冗余起见，尽管设备也可以用在参照方法描述的替选实施方式中，但这些实施方式不再针对设备进行明确描述。原则上，要求保护的设备或装置权利要求适于执行要求保护的方法。

4、根据另外的方面，本发明提供了用于在医疗环境中使用的增强现实ar系统。特别地，医疗系统可以包括透析设备。ar系统包括ar设备和控制设备。控制设备可以但不一定需要被配置成接收输入数据，特别是从透析设备接收输入数据。控制设备被配置成执行上面描述的方法。控制设备还被配置成计算辅助方案，特别是用于执行要与透析设备相关地或要通过操作透析设备执行的任务的辅助方案。可以基于从透析设备接收到的输入数据来计算辅助方案。控制设备还被配置成生成或提供输出，特别是生成ar设备的输出部件上的输出。ar设备的输出部件上的输出通过应用所计算的辅助方案来生成。所生成的输出包括虚拟角色或人物的表示。

5、ar设备可以包括传感器部件。可替选地或另外，可以至少部分地在ar外部设备（如透析设备和/或移动设备）上实现传感器部件。还可能的是辅助方案提供输出数据，以指示在多于一个输出部件上（例如，在ar设备上以及在透析设备和/或另一设备上）输出所生成的输出（例如，化身）。

6、根据又一方面，本发明提供了医疗系统，该医疗系统包括根据前一方面的透析设备和ar系统。

7、在又一方面中，本发明提供了用于操作ar系统的控制设备的计算机程序。方法可以作为计算机程序提供以及/或者方法可以是计算机实现的。

8、根据上面提到的一个方面的方法可以包括使用大语言模型llm。特别地，llm可以用于例如以计算化身的致动的形式生成输出。可以通过在计算密集型的自监督和半监督训练过程期间从文本文档或其他信息源或文件学习统计关系来训练llm以获取之前提到的能力。可以利用仅解码器的基于变换器（transformer）的架构来构建llm。

9、可替选地或另外，可以使用其他架构诸如循环神经网络变体和mamba（状态空间模型）。特别地，可以使用llm来获得所提供的与透析设备相关的问题的答案。答案可以被提供在ar设备的输出部件上或者透析设备或用户（例如，移动）设备的输出部件上。用户可以通过使用llm来询问系统例如机器的哪个部分当前在他前方，一次性用品放在何处，机器（例如，血泵）的某个部分位于何处，或者寻求对下一步的帮助。系统在ar传感器和/或至少传感器部件的帮助下识别房间中的情况，使用llm相应地评估用户的用户口头交互，并且提供对应的信息诸如ar突出显示、文本、箭头以及/或者准备好的视频和/或图形以回答口头的用户询问。如果llm具有适当的语言能力，则这可以以任何语言来完成。系统可以以查询的语言自动响应。

10、本发明（方法、系统和其他要求保护的主题）可以在两个实施方式中提供。

11、在第一实施方式中，方法由透析设备的触发命令触发或启动。在这种情况下，方法可以包括接收输入数据的步骤。特别地，输入数据可以包括要从透析设备接收的触发命令。所计算的辅助方案可以基于所接收到的输入数据。在该实施方式中，透析设备发出触发命令，触发命令可以包括请求要由用户执行的特定操作。

12、在第二实施方式中，方法由触发命令触发，该触发命令可以经由ar设备接收。触发命令可以请求用户执行关于透析机器的任务。

13、可替选地或另外，方法可以根据用户自己的请求被触发。特别地，用户可以输入辅助请求。输入可以经由手势和/或语音命令以及/或者透析设备的用户界面和/或ar设备上的输入部件上的输入来执行。例如，出于该目的，ar设备可以被配置有辅助触发按钮。在该辅助触发按钮被激活的情况下，从ar设备向控制器发送消息，以启动用于向用户提供辅助的方法的执行。

14、辅助方案定义了用于提供辅助的方案或模式。辅助方案可以定义将如何、在哪里（特别地，在哪里或在哪个设备上实现输出部件并且指示输出部件来提供指示）和/或以哪种形式在技术上提供呈所生成的输出的形式的辅助，特别是关于确定适当的输出部件、时间间隔、持续时间、输出格式（光学、声学和/或触觉等）、和/或强度（光学指示的亮度或声学指示的音量等）。辅助方案可以包括或者涉及光学、声学和/或触觉输出。例如，辅助方案可以涉及或者包括触觉指示（诸如，为了吸引用户的注意力进行的抖动或振动）。辅助方案可以涉及或者包括可以由虚拟角色或人物的表示提供的声学指示（诸如，哔哔声、警告音调、旋律、任何其他种类的声音、或者甚至口语文本消息）。辅助方案还可以涉及或者包括光学指示（诸如，箭头、线条、圆圈、方框、图标、图像、文本消息、视频序列等），以引导用户完成相关任务。可以在ar设备的输出部件上提供指示。然而，应当理解，可以使用任何其他种类的辅助方案，以向用户提供适当的辅助以执行期望的任务。

15、可替选地或另外，辅助方案可以定义种类、形式和/或方式，可以如何生成虚拟角色或人物的表示并且将其提供给用户。辅助方案可以定义提供表示的时长和/或频率，除了表示之外是否还提供附加元素作为输出，例如声学或触觉输出或呈另一种形式的输出。可替选地或另外，辅助方案可以定义虚拟角色或人物的表示的属性（诸如，静态或动态外观）、和/或提供虚拟角色或人物的表示的空间位置、由虚拟角色或人物的表示提供给用户的任何种类的内容、由虚拟角色或人物的表示提供给用户的任何种类的内容或信息、和/或用于提供虚拟角色或人物的表示的时间时段（时长）等。辅助方案还包括在操作医疗设备时用于引导用户的信息。例如，辅助方案可以指定必须填充在医疗设备中的消耗品、必须附接至医疗设备的配件、必须如何执行期望任务的操作步骤等。

16、要在本发明的背景下执行的任务可以是与相关医疗设备相关的任何种类的操作或动作。任务可能需要至少一个活动，并且特别是要由用户手动执行或经由指令自动执行的活动的集合或序列。

17、本发明基于以下发现，操作复杂的医疗设备（诸如，透析设备）对用户来说是很大的需求。用户必须学习手册并且必须被广泛培训以使用这样的设备。特别地，可能存在必须由用户处理的许多异常情况。由于操作设备的一些故障可能导致健康风险，因此用户必须非常仔细地操作设备以避免这样的故障。这可能是真正的挑战，尤其是在时间压力下。

18、因此，本发明考虑了该发现，并且旨在借助于ar设备向用户提供附加辅助。特别地，本发明旨在通过以自动生成基于情况的辅助的形式向用户提供附加辅助并且借助于ar设备提供这种生成的辅助来辅助用户操作复杂的医疗设备。

19、在本发明的背景下，ar设备可以被理解为提供ar特征的任何种类的设备。例如，这样的ar设备可以是ar头戴式设备或混合现实xr头戴式设备诸如例如微软hololense。然而，任何其他种类的ar设备或xr设备也可以是可能的。ar设备也可以是提供ar特征的任何其他种类的设备。例如，智能电话、平板计算机或具有摄像装置和显示器的任何其他种类的设备可以用作ar设备。通常，具有用于提供真实场景与附加（人工）元素的叠加的能力的任何种类的设备可以用作ar设备。在当前背景下，“增强”是指真实或物理场景可以用可以作为虚拟指示提供的附加信息进行增强或丰富的事实。

20、在本发明的背景下，输出部件可以是用于输出所生成的输出（例如，以光学指示、触觉指示和/或声学指示的形式输出）的任何种类的部件。输出部件可以至少部分地由上面提到的ar设备实现。特别地，输出部件可以是ar设备的一部分。例如，输出部件可以包括用于提供光学信息或指示的显示器。特别地，输出部件可以包括用于将真实场景与附加的虚拟元素/指示进行叠加的显示设备。出于该目的，可以使用半透明显示器以在显示器所指向的真实场景上提供附加指示。可替选地，场景可以由摄像装置捕获，并且来自摄像装置的图像数据可以在显示器上与附加虚拟指示叠加。可替选地，输出部件可以至少部分地被实现为相对于ar设备的单独设备。输出部件可以包括不同的输出部件部分，例如，ar设备的显示器、ar设备的扬声器或另一设备上的扬声器、医疗（例如，透析）设备的输出部件。这些输出部件部分中的几个可以并行使用。可替选地或另外，输出部件可以在ar设备外部的设备（如例如，透析设备本身或另一设备（如移动设备））上实现。因此，可替选地或另外，输出部件可以在另一设备上实现，尽管它被称为“ar设备的输出部件”。在后一种情况下，输出部件可以从ar设备外移或转移至ar外部设备。

21、在本发明的背景下，虚拟角色或人物的表示可以被视为可以由用户作为角色或人物注意到的任何种类的输出。例如，虚拟角色或人物的这样的表示可以是数字化身等。虚拟角色或人物的表示可以以光学表示的形式提供，例如，人物的计算机生成的表示、或角色的抽象表示。特别地，虚拟角色的这样的光学表示也可以是卡通角色，或者甚至是（动画化的）符号诸如回形针或星星。简而言之，适合于向用户提供期望信息的任何适当的逼真或抽象表示可以用作虚拟角色或人物。虚拟角色或人物的表示可以包括所致动的肢体。这具有可以根据用户的目标移动来致动所提供的表示以执行任务的效果。利用这一点，可以向用户示出如何移动以及/或者定位在何处以及/或者如何摆姿势，以正确执行任务。因此，可以经由输出部件将位置数据和/或姿势数据和/或移动数据转移至ar设备。

22、虚拟角色或人物的输出不是仅限于图形或光学输出。此外，输出还可以包括例如声学输出诸如口语文本、声音信号等。例如，虚拟角色或人物可以由与用户说话的语音来表示。除此之外，用于向用户提供信息的任何其他方式（例如，借助于触觉输出等）也可以是可能的。

23、要在本发明的背景下执行的任务可以是与相关医疗设备相关的任何种类的操作。这样的任务可以是例如针对期望的任务/作业准备医疗设备（例如，设置医疗设备特别是透析机器，尤其是在医疗设备的调试之前）。出于该目的，用户可能必须在医疗设备上安装一个或更多个附接件或配件，插入一个或更多个消耗品，在医疗设备上进行特定设置或者执行任何其他需要的操作。如果需要，则必须考虑患者的特定数据。任务还可以是例如在操作期间监测医疗设备。出于该目的，用户可能必须监测医疗设备的状态消息、监测消耗品的填充水平、监测流速等。在参数中的一个超出公差范围的情况下，用户必须对此进行反应以确保安全操作。在另一示例中，任务可以是例如在故障或错误消息的情况下进行反应。例如，如果医疗设备检测到故障或问题，用户必须采取必要的步骤以去除这样的问题的原因。然而，应当理解，任务可以包括与相关医疗设备相关的任何其他种类的操作，诸如维护、正常操作、测试和/或培训。

24、任务可以例如由用户（例如，通过用户输入）来指定或选择。另外地或可替选地，可以借助于执行任务功能来完全或至少部分地自动确定任务。出于该目的，可以考虑另外的信息诸如来自医疗设备、来自患者数据库和/或其他来源/数据库的数据，以通过任务功能确定期望的任务。任务功能可以被配置成在仍然可以改进的某些任务上辅助和/或培训用户。任务功能可以是用户特定的。利用该功能，可以专门针对用户来调整辅助。除此之外，还可能的是其他人（例如，培训者或讲师）可以选择应当由用户执行的任务。

25、在可能的实施方式中，通过应用机器学习方法或工具来计算辅助方案。机器学习工具可以被表示为人工智能，并且可以被实现为神经网络架构，特别是实现为dnn深度神经网络。可以用训练数据来训练神经网络。训练数据可以包括要执行的任务和用于提供辅助的输出。可替选地，训练数据可以包括医疗设备的操作设置和/或所监视到的用户的活动和/或用户的技能水平。神经网络被训练成根据用于新的、未见过的任务的辅助方案和/或操作设置和/或所监视到的用户的活动来提供输出。训练可以是有监督的、或无监督的、或半监督的。

26、在可能的实施方式中，所生成的输出包括光学、声学和/或触觉输出，该光学、声学和/或触觉输出可以在ar设备的输出部件上被输出。例如，光学输出可以包括虚拟角色或人物（诸如，化身）的表示，特别是光学表示。

27、表示可以是静态表示。这样的静态表示可以是例如人物或角色的（计算机生成的）图示，以用于指示应由用户执行的期望操作。例如，表示可以示出正操作医疗设备的控制元件的人。如果适当，除虚拟人物或角色的表示之外，还可以提供附加文本。

28、表示也可以是动态表示。例如，表示可以是例如（计算机动画化的）人物或角色。这样的动画化的人物或角色可以用于演示应由用户操作的位置和/或姿势或过程或移动的序列。出于该目的，可以借助于表示算法来计算表示。表示算法被配置成致动人物或角色的肢体，以模仿用户的用于执行任务的正确移动。例如，可以将动态表示提供成使得虚拟人物或角色在正确执行医疗设备上的相应操作时模拟或模仿用户的位置、姿势序列和/或移动。表示算法计算肢体致动，诸如表示或指示操作透析设备（特别是要执行的任务）所需的移动的肢体致动。

29、在可能的实施方式中，所计算的辅助方案可以包括用于虚拟角色或人物的肢体致动的表示的规则。例如，如果虚拟角色或人物涉及计算机生成以及/或者计算机动画化的人物或角色、或者整个人物或角色的至少一部分（例如，带有手的手臂或带有手指的手），则辅助方案可以指定应如何对所提供的人物或角色的各个肢体进行建模以将期望的移动表示为用于引导用户的辅助的规则。例如，所指定的规则可以描述用于操作医疗设备的控制元件的手指的移动、或带有手的手臂的移动以示出配件的附接。所计算的表示的细节水平可以针对任务进行调整。例如，如果任务需要大运动技能，则计算具有较低细节水平的粗略表示，而如果任务需要精细的大运动技能，则计算具有较高细节水平的更详细表示。

30、在可能的实施方式中，所生成的输出包括通过模拟虚拟角色或人物的肢体致动来提供期望的移动。例如，虚拟人物或角色的表示可以基于角色或人物的计算机实现的方法或计算机动画化的处理来生成。尤其是，可以考虑根据针对肢体致动所计算的辅助方案的规范和/或规则以生成虚拟角色或人物。以这种方式，可以获得虚拟角色或人物的逼真图示，这使得对于用户来说易于理解医疗设备上的期望的操作。

31、在可能的实施方式中，用于生成输出的细节水平是可调整的。可以例如通过用户的适当输入手动调整该细节水平。然而，如下面更详细地描述的，细节水平也可以基于适当的规则被自动调整。细节水平可以指定例如向用户提供何种复杂程度的虚拟人物或角色的表示的细节水平。然而，细节水平还可以指定向用户提供何种精确程度的用于操作医疗设备的各个操作或子任务的水平。例如，非常缺乏经验的用户可以选择高细节水平，使得向用户提供所有或至少大量的子任务或操作。更有经验的用户可以选择较低细节水平，使得仅向用户提供减小数目的子任务或操作。以这种方式，向缺乏经验的用户提供用于执行期望的任务的所有所需信息，以及向更有经验的用户提供较少信息，以避免向用户大量灌入信息或者使用户混淆。

32、在可能的实施方式中，方法可以包括监视用户的活动的步骤。特别地，可以监视用户的活动以确定用户的技能水平。技能水平可以包括用户的经验水平。可以基于历史存储数据来确定经验水平。可替选地或另外，经验水平可以根据表示用户在透析设备处执行的活动的数据来确定。这可以用于指示例如用户已经获得了多少经验。技能水平可以基于所监视到的用户的活动（特别是实际监视到的活动）以任何适当的方式得出。基于所确定的用户的技能水平，可以调整用于生成输出的细节水平。以这种方式，可以实现用于调整细节水平以辅助用户的自动方法。

33、在可能的实施方式中，方法可以包括接收与用户的技能水平相关的数据的步骤。另外地或可替选地，可以接收用户的偏好。可以例如从数据库接收与用户的技能水平和/或用户的偏好相关的数据。数据库可以是本地存储设备或远程存储装置，例如云中的存储装置。基于所接收到的数据，可以调整用于生成输出的细节水平。因此，可以单独调整对用户的辅助。

34、在可能的实施方式中，可以基于从ar设备接收到的信息来计算辅助方案和/或输出。特别地，可以基于透析设备的类型、所监视到的用户的活动、用户身份、地理区域标识符和/或时间信息来计算辅助方案和/或输出。“时间信息”是指时间参数。时间参数可以指示何时或在什么时间和/或多长时间（持续时间）将提供输出。可替选地或另外，时间参数可以指示请求辅助的时间（例如，在一天的过程期间）。例如，如果在白天期间请求或触发辅助，则辅助方案可以定义成提供具有适于日常环境噪声的音量的声学输出，而如果在夜间期间请求或触发辅助，则辅助方案可以定义成提供具有适于较少环境噪声或静音的（较低）音量的声学输出。这同样适用于光学输出，其中，强度适应于一天中请求辅助的时间。然而，应当理解，还可以考虑任何其他适当的信息以计算适当的辅助方案，特别是适合当前需求的辅助方案。

35、在可能的实施方式中，方法可以包括接收用户输入的步骤。用户输入可以例如由输入部件（例如，用户界面）接收。尤其地，用户输入包括手势、语音输入和/或触觉输入。因此，可以基于所接收到的用户输入来计算辅助方案。以这种方式，用户可以控制和调整所提供的辅助，特别地，控制甚至可以实时被执行。例如，可以根据这样的用户输入来调整细节水平。

36、此外，还可以基于虚拟人物或角色打开或关闭辅助的提供。然而，还可以考虑任何其他种类的输入。例如，用户可以使用这样的输入以指定期望的任务，或者可以请求任何种类的附加信息，特别是与医疗设备的操作相关的信息。

37、在可能的实施方式中，方法还包括扫描透析设备的空间环境的步骤。空间环境可以例如由至少一个传感器部件扫描。传感器部件可以是ar设备的传感器部件以及/或者可以作为单独的部件提供。因此，可以基于所扫描到的空间环境的数据来计算辅助方案。例如，在计算辅助方案时，可以考虑医疗设备的环境中的可用空间。因此，可以考虑空间限制，例如关于用户在医疗设备周围的移动的限制等。此外，还可以识别环境中的另外的对象，诸如可用的配件和/或消耗品。在这种情况下，还可以在针对当前用户计算辅助方案时，考虑所识别的另外的对象。

38、在本发明的背景下，传感器部件可以是任何种类的输入部件，特别是用于感测环境属性以及/或者用于接收用户输入的任何种类的部件，例如如用户界面ui、图形用户界面gui等。例如，传感器部件可以包括光学传感器元件诸如至少一个摄像装置、至少一个激光扫描仪等。可替选地或另外，传感器部件还可以包括可以被使用例如以记录用户的语音命令的声学传感器元件诸如麦克风。可替选地或另外，传感器部件还可以包括传感器元件诸如陀螺仪、加速度传感器（用于一个或更多个维度）和/或距离传感器或用于感测用户的位置、姿势和/或移动的任何其他种类的传感器。可替选地或另外，传感器元件还可以包括一个或更多个通信模块。例如，这样的通信模块可以是wifi接口、蓝牙接口、rfid读取器或任何其他无线或有线通信模块。然而，应当理解，任何其他种类的传感器元件也可以由传感器部件包括。传感器部件或其部分可以是增强现实设备的一部分。可替选地或另外，传感器部件可以作为外部设备（特别是在医疗设备外部和/或增强现实设备外部）提供。传感器部件可以是移动设备（例如，智能电话、平板电脑等）的一部分。

39、借助于传感器部件捕获的数据可以涉及：1.医疗设备和/或相关部分和/或其操作条件，以及/或者2.用户在与医疗设备交互或操作医疗设备时的活动。

40、在可能的实施方式中，虚拟角色或人物的表示可以是可调整的。特别地，表示可以是通过用户指令可调整的，该用户指令可以经由用户界面接收。尤其地，可以从多个预存储的模板中选择虚拟角色或人物的表示。模板可以被存储在本地存储装置或远程存储设备（诸如，云）中。以这种方式，用户可以根据他的个人偏好来调整虚拟角色或人物。例如，用户可以在一个或更多个男性或女性人物或角色之间进行选择，调整皮肤、头发等的颜色。此外，用户还可以例如在逼真的人物或更多的人工角色（诸如，对象例如动画化的明星等）之间进行选择。

41、在对附图的以下详细描述中，参照附图讨论了实施方式的非限制性示例以及其特征和另外的优点。