使用增强现实的远程外科指导的制作方法

技术特征：
1.一种用于利用外科机器人系统进行远程指导的方法，包括：基于a)机器人信息和b)由一个或多个深度相机对手术室(or)的感测来生成所述or的虚拟表示，所述一个或多个深度相机包括与由所述or中的本地用户操作的便携式电子装置集成的至少一个深度相机以及布置在所述or中的至少一个静止深度相机；向虚拟现实头戴式设备传输用于向由远程用户操作的所述虚拟现实头戴式设备的显示器呈现虚拟现实环境的所述or的所述虚拟表示和三维点云数据；以及基于所述远程用户的位置和来自所述远程用户的输入在增强现实中将所述远程用户的虚拟表示呈现给所述便携式电子装置的显示器。2.根据权利要求1所述的方法，其中，所述三维点云数据包括所述or中的患者。3.根据权利要求1所述的方法，其中，来自所述远程用户的所述输入包括在所述虚拟现实头戴式设备处捕获的音频数据。4.根据权利要求1所述的方法，其中，来自所述远程用户的所述输入包括要在所述便携式电子装置处在所述增强现实中呈现的以下中的至少一者：由数字工具远程生成的虚拟注释、解剖分割数据、套管针放置和先前外科设置。5.根据权利要求1所述的方法，其中，所述本地用户的所述便携式电子装置是平板计算机，并且在由所述平板计算机捕获的图像流之上在所述显示器上呈现所述增强现实。6.根据权利要求1所述的方法，其中，所述本地用户的所述便携式电子装置是具有佩戴在眼睛前方的透明显示器的头戴式装置，在所述透明显示器上呈现所述增强现实。7.根据权利要求1所述的方法，其中，所述机器人信息包括以下中的至少一者：一个或多个外科机器人臂的关节角度、工具类型、工具抓持状态、活动工具能量、外科手术台的位置和取向、以及所述外科机器人系统的错误代码。8.根据权利要求1所述的方法，其中，对由与所述便携式电子装置集成的所述至少一个深度相机所生成的数据执行同时定位和标测(slam)，以在所述公共坐标系中定位所述便携式电子装置的所述位置和取向。9.根据权利要求1所述的方法，其中，所述便携式电子装置的所述位置和取向被传送到所述虚拟现实头戴式设备，用于在所述远程用户的所述虚拟现实环境中呈现所述便携式电子装置的虚拟表示或所述本地用户的虚拟表示。10.根据权利要求1所述的方法，其中，所述一个或多个深度相机包括rgbd相机。11.根据权利要求1所述的方法，其中，所述远程用户的所述虚拟表示包括以下中的至少一者：a)所述虚拟现实头戴式设备的虚拟表示，b)指示所述远程用户的手移动或手位置的虚拟手，或者c)类似于整个人或整个人的一部分的虚拟化身。12.一种外科机器人系统，包括：多个深度相机，所述多个深度相机包括与由手术室(or)中的本地用户操作的便携式电子装置集成的至少一个深度相机以及布置在所述or中的至少一个静止深度相机；外科机器人和控制器；以及处理器，所述处理器被配置为执行以下操作：基于a)从所述外科机器人或控制器接收的机器人信息和b)由所述多个深度相机对所述or的感测来生成所述or的虚拟表示；向虚拟现实头戴式设备传输所述or的所述虚拟表示和三维点云数据，从而致使所述虚
拟现实头戴式设备向由远程用户佩戴的所述虚拟现实头戴式设备的显示器呈现虚拟现实环境；以及向所述本地用户的所述便携式电子装置传输用于在所述便携式电子装置处在增强现实中呈现所述远程用户的虚拟表示的所述远程用户的位置和来自所述远程用户的输入。13.根据权利要求12所述的外科机器人系统，其中，所述三维点云数据包括患者的身体。14.根据权利要求12所述的外科机器人系统，其中，来自所述远程用户的所述输入包括在所述虚拟现实头戴式设备处捕获的音频数据。15.根据权利要求12所述的外科机器人系统，其中，来自所述远程用户的所述输入包括要在所述便携式电子装置处在所述增强现实中呈现的以下中的至少一者：由数字工具远程生成的虚拟注释、解剖分割数据、套管针放置和先前外科设置。16.根据权利要求12所述的外科机器人系统，其中，所述本地用户的所述便携式电子装置是平板计算机，并且在由所述平板计算机捕获的图像流之上呈现所述增强现实并且在所述平板计算机的屏幕上显示所述增强现实。17.根据权利要求12所述的外科机器人系统，其中，所述本地用户的所述便携式电子装置是具有透明显示区域的头戴式显示器，在所述透明显示区域上呈现所述增强现实。18.根据权利要求12所述的外科机器人系统，其中，所述机器人信息包括以下中的至少一者：一个或多个外科机器人臂的关节角度、工具类型、工具抓持状态、活动工具能量、外科手术台的位置和取向、以及所述外科机器人系统的错误代码。19.根据权利要求12所述的外科机器人系统，其中，对由与所述便携式电子装置集成的所述至少一个深度相机所生成的数据执行同时定位和标测(slam)，以在所述公共坐标系中定位所述便携式电子装置的所述位置和取向。20.根据权利要求12所述的外科机器人系统，其中，所述便携式电子装置的所述位置和取向被传送到所述虚拟现实头戴式设备，用于在所述远程用户的所述虚拟现实环境中呈现所述便携式电子装置的虚拟表示或所述本地用户的虚拟表示。

技术总结
基于机器人信息和通过深度相机对手术室的感测来生成该OR的虚拟表示。该深度相机中的一者与由该手术室中的本地用户操作的便携式电子装置集成。该OR的该虚拟表示与三维点云数据一起传送到虚拟现实头戴式设备。将虚拟现实环境呈现给由远程用户操作的该虚拟现实头戴式设备的显示器。该远程用户的虚拟表示在增强现实中呈现给该便携式电子装置的显示器。现实中呈现给该便携式电子装置的显示器。现实中呈现给该便携式电子装置的显示器。


技术研发人员：B
受保护的技术使用者：威博外科公司
技术研发日：2020.06.17
技术公布日：2023/2/3