在微创手术中优化可达性、工作空间和灵巧性的系统和方法与流程

在微创手术中优化可达性、工作空间和灵巧性的系统和方法
相关申请的交叉引用
1.本技术要求于2018年12月28日提交的美国临时申请号62/785,957的权益，其全部内容通过引用合并于本文中。


背景技术：

2.本公开的实施方式一般地涉及微创手术机器人的可达性、工作空间和灵巧性的优化。具体地，本公开描述了一种确定误差最小化切口位置以优化手术机器人的可达性、工作空间和灵巧性的方法。


技术实现要素：

3.根据本公开的实施方式，提供了用于确定手术机器人的误差最小化工作空间(error-minimizing workspace)的系统、方法和计算机程序产品。在各种实施方式中，该系统包括具有近端和远端的第一机械臂。近端固定到基部。该系统还包括设置在机械臂的远端处的外科器械，并且该外科器械具有近端和远端。该系统还包括耦合到外科器械的远端的工具和计算节点，该计算节点包括计算机可读存储介质，该计算机可读存储介质具有在其上实现的程序指令。程序指令可由计算节点的处理器执行，以使得处理器执行其中确定患者的误差最小化的切口部位的方法。基于解剖结构的一个或多个位置和误差最小化的切口部位来确定工具的工具取向误差。基于工具取向误差调整手术机器人，从而最小化工具取向误差。
4.在各种实施方式中，可以确定到解剖结构的一个或多个位置的手术轨迹。在各种实施方式中，使用沿手术轨迹限定的多个点来离散化(discretize)手术轨迹。在各种实施方式中，针对沿着手术轨迹的多个点中的每个点确定工具取向误差。在各种实施方式中，工具取向误差通过以下公式确定：误差＝α2 β2 γ2，其中α是工具的期望x分量与实际x分量之间的角度，β是工具的期望y分量与实际y分量之间的角度，γ是工具的期望z分量与实际z分量之间的角度。在各种实施方式中，确定患者中误差最小化的切口部位包括离散患者的解剖模型的表面，从而在表面上生成多个候选切口部位。在各种实施方式中，确定患者的误差最小化的切口部位包括确定多个候选切口部位中的每个候选切口部位的工具取向误差。在各种实施方式中，选择具有最小误差度量的多个候选切口部位中的一个候选切口部位。在各种实施方式中，确定手术机器人的基部的误差最小化位置，并且误差最小化位置基于所选择的切口部位。在各种实施方式中，确定基部的误差最小化位置包括将患者外部的空间离散成多个候选基部位置。在各种实施方式中，针对多个候选基部位置中的每个候选基部位置确定基于离散化手术轨迹的第二工具取向误差。在各种实施方式中，第二工具取向误差通过以下公式确定：误差＝α2 β2 γ2，其中α是工具的期望x分量与实际x分量之间的角度，β是工具的期望y分量与实际y分量之间的角度，γ是工具的期望z分量与实际z分量之间的角度。
5.在各种实施方式中，提供了一种用于确定手术机器人的误差最小化工作空间的方
法，所述手术机器人具有近端和远端以及在远端具有工具的外科器械，其中确定患者的误差最小化的切口部位。基于解剖结构的一个或多个位置和误差最小化的切口部位来确定工具的工具取向误差。基于工具取向误差调整手术机器人，从而最小化工具取向误差。
6.在各种实施方式中，可以确定到解剖结构的一个或多个位置的手术轨迹。在各种实施方式中，用沿手术轨迹限定的多个点来离散化手术轨迹。在各种实施方式中，针对沿着手术轨迹的多个点中的每个点确定工具取向误差。在各种实施方式中，工具取向误差通过以下公式确定：误差＝α2 β2 γ2，其中α是工具的期望x分量与实际x分量之间的角度，β是工具的期望y分量与实际y分量之间的角度，γ是工具的期望z分量与实际z分量之间的角度。在各种实施方式中，确定患者中误差最小化的切口部位包括离散化患者的解剖模型的表面，从而在表面上生成多个候选切口部位。在各种实施方式中，确定患者的误差最小化的切口部位包括确定多个候选切口部位中的每个候选切口部位的工具取向误差。在各种实施方式中，选择具有最小误差度量的多个候选切口部位中的一个候选切口部位。在各种实施方式中，确定手术机器人的基部的误差最小化位置，并且误差最小化位置基于所选择的切口部位。在各种实施方式中，确定基部的误差最小化位置包括将患者外部的空间离散成多个候选基部位置。在各种实施方式中，针对多个候选基部位置中的每个候选基部位置，基于离散化的手术轨迹确定第二工具取向误差。在各种实施方式中，第二工具取向误差通过以下公式确定：误差＝α2 β2 γ2，其中α是工具的期望x分量与实际x分量之间的角度，β是工具的期望y分量与实际y分量之间的角度，γ是工具的期望z分量与实际z分量之间的角度。
7.在各种实施方式中，提供了用于确定手术机器人的误差最小化工作空间的计算机程序产品，所述手术机器人具有近端和远端以及在远端具有工具的外科器械。计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有在其上实现的程序指令。程序指令可由计算节点的处理器执行，以使得处理器执行其中确定患者的误差最小化的切口部位的方法。基于解剖结构的一个或多个位置和误差最小化的切口部位来确定工具的工具取向误差。基于工具取向误差调整手术机器人，从而最小化工具取向误差。
8.在各种实施方式中，可以确定到解剖结构的一个或多个位置的手术轨迹。在各种实施方式中，使用沿手术轨迹限定的多个点来离散化手术轨迹。在各种实施方式中，针对沿着手术轨迹的多个点中的每个点确定工具取向误差。在各种实施方式中，工具取向误差通过以下公式确定：误差＝α2 β2 γ2，其中α是工具的期望x分量与实际x分量之间的角度，β是工具的期望y分量与实际y分量之间的角度，γ是工具的期望z分量与实际z分量之间的角度。在各种实施方式中，确定患者中误差最小化的切口部位包括离散患者的解剖模型的表面，从而在表面上生成多个候选切口部位。在各种实施方式中，确定患者误差最小化的切口部位包括确定多个候选切口部位中的每个候选切口部位的工具取向误差。在各种实施方式中，选择具有最小误差度量的多个候选切口部位中的一个候选切口部位。在各种实施方式中，确定手术机器人的基部的误差最小化位置，并且误差最小化位置基于所选择的切口部位。在各种实施方式中，确定基部的误差最小化位置包括将患者外部的空间离散成多个候选基部位置。在各种实施方式中，针对多个候选基部位置中的每个候选基部位置，基于离散化手术轨迹确定第二工具取向误差。在各种实施方式中，第二工具取向误差通过以下公式确定：误差＝α2 β2 γ2，其中α是工具的期望x分量与实际x分量之间的角度，β是工具的期望y分量与实际y分量之间的角度，γ是工具的期望z分量与实际z分量之间的角度。
9.根据本公开的实施方式，提供了用于确定手术机器人的外科器械的远端处的工具取向误差的系统、方法和计算机程序产品。在各种实施方式中，系统包括具有近端和远端第一机械臂。近端固定到基部。外科器械设置在机械臂的远端，并且外科器械具有近端和远端。工具耦合到外科器械的远端。该系统还包括计算节点，该计算节点包括计算机可读存储介质，该计算机可读存储介质具有在其上实现的程序指令。程序指令可由计算节点的处理器执行，以使得处理器执行其中确定末端执行器的第一取向的方法。第一取向包括第一x分量、第一y分量和第一z分量。确定末端执行器的期望取向。期望取向包括第二x分量、第二y分量和第二z分量。确定第一x分量与第二x分量之间的第一角度，确定第一y分量与第二y分量之间的第二角度，确定第一z分量和第二z分量之间的第三角度。确定基于第一角度、第二角度和第三角度的误差度量。
10.在各种实施方式中，误差度量由以下公式确定：误差＝α2 β2 γ2，其中α是第一角度，β是第二角度，并且γ是第三角度。在各种实施方式中，确定患者的解剖模型。在各种实施方式中，选择解剖模型上的第一切口部位，并且误差度量对应于第一切口部位。在各种实施方式中，解剖模型包括解剖图谱。在各种实施方式中，解剖模型包括基于患者成像的患者解剖的三维重建。在各种实施方式中，确定误差度量包括将固定的三维位置维持在沿着外科器械的近端位置处。在各种实施方式中，近端位置对应于解剖模型上的切口部位。在各种实施方式中，解剖模型包括目标解剖结构。在各种实施方式中，确定一个或多个附加误差度量，使得附加误差度量中的每个附加误差度量对应于解剖模型内的多个位置中的不同位置。在各种实施方式中，不同的位置对应于2d笛卡尔网格。在各种实施方式中，显示解剖模型内多个位置中的每个位置的误差度量的图形。在各种实施方式中，该方法还包括：选择解剖模型上的一个或多个附加切口部位，并且对于每个附加切口部位，确定解剖模型内多个位置中的每个位置的误差度量的图。在各种实施方式中，选择具有最小误差度量的切口部位中的一个切口部位。
11.在各种实施方式中，提供了一种用于确定末端执行器的取向误差的方法，其中确定了末端执行器的第一取向。第一取向包括第一x分量、第一y分量和第一z分量。确定末端执行器的期望取向。期望取向包括第二x分量、第二y分量和第二z分量。确定第一x分量与第二x分量之间的第一角度，确定第一y分量与第二y分量之间的第二角度，确定第一z分量与第二z分量之间的第三角度。确定基于第一角度、第二角度和第三角度的误差度量。
12.在各种实施方式中，误差度量通过以下公式确定：误差＝α2 β2 β2，其中α是第一角度，β是第二角度，并且γ是第三角度。在各种实施方式中，确定患者的解剖模型。在各种实施方式中，选择解剖模型上的第一切口部位，并且误差度量对应于第一切口部位。在各种实施方式中，解剖模型包括解剖图谱。在各种实施方式中，解剖模型包括基于患者成像的患者解剖的三维重建。在各种实施方式中，确定误差度量包括将固定的三维位置维持在沿着外科器械的近端位置处。在各种实施方式中，近端位置对应于解剖模型上的切口部位。在各种实施方式中，解剖模型包括目标解剖结构。在各种实施方式中，确定一个或多个附加误差度量，使得附加误差度量中的每个附加误差度量对应于解剖模型内的多个位置中的不同位置。在各种实施方式中，不同的位置对应于2d笛卡尔网格。在各种实施方式中，显示在解剖模型内的多个位置中的每个位置的误差度量的图形。在各种实施方式中，该方法还包括：选择解剖模型上的一个或多个附加切口部位，并且对于每个附加切口部位，确定解剖模型内
多个位置中的每个位置的误差度量的图。在各种实施方式中，选择具有最小误差度量的切口部位中的一个切口部位。
13.在各种实施方式中，提供了用于确定末端执行器的取向中的误差的计算机可读存储介质形式的计算机程序产品，该计算机可读存储介质具有在其上实现的程序指令。程序指令可由处理器执行，以使得处理器执行其中确定末端执行器的第一取向的方法。第一取向包括第一x分量、第一y分量和第一z分量。确定末端执行器的期望取向。期望取向包括第二x分量、第二y分量和第二z分量。确定第一x分量和第二x分量之间的第一角度，确定第一y分量和第二y分量之间的第二角度，以及确定第一z分量和第二z分量之间的第三角度。确定基于第一角度、第二角度和第三角度的误差度量。
14.在各种实施方式中，误差度量通过以下公式确定：误差＝α2 β2 γ2，其中α是第一角度，β是第二角度，并且γ是第三角度。在各种实施方式中，确定患者的解剖模型。在各种实施方式中，选择解剖模型上的第一切口部位，并且误差度量对应于第一切口部位。在各种实施方式中，解剖模型包括解剖图谱。在各种实施方式中，解剖模型包括基于患者的成像的患者解剖的三维重建。在各种实施方式中，确定误差度量包括：将固定的三维位置维持在沿着外科器械的近端位置处。在各种实施方式中，近端位置对应于解剖模型上的切口部位。在各种实施方式中，解剖模型包括目标解剖结构。在各种实施方式中，确定一个或多个附加误差度量，使得附加误差度量中的每个附加误差度量对应于解剖模型内的多个位置中的不同位置。在各种实施方式中，不同的位置对应于2d笛卡尔网格。在各种实施方式中，显示在解剖模型内的多个位置中的每个位置的误差度量的图形。在各种实施方式中，该方法还包括：选择解剖模型上的一个或多个附加切口部位，并且对于每个附加切口部位，确定解剖模型内多个位置中的每个位置的误差度量的图。在各种实施方式中，选择具有最小误差度量的切口部位中的一个切口部位。
附图说明
15.图1示出了根据本公开的实施方式的用于执行腹腔镜手术的机械臂系统。
16.图2a-图2b示出了根据本公开的实施方式的用于执行腹腔镜手术的机械臂系统。
17.图2c示出了根据本公开的实施方式的用于执行腹腔镜手术的机械臂系统的俯视图。
18.图3a示出了根据本公开的实施方式的腹部内的外科器械和工具的两个取向。图3b示出了根据本公开的实施方式的腹部内的外科器械和工具的各种取向。
19.图4a-图4b示出了根据本公开的实施方式的工具取向。
20.图5a示出了根据本公开的实施方式的离散化解剖模型。图5b示出了根据本公开的实施方式的离散化解剖模型。
21.图6a-图6b示出了根据本公开的实施方式的工具取向误差的图形表示。
22.图7示出了根据本公开的实施方式的工具取向误差的图形表示。
23.图8示出了根据本公开的实施方式的机器人手术系统的示意图。
24.图9示出了根据本公开的实施方式的用于计算工具误差的方法的流程图。
25.图10描绘了根据本公开的各个实施方式的示例性计算节点。
具体实施方式
26.许多手术操作(例如，缝合、切割和/或折叠)需要手术工具的高度灵巧和高度精确的运动，以实现令人满意的手术结果。在全自动机器人外科手术中，手术机器人通常包括附接到其上的具有工具的外科器械，该工具通过放置在患者腹部中的小的锁孔切口(keyhole incision)中的套管针插入。如本文所用，锁孔切口可指尺寸为约0.25英寸至1英寸的微创切口。该工具可以包括任何合适的医疗工具，例如照相机、切割工具、夹持工具、压接工具、电灼工具或本领域已知的任何其他合适的工具。当外科器械通过套管针插入(并进入患者的体腔，例如腹部)时，工具的运动范围和/或可能的取向可能会基于套管针在患者的位置而受到限制。如果未根据运动范围和/或可能的取向优化套管针位置，则该工具可能无法到达工作空间(例如，体腔)的某些区域或该工作空间内的对象(例如，大动脉)，并且因此，可能无法执行其预期的手术任务(例如，切割、抓握等)。例如，如果机械臂的基部放置得离患者太远，则作为外科手术目标对象的解剖对象(例如，肾脏)可能会超出工具的工作范围，从而使手术过程变得复杂。
27.因此，需要系统和方法来确定误差最小化的切口位置，从而实现准确的手术操作并改进机器人辅助手术。
28.图1示出了根据本公开的实施方式的用于执行腹腔镜手术的机械臂系统100。机械臂系统100包括在近端固定到基部101的机械臂102。机械臂102还包括位于远端的外科器械104，并且外科器械104包括工具(未示出)，例如抓握器、电灼工具、切割工具等。套管针105被插入腹部108中的切口106中，从而提供到体腔(例如，腹腔)的通路，在该体腔中将进行外科手术。在各种实施方式中，监督机器人手术的外科医生110可以通过套管针105插入外科器械104(和工具)，并进入体腔。
29.图2a-图2b示出了根据本公开的实施方式的用于执行腹腔镜手术的机械臂系统200。类似于图1的机械臂系统，机械臂系统200包括位于腹部208(建模为尺寸为40cm x 40cm x 20cm的矩形盒)上方的机械臂202。在各种实施方式中，腹部208的尺寸可基于特定患者而变化。图2b显示了腹部208，该腹部208包括对应于第一种情况的第一切口206a和对应于第二种情况的第二锁孔切口206b。根据给定手术过程的切口位置，外科器械末端处的工具可具有不同的取向误差。末端执行器取向误差的可变性将关于图6a、图6b和图7更详细地讨论。
30.图2c示出了根据本公开的实施方式的用于执行腹腔镜手术的机械臂系统200的俯视图。如图2c所示，腹部208中的第二锁孔切口206b(大约在腹部的中心)在任一方向上距离基部大约30cm定位。在各种实施方式中，优化算法可以应用于每个可能的切口206a、206b，以基于特定的外科手术确定工具中的最大误差。
31.图3a示出了根据本公开的实施方式的腹部308内的外科器械304a、304b和工具307a、307b的两个取向。如图3a所示，外科器械304a和工具307a以第一取向放置在腹部308的切口306内。由于切口306和/或敏感组织(例如，神经和/或血管)产生的一个或多个约束，工具307a可能不能实现期望的取向，例如由外科器械304b所示的取向，其中工具307b的取向与工具307a的取向不同。在各种实施方式中，当外科器械304a处于该特定位置时，锥体350a表示工具307a的所有可能取向。在各种实施方式中，当外科器械304b处于该特定位置时，锥体350b表示工具307b的所有可能取向。如图3a所示，锥体350b不与对象320碰撞，并且
可以接近解剖结构322。
32.在各种实施方式中，外科器械(和工具)在特定体腔内可具有有限的工作空间。在各种实施方式中，一个或多个对象320(例如，骨头或血管)可能阻止外科器械能够采用特定的期望取向来接近解剖结构322(例如，肾脏)。在第一取向中，工具307a可能无法在腹部308的某些部分中对解剖结构322执行手术操作，而在期望取向上，外科器械304b能够在解剖结构322上执行手术操作。
33.在各种实施方式中，外科器械(和工具)可能基于机械臂基部的放置在特定体腔内具有有限的工作空间。在各种实施方式中，如果机械臂的基部被错误地定位(例如，放置得离患者太远)，则外科器械可能无法采用特定的、期望取向(例如由外科器械304b的工具307b所示的取向)，以接近解剖结构322(例如，肾脏)。
34.图3b示出了根据本公开的实施方式的腹部308内的外科器械304a、304b、304c、304d和工具307a、307b、307c、307d的各种取向。在各种实施方式中，在外科器械304a的第一取向中，由于存在阻碍工具的对象320(例如，神经和/或血管结构)，而无法实现工具的期望取向。在各种实施方式中，在外科器械304b的第二取向中，由于切口部位306和/或套管针而不能实现工具的期望取向，因为只有落入锥体350内的取向是可实现的。在各种实施方式中，工具307b和307c可具有相对于期望的工具取向307a最小的工具取向误差。在该示例中，由于切口部位306而无法实现307b，因此将选择工具307c取向。
35.在各种实施方式中，切口的位置(以及随后的套管针放置)对手术机器人施加了运动学约束。在各种实施方式中，一个约束是器械不应在切口部位横向移动(例如，以避免损坏切口)。在各种实施方式中，当通过腹腔镜进行手术时(因为这种限制在切口/套管针处)，工具处的可操作性可能会显著降低。在各种实施方式中，如果器械不具有铰接式远端工具，则考虑到手术目标(例如，器官)，切口部位的适当放置对于保持器械可操作性是重要的。在各种实施方式中，即使使用具有一个或多个铰接关节的灵巧工具(例如抓握器)，该工具在试图从某个角度到达目标时也可能遇到问题，因为例如，切口部位限制了器械和/或工具的运动。
36.图4a-图4b示出了根据本公开的实施方式的工具407的取向。如图4a所示，工具407具有基于最远点412的取向。工具407的取向包括三个向量：x分量414a、y分量414b和z分量414c，它们一起限定了工具407在3d空间中的取向。
37.图4b示出了不含图4a中示出的工具407的远端点412。如图4b所示，工具407包括实际取向，该实际取向包括x分量414a、y分量414b和z分量414c。在这种情况下，实际取向不同于期望取向，该期望取向由x’分量416a、y’分量416b和z’分量416c表示，它们一起限定了工具407的期望取向。
38.在各种实施方式中，可以测量特定轴与其期望配置之间的角度。例如，测量在x分量414a与x’分量416a之间的角度α，在y分量414b与y’分量416b之间测量角度β，以及在z分量414c与z’分量416c之间测量角度γ。可以使用以下等式来确定误差度量：α2 β2 γ2＝误差(等式1)。
39.在各种实施方式中，可以识别手术目标。在各种实施方式中，手术目标可以是组织、器官、结构和/或手术过程的任何其他合适的目标。
40.在各种实施方式中，可以指定手术任务(例如，缝合组织)。在各种实施方式中，可
以相对于工具的最远端的轨迹来指定手术任务。在各种实施方式中，轨迹可以包括一个或多个线。在各种实施方式中，轨迹可以包括一个或多个曲线。在各种实施方式中，轨迹可以包括样条。
41.在各种实施方式中，轨迹可被离散化为离散点的有限集合。在各种实施方式中，离散化的轨迹可以包括一组离散点，该一组离散点在每个点之间具有预定距离。在各种实施方式中，每个点之间的预定距离可以不同。例如，沿直线的点在每个点之间的距离可能较大，而曲线上的点在每个点之间的距离可能较小。在各种实施方式中，可以使用任何合适的已知离散化算法来离散化轨迹。
42.在各种实施方式中，对于沿着离散化轨迹的每个点，确定工具的期望取向。在各种实施方式中，将期望取向与一个或多个可能取向进行比较。在各种实施方式中，一个或多个可能取向可以是工具的实际取向。在各种实施方式中，使用上述等式1将每个离散点处的实际取向与期望取向进行比较，以确定沿轨迹的每个离散点的误差。在各种实施方式中，如图6a、图6b和图7所示，可以可视化从给定切口位置执行的轨迹的误差。
43.在各种实施方式中，工具取向选自与期望取向相比具有最低误差的一个或多个可能取向。在各种实施方式中，当可能取向中的一个取向包括期望取向时，选择该取向。在各种实施方式中，当在可能取向中包括期望取向时，误差可以为零。
44.在各种实施方式中，考虑到特定候选切口位置，可以对每个离散点处的确定误差求和，以确定整个轨迹的总误差度量。在各种实施方式中，可以为多个候选切口位置中的每个候选切口位置计算总误差度量。
45.在各种实施方式中，轨迹和/或总误差度量可以取决于手术子任务的类型(例如缝合)、手术类型、手术设计、器械和/或工具的尺寸(例如，4dof、5dof、6dof)、手术复杂度和/或环境(例如，应避免的周围神经)。
46.在各种实施方式中，多个候选切口位置可共同限定网格。在各种实施方式中，网格可以包括沿着如下文关于图5a和图5b更详细地描述的解剖模型的表面的离散点。
47.在各种实施方式中，在候选切口点中选择具有最小总误差度量的一个切口点。在各种实施方式中，所选择的切口点被呈现给用户(例如，外科医生)。在各种实施方式中，当两个或更多个切口点具有相同的、最小的总误差度量时，可以突出显示该两个或更多个切口点。在各种实施方式中，可以向用户(例如，外科医生)显示两个或更多个突出显示的切口点。在各种实施方式中，用户(例如，外科医生)可以确定手术最终将使用两个或更多个突出显示的切口点中的哪一个切口点。在各种实施方式中，系统可以接收选择将用于外科手术的两个或更多个突出显示的切口部位中的一个切口部位的用户输入。
48.在各种实施方式中，本文描述的过程可以是包括切口放置和机器人基部放置的两阶段优化。在各种实施方式中，用户(例如，外科医生)可以从有限的一组切口选项(例如，知情/引导决策)中进行选择。在各种实施方式中，该过程可以确定机器人基部的位置，使得器械工具尖端能够到达手术目标。在各种实施方式中，确定机器人基部的放置的过程独立于切口放置。
49.在各种实施方式中，该过程可包括术中优化。在各种实施方式中，已经在患者身体上选择并生成了切口部位。在各种实施方式中，套管针已插入切口部位。在各种实施方式中，机器人基部已被锁定就位。在各种实施方式中，算法在术中最小化外科器械和/或工具
的任何实际取向与期望取向之间的误差。
50.图5a示出了根据本公开的实施方式的离散化解剖模型508。在各种实施方式中，解剖模型可以包括解剖的任何部分(例如，完整的解剖模型或仅解剖模型的一部分)。在各种实施方式中，解剖模型508是完整模型的一部分并且包括人体躯干。在各种实施方式中，解剖模型508可以从通用3d解剖图谱中检索。在各种实施方式中，解剖模型508可以从患者术前成像中检索。在各种实施方式中，解剖模型可以包括基于先前成像(例如，术前成像)的患者的三维重建。在各种实施方式中，解剖模型508的一个或多个表面可以使用任何合适的离散化算法进行离散化。例如，解剖模型508的顶部表面可以使用多边形网格509(例如，表面网格)离散化。在各种实施方式中，网格509可以包括多个顶点511。如本文所用，一个顶点(或多个顶点)可以是用于将表面离散为多个离散段(即，网格)的网格中两条边的任何交点。在各种实施方式中，每个顶点511均可以代表用于微创外科手术的潜在切口部位。在各种实施方式中，可以在每个顶点处执行一个或多个计算。在各种实施方式中，可以基于相邻顶点的结果迭代计算。在各种实施方式中，计算可以被迭代，直到多个结果汇集成一个结果(例如，结果从迭代到迭代改变不超过预定百分比)。在各种实施方式中，可以在每个顶点511处计算用于优化手术机器人工作空间的切口(和套管针)放置算法。在各种实施方式中，一个或多个误差最小化的切口部位513可以显示在3d解剖模型508上。在各种实施方式中，一个或多个误差最小化的切口部位513可以经由投影仪投影到患者身上(例如，在手术台上时)。
51.在各种实施方式中，每个顶点均包括三维点。在各种实施方式中，每个顶点均可以位于其中可以放置候选切口的身体的任何合适的表面上。在各种实施方式中，身体的预定区域可以从网格(例如在不能形成合适切口的地方)中排除。
52.在各种实施方式中，网格509可以经由投影仪投影到患者身上。在各种实施方式中，投影网格可以是例如笛卡尔网格。在各种实施方式中，相机可以记录患者的图像和投影网格509。在各种实施方式中，系统可以用3d解剖(例如，解剖图谱)记录患者的图像。在各种实施方式中，系统可以确定在网格509的每个顶点511处的可用工作空间和/或工具取向误差，用于工具到达3d解剖内的特定位置和/或解剖结构。
53.图5b示出了根据本公开的实施方式的离散化解剖模型508。在各种实施方式中，具有复杂形状的患者的解剖区域可以由更简单的形状来表示。在各种实施方式中，解剖模型508是简单的三维形状，例如矩形盒、立方体、球体、椭圆体、圆柱体等。例如，患者的腹部可以表示为具有长度(l)、宽度(w)和深度(d)的盒子。在各种实施方式中，可以使用任何合适的离散化算法来离散化盒子的一个或多个表面。例如，可以使用多边形(例如，矩形、正方形、三角形等)网格509(例如，表面网格)来离散盒子的顶部表面。在各种实施方式中，网格509可以包括多个顶点511。在各种实施方式中，每个顶点511均可以表示用于微创外科手术的潜在切口部位。在各种实施方式中，可以在每个顶点511处执行一个或多个计算。在各种实施方式中，可以基于相邻顶点511的结果迭代一个或多个计算。在各种实施方式中，一个或多个计算可以被迭代，直到多个结果汇集成一个结果(例如，结果从迭代到迭代改变不超过预定百分比)。在各种实施方式中，可以在每个顶点511处计算用于优化手术机器人工作空间的切口(和套管针)放置算法。在各种实施方式中，虽然盒子的表面是2d的，但切口可以是3d的。在各种实施方式中，如果盒子与机器人的基部对齐，则沿切口的所有点均可以具有
相同的深度(例如，z值)。
54.在各种实施方式中，可以为网格509中的每个顶点511确定手术路径。在各种实施方式中，可以为网格509中的每个顶点确定误差度量。在各种实施方式中，可以与模型508分开地向用户(例如，外科医生)显示误差度量的图形(例如，表面图)。在各种实施方式中，图形(例如，表面图)可以覆盖在模型508上。在各种实施方式中，该图形可以用一系列颜色进行颜色编码，使得一种颜色(例如，蓝色)代表最低或可忽略的确定误差，而另一种颜色(例如，红色)代表最高确定误差。在各种实施方式中，系统可以向用户(例如外科医生)提供特定手术的一个或多个误差最小化切口点的指示。在各种实施方式中，可以返回多于一个的切口点作为用于执行特定手术的最小化误差。
55.类似于图5a，在网格509的每个顶点511处已经确定工具取向误差后，可以选择误差最小化的切口部位513(以接近解剖模型508的体积内的目标解剖结构522)。在各种实施方式中，目标解剖结构522可以由三维空间(x，y，z)中的一个或多个点表示。在各种实施方式中，三维空间中的点可以对应于解剖结构522的任何合适的部分。例如，点可以对应于形心。在另一示例中，一个或多个点可以对应于沿着解剖结构522的表面的任何离散点。在各种实施方式中，一个或多个点可以对应于解剖结构522的体积内的任何离散点。在各种实施方式中，目标解剖结构522可以由通用3d解剖图谱建模(即，在解剖模型508内的形状和/或位置)。在各种实施方式中，目标解剖结构522可以被建模(即，解剖模型508内的形状和/或位置)作为患者成像(例如，术前成像)的3d重建。在各种实施方式中，目标解剖结构可以表示为简化的形状(例如，矩形盒、立方体、球体、椭圆体、圆柱体等)。例如，目标解剖结构508可以是表示为椭圆体的肾脏。在一些实施方式中，应用迭代优化技术来选择误差最小化的切口部位。
56.图6a-图6b示出了根据本公开的实施方式的工具取向误差的图形表示。为了生成图形，提供了工具最远侧尖端的期望取向，并且工具的x和y值增加了预定值。对于每个增量，执行上述算法以计算工具取向误差。误差最小化取向在给定取向与期望取向之间的误差量最小。计算的误差可以以图形形式可视化。图6a表示使用如上所述的第一锁孔切口的第一切口位置，并且显示工具取向误差在腹部模型的中心处最高。图6b显示了图6a的具有细化(即，更高分辨率)的网格的误差计算。
57.在各种实施方式中，可以向外科医生提供工具误差图。在各种实施方式中，可视化误差表示由执行任务的运动学约束引起的误差。在各种实施方式中，可以为外科医生提供两个或更多个推荐的切口部位以及用于特定手术(即，轨迹)的工具误差图。在各种实施方式中，推荐的切口部位可以包括那些具有最低误差的部位。在各种实施方式中，推荐的切口部位可以包括具有绝对最低误差的切口部位。在各种实施方式中，推荐的切口部位可包括具有最低5％、10％、15％、20％、25％、30％、35％、40％等误差的切口部位。
58.在各种实施方式中，如果预先选择了切口部位，则可能不需要其中机器人基部位置被预先选择和切口部位被预先选择的术前算法。在各种实施方式中，术中算法可以基于预先选择的运动学约束最小化工具尖端处的误差。
59.图7示出了根据本公开的实施方式的工具取向误差的图形表示。图7表示使用如上所述的第二锁孔切口的第二切口位置，并且显示工具取向误差在腹部模型的右上角中是最高的。
60.基于图6a、图6b和图7所示的上述图形，误差分布根据切口位置而变化。虽然这些实验是用单一取向进行的，但某些手术操作(例如缝合)需要通过外科器械和/或工具的例如旋转和/或平移的任意组合的多个取向。因此，误差最小化的切口放置需要有关手术的知识(多少点和在哪个方向)。对于缝合实例，如果合适的缝合手术是已知的，则可以根据用于执行特定缝合手术的已知运动来确定误差最小化的切口放置。
61.图8示出了根据本公开的实施方式的机器人手术系统800的示意图。机器人手术系统800与上述系统的相似之处在于系统800包括固定到基部801的机械臂802。机械臂802包括设置在机械臂802的远端处的外科器械804。外科器械804通过放置在切口806内的套管针805插入，并且包括在最远端812处的工具。
62.在一些实施方式中，应用迭代优化技术来选择误差最小化的切口点、误差最小化的套管针位置和误差最小化的基部位置，使得工具取向误差最小化。在一些此类实施方式中，对一个或多个位置变量执行穷举搜索。例如，对于给定的基本位置，可以为潜在切口点的预定网格上的每个点计算误差。一旦对给定变量的每个潜在位置执行了计算，就选择最低误差配置。在一些实施方式中，使用数学优化方法，从而避免穷举搜索。例如，可以应用梯度下降来实现位置变量的误差最小化选择。应当理解，各种数学优化方法可用于基于放置变量的最小化误差，例如差分进化、局部搜索、梯度下降或模拟退火。
63.在各种实施方式中，在第一步中，可以在患者身上选择误差最小化的切口位置，以提供误差最小化量的工作空间，以接近解剖模型808的体腔(例如，腹腔)内的一个或多个目标解剖结构822。
64.在各种实施方式中，在第二步中，确定机械臂802的基部801的位置。在各种实施方式中，基于从第一步中选择的误差最小化的切口部位806来确定基部801的位置。在各种实施方式中，基部的位置可以包括两个或更多个潜在的误差最小化位置，该潜在的误差最小化位置允许用于特定外科手术的最佳腹腔镜工作空间。
65.在各种实施方式中，为了确定手术机器人的基部的位置，给出手术轨迹、手术目标(例如，目标解剖)和器械类型。在各种实施方式中，可以在确定基部的位置之前选择切口部位。
66.在各种实施方式中，为了确定基部的位置，患者体外的预定空间可以离散成点的网格，其中每个点是基部的候选位置。对于基部801和切口部位806的候选位置，可以确定机械臂和/或工具的可达性。在各种实施方式中，可达性可以被限制到由弧线限定的区域，如图8所示。在各种实施方式中，移动基部改变了工作空间的形状和/或体积。对于候选基部801(和预选的切口部位806)，可以确定误差度量。在各种实施方式中，误差度量可以基于工具的轨迹，类似于上述的误差确定。在各种实施方式中，工具的轨迹被离散化，并且为候选基部位置确定误差。在各种实施方式中，作为示例，基部的一个或多个位置可具有与针对工具自身计算的相似(例如，相同)的误差，其中机器人工作空间能够执行轨迹(例如，在实际取向与期望取向之间具有最小误差)。在各种实施方式中，例如，如果机器人基部距离患者太远，则工具取向可能与期望工具取向显著不同，因为考虑到切口部位(和套管针)的约束，不能假设误差最小化的工具取向。
67.在各种实施方式中，可以排除一个或多个离散位置。在各种实施方式中，排除的一个或多个位置可以对应于不可用于定位机器人基部的一个或多个位置。例如，期望的医疗
保健设备(例如，麻醉监视器/输送设备)可能位于患者附近。
68.在各种实施方式中，为机器人放置推荐具有最小误差的候选的一个或多个基部位置。在各种实施方式中，可以向用户提供带有推荐的用于手术机器人的一个或多个基部位置的误差图。
69.在各种实施方式中，在第三步中，如上所述确定工具取向误差。在各种实施方式中，工具取向误差可被最小化，以避开腹腔镜工作空间内的一个或多个对象(例如，关键神经和/或血管)。在各种实施方式中，例如，工具具有期望取向和从其延伸的代表可能取向的锥体。在各种实施方式中，锥体中的一个取向将最小化如等式1中定义的误差。在各种实施方式中，如果可能取向的锥体包括期望取向，则误差为零。
70.在各种实施方式中，工具取向误差可被确定为工具最远端的路径的实际轨迹和期望轨迹之间的差异。
71.图9示出了根据本公开的实施方式的用于计算末端执行器误差的方法900的流程图。在902处，提供第一机械臂，其中机械臂包括套管针和末端执行器。在904处，确定末端执行器的第一取向。第一取向包括第一x分量、第一y分量和第一z分量。在906处，确定末端执行器的期望取向，该期望取向包括第二x分量、第二y分量和第二z分量。在908处，确定第一x分量与第二x分量之间的第一角度，确定第一y分量与第二y分量之间的第二角度，并且确定第一z分量与第二z分量之间的第三角度。在910处，确定基于第一角度、第二角度和第三角度的误差度量。
72.在各种实施方式中，确定误差度量可以包括：对第一角度、第二角度和第三角度中的每个角度的平方求和。在各种实施方式中，可以确定两个或更多个误差度量，使得每个误差度量对应于不同的套管针位置。在各种实施方式中，可以比较针对每个套管针位置确定的误差度量，以确定特定外科手术的误差最小化的套管针位置。
73.在各种实施方式中，用于确定末端执行器取向误差的算法输入可以包括例如套管针位置、腹腔尺寸和位置以及期望的末端执行器尖端取向。在各种实施方式中，可以针对两个或更多个潜在的切口部位确定末端执行器取向的误差，并且可以比较误差，以确定特定外科手术的误差最小化的切口部位。
74.现在参考图10，示出了可以与本文描述的计算机视觉系统一起使用的示例性计算节点的示意图。计算节点10仅是合适的计算节点的一个示例，并且无意于暗示对本文所述实施方式的使用范围或功能的任何限制。无论如何，计算节点10能够被实现和/或执行以上阐述的任何功能。
75.在计算节点10中，存在计算机系统/服务器12，其可与许多其他通用或专用计算系统环境或配置一起操作。可以适合与计算机系统/服务器12一起使用的众所周知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络pc、小型计算机系统、大型计算机系统以及包括上述任何系统或设备的分布式云计算环境等等。
76.可在由计算机系统执行的计算机系统可执行指令(例如，程序模块)的一般上下文中描述计算机系统/服务器12。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。可以在分布式云计算环境中实践计算机
系统/服务器12，在分布式云计算环境中，任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，程序模块可以位于包括存储器存储设备的本地和远程计算机系统存储介质中。
77.如图10所示，以通用计算设备的形式示出了计算节点10中的计算机系统/服务器12。计算机系统/服务器12的组件可以包括但不限于一个或多个处理器或处理单元16，系统存储器28以及将包括系统存储器28的各种系统组件耦合到处理器16的总线18。
78.总线18表示几种类型的总线结构中的任何一种或多种，包括使用各种总线体系结构中的任何一种的存储器总线或存储器控制器，外围总线，加速图形端口以及处理器或本地总线。作为示例而非限制，此类体系结构包括工业标准体系结构(isa)总线、微通道体系结构(mca)总线、增强型isa(eisa)总线、视频电子标准协会(vesa)本地总线和外围组件互连(pci)总线。
79.计算机系统/服务器12通常包括各种计算机系统可读介质。这样的介质可以是计算机系统/服务器12可访问的任何可用介质，并且它包括易失性和非易失性介质，可移动和不可移动介质。
80.系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓冲存储器32。计算机系统/服务器12还可以包括其他可移动/不可移动设备，易失性/非易失性计算机系统存储介质。仅作为示例，可以提供存储系统34以用于读取和写入不可移动的非易失性磁性介质(未示出并且通常称为“硬盘驱动器”)。尽管未示出，但是可以提供用于读取和写入可移动非易失性磁盘(例如，“软盘”)的磁盘驱动器，以及用于读取或写入可移动非易失性光盘(例如，cd-rom，dvd-rom或其他光学介质)的光盘驱动器。在这种情况下，每个都可以通过一个或多个数据介质接口连接到总线18。如将在下面进一步描绘和描述的，存储器28可以包括至少一个程序产品，该程序产品具有被配置为执行本公开的实施方式的功能的一组程序模块(例如，至少一个)。
81.作为示例而非限制，具有一组(至少一个)程序模块42的程序/实用工具40可以存储在存储器28中，以及操作系统，一个或多个应用程序，其他程序模块和程序数据中。操作系统，一个或多个应用程序，其他程序模块，以及程序数据或它们的某种组合中的每一个可以包括联网环境的实现。程序模块42通常执行本文描述的实施方式的功能和/或方法。
82.计算机系统/服务器12还可以与一个或多个外部设备14，例如键盘，指示设备，显示器24等；使用户能够与计算机系统/服务器12交互的一个或多个设备；和/或使计算机系统/服务器12能够与一个或多个其他计算设备进行通信的任何设备(例如，网卡、调制解调器等)进行通信。这样的通信可以通过输入/输出(i/o)接口22发生。然而，计算机系统/服务器12可以通过网络适配器20与一个或多个网络通信，诸如局域网(lan)，通用广域网(wan)和/或公共网络(例如因特网)。如图所示，网络适配器20通过总线18与计算机系统/服务器12的其他组件进行通信。应当理解，尽管未示出，其他硬件和/或软件组件可以与计算机系统/服务器12结合使用。示例包括但不限于：微代码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、raid系统、磁带驱动器和数据归档存储系统等。
83.在其他实施方式中，计算机系统/服务器可以连接到一个或多个相机(例如，数字相机、光场相机)或其他成像/感测设备(例如，红外相机或传感器)。
84.本公开包括系统、方法和/或计算机程序产品。该计算机程序产品可以包括在其上
具有用于使处理器执行本公开的各方面的计算机可读程序指令的计算机可读存储介质。
85.计算机可读存储介质可以是有形设备，其可以保留和存储由指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下内容：便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能磁盘(dvd)、记忆棒、软盘、机械编码设备，例如具有在其上记录的指令的打孔卡或凹槽中的凸起结构以及上述的任何合适组合。如本文所使用的，计算机可读存储介质不应被理解为本身是瞬时信号，例如无线电波或其他自由传播的电磁波，通过波导或其他传输介质(例如，穿过光纤电缆的光脉冲)传播的电磁波或通过电线传输的电信号。
86.本文所述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者通过网络(例如，因特网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。该网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应的计算/处理设备内的计算机可读存储介质中。
87.用于执行本公开的操作的计算机可读程序指令可以是汇编程序指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或以一种或多种编程语言(包括面向对象的编程语言，例如smalltalk、c 等)和常规过程编程语言(例如“c”编程语言或类似编程语言)的任意组合编写的源代码或对象代码。计算机可读程序指令可以完全在用户计算机上，部分在用户计算机上，作为独立软件包，部分在用户计算机上，部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户计算机，或者可以与外部计算机建立连接(例如，通过使用因特网服务提供商的因特网)。在各种实施方式中，包括例如可编程逻辑电路，现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令来个性化电子电路，以执行本公开的方面。
88.在此参考根据本公开的实施方式的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。将理解的是，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令来实现。
89.可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器，以产生机器，使得该指令(经由计算机的处理器或其他可编程数据处理装置执行)创建用于实现流程图和/或框图框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机，可编程数据处理装置和/或其他设备以特定方式起作用，从而使得其中存储有指令的计算机可读存储介质包括制造的制品，该制品包括实现流程图和/或框图框中指定的功能/动作的各方面的指令。
90.计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设
备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生实现的计算机处理过程，以使得指令(在计算机，其他可编程装置或其他设备上执行)实现流程图和/或框图框中指定的功能/动作。
91.附图中的流程图和框图示出了根据本公开的各种实施方式的系统、方法和计算机程序产品的可能实现的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以代表指令的模块、片段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在各种替代实施方式中，框中指出的功能可以不按图中指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的顺序执行这些框。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示的框的组合可以由执行指定功能或动作的基于特定目的的硬件专用系统来实现或执行特定用途硬件和计算机指令的组合。
92.已经出于说明的目的给出了本公开的各种实施方式的描述，但是并不旨在是穷举的或限于所公开的实施方式。在不脱离所描述的实施方式的范围和精神的情况下，许多修改和变型对于本领域普通技术人员将是容易理解的。选择本文使用的术语是为了最好地解释实施方式的原理，对市场上发现的技术的实际应用或技术上的改进，或者使本领域的其他普通技术人员能够理解本文公开的实施方式。