物理医疗元件尺寸确定系统和方法与流程

物理医疗元件尺寸确定系统和方法
1.相关申请
2.本技术要求2019年10月7日提交的题为“physical medical elementsizing systems and methods”的美国临时专利申请第62/911,851号的优先权，该申请的内容通过引用其整体被并入本文。


背景技术：

3.计算机辅助外科手术系统通常用于在患者体内执行疝气修复程序。作为疝气修复程序的一部分，网状补片可以被放置在疝气上方并附接(例如缝合)到疝气周围的组织。当组织愈合时，网状补片可以为受损组织提供支撑。
4.在疝气修复程序期间，与计算机辅助外科手术系统交互的外科医生必须确定网状补片的合适尺寸。一旦网状补片已被确定尺寸(例如，通过从网状材料切割出网状补片)，则外科医生必须将网状补片放置在患者体内的合适位置处。涉及确定将被引入专利中的医疗元件的合适物理大小的这些和其他类型的操作可能是时间密集和冗长的。


技术实现要素：

5.以下描述呈现了本文描述的系统和方法的一个或多个方面的简要概述。该概述不是对所有预期方面的广泛叙述，并且既不旨在确认所有方面的关键或重要元素，也不旨在描绘任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下文呈现的具体实施方式的前奏。
6.一种示例性系统包括存储指令的存储器和通信地耦合到存储器并被配置为执行指令以指示显示设备在患者的内部空间的图像内的目标区位上方渲染表示物理医疗元件的虚拟医疗元件的处理器，目标区位描绘了将由物理医疗元件覆盖的解剖表面；当虚拟医疗元件在目标区位上方被渲染时接收用户输入，该用户输入设置图像内的虚拟医疗元件的姿态和虚拟医疗元件的尺寸中的至少一个；并且基于用户输入和表示内部空间的深度图的深度数据，确定物理医疗元件的物理大小。
7.示例性系统包括存储指令的存储器和通信地耦合到存储器并被配置为执行指令以访问图像数据的处理器，该图像数据表示由成像设备获取的图像并描绘患者的内部空间；获得深度数据，该深度数据表示由成像设备获取的图像中描绘的内部空间的深度图；基于图像数据和深度数据，识别图像内的目标区位，该目标区位描绘了将由物理医疗元件覆盖的解剖表面；并且指示显示设备在图像内识别的目标区位上方渲染表示物理医疗元件的虚拟医疗元件。
8.示例性方法包括通过医疗元件管理系统指示显示设备在患者的内部空间的图像内的目标区位上方渲染表示物理医疗元件的虚拟医疗元件，目标区位描绘了将由物理医疗元件覆盖的解剖表面；当虚拟医疗元件在目标区位上方被渲染时，通过医疗元件管理系统接收用户输入，该用户输入设置图像内的虚拟医疗元件的姿态和虚拟医疗元件的尺寸中的至少一个；以及基于用户输入和表示内部空间的深度图的深度数据由医疗元件管理系统确
定物理医疗元件的物理大小。
9.示例性方法包括通过医疗元件管理系统访问图像数据，该图像数据表示由成像设备获取的图像并描绘患者的内部空间；通过医疗元件管理系统获得深度数据，该深度数据表示由成像设备获取的图像中描绘的内部空间的深度图；基于图像数据和深度数据由医疗元件管理系统识别图像内的目标区位，该目标区位描绘了将由物理医疗元件覆盖的解剖表面；以及由医疗元件管理系统指示显示设备在图像内识别的目标区位上方渲染表示物理医疗元件的虚拟医疗元件。
10.一种示例性非暂时性计算机可读介质存储指令，该指令在被执行时指导计算设备的处理器指示显示设备在患者的内部空间的图像内的目标区位上方渲染表示物理医疗元件的虚拟医疗元件，目标区位描绘了将由物理医疗元件覆盖的解剖表面；当虚拟医疗元件在目标区位上方被渲染时接收用户输入，该用户输入设置图像内的虚拟医疗元件的姿态和虚拟医疗元件的尺寸中的至少一个；以及基于用户输入和表示内部空间的深度图的深度数据，确定物理医疗元件的物理大小。
11.一种示例性非暂时性计算机可读介质存储指令，该指令在被执行时指导计算设备的处理器访问图像数据，该图像数据表示由成像设备获取的图像并描绘患者的内部空间；获得深度数据，该深度数据表示由成像设备获取的图像中描绘的内部空间的深度图；基于图像数据和深度数据，识别图像内的目标区位，该目标区位描绘了将由物理医疗元件覆盖的解剖表面；并且指示显示设备在图像内识别的目标区位上方渲染表示物理医疗元件的虚拟医疗元件。
附图说明
12.附图图示了各种实施例并且是说明书的一部分。图示的实施例仅仅是示例并且不限制本公开的范围。遍历附图的是，相同或相似的附图标记指代相同或相似的元件。
13.图1图示了根据本文描述的原理的示例性医疗元件管理系统。
14.图2图示了根据本文描述的原理的示例性配置，其中系统被配置为识别由成像设备获取的图像内的目标区位，并且该目标区位描绘了将由物理医疗元件覆盖的解剖表面。
15.图3图示了根据本文描述的原理的示例性配置，其中成像设备包括可见光相机和深度传感器。
16.图4图示了根据本文描述的原理的示例性配置，其中深度传感器由可见光相机实施。
17.图5示出了根据本文描述的原理的示例性配置，其中系统从术前图像源获得深度数据。
18.图6示出了可以由根据本文描述的原理的成像设备捕获的示例性图像。
19.图7-图9示出了根据本文描述的原理在图像内识别的目标区位上方渲染的示例性虚拟医疗元件。
20.图10-图11图示了根据本文描述的原理的示例性配置，其中系统生成物理大小数据。
21.图12示出了根据本文描述的原理从其切割物理医疗元件的示例性物理材料。
22.图13-图14图示了根据本文描述的原理的示例性配置，其中系统确定放置引导参
数组。
23.图15-图16示出了根据本文描述的原理将物理医疗元件放置在包括组织缺陷和非缺陷组织的一部分的解剖表面上的示例性场景。
24.图17-图20图示了根据本文描述的原理的示例性方法。
25.图21图示了根据本文描述的原理的示例性计算机辅助外科手术系统。
26.图22图示了根据本文描述的原理的示例性计算设备。
具体实施方式
27.本文描述了物理医疗元件尺寸确定系统和方法。如本文描述的，示例性医疗元件管理系统可以指示显示设备在患者的内部空间的图像内的目标区位上方渲染表示物理医疗元件(例如，用于疝气的网状补片)的虚拟医疗元件(例如，虚拟网状补片)，其中目标区位描绘了将由物理医疗元件覆盖的解剖表面。当虚拟医疗元件在目标区位上方被渲染时，医疗元件管理系统可以接收用户输入，该用户输入设置图像内的虚拟医疗元件的姿态和虚拟医疗元件的尺寸中的至少一个。基于用户输入和表示内部空间的深度图的深度数据，医疗元件管理系统可以确定物理医疗元件的物理大小。
28.本文描述的系统和方法有利地促进了物理医疗元件最佳的尺寸确定，该物理医疗元件在医疗程序期间将被引入患者身体并放置在身体内的解剖表面上方。此外，通过基于表示内部空间的深度图的深度数据来确定物理医疗元件的物理大小，本文描述的系统和方法在确定物理医疗元件的最佳尺寸时有利地考虑了解剖表面的峰、谷、轮廓和/或其他深度变化。这种深度变化在内部空间的图像中可能在视觉上不明显，并且可能影响物理医疗元件的尺寸。例如，将由物理医疗元件覆盖的解剖表面的多个部分之间的深度的大变化可能需要物理医疗元件的尺寸大于在内部空间的图像中可以在视觉上确认的尺寸。
29.作为说明，如果用户手动调整描绘解剖表面的图像内显示的虚拟医疗元件的尺寸，使得虚拟医疗元件看起来覆盖解剖表面，则虚拟医疗元件的尺寸可能不会实际上对应于物理医疗元件所需的实际尺寸，除非深度数据表示解剖表面的三维轮廓。因此，本文描述的系统和方法使解剖表面的尺寸基于指示这种轮廓的深度数据。
30.本文描述的系统和方法还可以有利地确定虚拟医疗元件将被最初渲染在患者的内部空间的图像内的何处。这可以促进相对快速地确定由虚拟医疗元件表示的物理医疗元件的最佳尺寸，如将在本文中更详细描述的。
31.本文描述的系统和方法的这些和其他优点和益处将在本文中变得显而易见。
32.如本文所用，物理医疗元件是指对患者身体而言是外来的任何元件，其被配置为放置在患者身体内的解剖表面上并覆盖患者身体内的解剖表面。例如，物理医疗元件可以由被配置为覆盖患者体内组织缺陷(例如，疝气、切口或其他类型的损伤)的补片(例如，网状或线状补片)来实施。可与本文描述的系统和方法组合使用的物理医疗元件的其他示例包括但不限于纱布、绷带、板、假体(例如，人造椎间盘、关节植入物(例如膝关节植入物)等)、样品容纳袋、骨浆、紧固件(例如，夹子、夹具、钉等)等。物理医疗元件可以以任何合适的方式放置在解剖表面上。例如，物理医疗元件可以被缝合、锚定或以其他方式固定到解剖表面。
33.图1图示了被配置为执行本文描述的各种操作的示例性医疗元件管理系统100
(“系统100”)。如图所示，系统100可包括但不限于选择性地且通信地彼此耦合的存储设施102和处理设施104。设施102和104可各自包括硬件和/或软件组件(例如，处理器、存储器、通信接口、存储在存储器中用于由处理器执行的指令等)或由其实施。例如，设施102和/或104可以由计算机辅助外科手术系统中的任何组件实施，该计算机辅助外科手术系统被配置为执行其中物理医疗元件被引入患者的身体中并放置在患者身体内的解剖表面上的医疗程序。作为另一示例，设施102和/或104可以由与计算机辅助外科手术系统分离并且通信地耦合到计算机辅助外科手术系统的计算设备来实施。在一些示例中，设施102和104可以被分布在可以服务于特定实施方式的多个设备和/或多个位置之间。
34.存储设施102可以维护(例如，存储)由处理设施104使用的可执行数据，以执行本文描述的操作中的一个或多个。例如，存储设施102可以存储指令106，该指令106可以由处理设施104执行以实施本文描述的操作中的一个或多个。指令106可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例来实施。存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。
35.处理设施104可以被配置为执行(例如，实施存储在存储设施102中的指令106以执行)本文描述的各种操作。
36.例如，处理设施104可以被配置为指示显示设备在患者的内部空间的图像内的目标区位上方渲染表示物理医疗元件的虚拟医疗元件，该目标区位描绘了将由物理医疗元件覆盖的解剖表面，当虚拟医疗元件在目标区位上方被渲染时接收用户输入，该用户输入设置图像内的虚拟医疗元件的姿态和虚拟医疗元件的尺寸中的至少一个，并且基于用户输入和表示内部空间的深度图的深度数据确定物理医疗元件的物理大小。如本文描述的，物理大小可以限定物理医疗元件的表面积。
37.作为另一示例，处理设施104可以被配置为访问图像数据，该图像数据表示由成像设备获取的图像并描绘患者的内部空间；获得深度数据，该深度数据表示由成像设备获取的图像中描绘的内部空间的深度图；基于图像数据和深度数据，识别图像内的目标区位，该目标区位描绘了将由物理医疗元件覆盖的解剖表面；并且指示显示设备在图像内识别的目标区位上方渲染表示物理医疗元件的虚拟医疗元件。
38.作为另一示例，处理设施104可以被配置为获得解剖特性数据并且基于解剖特性数据确定放置引导参数组，该解剖特性数据表示与将由物理医疗元件覆盖的解剖表面、患者内部空间内的解剖表面相关联的特性。如本文描述的，放置引导参数组可以包括一个或多个参数，该一个或多个参数被配置为用由计算机辅助外科手术系统控制的一个或多个外科手术器械来引导物理医疗元件在解剖表面上的放置。
39.作为另一示例，处理设施104可以被配置为获得解剖特性数据，该解剖特性数据表示与将由物理医疗元件覆盖的解剖表面、患者内部空间内的解剖表面相关联的特性；当由计算机辅助外科手术系统控制的一个或多个外科手术器械将物理医疗元件保持就位在解剖表面上时，基于解剖特性数据确定缝合计划(或任何其他类型的固定计划)以用于将物理医疗元件缝合到解剖表面；并且在内部空间的图像内以图形方式指示缝合计划。
40.本文描述了可由系统100(例如，处理设施104)执行的这些和其他操作。
41.图2图示了示例性配置200，其中系统100被配置为识别由成像设备获取的图像内的目标区位，该目标区位描绘了将由物理医疗元件覆盖的解剖表面。如图所示，系统100可
以访问图像数据202，该图像数据202表示由成像设备获取的图像并且描绘了患者的内部空间。系统100还可以获得深度数据204，该深度数据204表示由成像设备获取的图像中描绘的内部空间的深度图。基于图像数据202和深度数据204，系统100可以识别图像内的目标区位(该目标区位描绘了将由物理医疗元件覆盖的解剖表面)并且输出表示识别的目标区位的目标区位数据206。
42.目标区位数据202可以是任何合适的格式。例如，目标区位数据202可以包括表示像素的二维或三维像素坐标，该像素描绘了将由物理医疗元件覆盖的解剖表面。
43.现在将描述可以生成图像数据202和深度数据204的示例性方式。
44.图3图示了示例性配置300，其中成像设备302包括被配置为生成和输出图像数据202的可见光相机304和被配置为生成和输出深度数据204的深度传感器306。
45.成像设备302可以由内窥镜或被配置为捕捉场景图像的其他相机设备来实施。在一些示例中，成像设备302可以被配置为附接到计算机辅助外科手术系统并由其控制。在替代示例中，成像设备302可以是手持的并且由操作者(例如，外科医生)手动操作。
46.在一些示例中，由成像设备302捕获的场景可以包括与患者相关联的外科手术区域。在某些示例中，外科手术区域可以被完全布置在患者体内，并且可以包括患者体内计划执行、正在执行或已经执行外科手术程序的位置处或附近的区域。例如，对于在患者内部的组织上执行的微创外科手术程序，外科手术区域可以包括组织、组织下方的解剖结构以及组织周围的空间(例如，用于执行外科手术程序的外科手术器械所在的位置)。在某些示例实施方式中，完全布置在患者体内的外科手术区域可以被称为“内部空间”。如本文描述的，患者的任何内部解剖结构(例如，血管、器官和/或组织)和/或位于内部空间中的外科手术器械可以被称为对象和/或结构。
47.可见光相机304(“相机304”)被配置为生成表示场景的二维可见光图像的图像数据202。相机304可以由任何合适的图像传感器(例如电荷耦合器件(“ccd”)图像传感器、互补金属氧化物半导体(“cmos”)图像传感器、高光谱相机、多光谱相机等)实施。
48.深度传感器306可以由被配置为生成深度数据204的任何合适的传感器实施。例如，深度传感器306可以由可以服务于特定实施方式的飞行时间传感器、结构光传感器、干涉仪、高光谱相机、多光谱相机和/或被配置为获取深度数据的任何其他合适的传感器实施。在深度传感器306由飞行时间传感器实施的情况下，飞行时间传感器可以由一个或多个光电探测器(例如，一个或多个单光子雪崩二极管(“spad”)探测器)、ccd传感器、cmos传感器和/或任何其他合适的配置实施。在图3的示例中，深度传感器306与相机304分离(即物理上不同)。
49.在配置300中，系统100可以通过指导相机304获取图像数据202并从相机304接收图像数据202来获得图像数据202。同样，系统100可以通过指导深度传感器306获取深度数据204并从深度传感器306接收深度数据204来获得深度数据204。
50.为此，在配置300中，系统100通过双向通信链路308通信地耦合到成像设备302并且通过通信链路312通信地耦合到照明系统310。通信链路308和312可以各自由可以服务于特定实施方式的任何合适的有线和/或无线通信介质来实施。如本文描述，系统100可以使用通信链路308和312来指导相机304和深度传感器306获取图像数据202和深度数据204并接收图像数据202和深度数据204。
51.照明系统310可以被配置为发射光314(例如，在系统100的方向上)，光314用于照明将由成像设备302成像的场景。照明系统310发射的光314可以包括可见光和/或不可见光(例如，红外光)。如图所示，光314可以通过成像设备302行进到场景(例如，通过成像设备302内的可以由一个或多个光纤、光导、透镜等实施的照明通道)。
52.如图所示，照明系统310发射的光314可以在由成像设备302成像的场景内从表面316反射。在成像设备302瞄准患者内部空间的情况下，表面316表示内部空间内的表面(例如，解剖表面)。
53.相机304和深度传感器306可以各自检测反射光314。相机304可以被配置为基于检测到的光生成图像数据202，该图像数据202表示包括表面316的场景的二维可见光图像。深度传感器306可以被配置为基于检测到的光生成深度数据204。图像数据202和深度数据204可以各自具有任何合适的格式。
54.为了生成场景的立体图像，系统100可以指导照明系统310发射光314。系统100还可以激活(例如，打开)可见光相机304和深度传感器306。光314行进到场景并且从表面316(并且，在一些示例中，场景中的一个或多个其他表面)反射。相机304和深度传感器306都检测反射光314。
55.相机304(和/或包括在成像设备302中的其他电路)可以基于检测到的光314生成表示场景的二维可见光图像的图像数据202。这可以以任何合适的方式执行。可见光相机304(和/或包括在成像设备302中的其他电路)可以将图像数据202传输到系统100。这也可以以任何合适的方式执行。
56.深度传感器306可以基于检测到的光314生成表示场景的深度图(例如，表面316的深度图)的深度数据204。这可以以任何合适的方式执行。例如，深度传感器306可以测量光314的光子从照明系统310行进到深度传感器306所花费的时间量。基于该时间量，深度传感器306可以确定表面316相对于深度传感器306的方位的深度。表示该深度的数据可以以任何合适的方式在深度数据204中表示。例如，由深度数据204表示的深度图可以包括与图像中每个像素对应的深度值(例如，深度缓冲(z-buffer)值)的阵列。
57.深度传感器306(和/或包括在成像设备302中的其他电路)可以将深度数据204传输到系统100。这可以以任何合适的方式执行。
58.系统100可以接收图像数据202和深度数据204并且对图像数据202和深度数据204执行一个或多个处理操作。例如，如下文将更详细描述的，系统100可以基于图像数据202和深度数据204生成目标区位数据206。
59.作为另一示例，系统100可以基于图像数据202和深度数据204生成场景的右侧透视图像和表示场景的左侧透视图像。这可以以任何合适的方式执行。系统100然后可以指示显示设备以形成场景的立体图像的方式同时显示右侧和左侧透视图像。在一些示例中，显示设备被包括在计算机辅助外科手术系统204中和/或通信地耦合到计算机辅助外科手术系统204。
60.图4图示了示例性配置400，其中深度传感器402由包括在成像设备302中的可见光相机304-1和304-2实施。在配置400中，系统100可以通过指导相机304-1获取患者内部空间的第一图像(例如，第一二维图像)、指导相机304-2获取患者内部空间的第二图像(例如，第二二维图像)、以及基于第一图像和第二图像生成由深度数据204表示的深度图来获得深度
数据204。
61.在图4中，由相机304-1获取的第一图像由图像数据202-1表示，并且由相机304-2获取的第二图像由图像数据202-2表示。如图所示，图像数据202-1和202-2被传输到由系统100实施的深度数据生成器402。深度数据生成器402可以使用任何基于可见图像的技术来基于图像数据202-1和202-2确定深度数据204。
62.根据本文描述的系统和方法，成像设备302的其他配置是可能的。例如，成像设备302可以包括多个相机304和/或多个深度传感器306。为了说明，成像设备302可以包括与单独的深度传感器306组合的两个相机304。在这些实施例中，深度数据可以基于由两个相机304获取的图像来生成。由深度传感器304生成的深度数据可用于微调或以其他方式增强基于由两个相机304获取的图像而生成的深度数据。
63.在一些示例中，系统100可以通过访问术前图像来获得深度数据204，该术前图像配准到来自不同于成像设备204的源的图像。例如，图5示出了示例性配置500，其中系统100从术前图像源502获得深度数据204。源502可以由计算机辅助断层摄影(ct)扫描仪、磁共振成像(mri)设备、超声设备、三维扫描(lidar)设备，和/或被配置为生成患者的术前图像的任何其他合适的替代成像设备来实施。术前图像可以与由图像数据202表示的图像配准，并且从而提供深度数据204。
64.系统100可以以任何合适的方式基于图像数据202和深度数据204识别目标区位。例如，基于图像数据202和深度数据204，系统100可以识别由图像数据202表示的图像内的区位，该区位描绘了需由物理医疗元件覆盖的组织，并且然后将识别的区位指定为目标区位。
65.系统100可以识别图像的区位，该区位描绘了需要以任何合适的方式由物理医疗元件覆盖的组织。例如，基于图像数据202和深度数据204，系统100可以分割图像(例如，通过将图像的不同部分分类为对应于不同类型的组织)并基于分割来识别区位。
66.附加地或替代地，系统100可以通过将图像数据202和深度数据204输入到被配置为识别组织异常的机器学习模型中来识别描绘了需由物理医疗元件覆盖的组织的区位。可以以任何合适的方式训练和/或使用机器学习模型。
67.在一些示例中，系统100可以确定正针对患者执行的外科手术程序内的阶段，并且进一步基于描绘了需由物理医疗元件覆盖的组织的区位在确定的阶段上的识别。例如，系统100可以接收来自外科医生的输入，该外科医生正试图通过用成像设备扫描患者的内部空间来定位患者体内的组织缺陷。基于该输入，系统100可以启动区位识别启发式，该区位识别启发式利用图像数据202和深度数据204来自动识别由成像设备获取的图像内的区位，该区位描绘了需由物理医疗元件覆盖的组织。
68.一旦描绘了将由物理医疗元件覆盖的解剖表面的目标区位被识别，则系统100可以指示显示设备在图像内识别的目标区位上方渲染表示物理医疗元件的虚拟医疗元件。这可以以任何合适的方式执行。
69.举例说明，图6示出了示例性图像602，该示例性图像602可以由瞄准患者内部空间的成像设备捕获并且可以由图像数据202表示。如图所示，图像602描绘了由非缺陷组织606围绕的组织缺陷604。组织缺陷604可以是疝气、切口或其他类型的损伤。非缺陷组织606可以包括例如不受组织缺陷604影响的健康组织。
70.系统100可以基于图像数据202和/或深度数据204识别图像602内的目标区位，该目标区位描绘了将由物理医疗元件覆盖的解剖表面。这可以以本文描述的任何方式执行。在一些示例中，将由物理医疗元件覆盖的解剖表面包括组织缺陷604的至少一部分。将由物理医疗元件覆盖的解剖表面在一些情况下还可以包括非缺陷组织606的至少一部分。例如，将由物理医疗元件覆盖的解剖表面可以包括整个组织缺陷604和由围绕组织缺陷604的非缺陷组织606组成的重叠区位。重叠区位可以具有任何合适的宽度(例如，在一到五厘米之间)，并且可以用于将物理医疗元件附接到解剖表面，如本文描述的。
71.组织缺陷604和非缺陷组织606可以具有不同的相对深度。例如，组织缺陷604和围绕组织缺陷604的非缺陷组织可以具有各种脊、峰、谷、轮廓和/或除此之外的不平坦表面。然而，这种深度变化在图像602内可能无法在视觉上确定，特别是如果图像602是二维的。因此，如本文描述的，系统100在确定将覆盖组织缺陷604和由围绕组织缺陷604的非缺陷组织606组成的重叠区位的物理医疗元件的物理大小时可以考虑这种深度变化。
72.系统100可以指示显示设备在图像602内识别的目标区位上方渲染表示物理医疗元件的虚拟医疗元件。例如，图7示出了在图像602内识别的目标区位上方渲染的示例性虚拟医疗元件702。在图7的示例中，虚拟医疗元件702包括虚线以及由虚线包围的区位。此外，在图7的示例中，识别的目标区位直接与虚拟医疗元件702对应(即，完全由虚拟医疗元件702覆盖)。
73.尽管虚拟医疗元件702被图示为定位在组织缺陷604和非缺陷组织606的一部分上方的虚线矩形，但是将认识到虚拟医疗元件702可以替代地以任何其他合适的方式渲染。例如，当虚拟医疗元件702在目标区位上方被渲染时，虚拟医疗元件702可以是至少部分透明的，以允许用户对目标区位和/或组织缺陷604的可视化。
74.当虚拟医疗元件702在目标区位上方被渲染时，用户可以提供设置虚拟医疗元件702的姿态和/或尺寸的用户输入。例如，如果用户确定最初确定的虚拟医疗元件702的姿态和尺寸是合乎需要的(例如，如果虚拟医疗元件702充分覆盖组织缺陷604的描绘)，则用户可以提供确认虚拟医疗元件702的姿态和尺寸为正确的用户输入。可以以任何合适的方式提供这样的用户输入。例如，这样的用户输入可以通过用户选择图像602中显示的选项、通过用户选择计算机辅助外科手术系统的组件上的用户输入按钮、通过用户提供口头命令和/或以任何其他方式来提供。
75.在一些情况下，用户可以确定最初确定的虚拟医疗元件702的姿态和/或尺寸需要进一步细化。例如，用户可能希望放大或缩小虚拟医疗元件702、重新定位虚拟医疗元件702的一个或多个边缘、和/或以其他方式调整虚拟医疗元件702的姿态和/或尺寸。在这些情况下，设置虚拟医疗元件702的姿态和/或尺寸的用户输入可以包括调整虚拟医疗元件702的姿态和/或尺寸的一个或多个用户输入命令。可以以任何合适的方式提供这样的用户输入。例如，用户输入可以通过用户与作为虚拟医疗元件702的一部分显示的虚拟手柄交互、通过其中包括图像602的图形用户界面提供一个或多个输入命令、提供一个或多个键盘或其他输入设备命令、和/或以任何其他合适的方式来提供。响应于接收到调整虚拟医疗元件702的姿态和/或尺寸的用户输入，系统100可以基本实时地动态调整虚拟医疗元件702的渲染以描绘由用户输入调整的虚拟医疗元件的姿态和尺寸中的至少一个。
76.为了说明，图8示出了在用户已经调整了虚拟医疗元件702的形状(以及因此的尺
寸)之后的虚拟医疗元件702。如图所示，如图8所示的虚拟医疗元件702的形状和尺寸比用户调整之前的虚拟医疗元件702(图7)更接近地符合组织缺陷604的实际形状和尺寸。
77.在一些示例中，虚拟医疗元件702的初始形状是用于特定类型的物理医疗元件的标准尺寸。例如，虚拟医疗元件702的初始形状可以是矩形，如图7所示，用于通常为矩形形状的物理医疗元件。
78.替代地，虚拟医疗元件702的初始形状可以更接近地符合将由物理医疗元件覆盖的解剖表面的实际形状。例如，图9示出了示例性实施方式，其中虚拟医疗元件702具有遵循组织缺陷604的外边缘的轮廓形状。
79.虚拟医疗元件702的初始形状可以基于将覆盖解剖表面的物理医疗元件的一个或多个属性自动确定。附加地或替代地，虚拟医疗元件702的初始形状可以由用户通过提供一个或多个用户输入命令来规定。
80.基于设置虚拟医疗元件702的姿态和/或尺寸的用户输入以及深度数据204，系统100可以确定将覆盖解剖表面的物理医疗元件的物理大小。例如，图10图示了示例性配置1000，其中系统100访问虚拟数据1002和深度数据204并基于虚拟数据1002和深度数据204生成物理大小数据1004。虚拟数据1002可以表示由用户设置的虚拟医疗元件702的姿态、尺寸和/或定位。如本文所解释的，深度数据204表示图像602中描绘的内部空间的深度图。物理大小数据1004表示由系统100确定的物理医疗元件的物理大小。如本文描述的，物理大小可以表示物理医疗元件的表面积。
81.系统100可以以任何合适的方式基于虚拟数据1002和深度数据204生成物理大小数据1004。例如，系统100可以基于由虚拟数据1002表示的虚拟医疗元件的姿态和尺寸来识别图像602内由虚拟医疗元件702覆盖的多个像素。系统100可以确定多个像素的二维像素区域。系统100可以基于深度数据204确定由虚拟医疗元件702覆盖的多个像素中的每一个的深度值。基于二维像素区域和深度值，系统100可以确定将由物理医疗元件覆盖的解剖表面的表面积和/或其他大小。系统100可以基于解剖表面的表面积来确定物理医疗元件的物理大小。这些操作中的每一个都可以以任何合适的方式执行。
82.如上所述，本文描述的系统和方法可用于确定用于覆盖疝气的网状补片的物理大小。作为另一示例，虚拟医疗元件702可以表示紧固件(例如，夹子或钉)并且放置在将被紧固在一起的两个组织切片的图像上。基于虚拟医疗元件702的尺寸确定和/或姿态变化，系统100可以确定将用于紧固两个组织切片的实际紧固件的物理大小。作为另一示例，虚拟医疗元件702可以表示骨浆或将用于填充骨中空隙的另一类型的材料。基于虚拟医疗元件702的尺寸确定和/或姿态变化，系统100可以确定将用于填充在空隙中的实际骨浆的物理大小(例如，体积)。这些示例仅说明系统100可以确定将引入患者体内的医疗元件的物理大小的许多不同方式。
83.由于解剖表面可能具有的深度变化，由虚拟医疗元件702的物理大小限定的物理医疗元件的表面积在某些情况下可能大于由二维像素区域表示的物理面积。例如，物理医疗元件可以由被配置为“收缩包裹”或以其他方式粘附到解剖表面的所有表面区域的材料制成。在该示例中，如果解剖表面具有需由物理医疗元件覆盖的突出脊，则这种深度变化可导致由系统100确定的物理医疗元件的物理大小限定的表面积大于由虚拟医疗元件702的二维像素区域表示的物理面积。
84.图11示出了示例性配置1100，其中系统100进一步基于除了虚拟数据1002和深度数据204之外的变形数据1102来确定物理大小数据1004的生成。变形数据1102表示物理医疗元件的变形模型。变形模型可以指示物理医疗元件的一个或多个物理属性，该一个或多个物理属性影响物理医疗元件响应于施加到物理医疗元件的力而变形(例如，拉伸、压缩等)的能力。例如，变形模型可以指示制造物理医疗元件的材料的类型、材料的抗拉强度和/或可以服务于特定实施方式的任何其他表示变形的度量。
85.系统100可以以任何合适的方式基于变形数据1102确定物理医疗元件的物理大小。例如，如果变形数据1102指示物理医疗元件相对抗拉伸，则系统100可以规定物理大小将相对小于表现出高度拉伸的不同类型的物理医疗元件。
86.系统100可以以任何合适的方式获得变形数据1102。例如，系统100可以维护或访问包括各种类型的物理医疗元件的变形数据1102的数据库。系统100可以通过接收指示将使用哪个物理医疗元件的用户输入、基于特定用户的跟踪趋势自动确定将使用哪个物理医疗元件和/或正在被执行的特定类型的外科手术程序、和/或以任何其他合适的方式来确认将使用哪个特定物理医疗元件来覆盖解剖表面。
87.系统100可以以任何合适的方式输出表示物理大小的数据。例如，系统100可以通过在图像602内或在任何其他合适的用户界面内显示物理大小来输出表示物理大小的数据。附加地或替代地，系统100可以通过输出物理医疗元件的物理测量值(例如，以厘米为单位的宽度和长度)来输出表示物理大小的数据。附加地或替代地，系统100可以通过输出表示图案的数据来输出表示物理大小的数据，该图案将用于从材料切割出物理医疗元件。
88.在一些示例中，系统100可以将虚拟医疗元件702投影到物理材料上，物理医疗元件将从该物理材料上切割。以这种方式，虚拟医疗元件702可以引导用户从物理材料切割出物理医疗元件。
89.为了说明，图12示出了将从其切割物理医疗元件的示例性物理材料1202。在图12的示例中，物理材料1202是网状材料，用于疝气和/或其他类型的组织缺陷的补片可以从该网状材料切割。如图所示，系统100已将虚拟医疗元件702投影到物理材料1202上。虚拟医疗元件702可以以任何合适的方式投影到物理材料1202上。
90.一旦准备好将物理医疗元件引入患者体内，则系统100可以被配置为提供放置引导，该放置引导被配置为引导和/或辅助用户将物理医疗元件放置在解剖表面上。可以以多种不同方式提供该放置引导。
91.例如，图13图示了示例性配置1300，其中系统100获得表示与将由物理医疗元件覆盖的解剖表面相关联的特性的解剖特性数据1302，并且基于解剖特性数据1302确定放置引导参数组1304。放置引导参数组1304包括一个或多个参数，该一个或多个参数被配置为用由计算机辅助外科手术系统控制的一个或多个外科手术器械引导物理医疗元件在解剖表面上的放置。
92.解剖特性数据1302可以表示与将由物理医疗元件覆盖的解剖表面相关联的一个或多个特性。例如，解剖特性数据1302可以表示构成解剖表面的组织类型、解剖表面的尺寸和/或解剖表面在患者体内的位置。这些特性可能会影响物理医疗元件被放置在解剖表面上的方式。例如，如果解剖表面位于器官附近，则系统100可以生成一个或多个参数以包含在放置引导参数组1304中，该一个或多个参数指示解剖表面在器官附近并且可以用于识别
缝合计划，以用于以不损坏或以其他方式影响器官的方式将物理医疗元件附接到解剖表面。作为另一示例，如果构成解剖表面的组织相对较弱，则系统100可以生成一个或多个参数以包含在放置引导参数组1304中，该一个或多个参数可以用于增加用于将物理医疗元件附接到解剖表面的缝合线的相对数量。
93.系统100可以以任何合适的方式获得解剖特性数据1302。例如，系统100可以通过访问图像数据202、获得深度数据204以及基于图像数据202和深度数据204确定解剖特性数据1302来获得解剖特性数据1302。为了说明，图像数据202和深度数据204可用于确定解剖表面的位置、解剖表面的尺寸和/或解剖表面的任何其他特性。
94.在一些示例中，系统100可以使用图像数据202和深度数据204来分割由图像数据202表示的图像。分割可以包括将图像的不同部分分类为对应于不同的项目(例如，组织类型)。基于分割，系统100可以确定解剖表面的一个或多个特性，例如组织类型等。
95.图14图示了示例性配置1400，其中系统100获得除了解剖特性数据1302之外的元件特性数据1402。如图所示，在配置1400中，系统100基于解剖特性数据1302和元件特性数据1402两者生成放置引导参数组1304。在替代示例中，系统100仅基于元件特性数据1402(而不基于解剖特性数据1302)生成放置引导参数组1304。
96.元件特性数据1402表示与将覆盖解剖表面的物理医疗元件相关联的一个或多个特性。例如，元件特性数据1402可以表示物理医疗元件的物理大小、用于物理医疗元件的材料类型、物理医疗元件的抗拉强度和/或物理医疗元件的变形特性。
97.系统100可以以任何合适的方式访问元件特性数据1402。例如，系统100可以维护或访问包括元件特性数据1402的数据库。作为另一示例，系统100可以通过接收表示访问元件特性数据1402的用户输入来访问元件特性数据1402。
98.在一些示例中，放置引导参数组1304包括一个或多个参数，该一个或多个参数被配置为在物理医疗元件被放置在解剖表面上时规定物理医疗元件的最佳取向，其中一个或多个外科手术器械由计算机辅助外科手术系统控制。在这些示例中，系统100可以以任何合适的方式向用户指示物理医疗元件的最佳取向。
99.例如，系统100可以被配置为通过在内部空间的图像(例如，图像602)内以图形方式指示最佳取向来向用户指示物理医疗元件的最佳取向。为了说明，图15示出了其中物理医疗元件1502被放置在包括组织缺陷604和非缺陷组织606的一部分的解剖表面上的示例性场景。
100.如图所示，物理医疗元件1502被外科手术器械1504-1和1504-2(“外科手术器械1504”)放置在解剖表面上。外科手术器械1504可以包括任何合适的抓握工具，该抓握工具被配置为将物理医疗元件1502保持和引导就位。在一些示例中，外科手术器械1504由计算机辅助外科手术系统控制(例如，响应于由外科医生或其他用户提供的用户输入命令)。
101.如图所示，系统100可以在用户正在使用外科手术器械1504以将物理医疗元件1502放置在解剖表面上时在图像602内渲染虚拟医疗元件702。在该配置中，虚拟医疗元件702以图形方式指示物理医疗元件的最佳取向。此外，图形箭头1506-1和1506-2可以由系统100在图像602内渲染以指示用户应该旋转物理医疗元件1502以到达最佳取向处的方向。系统100可以附加地或替代地呈现指示物理医疗元件1502的最佳取向的可以服务于特定实施方式的任何其他合适的虚拟、听觉和/或图形辅助。
102.在一些示例中，放置引导参数组1304包括一个或多个参数，该一个或多个参数被配置为规定内部空间内的最佳插入路径，当将物理医疗元件1502从患者外部带到与解剖表面接触时，外科手术器械1504将遵循该最佳插入路径。在这些示例中，系统100可以以任何合适的方式向用户指示物理医疗元件1502的最佳插入路径。例如，系统100可以被配置为通过在内部空间的图像(例如，图像602)内以图形方式指示最佳插入路径来指示物理医疗元件的最佳插入路径。系统100可以附加地或替代地呈现指示最佳插入路径的可以服务于特定实施方式的任何其他合适的虚拟、听觉和/或图形辅助。
103.由放置引导参数组1304中的一个或多个参数规定的最佳插入路径可以被限定为使得外科手术器械1504和/或物理医疗元件1502在物理医疗元件1502从患者外部被带到与解剖表面接触时避免与内部空间中的组织和/或其他对象(例如，其他外科手术器械)碰撞。
104.在一些示例中，放置引导参数组1304包括一个或多个参数，该一个或多个参数被配置为当外科手术器械1504将物理医疗元件1502保持就位在解剖表面上时规定用于将物理医疗元件1502缝合到解剖表面的缝合计划。缝合计划可以包括信息，该信息规定将用于将物理医疗元件1502缝合到解剖表面的缝合图案、将用于将物理医疗元件1502缝合到解剖表面的缝合线之间的间距、将用于将物理医疗元件1502缝合到解剖表面的线的类型、将物理医疗元件1502缝合到解剖表面所需的线的长度、和/或可以服务于特定实施方式的缝合计划的任何其他方面。尽管本文描述了示例性缝合计划，但是应当认识到，放置引导参数组1304可以替代地包括一个或多个参数，该一个或多个参数被配置为规定可以用于将物理医疗元件1502固定到解剖表面的任何其他类型的固定计划。
105.举例来说，可以由放置引导参数组1304中的一个或多个参数规定的示例性缝合计划可以指示用于如解剖特性数据1302中所指示的特定类型的组织、如解剖特性数据1302中所指示的特定类型和/或尺寸的组织缺陷604、如解剖特性数据1302中所指示的其他对象(例如，器官)到组织缺陷604的接近度、和/或如解剖特性数据1302中所指示的解剖表面的任何其他特性的推荐缝合图案、缝合间距、线类型和/或线长度。附加地或替代地，可由放置引导参数组1304中的一个或多个参数规定的示例性缝合计划可指示用于如元件特性数据1402中所指示的物理医疗元件1502的特性中的一个或多个的推荐缝合图案、缝合间距、线类型和/或线长度。
106.在一些示例中，系统100可以被配置为在图像602内以图形方式指示缝合计划。例如，图16示出了在被缝合到解剖表面之前的物理医疗元件1502。系统100可以通过呈现虚拟标记(例如，虚拟标记1602-1到1602-5)来以图形方式指示图像602内的缝合计划，该虚拟标记表示将放置缝合线以将物理医疗元件1502附接到解剖表面的位置。每个虚拟标记1602的方位和间距可以基于解剖特性数据1302和/或元件特性数据1402来确定。例如，大部分虚拟标记1602被定位在距物理医疗元件1502的外边缘大致相同的距离。然而，在该示例中，虚拟标记1602-2相对于其相邻的虚拟标记1602-1和1602-3偏移(即，虚拟标记1602-2比虚拟标记1602-1和1602-3更远离物理医疗元件1502的边缘)。这可能是因为解剖特性数据1302可能指示物理医疗元件1502上对应于虚拟标记1602-2的位置附近的组织相对较弱，从而需要缝合位置和物理医疗元件1502的边缘之间较大的间隙。
107.在一些示例中，用户可以提供被配置为修改图像602内以图形方式指示的缝合计划的用户输入。例如，用户可以提供调整虚拟标记1602中的一个或多个的方位、移除特定虚
拟标记1602、添加新的虚拟标记、和/或以其他方式修改缝合计划的输入。响应于该用户输入，系统100可以根据用户输入动态地调整缝合计划。例如，基于用户对特定虚拟标记1602的重新定位，系统100可以更新执行缝合所需的线的量、调整缝合设备和/或一个或多个其他外科手术器械的定位、和/或以其他方式调整缝合计划。
108.图16还示出了定位在物理医疗元件1502上对应于特定虚拟标记1602-4的位置处的缝合设备1604。缝合设备1604可以被配置为以任何合适的方式将物理医疗元件1502缝合到解剖表面。例如，缝合设备1604可以在对应于虚拟标记1602的各个位置处围绕物理医疗元件1502的周边应用连续缝合线(或任何其他类型的缝合线)。
109.在一些示例中，缝合设备1604由计算机辅助外科手术系统控制(例如，通过被连接到计算机辅助外科手术系统的操纵器臂)。在这些示例中，缝合设备1604可以被称为耦合到计算机辅助外科手术系统并由其控制的某种类型的外科手术器械。在替代示例中，缝合设备1604不受计算机辅助外科手术系统控制。在这些替代示例中，缝合设备1604可以由用户手动保持和/或以其他方式控制。
110.在缝合设备1604由计算机辅助外科手术系统控制的情况下，缝合设备1604的定位和/或操作可以响应于用户输入(例如，用户可以提供移动和/或操作缝合设备1604的输入命令)来设置。例如，用户可以提供指导计算机辅助外科手术系统将缝合设备1604从缝合位置移动到如由虚拟标记1602表示的缝合计划引导的缝合位置的输入命令。例如，在缝合设备1604用于在对应于虚拟标记1602-4的缝合位置处将物理医疗元件1502缝合到解剖表面后，用户可以提供致使缝合设备1604移动到对应于虚拟标记1602-5的缝合位置的输入命令(例如，通过操纵作为计算机辅助外科手术系统的一部分的主控件)。一旦在该位置处，缝合设备1604就可用于在对应于虚拟标记1602-5的缝合位置处将物理医疗元件1502缝合到解剖表面。缝合设备1604的这种重新定位可以替代地由计算机辅助外科手术系统自动执行，而无需控制缝合设备1604的定位和/或操作的特定用户输入。
111.在一些示例中，系统100可以根据放置引导参数组1304指导计算机辅助外科手术系统使用一个或多个外科手术器械(例如，外科手术器械1504和/或缝合设备1604)来将物理医疗元件(例如，物理医疗元件1502)自动放置在解剖表面上，而无需用户在物理医疗元件正被一个或多个外科手术器械放置在解剖表面上时提供控制一个或多个外科手术器械的移动的用户输入。例如，系统100可以指导计算机辅助外科手术系统使用外科手术器械1504以将物理医疗元件1502引导到解剖表面上方的正确取向和定位。系统100然后可以指导计算机辅助外科手术系统使用缝合设备1604以将物理医疗元件1502自动缝合到解剖表面。
112.在一些示例中，系统100可以跟踪缝合设备1604和/或外科手术器械1504相对于物理医疗元件1502的相对姿态。系统100可以使用跟踪的姿态来指导缝合设备1604正确地执行物理医疗元件1502到解剖表面的缝合和/或指导外科手术器械1504正确地抓握和保持物理医疗元件1502。
113.图17图示了可以由医疗元件管理系统(例如，系统100和/或其任何实施方式)执行的示例性方法1700。尽管图17图示了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序和/或修改图17中所示的任何操作。
114.在操作1702中，医疗元件管理系统指示显示设备在患者的内部空间的图像内的目
标区位上方渲染表示物理医疗元件的虚拟医疗元件，该目标区位描绘了将由物理医疗元件覆盖的解剖表面。操作1702可以以本文描述的任何方式执行。
115.在操作1704中，当虚拟医疗元件在目标区位上方被渲染时，医疗元件管理系统接收用户输入，该用户输入设置图像内虚拟医疗元件的姿态和虚拟医疗元件的尺寸中的至少一个。操作1704可以以本文描述的任何方式执行。
116.在操作1706中，医疗元件管理系统基于用户输入和表示内部空间的深度图的深度数据来确定物理医疗元件的物理大小。在一些示例中，物理大小可以规定物理医疗元件的表面积、体积或任何其他合适的大小。操作1706可以以本文描述的任何方式执行。
117.图18图示了可以由医疗元件管理系统(例如，系统100和/或其任何实施方式)执行的另一示例性方法1800。尽管图18图示了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序和/或修改图18所示的任何操作。
118.在操作1802中，医疗元件管理系统访问图像数据，该图像数据表示由成像设备获取的图像并且描绘患者的内部空间。操作1802可以以本文描述的任何方式执行。
119.在操作1804中，医疗元件管理系统获得深度数据，该深度数据表示由成像设备获取的图像中描绘的内部空间的深度图。操作1804可以以本文描述的任何方式执行。
120.在操作1806中，医疗元件管理系统基于图像数据和深度数据识别图像内的目标区位，该目标区位描绘了将由物理医疗元件覆盖的解剖表面。操作1806可以以本文描述的任何方式执行。
121.在操作1808中，医疗元件管理系统指示显示设备在图像内识别的目标区位上方渲染表示物理医疗元件的虚拟医疗元件。操作1808可以以本文描述的任何方式执行。
122.图19图示了可以由医疗元件管理系统(例如，系统100和/或其任何实施方式)执行的另一示例性方法1900。尽管图19图示了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序和/或修改图19所示的任何操作。
123.在操作1902中，医疗元件管理系统获得表示与将由物理医疗元件覆盖的解剖表面相关联的特性的解剖特性数据，该解剖表面在患者的内部空间内。操作1902可以以本文描述的任何方式执行。
124.在操作1904中，医疗元件管理系统基于解剖特性数据确定放置引导参数组，该放置引导参数组包含一个或多个参数，该一个或多个参数被配置为用由计算机辅助外科手术系统控制的一个或多个外科手术器械引导物理医疗元件在解剖表面上的放置。操作1904可以以本文描述的任何方式执行。
125.图20图示了可以由医疗元件管理系统(例如，系统100和/或其任何实施方式)执行的另一示例性方法2000。尽管图20图示了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序和/或修改图20中所示的任何操作。
126.在操作2002中，医疗元件管理系统获得表示与将由物理医疗元件覆盖的解剖表面相关联的特性的解剖特性数据，该解剖表面在患者的内部空间内。操作2002可以以本文描述的任何方式执行。
127.在操作2004中，当由计算机辅助外科手术系统控制的一个或多个外科手术器械将物理医疗元件保持就位在解剖表面上时，医疗元件管理系统基于解剖特性数据确定用于将物理医疗元件缝合到解剖表面的缝合计划。操作2004可以以本文描述的任何方式执行。
128.在操作2006中，医疗元件管理系统在内部空间的图像内以图形方式指示缝合计划。操作2006可以以本文描述的任何方式执行。
129.本文描述的系统和方法可以用于与用于针对患者执行外科手术程序的计算机辅助外科手术系统组合和/或由其实施。图21图示了示例性计算机辅助外科手术系统2100(“外科手术系统2100”)。如图所示，外科手术系统2100可以包括彼此通信地耦合的操纵系统2102、用户控制系统2104和辅助系统2106。外科手术系统2100可以由外科手术团队利用以对患者2108执行计算机辅助外科手术程序。如图所示，外科手术团队可以包括外科医生2110-1、助理2110-2、护士2110-3和麻醉师2110-4，他们都可以被统称为“外科手术团队成员2110”。可以服务于特定实施方式的附加或替代的外科手术团队成员可以在外科手术时间段期间出现。
130.尽管图21图示了正在进行的微创外科手术程序，但应当理解，外科手术系统2100可以类似地用于执行开放式外科手术程序或可以类似地受益于外科手术系统2100的准确性和便利性的其他类型的外科手术程序。另外，应当理解，可以采用外科手术系统2100的整个外科手术时间段不仅可以包括外科手术程序的操作时段，如图21所示，还可以包括外科手术程序的术前、术后和/或其他合适的时段。外科手术程序可以包括对患者使用手动和/或器械技术以调查或治疗患者身体状况的任何程序。
131.如图21所示，操纵系统2102可以包括多个操纵器臂2112(例如，操纵器臂2112-1到2112-4)，多个外科手术器械可以被耦合到多个操纵器臂2112。每个外科手术器械可以通过可用于患者2108的计算机辅助外科手术程序(例如，通过被至少部分地插入患者2108体内并被操纵以对患者2108执行计算机辅助外科手术程序)的任何合适的外科手术工具(例如，具有组织交互功能的工具)、医疗工具、成像设备(例如，内窥镜)、感测器械(例如，力感测外科手术器械)、诊断器械等来实施。尽管在本文中将操纵系统2102描绘和描述为包括四个操纵器臂2112，但是将认识到操纵系统2102可以仅包括单个操纵器臂2112或可以服务于特定实施方式的任何其他数量的操纵器臂。
132.操纵器臂2112和/或附接到操纵器臂2112的外科手术器械可以包括用于生成原始(即未校正的)运动学信息的一个或多个位移转换器、取向传感器和/或定位传感器。外科手术系统2100的一个或多个组件可以被配置为使用运动学信息来跟踪(例如，确定其方位)和/或控制外科手术器械。
133.用户控制系统2104可以被配置为促进外科医生2110-1控制操纵器臂2112和附接到操纵器臂2112的外科手术器械。例如，外科医生2110-1可以与用户控制系统2104交互以远程移动或操纵操纵器臂2112和外科手术器械。为此，用户控制系统2104可以向外科医生2110-1提供由成像系统(例如，本文描述的任何医疗成像系统)捕获的与患者2108相关联的外科手术区域的影像(例如，高清3d影像)。在某些示例中，用户控制系统2104可以包括具有两个显示器的立体查看器，其中与患者2108相关联并且由立体成像系统生成的外科手术区域的立体图像可以由外科医生2110-1查看。外科医生2110-1可以利用影像以执行一个或多个程序，其中一个或多个外科手术器械附接到操纵器臂2112。
134.为了促进外科手术器械的控制，用户控制系统2104可以包括一组主控件。这些主控件可由外科医生2110-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控件可以被配置为检测外科医生2110-1的各种手、手腕和手指移动。以此
方式，外科医生2110-1可以使用一个或多个外科手术器械直观地执行程序。在一些示例中，用户控制系统2104实施用户控制系统806。
135.辅助系统2106可以包括被配置为执行外科手术系统2100的主要处理操作的一个或多个计算设备。在这种配置中，包括在辅助系统2106中的一个或多个计算设备可以控制和/或协调由外科手术系统2100的各种其他组件(例如，操纵系统2102和用户控制系统2104)执行的操作。例如，包括在用户控制系统2104中的计算设备可以通过包括在辅助系统2106中的一个或多个计算设备向操纵系统2102传输指令。作为另一示例，辅助系统2106可以从操纵系统2102接收并处理表示由附接到操纵器臂2112之一的成像设备捕获的影像的图像数据。
136.在一些示例中，辅助系统2106可以被配置为向可能无法访问在用户控制系统2104处提供给外科医生2110-1的图像的外科手术团队成员2110呈现视觉内容。为此，辅助系统2106可以包括被配置为显示一个或多个用户界面(例如外科手术区域的图像(例如，2d图像、3d图像)、与患者2108和/或外科手术程序相关联的信息、和/或可以服务于特定实施方式的任何其他视觉内容)的显示监视器2114。例如，显示监视器2114可以显示外科手术区域的图像以及与图像同时显示的附加内容(例如，图形内容、情境信息等)。在一些实施例中，显示监视器2114由外科手术团队成员2110可以与之交互(例如，通过触摸手势)以向外科手术系统2100提供用户输入的触摸屏显示器来实施。
137.操纵系统2102、用户控制系统2104和辅助系统2106可以以任何合适的方式彼此通信地耦合。例如，如图21所示，操纵系统2102、用户控制系统2104和辅助系统2106可以通过控制线2116通信地耦合，该控制线2116可以表示可以服务于特定实施方式的任何有线或无线通信链路。为此，操纵系统2102、用户控制系统2104和辅助系统2106可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等。
138.在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时，该指令可以指导处理器和/或计算设备执行一个或多个操作，包括本文描述的操作中的一个或多个。这样的指令可以使用多种已知的计算机可读媒介中的任何一种来存储和/或传输。
139.如本文所指的非暂时性计算机可读介质可以包括参与提供可以由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储媒介和/或易失性存储媒介的任何组合。示例性非易失性存储媒介包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“ram”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储媒介包括但不限于ram(例如动态ram)。
140.图22图示了示例性计算设备2200，该示例性计算设备2200可以被具体配置为执行本文描述的过程中的一个或多个。本文描述的任何系统、计算设备和/或其他组件可以由计算设备2200实施。
141.如图22所示，计算设备2200可以包括经由通信基础设施2210彼此通信地连接的通信接口2202、处理器2204、存储设备2206和输入/输出(“i/o”)模块2208。尽管示例性计算设备2200在图22中示出，但图22中图示的组件不旨在限制。在其他实施例中可以使用附加的或替代的组件。现在将更详细地描述图22中所示的计算设备2200的组件。
142.通信接口2202可以被配置为与一个或多个计算设备通信。通信接口2202的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接以及任何其他合适的接口。
143.处理器2204通常表示能够处理数据和/或解释、执行和/或指导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器2204可以通过执行存储在存储设备2206中的计算机可执行指令2212(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
144.存储设备2206可以包括一个或多个数据存储媒介、设备或配置，并且可以采用数据存储媒介和/或设备的任何类型、形式和组合。例如，存储设备2206可以包括但不限于本文描述的非易失性媒介和/或易失性媒介的任何组合。电子数据(包括本文描述的数据)可以被临时和/或永久地存储在存储设备2206中。例如，表示被配置为指导处理器2204执行本文描述的任何操作的计算机可执行指令2212的数据可以被存储在存储设备2206内。在一些示例中，数据可以被安排在驻留在存储设备2206内的一个或多个数据库中。
145.i/o模块2208可以包括被配置为接收用户输入并提供用户输出的一个或多个i/o模块。i/o模块2208可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块2208可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或键区、触摸屏组件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。
146.i/o模块2208可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，i/o模块2208被配置为向显示器提供图形数据以用于呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以服务于特定实施方式的任何其他图形内容。
147.在前面的描述中，已经参考附图描述了各种示例性实施例。然而，在不背离如所附权利要求中阐述的本发明的范围的情况下，显然可以对各种示例性实施例进行各种修改和改变，并且可以实施附加实施例。例如，本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征组合或替代。相应地，描述和附图被认为是说明性的而不是限制性的。