基于次表面图像扫描配准来自不同成像模态的成像数据的系统和方法与流程

基于次表面图像扫描配准来自不同成像模态的成像数据的系统和方法
1.相关申请
2.本技术要求在2019年8月28日提交的题为“systems and methods for registering imaging data from different imaging modalities based on vascular image scanning(基于血管图像扫描配准来自不同成像模态的成像数据的系统和方法)”的美国临时专利申请号62/893,040的优先权，其内容通过引用整体并入本文。
技术领域

背景技术：

3.在外科手术程序期间，内窥镜可以用于捕获外科手术部位的内窥镜图像。内窥镜图像可以通过显示设备呈现给外科医生，使得外科医生可以在执行外科手术程序时可视化手术部位。
4.在一些场景中，(除了内窥镜成像模态之外的)一种或多种附加成像模态可以用于捕获也可呈现给外科医生的手术部位的附加图像。这样的附加图像可以在术前或术中捕获，并且可以例如通过超声扫描、计算机断层摄影术(“ct”)扫描、磁共振成像(“mri”)扫描、荧光成像扫描和/或配置为捕获手术部位的图像的另一种合适的成像模态来捕获。
5.可以呈现由不同成像模态捕获的图像以方便外科医生可视化手术部位，但是外科医生可能仍然发现难以和/或不方便概念化手术部位并基于不同的类型的图像合成手术部位的构思模型。当图像表示以不同方式捕获的不同内容时尤其如此(例如，表面解剖内容与次表面解剖内容对比、术前捕获的内容与术中捕获的内容对比等)。因此，仍有改进由不同成像模态捕获的图像的处理和呈现的空间。


技术实现要素：

6.以下描述呈现了本文描述的系统和方法的一个或多个方面的简化概述。该概述不是对所有预期方面的广泛概述，并且既不旨在标识所有方面的关键或决定性要素，也不旨在描绘任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下文呈现的详细描述的前奏。
7.一种示例性系统包括存储指令的存储器和处理器，该处理器通信地耦合到存储器并被配置为执行指令以基于来自手术部位处的次表面图像扫描的次表面成像数据来识别手术部位处的次表面结构；并且使用识别出的手术部位处的次表面结构用于将来自内窥镜成像模态的内窥镜成像数据与来自附加成像模态的附加成像数据进行配准。
8.另一种示例性系统还包括存储指令的存储器和处理器，该处理器被通信地耦合到存储器并被配置为执行指令以在手术部位处在外科手术操作期间在术中执行各种操作。例如，处理器执行的各种操作可以包括从内窥镜访问术中内窥镜成像数据的操作；从次表面成像模块访问术中次表面成像数据；访问表示术中内窥镜成像数据与术中次表面成像数据
的配准的对准参数；访问通过不同于内窥镜成像模态的附加成像模态捕获的术前扫描数据，该术前扫描数据表示手术部位处的解剖结构的三维(“3d”)模型；基于术中次表面成像数据和对准参数识别手术部位处的次表面结构；和/或使用识别出的手术部位处的次表面结构将术中内窥镜成像数据与表示手术部位处解剖结构的3d模型的术前扫描数据配准。
9.一种示例性方法包括图像配准系统，该图像配准系统基于来自手术部位处的次表面图像扫描的次表面成像数据来识别手术部位处的次表面结构，并且使用识别出的手术部位处的次表面结构将来自内窥镜成像模态的内窥镜成像数据与来自附加成像模态的附加成像数据进行配准。
附图说明
10.附图图示了各种实施例并且是说明书的一部分。所图示的实施例仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。
11.图1图示了用于根据本文描述的原理基于次表面图像扫描来配准来自不同成像模态的成像数据的示例性图像配准系统。
12.图2图示了根据本文描述的原理的第一组成像数据与第二组成像数据的配准的示例性方面。
13.图3图示了一种示例性配置，其中图1的图像配准系统根据本文描述的原理配准来自不同成像模态的成像数据以生成手术部位的合成图像。
14.图4a图示了根据本文描述的原理用于捕获描绘手术部位处的解剖结构的内窥镜成像数据的内窥镜成像模态的示例性方面。
15.图4b图示了根据本文描述的原理由来自不同于图4a中图示的内窥镜成像模态的附加成像模态捕获的手术部位的表示图的示例性方面。
16.图5图示了根据本文描述的原理将来自内窥镜成像模态的内窥镜成像数据与来自附加成像模态的附加成像数据进行配准的示例性方面。
17.图6至图9图示了根据本文描述的原理的手术部位的各种示例性合成图像，其包括由不同成像模态捕获的并且相对于视点在合成图像内对准的解剖结构的描绘。
18.图10图示了根据本文所述原理的示例性计算机辅助手术系统。
19.图11和图12图示了用于根据本文描述的原理基于次表面图像扫描来配准来自不同成像模态的成像数据的示例性方法。
20.图13图示了根据本文描述的原理的示例性计算设备。
具体实施方式
21.本文描述了用于基于次表面图像扫描来配准来自不同成像模态的成像数据的系统和方法。可以在手术部位处计划或执行各种类型的外科手术程序，该手术部位可以包括对其执行(或将要执行)外科手术程序的身体的解剖结构、靠近正在(或将被)手术的解剖结构的解剖结构，以及靠近该解剖结构的其他区域(例如，开放空间)。进行手术的解剖结构和周围的解剖结构可以包括在程序期间位于进行手术的表面解剖结构下方或后面的各种次表面结构。例如，次表面结构可以包括诸如由多个血管(例如，动脉、静脉等)组成的脉管系统、骨结构、组织块(例如，癌性和/或非癌性肿瘤、细胞生长等)、器官、肌腱、肌肉、韧带、软
骨、神经、脂肪的结构和/或其他可通过某些成像模态识别为位于正在手术的表面下方或后面的次表面解剖结构。
22.本文所述的系统和方法可以使用来自手术部位处的次表面图像扫描的次表面成像数据来识别手术部位处的次表面结构的位置，并且然后使用识别的次表面结构的位置来配准来自不同成像模态的数据(例如，配准或细化来自不同成像模态的数据的配准)。如将在下文更详细描述的，被配置为确定次表面图像数据的任何类型的成像扫描可用作本文描述的示例中的次表面图像扫描。例如，次表面图像扫描可以是合适的超声扫描(例如，标准超声扫描、对比增强超声扫描、具有或不具有对比的谐波成像扫描、采用超声弹性成像的扫描、断层超声等)，它被配置为使用诸如内窥镜的可见光模态检测不可见的次表面结构，诸如脉管系统、骨骼结构或组织块。作为另一示例，可以采用脉管超声扫描诸如多普勒超声扫描或采用血管分割算法的标准超声扫描来具体地识别脉管系统。在其他示例中，次表面图像扫描可以通过非超声成像模态，诸如光学相干断层扫描、荧光成像、高光谱成像，或能够映射身体的各种次表面结构(例如脉管系统、骨骼结构、组织块等)的另一种合适类型的图像来实施。
23.下面将更详细地描述可彼此配准的成像模态的类型、可采用成像模态的环境等的各种细节和示例性实施例。另外，如本文将进一步描述的，来自不同成像模态的成像数据的配准可以用于提供手术部位的合成图像(例如，显示术前和术中成像数据一起集成到单个图像视图中的合成图像)以供显示设备显示以方便外科手术程序。
24.一种示例性图像配准系统可以包括存储指令的存储器和通信地耦合到存储器并被配置为执行指令以执行某些操作的处理器。例如，处理器可以基于来自手术部位处的次表面图像扫描的次表面成像数据来识别手术部位处的次表面结构。图像配准系统的处理器还可以使用在手术部位处识别的次表面结构将来自内窥镜成像模态的内窥镜成像数据与来自附加成像模态的附加成像数据进行配准。例如，次表面结构可以用于初始生成或校正(例如，细化、修正、更新等)内窥镜成像数据与附加成像数据的配准。
25.另一个示例性图像配准系统可以包括内窥镜、次表面成像模块和处理器。这些部件可以在手术部位处的外科手术操作期间(即“术中”)一起操作，以向用户(例如，向外科医生或手术团队成员)提供术中捕获的图像和在外科手术操作之前(即，“术前”)捕获的图像的组合。例如，内窥镜可以被配置为捕获术中内窥镜成像数据，次表面成像模块可以被配置为捕获术中次表面成像数据，并且处理器可以被配置为访问，连同访问来自内窥镜的术中内窥镜成像数据，以及来自次表面成像模块的术中次表面成像数据，通过附加成像模态捕获的术前扫描数据。附加成像模态可以不同于内窥镜使用的内窥镜成像模态，并且可以包括例如术前磁共振成像(“mri”)扫描、术前计算机断层摄影术(“ct”)扫描、术前超声扫描或诸如此类。在一些示例中，术前扫描数据可以表示手术部位处解剖结构的三维(“3d”)模型。
26.除了访问内窥镜成像数据、次表面成像数据和术前扫描数据之外，处理器可以进一步被配置为访问表示术中内窥镜成像数据与术中次表面成像数据的配准的对准参数。因此，处理器可以基于术中次表面成像数据和对准参数来识别与术中内窥镜成像数据相关的手术部位处的次表面结构，并且可以使用识别出的手术部位处的次表面结构以将术中内窥镜成像数据与术前扫描数据(例如，表示手术部位处解剖结构的3d模型)进行配准。
27.本文所述的系统和方法可以提供各种优点和益处。例如，本文描述的系统和方法
可以促进通过不同成像模态捕获的不同组成像数据的初始配准或校正其配准，以对准以其他方式难以、不切实际或不可能准确对准和配准的成像数据。例如，可能无法使用识别和匹配两个成像数据集中描绘或表示的共同视觉特征的常规技术将描绘表面解剖结构的内窥镜成像数据与表示次表面解剖结构的附加成像数据(例如，mri成像数据、ct成像数据、超声成像数据、基于任何这些类型的数据生成的3d解剖模型等)对准和配准。这是因为内窥镜成像数据可能描绘与附加成像数据中表示的特征(例如，次表面解剖特征)完全不同的特征(例如，表面解剖特征)。
28.因此，本文描述的系统和方法可以利用以下事实：1)来自手术部位处的次表面图像扫描的次表面成像数据可以以其他方式准确地配准到内窥镜数据(例如，基于指示次表面成像模块是关于内窥镜的运动学和/或视觉数据)；以及2)次表面成像数据指示也在附加成像数据中表示的手术部位处的次表面结构的位置。因此，基于次表面图像数据识别的次表面结构也可以用于配准内窥镜图像数据与附加成像数据，即使这些数据集是在不同时间(例如，术前和术中)捕获的并且包括(例如，由于当捕获不同的成像数据时以不同方式施加的器械的重力或压力导致的)变形的解剖表示等等。
29.此外，由本文描述的系统和方法提供的不同类型的成像数据的准确和有效配准可以使计算机辅助手术系统的用户直接受益。例如，本文所述的系统和方法可以允许以如下方式将由不同成像模态捕获的图像集成到手术部位的合成图像中，该方式是在合成图像中产生由不同的成像模态捕获的手术部位的图像的集成和直观描绘。本文所述的系统和方法可以将生成的合成图像呈现给计算机辅助手术系统的用户，诸如利用计算机辅助手术系统执行外科手术程序的外科医生。所呈现的合成图像对于外科医生来说可能是视觉上直观的；可以为外科医生降低外科手术程序的复杂性(例如，通过消除外科医生在心里对准以非集成方式单独呈现的手术部位的图像的需要)；和/或可以允许外科医生即时、方便和直观地可视化集成在合成图像中的表面和次表面解剖结构。此外，所呈现的合成图像可以是用户可定制的，以允许外科医生提供输入以方便地和动态地选择手术部位的要被增强的部分，使得可以使用与用于查看手术部位的另一部分不同的成像模态来查看所选部分。例如，该系统和方法可以使外科医生能够选择手术部位的一部分，在该部位处将次表面解剖结构的图像显示为对正在显示的表面解剖结构的图像的增强。
30.现在将参考附图更详细地描述各种实施例。所公开的系统和方法可以提供上述益处中的一个或多个益处和/或将在本文中变得显而易见的各种附加和/或替代益处。
31.图1图示了用于基于次表面图像扫描来配准来自不同成像模态的成像数据的示例性图像配准系统100(“系统100”)。系统100可以包括在计算机辅助手术系统(诸如下文将结合图10描述的示例性计算机辅助手术系统)的一个或多个部件中、由其实现或连接到该计算机辅助手术系统的一个或多个部件。例如，系统100可以由计算机辅助手术系统的一个或多个部件诸如操纵系统、用户控制系统或辅助系统来实现。作为另一个示例，系统100可以由通信地耦合到计算机辅助手术系统的独立计算系统来实现。
32.如图1所示，系统100可以包括但不限于选择性地且通信地彼此耦合的存储设施102和处理设施104。设施102和104可各自包括一个或多个物理计算设备或由其实现，该物理计算设备包括硬件和/或软件部件，诸如处理器、存储器、存储驱动器、通信接口、存储在存储器中以供处理器执行的指令和诸如此类。尽管设施102和104在图1中被示为单独的设
施，但是设施102和104可以组合成更少的设施，诸如组合成单个设施，或者被分成更多的设施，因为可以服务于特定的实现方式。在一些示例中，设施102和104中的每一个可以分布在多个设备和/或多个位置之间，因为可以服务于特定的实现方式。
33.存储设施102可以维护(例如，存储)处理设施104用来执行本文描述的任何功能的可执行数据。例如，存储设施102可以存储指令106，该指令106可以由处理设施104执行以执行本文描述的操作中的一个或多个。指令106可以由任何合适的应用、软件、代码和/或其他可执行数据实例来实现。存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。
34.处理设施104可以被配置为执行(例如，执行存储在存储设施102中的指令106以执行)与基于次表面图像扫描配准来自不同成像模态的成像数据相关联的各种操作。例如，处理设施104可以被配置为基于来自手术部位处的次表面成像扫描(例如，多普勒超声扫描、采用血管分割算法的标准超声扫描、对比增强超声扫描、谐波成像扫描、采用超声弹性成像的扫描、断层摄影超声、允许生成二维(“2d”)、3d或其他类型的次表面结构图的另一种类型的超声扫描等)的次表面成像数据或基于通过另一种合适类型的次表面图像扫描(例如，光学相干断层扫描、荧光成像、高光谱成像等)获得的数据来识别手术部位处的次表面结构。处理设施104可以使用在手术部位处识别出的次表面结构将来自内窥镜成像模态的内窥镜成像数据与来自附加(例如，非内窥镜)成像模态的附加成像数据进行配准。
35.系统100的某些实施方式可以具体地被配置为基于实时或接近实时的次表面图像扫描来配准来自不同成像模态的成像数据，诸如通过在手术部位处的外科手术操作期间在手术中执行上述或其他操作。例如，系统100的示例性实施方式可以包括存储指令的存储器和通信地耦合到存储器并被配置为执行指令以在手术部位处的外科手术操作期间在手术中执行各种功能的处理器。例如，处理设施104可以按照以下顺序或另一合适顺序配置为：1)从内窥镜访问术中内窥镜成像数据；2)从次表面成像模块访问术中次表面成像数据；3)访问表示术中内窥镜成像数据与术中次表面成像数据的配准的对准参数；4)访问通过不同于内窥镜成像模态的附加成像模态捕获的术前扫描数据(例如，术前扫描数据可能表示手术部位处解剖结构的3d模型)；5)基于术中次表面成像数据和对准参数来识别手术部位处的次表面结构；并且6)使用在手术部位处识别的次表面结构将术中内窥镜成像数据与表示手术部位处解剖结构的3d模型的术前扫描数据进行配准。
36.本文描述了可以由处理设施104执行的这些和其他功能。在以下描述中，对系统100执行的功能的任何引用可以理解为由处理设施104基于存储在存储设施102中的指令106执行。
37.图2图示了第一组成像数据200-1与第二组成像数据200-2的配准的示例性方面。在某些示例中，第一成像数据与第二成像数据的配准可以指从第一成像数据的图像数据点到第二成像数据中的对应图像数据点的映射，使得从特定的视点来看，配准允许对准图像数据集。例如，如图2所示，成像数据200-1表示手术部位(例如，内部器官或其部分等)处的解剖构造的描绘202-1，并且成像数据200-2表示相同解剖构造的描绘202-2(尽管从稍微不同的视点捕获，使得成像数据200-1和200-2相似但不相同)。成像数据200-1与成像数据200-2的配准因此可以涉及确定描绘202-1中的各种特征204(例如，特征204-1至204-6)是否对应于描绘202-2中的相似特征206(例如，特征206-1至206-6)。
38.如图所示，例如，特征204-1和206-1可以被确定为匹配(即，表示相同的物理特征)，特征对204-2和206-2、204-3和206-3、204-4和206-4以及204-5和206-5也一样。在该示例中，每个描绘中的不对应于另一个描绘中的相似特征的特征也被调出。具体地，成像数据200-2的描绘202-2中没有数据点可以对应于表示成像数据200-1的描绘202-1中的特征204-6的数据点，也没有描绘202-1中的任何数据点对应于表示描绘202-2中的特征206-6的数据点。可以通过识别足够数量的对应数据点对，即描绘202-1可以与描绘202-2关于特定视点(例如，从其捕获成像数据200-1的视点、从其捕获成像数据200-2的视点或另一个合适的视点)对准(例如，表示相似特征204和206的数据点对)，来将成像数据200-1与成像数据200-2配准。
39.在图2的示例中，将理解，描绘202-1和202-2可能看起来如此相似，因为每个成像数据200-1和200-2的相应图像是通过相同的成像模态(例如，以相同的方式，由相同的捕获设备，使用相同的成像技术等)捕获的。另外，并且由于视觉相似性，可以通过识别描绘202-1中的特征204、识别描绘202-2中的特征206以及匹配来自每个组的特征以识别对应的数据点，来以相对直接的方式执行成像数据200-1与成像数据200-2的配准。
40.然而，虽然图2的示例说明了配准由单个成像模态捕获的成像数据的各方面，但也将理解，在某些示例中，可能希望配准来自一个成像模态(例如，内窥镜成像模态)的成像数据与来自不同成像模态(例如，诸如ct扫描、mri扫描或类似扫描的附加成像模态)的成像数据。在后一种情况下，配准可能伴随着额外的挑战和/或复杂性。
41.作为一个示例，不同的成像模态可以在不同的时间点捕获解剖结构的描绘或其他表示。例如，内窥镜成像模态可以包括手术部位处的解剖结构的术中扫描，并且因此可以在手术正在进行时实时执行。类似地，超声扫描或荧光成像扫描(其中荧光芯片被注入体内以促进在芯片表现出荧光特性的特定频率下成像)可以类似地在手术中使用，或者在操作正在进行时实时使用，或在操作时段期间，在进行成像时暂时搁置主动外科手术操作。相反，其他类型的成像模态可以在手术部位处执行操作之前的某个时间点(例如，紧接在之前、一天或更早之前等)捕获解剖结构的描绘或其他表示。例如，当身体处于不同的状态时，可以在不同时间执行包括ct扫描、mri扫描、超声扫描、x射线扫描、基于来自任何此类扫描的数据的3d建模生成的成像模态，或其他合适的成像模态。例如，进行外科手术的患者的体位在术前时间期间使用一种成像模态时以及在术中时间期间使用另一种成像模态时可能不同(例如，仰卧位与侧卧位)，或者可能有其他显著差异(例如，禁食或不禁食)。在其他示例中，可以同时使用不同的模态(例如，在术前、在术中等)或在以不同于该示例的其他方式的时间(例如，不同的术前时间、不同的术中时间、术前和术后时间、术中和术后时间等)。
42.作为在使用不同模态时可能伴随配准的另一示例性复杂性，诸如特征204和206的类似特征可能不存在于正配准的成像数据的相应描绘或其他表示(例如，3d模型等)中。这可能会发生，因为不同的成像模态可能会以不同的方式捕获和表示解剖结构。例如，诸如内窥镜成像模态的一种成像模态可以捕获表示表面解剖结构(即，可以通过从解剖结构反射可见光而容易成像的解剖结构)的描绘的数据，而诸如手术部位的超声扫描、手术部位的ct扫描、手术部位的mri扫描或手术部位的x射线扫描的附加成像模态可以捕获表示次表面解剖结构(即表面解剖结构后面或下方的解剖结构，其只能通过使用涉及声波、可见光谱之外的光波或类似技术的先进技术进行成像)的数据。
43.因为不同的可见特征可能存在于表面解剖结构和次表面解剖结构上，所以关于图2所示和描述的特征匹配配准可能不足以将描绘表面解剖结构的内窥镜成像数据与表示次表面解剖结构的附加成像数据进行配准。
44.为了克服这些挑战，本文描述的系统和方法可以依赖于某些次表面结构，诸如脉管系统、骨骼结构、组织块或其他这样的次表面解剖结构，即使在不同时间使用和/或表示不同层(例如，表面或次表面层)时，其他这样的次表面解剖结构也可以相对于各种成像模态进行识别。例如，脉管系统的位置，如通过来自通过运动学、视觉或其他合适技术与内窥镜图像配准的脉管图像扫描的脉管成像数据所识别的一样，可用于将表面解剖结构的内窥镜描绘与通过非内窥镜成像模态(诸如ct或mri扫描)捕获的附加成像数据中包含的次表面解剖结构的3d表示进行配准。类似地，作为另一个示例，某些骨结构、组织块和/或其他次表面结构的位置可以通过来自次表面图像扫描的次表面成像数据来识别，这些次表面图像扫描同样通过运动学、视觉和/或其他合适的技术进行配准。与上述脉管系统结构一样，这些次表面结构也可用于将表面解剖结构的内窥镜描绘与通过非内窥镜成像模态(诸如ct或mri扫描)方式捕获的附加成像数据中包含的次表面解剖结构的3d表示进行配准。因此，系统100可以使用已识别的次表面结构，诸如脉管系统、骨结构、组织块、或作为特征204和206的实现或替代的其他合适结构，因为系统100生成或校正(例如，细化、更新、修正等)表示配准的一组对准参数。例如，该组对准参数可以与变换矩阵、平移矩阵和类似物相关联。
45.包含在由系统100生成或校正的一组对准参数中的对准参数可以被配置为定义内窥镜成像数据和附加成像数据之间的空间变换。在各种示例中，由该组对准参数定义的空间变换可以涉及从一组成像数据到另一组成像数据的刚性变换(例如，包括平移和旋转操作)、从一组成像数据到另一组的仿射变换(例如，包括一般线性变换、缩放和倾斜操作)、从一组成像数据到另一组的可变形配准(例如，包括具有不同参数化的非线性变换等)，或任何其他类型的可以服务于特定的实现的空间变换。
46.系统100将一组成像数据与另一组成像数据配准可能有各种目的。例如，如已经提到的，将来自第一成像模态的第一成像数据与来自第二成像模态的第二成像数据配准的一个目的是对准第一和第二成像数据，以便允许系统100生成并提供手术部位的合成图像，以供显示设备显示，该合成图像包括从特定视点(例如，在手术部位处执行外科手术程序的外科医生的视点，等等)查看的第一成像数据和第二成像数据的各方面。例如，这种合成图像可以基于来自内窥镜成像模态的内窥镜成像数据与来自附加成像模态的附加成像数据的配准，并且可以允许将内窥镜和附加成像数据的各方面在一个方便的、可定制的视图中呈现给用户以方便在手术部位处进行操作。
47.为了说明，图3示出了示例性配置300，其中系统100配准来自不同成像模态的成像数据以生成手术部位的合成图像。如图所示，配置300可以包括多个成像模态302(例如，内窥镜成像模态302-1和附加成像模态302-2)，其被配置为捕获手术部位306的成像数据304(例如，通过内窥镜成像模态302-1捕获的内窥镜成像数据304-1和通过附加成像模态302-2捕获的附加成像数据304-2)。
48.手术部位306可以包括与外科手术程序相关联的任何体积空间。例如，手术部位306可以包括患者身体的任何一个或多个部分，诸如与外科手术程序相关联的空间中的患者的解剖结构308(例如，组织等)。在某些示例中，手术部位306可以完全设置在患者体内，
并且可以包括患者体内的空间，该空间靠近计划要执行、正在执行或已经执行外科手术程序的位置。例如，对于对患者体内的组织执行的微创外科手术程序，手术部位306可以包括表面组织、表面组织下方的解剖结构以及组织周围的空间，例如，手术器械被用于执行外科手术程序的位置。在其他示例中，手术部位306可以至少部分地设置在患者体外。例如，对于正在对患者执行的开放式外科手术程序，手术部位306的一部分(例如，被操作的组织)可以在患者内部，而手术部位306的另一部分(例如，一个或多个手术器械所处的组织周围的空间)可以在患者体外。手术部位306可以包括在其中执行外科手术程序的真实工作空间，诸如与患者相关联并且其中的一个或多个手术器械用于对患者进行外科手术程序的实际的、真实世界的工作空间。
49.如本文所用，外科手术程序可包括任何医疗程序，包括其中对患者使用手动和/或器械技术以调查或治疗患者身体状况的任何诊断或治疗程序。外科手术程序可以指医疗程序的任何阶段，诸如外科手术程序的术前、手术(即，术中)和术后阶段。
50.成像模态302可以被配置和/或用于捕获表示手术部位306的成像数据304。这种捕获由图3中的虚线310表示。成像模态302可以各自以任何合适的方式捕获手术部位306的成像数据304，并且成像数据304可以采用任何合适的形式。例如，成像数据304可以实现为表示静止帧图像(例如，灰度图像、彩色图像、红外图像等)、视频(例如，灰度、彩色、红外视频等)、3d模型或任何其他类型的可视化表示或描绘的数据，它们可能在某个实施方式中帮助用户可视化手术部位306是有用的。成像模态302还可以各自在任何合适的时间捕获成像数据304。例如，一种或多种成像模态302可在外科手术程序的一个或多个术前、术中和/或术后阶段期间捕获手术部位306的成像数据304。
51.内窥镜成像模态302-1是涉及通过内窥镜(例如，或另一合适类型的内窥镜器械)方式捕获的成像数据的模态，该内窥镜被配置为将光(例如，可见频率的光)投射到手术部位306处的解剖结构上，并且当光从解剖结构反射到与内窥镜相关联的一个或多个图像传感器时捕获解剖结构的摄影图像。相反，在某些示例中，附加成像模态302-2可以是不同类型的成像模态(即，不同于内窥镜成像模态的模态)。例如，如上所述，附加成像模态302-2可以包括或涉及但不限于由超声模块或机器进行的超声成像、由ct机器进行的ct成像、由mri机器进行的mri成像或诸如此类。在其他示例中可以使用任何其他合适的附加成像模态。
52.在某些示例中，内窥镜成像模态302-1可以被配置为捕获包括在手术部位306处的表面解剖结构(例如，包括在手术部位处的组织的外表面)的图像，并且附加成像模态302-2可以被配置为捕获包括在手术部位306处的次表面解剖结构的图像(例如，包括在手术部位处的组织的外表面后面的次表面组织)。例如，内窥镜成像模态302-1可以捕获患者体内表面组织的图像，并且附加成像模态302-1可以包括捕获次表面组织图像的超声、ct或mri成像，从内窥镜的视角来看，该次表面组织是在表面解剖结构的后面并隐藏在内窥镜的视野之外。
53.如上所述，成像模态302可以各自在任何合适的时间捕获手术场景306的成像数据304，诸如在外科手术程序或操作的任何一个或多个阶段期间。在某些示例中，成像模态302可以即时捕获手术部位306的成像数据304。例如，内窥镜成像模态302-1可以在外科手术程序期间(例如，在外科手术程序的手术阶段期间)捕获内窥镜图像，并且附加成像模态302-1可以在外科手术程序期间即时捕获另一类型的图像。在其他示例中，成像模态302可以在外
科手术程序的不同时间和/或不同阶段期间捕获手术部位306的成像数据304。例如，内窥镜成像模态302-1可在外科手术程序的手术阶段期间捕获内窥镜图像，而附加成像模态302-2可在外科手术程序的术前阶段期间捕获另一类型的图像。
54.表示手术部位306的成像数据304可以包括通过成像模态302在手术部位306处捕获的图像。例如，成像数据304可以包括内窥镜图像、超声图像、ct图像、mri图像和/或手术部位306的任何其他合适形式的图像。附加地或可替代地，成像数据304可以包括基于由成像模态执行的成像而生成的一个或多个手术部位模型306。例如，附加成像数据304-2可以包括手术部位306的3d模型，其基于由成像模态执行的成像来生成，成像模态执行的成像诸如由超声机器、ct机器、mri机器或其他合适的成像模态执行的成像。3d模型可以是全体积模型，其包括具有表示手术部位306在模型内3d点处的外观的值(例如，颜色值、亮度值等)的体素(即，体积像素)。这样的体积模型可以促进3d模型的任何切片被系统100识别和使用以产生3d模型切片的图像。
55.虽然图3描绘了分别捕获作为输入提供给系统100的成像数据304-1和304-2的两个成像模态302-1和302-2，但是其他示例可以包括任何合适数量和/或配置的多个不同成像模态，该成像模态捕获作为输入提供给系统100以用于生成手术部位306的合成图像的图像。例如，三个或更多不同的成像模态可以捕获输入到系统100的图像，以用于生成手术部位306的合成图像。
56.系统100可以基于由成像模态302捕获的成像数据304生成手术部位306的合成图像312(例如，包括一个或多个合成图像312)。系统100可以以本文所述的任何方式来执行此操作以生成合成图像，该合成图像包括由不同成像模态302捕获的手术部位306的部分的合并表示。下面将更详细地描述这种合成图像的示例以及如何生成合成图像。
57.系统100可以指示显示设备314显示合成图像312。例如，系统100可以向显示设备314提供表示合成图像312的数据，显示设备314可以被配置为显示合成图像312以供计算机辅助手术系统的用户(例如，外科医生或执行外科手术程序的其他手术团队成员)查看。显示设备314可以包括能够接收和处理成像数据以显示一个或多个图像的任何设备。为此，显示设备314可以包括一个或多个显示屏，图像可以显示在该显示屏上。在某些示例中，显示设备314可以是计算机辅助手术系统的部件或可通信地连接到计算机辅助手术系统，诸如将在下文更详细描述的。
58.图4a图示了用于捕获描绘手术部位处的解剖结构的内窥镜成像数据的内窥镜成像模态的示例性方面。更具体地，图4a示出了用内窥镜402捕获的手术部位306的示例性描绘，内窥镜402被实施为任何合适的内窥镜器械并且与相对于手术部位306定位的视点404相关联。虽然图4a示出了2d视图，但是关于2d视图描述的原理也适用于具有相对于手术部位定位的视点的手术部位的3d视图。
59.如图4a中所示，手术部位400包括解剖结构406，其可以包括任何合适的解剖结构(例如，器官或其他组织)，并且被描绘在在各个层或横截面中,出于说明性原因将变得明显，各个层或横截面表示解剖结构的相对深度，而不是例如使用实际内部器官的准确解剖细节描绘的。应当理解，内窥镜402直接可见的表面解剖结构用一系列“1”标记(即，“1 1 1 1 1 1 1 1...”)并且可以表示上面图3中所示的表面解剖结构308。此外，相对于视点404在表面解剖结构后面或下方的各种次表面解剖结构横截面(因此在图3的解剖结构308中不可
见)基于距表面的相对深度用一系列“2”(即，“2 2 2 2 2 2 2 2 2...”)、“3”(即“3 3 3 3 3 3 3 3 3 3...”)等标记。次表面解剖结构可以包括解剖结构406的任何部分，其定位在从视点404的视角用“1”标记的表面解剖层之后和/或从视点404的视角看被表面解剖结构隐藏起来。在某些示例中，表面解剖结构可以包括患者的外层组织，而次表面解剖结构可以包括嵌入组织外层内的解剖结构。
60.如图所示，视点404可以与内窥镜402相关联，例如，作为内窥镜402的用户观察手术部位306的视点(例如，内窥镜的一个或多个照相机的视点)。因此，应当理解，视点404也可以用作可以呈现手术部位306的合成图像(例如，合成图像312)的视点。在一些示例中，不是内窥镜402的实际视点，视点404可以是与不同于内窥镜成像模态的另一成像模态的视点相对应的虚拟视点，或者可以是相对于手术部位306的另一任意视点。视点404可以与诸如内窥镜的一个或多个照相机的成像设备的内在和外在属性相关联和/或表示其内在和外在属性。视点404可以具有视场408，内窥镜402可以在该视场内捕获手术部位306的图像和/或可以在该视场内呈现手术部位306的合成图像。
61.图4a进一步描绘了可与内窥镜402相关联的次表面成像模块410。例如，次表面成像模块410可以实现为超声模块或本文所述的另一合适的次表面成像模块。内窥镜402和次表面成像模块410都可以由计算机辅助手术系统的操纵系统控制(诸如将在下面更详细地描述)，使得计算机辅助手术系统可以以允许知道一个相对于另一个的相对位置的方式进行跟踪(例如，使用运动学、视觉跟踪等)内窥镜402和次表面成像模块410。更具体地，计算机辅助手术系统可以生成、跟踪和维持对准参数，该对准参数表示由内窥镜402捕获的内窥镜成像数据与由次表面成像模块410捕获的次表面成像数据的配准。
62.系统100可以访问表示内窥镜成像数据与次表面成像数据的配准的对准参数。因此，系统100可以准确地确定在由次表面成像模块410捕获的次表面成像数据内表示的任何解剖结构(例如，包括在与次表面成像模块410相关联的捕获场412内的任何解剖结构)相对于视点404的位置。作为一个示例，在表示捕获场412中的解剖结构的次表面成像数据内表示的任何次表面结构(例如，任何特定脉管系统、特定骨结构、特定组织块等)可以基于对准参数自动配准到内窥镜402，使得该系统100已经更新了指示次表面结构相对于视点404的位置和几何形状的数据。
63.虽然内窥镜402可以被配置为仅捕获描绘解剖结构406表面的内窥镜成像数据，并且次表面成像模块410可以被配置为仅在捕获场412内的特定横截面处捕获次表面成像数据，但解剖结构406的各种其他部分或视图类型也可以对在手术部位306处执行程序的用户可用并有利益。如上所述，解剖结构406的这些附加部分或视图中的一些可以通过其他成像模态在与内窥镜402和次表面成像模块410捕获成像数据时同时或不同的时间被捕获。就这种附加成像数据可以与关于图4a描述的内窥镜和/或次表面成像数据准确配准的程度而言，可能希望解剖结构406的这些其他解剖部分或视图从视点404呈现给用户(例如，连同由内窥镜成像数据描绘的视图)。
64.为了说明，图4b示出了在手术部位306处的解剖结构406的表示414的示例性方面，其由不同于图4a所示的内窥镜成像模态的附加成像模态捕获。因为可以通过与内窥镜402捕获的内窥镜成像数据不同的成像模态来捕获表示414，所以表示414可以包括表示附加部分、视图和对解剖结构406的洞察的数据。例如，表示414可以表示在手术部位306处的解剖
结构406的不同或更全面的表示(例如，3d模型或类似物)。具体地，如图所示，图4a和图4b各自标记手术部位306处的解剖结构406的不同部分416(例如，部分416-a至416-c)，以及不同的深度(标记为“1”、“2”、“3”等)。然而，虽然仅部分416-b和标记为“1”至“3”的深度被示为由内窥镜402和次表面成像模块410成像，但所有部分416-a至416-c连同标记为“2”至“6”及以后(用省略号表示)的深度被示为在表示414内表示。(将理解，所示解剖结构406的部分和深度出于说明性目的具有任意尺寸、外观和数量，并且任何合适尺寸或外观的附加部分和/或深度可以包括在其他示例中。)因此，表示414可能不表示解剖结构406的表面或可以以不同于图4a的内窥镜成像数据所表示的方式表示表面解剖结构，使得表面解剖结构特征的直接比较可能不是将表示414与内窥镜成像数据配准的可行、高效、有效和/或方便的方式。
65.表示414可以实现为3d解剖模型或其他这样的数据结构，并且可以基于通过非内窥镜成像模态捕获的附加成像数据生成。例如，表示414可以基于ct扫描数据、mri扫描数据、超声扫描数据或可以服务于特定实施例的任何其他成像数据来生成。在一些示例中，表示414所基于的数据可以在与内窥镜402捕获的内窥镜成像数据不同的时间被捕获。例如，如上所述，可以在术中捕获内窥镜成像数据，而在术前可能已经捕获了附加成像数据(并且生成了表示414的3d模型)。
66.返回图3，在某些示例中，内窥镜成像数据304-1可以通过描绘由内窥镜402从视点404捕获的解剖结构406(即，解剖结构308)的表面层的数据来实现。在这些示例中，附加成像数据304-2可以指代代表表示414(即，包括由独立于内窥镜402的另一成像模态捕获的解剖结构406的次表面区域)的数据。如图所示，内窥镜成像数据304-1和附加成像数据304-2都可以由系统100考虑以生成或校正内窥镜成像数据304-1与附加成像数据304-2的配准，并生成合成图像312。
67.为了执行该配准，系统100可以识别和匹配内窥镜成像数据304-1和附加成像数据304-2的对应方面。然而，如上所述，虽然成像数据304-1和304-2都可以表示解剖结构406的某些共同部分，诸如部分416-b(尽管以不同的方式和/或以不同的程度或具有不同的范围)，但可能存在不是对于内窥镜成像数据304-1的描绘和附加成像数据304-2的表示414共有的任何视觉可识别特征。因此，以以上关于图2描述的方式通过特征匹配来执行成像数据304-1与成像数据304-2的配准可能不可行、高效、有效、方便或甚至不可能。
68.为了说明，图5示出了(例如，由内窥镜402通过内窥镜成像模态捕获的)内窥镜成像数据304-1与(例如，通过不同于内窥镜成像模态的附加成像模态捕获的)附加成像数据304-2的配准的示例性方面。如图所示，内窥镜成像数据304-1描绘了手术部位306处的表面解剖结构(即，用“1”标记的解剖结构406的部分)。该表面解剖结构描绘将被理解为通过内窥镜402从手术部位306处的视点404捕获。此外，图5示出了表示手术部位306处的次表面解剖结构(即，用“2”标记的解剖结构406的部分)的附加成像数据304-2。该次表面解剖结构将被理解为从视点404被表面解剖结构遮挡，使得该次表面解剖结构不在成像数据304-1内表示。
69.因此，图5中的内窥镜成像数据304-1的描绘描绘了各种“1”以指示描绘了表面层，并且进一步示出了表示如上关于图2所述在表面解剖结构上可见的特征204的类型的各种表面特征204。以类似方式，图5中的附加成像数据304-2的描绘描绘了各种“2”以指示描绘了特定的次表面横截面(例如，与图4b中标记为“2”的深度相关联的横截面)。将理解，在一
些示例中，附加成像数据304-2可以包括多于单个横截面的3d表示。例如，附加成像数据304-2可以包括结合来自表示414的各种深度的3d模型。
70.不管在附加成像数据304-2内准确地表示了哪些次表面部分，图5中附加成像数据304-2的描绘说明了对应的特征206(以上关于图2描述为对应于特征204)可能不是存在于附加成像数据304-2的表示中。如果存在于附加成像数据304-2内，则表示每个特征206的“x”在图5中显示在该特征(相对于视点404)将被定位的位置，但是“x”用虚线绘制以指示这些特征不存在于附加成像数据304-2中。因此，在该示例中，为了将成像数据304-1与成像数据304-2配准，将不可能识别和匹配特征204和206，并且可能需要识别相应成像数据集的另一个相关特征以便准确执行配准。
71.如已经描述的，用于配准的特征(例如，当视觉特征204和206在要配准的相应成像数据中均不可用时，作为视觉特征204和206的替代)可能与可识别的次表面结构有关。例如，这样的次表面结构可以是手术部位处的脉管系统、包括骨结构或组织块中的至少一个的非脉管系统解剖结构或另一种合适的次表面结构。这样的次表面结构对于执行配准程序可能是有用的，因为如上所述，这些次表面结构可以都是：1)被检测并配准到内窥镜成像数据304-1(例如，通过次表面成像模块410及其与内窥镜402的预定义和跟踪的关系，如关于图4a描述的)，和2)包括在附加成像数据304-2中，因为在表示414表示的整个次表面解剖结构中存在次表面结构。为了说明，各自表示可在两个成像数据304-1和304-2内检测到的次表面结构的特定特征(例如，血管的横截面、骨结构的特征、组织块的特征等)的多个正方形如图5所示。在内窥镜成像数据304-1中，由这些正方形表示的次表面结构的特征将被单独称为特征502-1至502-6，并统称为次表面结构502。在附加成像数据304-2中，由正方形表示的对应次表面特征将被各自称为特征504-1至504-6，并且统称为次表面结构504。
72.可以基于由次表面成像模块410在手术部位306处的次表面图像扫描检测到的次表面成像数据在内窥镜成像数据304-1内识别次表面结构502。例如，可以使用脉管图像扫描(例如，多普勒超声扫描或其他类型的2d或3d脉管图像扫描)或本文所述的其他次表面图像扫描来识别次表面结构502，以识别并生成表示次表面结构502的数据。在多普勒超声扫描的示例中(例如，在次表面结构502和504由脉管系统实现并且特征502-1至502-6和504-1至504-6中的每一个由单独的血管实现的示例中)，多普勒超声设备可以采用多普勒原理(例如，多普勒效应)来检测组织中的流体流动。在多普勒超声检测到流体在穿过解剖结构的相对较小的空间中移动的位置处，可以推断或以其他方式确定存在静脉、动脉或其他血管。例如，多普勒超声可以通过不同颜色(例如，红色或蓝色)来指示流体运动方向，并且可以在由表示血管的正方形(即，特征502-1至502-6)所指示的位置处将这些颜色叠加在(或混合或以其他方式将这些颜色合并到)内窥镜成像数据304-1之上。基于流动方向、不同血管的直径、血管几何分布的图案和/或任何其他合适的标准，系统100可以区分(differentiate)不同类型的血管(例如，动脉、静脉等)和/或可以将特定血管识别为特征502。虽然脉管系统和血管在此实例中被描述为一个具体示例，但应理解，其他类型的非脉管系统次表面结构(例如，骨结构、组织块等)可以以与描述脉管系统结构和血管特征类似的方式类似地与其对应特征一起使用。
73.次表面结构504可以基于适合用于捕获附加成像数据304-2的成像模态的其他方法在附加成像数据304-2内被识别。例如，次表面结构504可以通过在ct或mri扫描中捕获的
数据，或以适用于正在使用的特定成像模态(诸如本文描述的其他成像模态)的任何其他合适方式来识别。在已经从这样的数据构建了诸如3d模型的全面表示的情况下，该表示可以包括区分不同类型的次表面特征504(例如，血管、骨骼或组织特征等)和/或识别特定的次表面特征504的元数据。
74.系统100可以被配置为使用次表面结构502和504以任何合适的方式将内窥镜成像数据304-1与附加成像数据304-2配准。例如，在某些实施方式中，使用识别的次表面结构502和504将成像数据304-1与成像数据304-2进行配准可以包括最初通过例如生成适当的对准参数来生成配准，该对准参数定义本文描述的任何类型的在内窥镜成像数据和附加成像数据之间的空间变换(例如，刚性变换、仿射变换、可变形配准等)。在其他实施方式中，或在相同实施方式中的后续时间，使用所识别的次表面结构502和504将内窥镜成像数据304-1与成像数据304-2进行配准可以包括在初始生成配准之后，校正内窥镜成像数据304-1与附加成像数据304-2的配准(例如，先前生成的配准)。例如，这可以通过修改、调整、修正、更新或以其他方式校正定义从内窥镜到附加成像数据的特定空间变换的一个或多个对准参数来执行。
75.更具体地，在某些示例中，使用已识别的次表面结构502和504用于内窥镜成像数据304-1与附加成像数据304-2的配准可以由系统100通过以下方式执行：1)从捕获内窥镜成像数据304-1的内窥镜402访问内窥镜成像数据304-1；2)从执行次表面成像扫描的次表面成像模块410访问次表面成像数据；3)访问表示内窥镜成像数据304-1与次表面成像数据配准的对准参数；4)基于次表面成像数据和对准参数，确定存在于所识别的次表面结构中的特征502相对于由内窥镜成像数据304-1表示的解剖结构406的第一位置；5)确定与特征502相对应的特征504特征(即，表示与特征502相同的特征)相对于由附加成像数据304-2表示的解剖结构406的第二位置；以及6)基于第一和第二位置生成或校正内窥镜成像数据304-1与附加成像数据304-2的配准。存在于所识别的次表面结构中的特征502可以以任何方式表示血管或其他特征。例如，特征502可以是特定血管的存在、特定血管上的特定点(例如，使用分叉术识别)、多个血管的配准(例如，不必区分各个血管)，或与一个或多个血管或其他合适的次表面特征有关的任何其他可识别特征。类似地，对应于特征502的特征504可以是上述但是如附加成像数据304-2中所表示的任何相同类型的特征。
76.当对几个次表面特征重复诸如这些操作时，可以实现成像数据304-1和成像数据304-2之间的非常准确的配准。因此，在某些实施方式中，以这种方式识别特征502和504特征对的相关性可以是内窥镜成像数据304-1与附加成像数据304-2配准的主要或唯一基础。
77.然而，在其他实施方式中，内窥镜成像数据304-1中的次表面结构502与附加成像数据304-2中的次表面结构504之间的相关性可以仅用作用于生成或校正配准的多个因素中的一个因素。例如，在某些示例中，相关的次表面结构(例如，在成像数据304-1和304-2两者中识别的一个特定次表面特征)可以用作配准的锚，以及诸如其他特征的其他因素或通过其他成像模态检测到的数据也可用于以最有效和最准确的方式完成配准。
78.作为一个示例，系统100可以通过访问表示存在于手术部位处并且不同于次表面结构的附加特征的辅助数据来进一步使用所识别的次表面结构502和504进行配准。在这些实施方式中，配准的生成或校正包括：1)基于第一和第二位置并相对于视点404锚定内窥镜成像数据304-1和附加成像数据304-2的对准，以及2)基于辅助数据细化内窥镜成像数据
304-1和附加成像数据304-2的对准。
79.在一些这样的示例中，次表面结构502和504可以包括在手术部位处的脉管系统并且存在的附加特征可以是附加的、非脉管系统解剖结构。在这些示例中，实施用于这种锚定的特征502和504的一个或多个血管(或其特征)可以是主要血管或血管组(例如，肾门等)，并且可以是以任何合适的方式选择作为锚定点。例如，可以基于血管相对于其他已识别血管的大小(例如，所选血管可能是最大的)、它们相对于其他已识别血管的重要性、它们相对于其他血管唯一被识别的容易程度和/或基于其他合适的标准自动将血管选择为锚定点。在其他示例中，系统100可以依赖于手动指定，而不是自动选择要用作锚定点的血管。具体地，例如，使用所识别的脉管系统将内窥镜成像数据304-1与附加成像数据304-2进行配准可以包括系统100检测要用作锚定点的已识别脉管系统的特定血管的用户选择(例如，由外科医生或其他用户通过交互用户界面或类似物)。然后可以基于检测到的特定血管的用户选择来执行特定血管的第一和/或第二位置的确定。一旦选择的血管被用于锚定配准(例如，一旦一个特定血管与对应的血管对准)，配准可以相对于其他自由度进一步制定，以便基于其他非脉管系统相关数据完全对准和配准图像数据集(例如，可见特征、除了脉管成像数据之外的其他超声数据等)。
80.在采用诸如骨结构或组织块的非脉管系统次表面结构的其他示例中，使用所识别的次表面结构将内窥镜成像数据304-1与附加成像数据304-2进行配准可以包括系统100类似地检测要用作锚定点的已识别次表面结构的特定特征的用户选择(例如，由外科医生或其他用户通过交互用户界面或类似物)。然后可以基于检测到的特定特征的用户选择来执行对特定特征的第一和/或第二位置的确定。再者，一旦选择的特征被用于锚定配准(例如，一旦次表面结构的一个特定特征与另一个成像数据视图中的对应特征对准)，配准可以相对于其他自由度进一步制定，以便基于附加特征(例如，表面解剖特征、在次表面成像扫描中可见的其他次表面解剖特征等)完全对准和配准图像数据集。
81.配准细化可以基于的附加特征的一个示例是由外科医生在准备手术中施加到表面解剖结构上以标记解剖区域的烧灼标记。例如，外科医生可以使用烧灼器械来施加一个或多个烧灼标记(即，灼烧标记)，勾勒出或以其他方式标定要在其上执行手术的区域(例如，标记要移除的组织块的边界等)。这样的烧灼标记可以在内窥镜成像数据304-1中容易地识别，并且可以以预定义的方式与在附加成像数据304-2中容易识别的解剖结构(例如，组织块、骨结构等)相关联。因此，这些标记在某些实施方式中在细化已经使用本文描述的次表面结构锚定的配准可能是有用的。
82.如上文关于图3所述，一旦系统100将内窥镜成像数据304-1与附加成像数据304-2准确配准，系统100可基于配准生成一个或多个合成图像(例如，合成图像序列或视频)，该合成图像示出了从内窥镜成像数据304-1导出的解剖结构406的描述以及附加成像数据304-2中表示的解剖结构406的视图。系统100可以提供手术部位306的合成图像以供用户，诸如外科医生或其他手术团队成员使用的显示设备显示。
83.为了说明，图6示出了诸如手术部位306的手术部位的示例性合成图像600。合成图像600可以主要由内窥镜402从视点404的视角(例如，内窥镜成像数据304-1)捕获的内窥镜图像(例如，实时内窥镜图像馈送)组成。因此，图6示出了合成图像600的大部分描绘解剖结构308(例如，解剖结构406的表面解剖结构部分)和存在于手术部位306处的其他元件，诸如
器械602和次表面成像模块410。然而，作为合成图像，图像600显示的不仅仅是通过内窥镜成像模态捕获的图像。具体地，如图所示，合成图像600进一步包括图像增强604，其实现为覆盖或其他增强(例如，混合或集成增强)并且包括通过附加成像模态的方式捕获的附加成像数据304-2的表示(例如，横截面描绘、3d模型等)。例如，图像增强604的描绘可以表示由超声扫描(例如，术前或术中超声扫描)捕获的横截面、基于来自ct扫描或mri扫描的数据生成的3d模型的一部分、从荧光扫描或x射线扫描导出的图像，或来自如本文所述或可服务于特定实施方式的任何合适成像模态的任何其它合适图像。不管在图像增强604中显示什么类型的图像或使用什么成像模态来捕获它，图像增强604中的图像都可以显示内窥镜无法检测(例如，可见)并且与内窥镜的视点404正确对准(例如，作为上述配准的结果)的次表面解剖结构，以便位于如果图像可被内窥镜检测到的位置。因此，合成图像600的观看者可以将图像增强604感知为“窗口”以通过表面解剖结构看到表面下方的次表面解剖结构的期望视图。
84.连同由内窥镜检测到的图像(例如，解剖结构308、器械602等)和图像增强604，合成图像还可以在某些实施方式中显示其他图像或信息(在图6的示例中未明确示出)。例如，次表面成像数据(例如，表示血管502的红色或蓝色多普勒超声点等)、描绘通过其他附加成像模态捕获的类似对准的次表面解剖结构的附加图像增强、状态信息和/或任何其他合适的数据或图像可以显示在合成图像600中，因为它可以服务于特定的实现方式。
85.在一些示例中，系统100可以在将图像增强604包括在合成图像600中之前执行某些功能或检查。例如，当次表面成像模块410执行次表面图像扫描以提供次表面成像数据时，系统100可以验证次表面成像数据(例如，通过确保次表面成像模块与解剖结构308正确接触以获得良好的读数(如果适用的话)等)。因此，系统100可以基于次表面成像数据的验证使用所识别的次表面结构将内窥镜成像数据304-1与附加成像数据304-2进行配准。例如，对于使用需要与组织接触才能正常工作的超声模块的次表面成像扫描，系统100可以仅在第一次进行接触时生成配准，可以仅在每次重新进行接触时校正配准，并且以此类推。
86.图6示出了手术部位306的合成图像600包括由内窥镜成像数据304-1表示的解剖结构406的第一描绘(即，表面解剖结构308)与由附加成像数据304-2表示的解剖结构406的第二描绘(即，次表面解剖结构)相合并，其中第一和第二描绘在合成图像内相对于与合成图像600相关联的视点(例如，视点404)对准。然而，如上所述，应当理解，用于将内窥镜成像数据304-1与附加成像数据304-2配准的所识别的次表面结构502和504独立于(即，可能是或可能不是相同或有关系)合成图像600中包括的第一和第二描绘中的解剖结构。实际上，虽然对于某些示例，可以在合成图像600中描绘用于配准的典型次表面结构502和504(例如，作为多普勒超声颜色、作为脉管系统3d模型等)，但不同的次表面结构或完全没有次表面结构可以在合成图像600的其他示例中示出。更具体地，对于系统100的任何给定实现方式并且基于外科手术操作的环境、外科医生偏好等，合成图像600可以或可以不将次表面成像数据显示为增强(例如，图像叠加)，可以显示或可以不显示由附加成像数据304-2表示的3d模型的与用于配准的区域相同的区域，可以或可以不显示与次表面成像数据检测配准所依据的横截面的水平相同的次表面深度水平等和诸如此类。
87.为了说明，图7至图9示出了手术部位306的附加示例性合成图像，每个图像都包括解剖结构406的描绘，这些图像由不同的成像模态捕获并且在相应的合成图像内相对于与
图像相关联的视点对准。在图7至图9中的每一个中，在相应图像增强中显示的图像是不同的，以便说明图像增强可以具有与图像数据的配准的独立性。为清楚起见，图7至图9示出了基于以上关于图4a和图4b介绍的编号方案的解剖部分和深度。
88.图7图示了描绘手术部位处的表面解剖结构308(由“1”表示)、器械602、次表面成像模块410和图像增强702的合成图像700。图像增强702可以是任何合适的形状，包括所示的示例性形状，并且可以如图所示被制成看起来附接到器械602或附接到次表面成像模块410(例如，以类似于附接到旗杆的旗帜的方式)。在该示例中，图像增强702描绘了由“2”表示的深度处的次表面解剖结构，如上所述，该深度可以与次表面成像模块410提供用于将图像增强702的附加成像数据与描绘解剖结构308的内窥镜成像数据配准的次表面结构502的横截面视图相同的水平。
89.与图7类似，图8示出了合成图像800，该图像还描绘了在手术部位、器械602和次表面成像模块410处的表面解剖结构308(由“1”表示)，并且还可以基于使用表示由“2”表示的深度处的解剖结构的次表面成像数据的配准来生成。然而，与图7的合成图像700相比，合成图像800示出了描绘与用于配准的不同的次表面解剖结构的图像增强802，即在由“3”表示的深度处的次表面解剖结构。
90.与图7和图8类似，图9示出了合成图像900，该图像还描绘了在手术部位、器械602和次表面成像模块410处的表面解剖结构308(由“1”表示)，并且还可以基于使用表示在次表面成像模块410所在的手术部位的相同部分处的解剖结构的次表面成像数据的配准来生成。然而，与图7的合成图像700和图8的合成图像800相比，合成图像900示出了图像增强902，其是不同的形状并且描绘了在与用于配准的次表面成像数据被扫描的部分不同的部分904(即，与次表面成像模块410扫描的部分不同的部分904)处的表面解剖结构。具体地，如果合成图像900中描绘的手术部位的区域大致分为不同的部分904(即，部分904-a至904-c)，则可以看出，次表面成像模块410和解剖结构在次表面图像扫描期间被扫描的区域906位于部分904-a中，而图像增强902在不同的部分即部分904-b中显示。因此，为了指示图像增强902中显示的深度和部分，“2b”被示出指示深度“2”和部分904-b。
91.如已经提到的，系统100可以在计算机辅助手术系统中实现或通信地耦合到计算机辅助手术系统。系统100可以接收来自计算机辅助手术系统的输入并向其提供输出。例如，系统100可以从计算机辅助手术系统访问手术部位的图像和/或关于手术部位和/或计算机辅助手术系统的任何信息，使用访问的图像和/或信息来执行本文描述的任何处理以生成手术部位的合成图像，并将表示合成图像的数据提供给计算机辅助手术系统以供显示(例如，通过与计算机辅助手术系统相关联的显示设备)。
92.为了说明，图10示出了示例性计算机辅助手术系统1000(“手术系统1000”)。系统100可由手术系统1000实施，可连接到手术系统1000，和/或可以其他方式与手术系统1000结合使用。
93.如图所示，手术系统1000可以包括相互通信耦合的操纵系统1002、用户控制系统1004和辅助系统1006。外科手术团队可以利用手术系统1000对患者1008执行计算机辅助外科手术程序。如图所示，手术团队可以包括外科医生1010-1、助理1010-2、护士1010-3和麻醉师1010-4，他们都可以统称为“手术团队成员1010”。额外的或替代的手术团队成员可以在外科手术会话期间出现，因为它们可以服务于特定的实施方式。
94.尽管图10图示了正在进行的微创外科手术程序，但应当理解，手术系统1000可以类似地用于执行开放式外科手术程序或其他类型的外科手术程序，其可以类似地受益于手术系统1000的准确性和便利性。此外，应当理解，可以使用手术系统1000的外科手术会话不仅可以包括外科手术程序的操作阶段，如图10所示，而且还可以包括术前、术后和/或其他合适的外科手术程序的阶段。
95.如图10所示，操纵系统1002可以包括多个操纵器臂1012(例如，操纵器臂1012-1至1012-4)，多个手术器械(例如，如上面所示的器械602)可以联接到这些操纵器臂1012。每个手术器械可以通过任何合适的手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像设备(例如，内窥镜、超声工具等)、感测器械(例如，力感测手术器械)、诊断器械或可用于对患者执行计算机辅助外科手术程序的类似物(例如，通过至少部分地插入患者1008体内并被操纵以对患者1008执行计算机辅助外科手术程序)来实现。在一些示例中，手术器械可以由超声模块(例如，超声模块410)实施，或者这种超声模块可以连接到上述其他手术器械中的一个或与其耦接。虽然操纵系统1002在本文中被描绘和描述为包括四个操纵器臂1012，但是应当认识到操纵系统1002可以仅包括单个操纵器臂1012或任何其他数量的操纵器臂，因为其可以用于特定的实施方式。
96.操纵器臂1012和/或附接到操纵器臂1012的手术器械可包括一个或多个位移换能器、定向传感器和/或用于生成原始(即，未校正)运动学信息的位置传感器。手术系统1000的一个或多个部件可以被配置为使用运动学信息来跟踪手术器械(例如，确定其位置)和/或控制手术器械(以及连接到器械的任何东西，诸如超声模块)。
97.用户控制系统1004可以被配置为便于外科医生1010-1控制操纵器臂1012和附接到操纵器臂1012的手术器械。例如，外科医生1010-1可以与用户控制系统1004交互以远程移动或操纵操纵器臂1012和手术器械。为此，用户控制系统1004可以向外科医生1010-1提供由成像系统(例如，本文描述的任何医学成像系统)捕获的与患者1008相关联的手术部位的图像(例如，包括诸如图像600、700、800或900的合成图像或其他合适的合成图像的高清晰度3d图像)。在某些示例中，用户控制系统1004可以包括具有两个显示器的立体查看器，其中外科医生1010-1可以查看与患者1008相关联并且由立体成像系统生成的手术部位的立体图像。在某些示例中，系统100生成的合成图像可以由用户控制系统1004显示。外科医生1010-1可以利用由用户控制系统1004显示的图像以用附接到操纵器臂1012的一个或多个手术器械来执行一个或多个程序。
98.为了便于控制手术器械，用户控制系统1004可以包括一组主控件。这些主控件可由外科医生1010-1操纵以控制手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控件可以被配置为检测外科医生1010-1的各种手、手腕和手指运动。以此方式，外科医生1010-1可以使用一个或多个手术器械直观地执行程序。
99.辅助系统1006可以包括被配置为执行手术系统1000的主要处理操作的一个或多个计算设备。在这样的配置中，包括在辅助系统1006中的一个或多个计算设备可以控制和/或协调由手术系统1000的各种其他部件(例如，操纵系统1002和用户控制系统1004)执行的操作。例如，用户控制系统1004中包括的计算设备可以通过辅助系统1006中包括的一个或多个计算设备向操纵系统1002传送指令。作为另一示例，辅助系统1006可以接收(例如，从操纵系统1002)并且可以处理表示由附接到操纵器臂1012中的一个的成像设备捕获的图像
的图像数据。
100.在一些示例中，辅助系统1006可以被配置为向手术团队成员1010呈现视觉内容，手术团队成员1010可能对在用户控制系统1004处提供给外科医生110-1的图像没有访问权。为此，辅助系统1006可以包括显示监视器1014，其被配置为显示一个或多个用户界面，诸如手术部位的图像(例如，2d图像，3d图像，诸如图像600、700、800、900的合成图像等)、与患者1008和/或外科手术程序相关联的信息、和/或可以服务于特定实施方式的任何其他视觉内容。例如，显示监视器1014可以显示手术部位的图像(例如，由系统100生成的合成图像)以及与图像并发显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器1014由触摸屏显示器实现，手术团队成员1010可以与其交互(例如，通过触摸手势)以向手术系统1000提供用户输入。
101.操纵系统1002、用户控制系统1004和辅助系统1006可以以任何合适的方式彼此通信地耦合。例如，如图10所示，操纵系统1002、用户控制系统1004和辅助系统1006可以通过控制线1016通信耦合，控制线116可以表示可以用于特定实施方式的任何有线或无线通信链路。为此，操纵系统1002、用户控制系统1004和辅助系统1006可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网接口、wi-fi网络接口、蜂窝接口等。
102.图11图示了用于基于次表面图像扫描来配准来自不同成像模态的成像数据的示例性方法1100。尽管图11图示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图11中所示的任何操作。图11中所示的一个或多个操作可以由诸如系统100的图像配准系统、其中包括的任何部件和/或其任何实施方式来执行。
103.在操作1102中，图像配准系统可以基于来自手术部位处的次表面图像扫描的次表面成像数据来识别手术部位处的次表面结构。操作1102可以以本文描述的任何方式来执行。
104.在操作1104中，图像配准系统可以使用在操作1102中识别的次表面结构将来自内窥镜成像模态的内窥镜成像数据与来自附加成像模态的附加成像数据配准。操作1104可以以本文描述的任何方式来执行。
105.图12图示了用于基于次表面图像扫描来配准来自不同成像模态的成像数据的另一示例性方法，方法1200。尽管图12图示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图12中所示的任何操作。图12中所示的一个或多个操作可以由诸如系统100的图像配准系统、其中包括的任何部件和/或其任何实施方式来执行。
106.在操作1202中，图像配准系统可以访问来自与图像配准系统相关联的内窥镜的术中内窥镜成像数据。例如，内窥镜可以被配置为捕获术中内窥镜成像数据。操作1202可以以本文描述的任何方式来执行。
107.在操作1204中，图像配准系统可以访问来自与图像配准系统相关联的次表面成像模块的术中次表面成像数据。例如，次表面成像模块可以被配置为捕获术中次表面成像数据。操作1204可以以本文描述的任何方式来执行。
108.在操作1206中，图像配准系统可以访问表示术中内窥镜成像数据与术中次表面成像数据的配准的对准参数。操作1206可以以本文描述的任何方式来执行。
109.在操作1208中，图像配准系统可以访问术前扫描数据。例如，术前扫描数据可以通
过不同于内窥镜成像模态的附加成像模态来捕获，并且术前扫描数据可以表示手术部位处的解剖结构的3d模型。操作1208可以以本文描述的任何方式来执行。
110.在操作1210中，图像配准系统可以识别手术部位处的次表面结构。例如，图像配准系统可以基于术中次表面成像数据和对准参数来识别次表面结构。操作1210可以以本文描述的任何方式来执行。
111.在操作1212中，图像配准系统可以使用在操作1210中识别的次表面结构以将在操作1202中访问的术中内窥镜成像数据与在操作1208中访问的并且表示手术部位处的解剖结构的3d模型的术前扫描数据进行配准。操作1212可以以本文描述的任何方式来执行。
112.在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时，指令可以引导处理器和/或计算设备执行一个或多个操作，包括本文描述的一个或多个操作。可以使用多种已知的计算机可读介质中的任一种来存储和/或传送这样的指令。
113.如本文所指的非暂时性计算机可读介质可包括参与提供可由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“ram”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于ram(例如，动态ram)。
114.图13图示出了示例性计算设备1300，该计算设备1300可以被具体配置为执行本文描述的一个或多个过程。本文描述的任何系统、单元、计算设备和/或其他部件可以由计算设备1300实现。
115.如图13所示，计算设备1300可以包括经由通信基础设施1310彼此通信连接的通信接口1302、处理器1304、存储设备1306和输入/输出(“i/o”)模块1308。尽管图13中示出了示例性计算设备1300，但图13中所示的部件并非旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图13中所示的计算设备1300的部件。
116.通信接口1302可以被配置为与一个或多个计算设备通信。通信接口1302的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
117.处理器1304通常表示能够处理数据和/或解释、执行和/或引导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器1304可以通过执行存储在存储设备1306中的计算机可执行指令1312(例如，应用、软件、代码和/或其他可执行数据实例)来执行操作。
118.存储设备1306可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1306可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。电子数据，包括本文描述的数据，可以临时和/或永久地存储在存储设备1306中。例如，表示被配置为引导处理器1304执行本文所述的任何操作的计算机可执行指令1312的数据可以存储在存储设备1306中。在一些示例中，数据可以被安排在驻留在存储设备1306内的一个或多个数据库中。
119.i/o模块1308可以包括一个或多个i/o模块，其被配置为接收用户输入并提供用户
输出。i/o模块1308可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块1308可以包括用于捕获用户输入的硬件和/或软件，包括但不限于全键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。
120.i/o模块1308可以包括用于向用户呈现输出的一个或多个装置，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，i/o模块1308被配置为向显示器提供图形数据以呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以用于特定实施方式的任何其他图形内容。
121.在一些示例中，本文描述的任何设施可以由计算设备1300的一个或多个部件实现或在计算设备1300的一个或多个部件内实现。例如，驻留在存储设备1306内的一个或多个应用1312可以被配置为引导处理器1304执行与系统100的处理设施104相关联的一个或多个操作或功能。同样，系统100的存储设施102可以由存储设备1306的实现方式实现或在其内实现。
122.在前面的描述中，已经参考附图描述了各种示例性实施例。然而，很明显，可以对其进行各种修改和改变，并且可以实施附加的实施例，而不脱离如在所附权利要求中阐述的本发明的范围。例如，本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征组合或替代另一实施例。因此，说明书和附图被认为是说明性的而不是限制性的。