手术数据融合系统、手术成像系统及对应的方法和计算机程序与流程

实例涉及一种手术数据融合系统、一种包括手术数据融合系统的手术成像系统、一种手术数据融合方法以及一种对应的计算机程序。

背景技术：

1、外科医生，特别是神经外科医生和放射科医师，经过训练以通过轴平面、冠状面和矢状面中的放射学横截面图像来解释和理解三维（3d）解剖数据。这些视图允许对解剖结构和病理结构的精确空间理解。

2、手术显微镜中的当前图像引导式手术（igs）系统主要将术前3d数据叠加到来自显微镜的实时光学图像上，呈现基于光学视角的混合光学-3d可视化。虽然这提供了手术视野的真实视图，但是在传达相对于视野的结构之间的精确3d空间关系方面可能不太有效。

3、已经探索了几种方法来增强手术可视化，但是每种方法都可能具有局限性。一种方法涉及光学透视叠加。在这种方法中，将术前3d成像数据叠加到来自手术显微镜的实时光学馈送上，使其与显微镜的光学视角对准。然而，光学视角可能不容易像放射学横截面那样有效地传达深度和空间关系。此外，外科医生可能发现解释叠加的图像具有挑战性，因为这些图像不同于熟悉的放射学可视化格式。最后，在测量距离和理解关键结构的位置时，缺乏精确的空间线索可能会降低精确度。

4、另一种方法利用用于放射学图像的单独显示器。这涉及在手术期间在单独的监视器上观察术前放射学图像，诸如轴平面、冠状面和矢状面。然而，这种方法创建了脱节的工作流程，因为外科医生必须在手术视野与监视器之间转移他们的注意力，从而打断了他们的专注状态。这种方法还需要外科医生在思想上将2d放射学图像映射到3d手术视野，从而增加了认知负担。最后，使用这种方法可能难以与手术团队实时共享精确的空间信息。

5、虽然一些方法已经解决了使用立体成像创建手术腔的3d表面图，但是这些方法没有专注于以模拟熟悉的放射学格式的方式将放射学横截面可视化与实时光学成像集成。

6、可能期望提供一种用于在手术期间可视化术前3d数据的改进概念。

技术实现思路

1、此期望通过独立权利要求的主题来解决。

2、本公开的各种实例基于以下发现：在许多igs系统中，外科医生可能缺乏直观且精确的方法来在手术期间以放射学中熟悉的格式可视化和测量3d定量空间关系。虽然通常采用的可视化基于将3d数据的可视化投影到实时光学图像上，以将它们与实时光学视图集成，但是这种方法不会提供与通过轴平面、冠状面和矢状面中的放射学横截面图像的视图一样好的解剖结构和病理结构的空间理解。在所提出的概念中，准备或提供了具有术中测量结果的3d术前扫描或术中扫描的联合可视化，其中，相对于3d术前扫描或术中扫描的至少一个平面视觉表示来放置术中测量结果的可视化，例如，如从轴平面、冠状面和矢状面中的放射学横截面图像已知的。这样，可以提供改进的可视化，从而改进外科医生对3d解剖数据的理解。

3、本公开的一些方面涉及一种手术数据融合系统。手术数据融合系统包括一个或多个处理器以及一个或多个存储设备。手术数据融合系统被配置为获得患者的三维解剖信息。三维解剖信息基于对患者的术前扫描或术中扫描。手术数据融合系统被配置为获得患者的一个或多个术中测量结果。手术数据融合系统被配置为确定一个或多个术中测量结果的视觉表示相对于三维解剖信息的位置信息。位置信息指示一个或多个术中测量结果的视觉表示相对于三维解剖信息的至少一个切片的至少一个平面视觉表示的位置。这样，可以提供改进的可视化，从而改进外科医生对3d解剖数据的理解。

4、所提出的概念基于模拟由放射学横截面图像提供的视图，这对于外科医生来说是熟悉的。换句话说，至少一个平面视觉表示可以模拟至少一个横截面放射学图像。例如，至少一个平面视觉表示可以表示三维解剖信息的轴平面、冠状面或矢状面中的至少一者。这样，为外科医生提供了他或她经过训练以理解的视图。

5、通常，实际手术可视化可以由另一系统或平台提供。在这种情况下，手术数据融合系统可以被配置为向提供手术可视化的系统或平台提供位置信息。另选地，手术数据融合系统可以是被配置为提供手术可视化的手术可视化系统。换句话说，手术数据融合系统（或手术可视化系统）可以被配置为生成手术部位的手术可视化。手术可视化可以包括三维解剖信息的至少一个切片的至少一个平面视觉表示，该至少一个平面视觉表示叠加有一个或多个术中测量结果的视觉表示。可以基于位置信息将叠加放置在至少一个平面视觉表示上。手术数据融合系统可以被配置为向显示设备提供手术可视化。这样，向外科医生提供了改进的可视化，从而提高了外科医生对3d解剖数据的理解。

6、根据三个预定义轴中的一个预定义轴，放射学横截面图像各自表示通过患者的解剖结构的3d表示的切片。如果轴平面、冠状面或矢状面的相应放射学横截面图像彼此上下堆叠或彼此相邻堆叠，则这些图像表示解剖结构的3d表示，减去位于切片之间的部分。为了到达外科医生感兴趣的解剖结构的一部分，可以向用户（外科医生）提供选择一个或多个切片的机构，有效地“滚动”切片堆叠以到达感兴趣的切片。换句话说，手术数据融合系统可以被配置为获得（例如，来自）手术数据融合系统的用户的用户输入，并且基于用户输入来选择用于手术可视化的三维解剖信息的至少一个切片。这样，可以选择至少一个感兴趣的切片用于可视化，使得外科医生能够根据当前手术的需要来调整可视化。

7、有各种类型的术中测量结果可以用于与三维解剖信息的切片一起生成组合的手术可视化。例如，患者的一个或多个术中测量结果可以包括（例如，来自）手术成像设备的图像数据。例如，图像数据可以示出手术部位。一个或多个术中测量结果的视觉表示可以基于图像数据。以这种方式，手术成像设备（例如，手术显微镜）的实时图像数据可以叠加在三维解剖信息的切片上，从而为外科医生提供用于在手术规程期间规划下一步骤的有价值的机制。

8、通常，通过确保外科医生可以在空间上解释手术部位，可以改进手术部位上的实时视图的可视化。为此目的，可以创建基于手术部位的三维深度图的手术部位的中间表示。例如，手术数据融合系统可以被配置为使用图像投影将图像数据映射到手术部位的三维深度图上。一个或多个术中测量结果的视觉表示可以基于映射到手术部位的三维深度图上的图像数据。通过提供基于手术部位的三维深度图的视觉表示，可以改进外科医生的空间理解。此外，可以组合来自多个视角的图像数据，以提供手术部位的更全面的视图。

9、更一般地说，手术数据融合系统可以被配置为确定手术部位的三维深度图，并且基于手术部位的三维深度图来生成手术可视化。通过提供基于手术部位的三维深度图的手术可视化，可以改进外科医生的空间理解。

10、融合至少一个切片的平面视觉表示和由三维深度图表示的一个或多个术中测量结果的视觉表示可能不是直接的，因为这涉及相对于平面放置3d对象，其中该平面与手术部位处的3d对象重叠。例如，为了执行这种组合的2d之上3d可视化，可以考虑在相应切片的位置（例如，堆叠内的深度）处的手术部位的形状（如由三维深度图表示）。换句话说，手术数据融合系统可以被配置为基于三维解剖信息的至少一个切片的位置处的手术部位的形状来生成一个或多个术中测量结果的视觉表示。具体地，可以移除相应切片的一部分，以为手术部位的视觉表示腾出空间，如由三维深度图表示。例如，手术部位可能看起来在由相应切片限定的平面上方和/或下方延伸，其中切片具有表示手术部位的当前形状的切口，如由三维深度图表示。这样，一个或多个术中测量结果的3d表示可以与关于三维解剖信息的平面视图集成。

11、在许多手术规程中，例如，当移除肿瘤时或为了在手术规程期间腾出空间，从患者体内永久或暂时地移除组织或骨骼。这些移除可以反映在手术可视化中。例如，手术数据融合系统可以被配置为基于手术部位的三维解剖信息和三维深度图来确定与术前扫描相比被移除的手术部位的一部分。手术数据融合系统可以被配置为生成三维解剖信息的至少一个切片的至少一个平面视觉表示，其中不具有被移除的手术部位的该部分。这样，手术可视化更准确地表示手术规程的当前进展，为外科医生提供更有价值的实时信息和背景。

12、可能出现三维解剖信息与组织的当前位置之间的一些差异，这些差异不是由手术引起的。例如，在神经外科规程期间，发生脑移位。脑移位是指在神经外科规程期间发生的脑组织的移动或变形。这可能由于若干因素而发生，诸如脑脊液压力的变化、重力和手术期间对脑组织的操纵。脑移位对外科医生提出了挑战，因为它可能改变解剖标志的位置，潜在地影响三维解剖信息的准确性。在所提出的概念中，三维深度图可以用于减轻脑移位和类似现象。换句话说，手术数据融合系统可以被配置为基于手术部位的三维解剖信息和三维深度图来确定手术部位的至少一部分的移位或变形。手术数据融合系统可以被配置为基于手术部位的至少该部分的移位或变形来调整三维解剖信息的至少一个切片的至少一个平面视觉表示。这样，三维解剖信息被调整到患者的解剖结构的当前状态，从而产生更精确的可视化。

13、存在用于确定三维深度图的各种方法。例如，手术数据融合系统可以使用（例如，来自）深度传感器（诸如飞行时间传感器或基于结构化光的传感器）的传感器数据。换句话说，手术数据融合系统可以被配置为使用（例如，来自）飞行时间传感器的传感器数据或示出结构化光投影的（例如，手术成像设备或另一成像设备的/来自手术成像设备或另一成像设备的）图像数据中的至少一者来确定三维深度图。这是确定三维深度图的一种方式。

14、另选地或附加地，手术数据融合系统可以被配置为基于包含在（例如，来自）从不同视角示出手术部位的手术成像设备的图像数据中的图像帧使用立体视差分析来确定手术部位的三维深度图。例如，可以通过将结构化光投影到手术部位上并使用来自结构化光投影的信息确定三维深度图来增强立体视差分析。这样，可以在不需要附加传感器的情况下创建三维深度图。

15、立体视差分析是指确定从两个略微不同的视角（类似于人类双目视觉）拍摄的图像的差异以计算关于场景的深度信息的过程。这些视角可以存在于通常由手术显微镜生成的立体图像数据中。因此，图像数据可以包括立体图像数据。手术数据融合系统可以被配置为基于包含在立体图像数据中的立体图像帧使用立体视差分析来确定手术部位的三维深度图。这样，由现有成像模式生成的立体图像数据可以用于实时确定三维深度图，而不需要手术成像设备顺序地呈现不同的视角。

16、如果立体图像数据不可用，或者为了进一步增强三维深度图的精确度，可以改变手术成像设备的视角，以从不同的视角捕获手术部位。例如，手术数据融合系统可以被配置为控制手术成像系统改变手术成像设备的视角，以获得从不同视角示出手术部位的图像帧。这是用于生成适合于立体视差分析的图像数据的另一种方法。

17、在一些实例中，手术数据融合系统可以检索（例如，来自）igs系统的3d三维解剖信息。在手术期间，igs系统通常跟踪手术部位的位置和配置，以便提供适当的输出。此过程被称为配准。配准是在手术期间使术前图像（诸如ct、mri或超声扫描）与患者的实际解剖结构对准的过程。手术数据融合系统可以充分利用此功能性来确定位置信息。例如，手术数据融合系统可以被配置为获得（例如，来自）图像引导式手术系统的三维解剖信息。手术数据融合系统可以被配置为基于图像引导式手术系统的配准功能性来确定位置信息。这样，可以重新使用现有系统的能力来执行手术数据融合。

18、在手术期间，主要方面是三维解剖信息和（例如，来自）手术成像设备的实时图像的同时可视化。然而，存在在手术期间也可能感兴趣的其他测量。例如，患者的一个或多个术中测量结果可以包括表示患者的脑活动的功能成像数据。例如，三维解剖信息可以包括患者的脑部的三维解剖信息。通过参考三维解剖信息使患者的脑活动可视化，可以在手术期间向外科医生提供有用的信息。

19、本公开的另一方面涉及一种手术成像系统，其包括手术成像设备和手术数据融合系统。例如，手术数据融合系统可以用于在手术规程期间提供或辅助手术可视化。这样，可以提供改进的可视化，从而改进外科医生对3d解剖数据的理解。

20、所提出的概念在神经外科手术中特别有用，因为神经外科医生用于解释脑部的放射学横截面图像。因此，手术成像系统可以是神经外科成像系统。三维解剖信息可以包括患者的脑部的三维解剖信息。一个或多个术中测量结果可以与患者的脑部相关。

21、本公开的一些方面涉及一种手术数据融合方法。该方法包括获得患者的三维解剖信息。三维解剖信息基于对患者的术前扫描或术中扫描。该方法包括获得患者的一个或多个术中测量结果。该方法包括确定一个或多个术中测量结果的视觉表示相对于三维解剖信息的位置信息。位置信息指示一个或多个术中测量结果的视觉表示相对于三维解剖信息的至少一个切片的至少一个平面视觉表示的位置。

22、本公开的另一方面涉及一种计算机程序，该计算机程序具有程序代码，用于当该程序在处理器上执行时执行该方法。