用于在医学成像期间引导设备插入的方法和系统与流程

1.本文公开的主题的实施方案涉及医学成像，并且更具体地涉及x射线荧光镜透视成像。


背景技术：

2.非侵入性成像技术允许获得患者或对象的内部结构或特征的图像，而无需对患者或对象执行侵入性规程。具体地，此类非侵入式成像技术依赖于各种物理原理(诸如x射线通过目标体积的差分传输或声波的反射)，以获取数据和构建图像或以其他方式表示患者或对象的观察到的内部特征。
3.例如，在荧光镜透视检查和其他基于x射线的成像技术(诸如计算机断层扫描(ct))中，x射线辐射指向受试者，通常是医疗诊断应用中的患者、安全筛选应用中的包装或行李，或工业质量控制或检验应用中的制造的部件。辐射的一部分撞击检测器，在检测器中收集图像数据并将其用于图像生成过程。在由此类系统产生的图像中，有可能识别并检查患者身体内部的内部结构和器官、包装或容器内的对象或制造的部件内的缺陷(例如，裂缝)。
4.在某些情况下，诸如在用于支持介入或导航规程的荧光镜透视检查应用中，可在延长的时段内以高帧速率获取x射线以提供可用于引导或导航患者体内的工具的实时图像数据。作为补充，锥形束计算机断层扫描(cbct)可用于介入式x射线引导针规程、术前三维(3d)成像、和/或术中3d成像。


技术实现要素：

5.在一个方面，一种用于介入成像规程的方法包括：在将医疗设备插入受试者体内期间基于插入的实时图像来识别医疗设备；基于插入的实时图像来实时推断插入期间的医疗设备的轨迹；以及在实时图像上显示医疗设备的推断轨迹。这样，医疗设备(例如，针)可以增加的精度和减少的操作员工作量来插入。
6.应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
7.通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：
8.图1示出了根据一个实施方案的成像系统的绘画视图；
9.图2示出了根据一个实施方案的用于分割和分析图像的示例性图像处理系统的框图；
10.图3是示出了根据一个实施方案的用于在介入成像规程期间进行动态轨迹增强的方法的流程图；
11.图4示出了在插入期间显示设备的实时估计轨迹的第一示例；并且
12.图5示出了根据一个实施方案的在插入期间显示设备的实时估计轨迹的第二示例。
具体实施方式
13.现在将参考图1至图5以举例的方式来描述本公开的实施方案，其涉及用于在插入医疗设备期间经由实时医学成像实时提供医疗设备的增强轨迹的各种实施方案。在介入成像规程(诸如通过荧光镜透视成像进行监视/辅助的外科规程)期间，可显示患者的连续实时x射线图像，从而允许临床医生监视诸如针、外科工具或内窥镜的插入的医疗设备(在本文中也简称为“设备”)相对于解剖特征的移动。获取的x射线图像是二维(2d)圆锥投影。
14.在一些规程中，可生成三维(3d)模型并且将其叠加在实时2d x射线图像上。3d模型可提供用于插入医疗设备的引导性工作流程。例如，3d模型可指示用于将医疗设备插入到目标位置(例如，解剖区域或结构)的进入点和路径。虽然引导性工作流程可根据所执行的规程和医疗设备的固有插入特性来预测医疗设备的定位，但引导性工作流程并不预测或适应医疗设备与所提议的进入点和路径的偏差。此外，引导性工作流程不向执行插入的临床医生提供关于医疗设备在患者体内的实际轨迹的实时反馈。例如，即使采用了引导性工作流程，医疗设备的精确定位也可能具有挑战性。从患者身上的穿刺部位开始，临床医生可能难以预测医疗设备所采取的角度是否会到达目标位置。另外，患者的呼吸运动可能进一步使精确定位复杂化。在插入可在穿刺过程中变形和偏转的柔性设备期间，这可能尤其具有挑战性。
15.因此，根据本文所公开的实施方案，设备在规程期间从穿刺位置到目标位置的虚拟估计轨迹可向临床医生提供反馈和附加引导。例如，可诸如经由分割实时地自动分析实时x射线图像以识别医疗设备，并且推断患者体内的轨迹。例如，所述推断可考虑医疗设备的远侧部分的位置、医疗设备的特性(诸如长度、厚度、形状、刚度或柔韧性等)和所执行的规程的类型。
16.通过提供医疗设备的实时虚拟轨迹，可更容易和更快速地准确放置医疗设备，从而减少执行规程所花费的时间量并且减少其难度以及潜在的并发症。因此，临床医生可能够在给定的一天内执行更多的规程。此外，可通过减少规程时间来增加患者的舒适度。更甚者，由于缩短的成像持续时间，可减少提供给患者的辐射剂量。
17.在图1中示出了可用于获取感兴趣的区域的医学图像的投影成像系统。在图2中示出了示例性图像处理系统，其可用于基于在插入设备期间获取的实时图像来确定设备(例如，针)的实时轨迹。该图像处理系统可采用图像处理算法来分割设备、定位设备，并且根据图3所示的方法推断设备的轨迹。图4和图5提供了在实时医学图像上显示针的实时轨迹的示例。
18.现在转向附图，图1示意性地示出了用于获取和处理图像数据的成像系统10的示例性实施方案。在示出的实施方案中，成像系统10是被设计成既获取原始图像数据又处理图像数据以便显示的数字x射线系统。成像系统10可以是固定的或移动的x射线系统。在图1
中示出的实施方案中，成像系统10被描绘为c形臂荧光镜透视成像系统，但可以理解，在本公开的范围内可使用其他形式的成像和/或导航系统。例如，可以理解，当应用于使用其他成像模态(诸如标准、非荧光镜透视x射线成像、断层合成等)所获取的图像时，本发明技术也可以是有用的。对荧光镜透视成像模态的本发明论述仅提供作为一种合适的成像模态的示例。例如，成像系统10可以是获取三维对象的二维图像(例如，切片或投影)的任何成像系统。
19.成像系统10可在患者周围以各种视角获取x射线衰减数据并且适用于断层重建。成像系统10包括固定到c形臂14的x射线源56。示例性地，x射线源56可以是x射线管、分布式x射线源(诸如固态或热离子x射线源)或适合于获取医学图像或其他图像的任何其他x射线辐射源。x射线源56也可以称为辐射源。例如，x射线源56可以包括x射线发生器和x射线管。x射线源56在受试者(或对象)18的方向上从焦点12发射x射线辐射16。例如，受试者18可以是患者。在所描绘的实施方案中，x射线辐射16以锥形(例如锥形束)发射。该x射线锥形束穿过受试者18的成像体积。x射线辐射16的入射部分(也称为入射x射线)20穿过或围绕受试者18并碰撞(或撞击)包括检测器阵列22的x射线检测器34。x射线检测器34也可以称为辐射检测器。在本示例中，x射线检测器34是数字x射线检测器并且可以是便携式的或永久安装到成像系统10。在某些实施方案中，检测器阵列22可将入射x射线光子转换为检测到的较低能量光子。响应于检测到的光子来生成电信号，并且处理这些信号以重建受试者18体内的特征(例如解剖特征)的图像。x射线源56和x射线检测器34一起包括x射线成像链。
20.作为示例，检测器阵列22可包括一个或多个互补金属氧化物半导体(cmos)光成像器面板，每个cmos光成像器面板单独地限定检测器元件(例如，像素)阵列。每个检测器元件产生表示在光束照射检测器阵列22时入射在检测器元件的位置处的x射线束的强度的电信号。此信号可被数字化并且发送至监视器/显示设备以便显示。
21.示例性地，x射线源56和x射线检测器34由系统控制器24控制，该系统控制器24同时提供用于成像系统10的操作的电力信号和控制信号。系统控制器24可经由x射线控制器26控制x射线源56，该x射线控制器可以是系统控制器24的部件。在此类实施方案中，x射线控制器26可被配置为向x射线源56提供功率和定时信号。
22.示例性地，x射线检测器34进一步连接到系统控制器24。系统控制器24控制对x射线检测器34中产生的信号的获取(例如，由检测器阵列22获取)。在示例性实施方案中，系统控制器24使用数据采集系统(das)28获取由检测器阵列22生成的信号。das 28接收由x射线检测器34的读出电子器件收集的数据。das 28可从x射线检测器34接收经采样的模拟信号，并且将数据转换为数字信号，以便由本文进一步详细讨论的处理器30进行后续处理。另选地，在其他实施方案中，数字-模拟转换可由设置在x射线检测器34自身上的电路系统执行。系统控制器24还可以关于所获取的图像信号执行各种信号处理和滤波功能，诸如但不限于用于动态范围的初始调整和数字图像数据交错。
23.此外，x射线检测器34包括系统控制器24中的控制电路系统或与其通信，该系统控制器命令获取在检测器阵列22中生成的信号。x射线检测器34可经由任何合适的无线通信或者通过电缆或其他机械连接与系统控制器24通信。另选地，可在x射线检测器34本身内实现操作命令。
24.系统控制器24进一步可操作地连接到c形臂14以及连接到配置为支撑受试者18的
工作台32。系统控制器24的马达控制器36向c形臂14和工作台32的机械部件提供指令和命令以执行其线性运动和/或旋转运动。c形臂14的线性运动和/或旋转运动使x射线源56和x射线检测器34能够围绕受试者18旋转一圈或多圈，诸如主要在x-y平面内旋转或相对于受试者成角度旋转。x射线检测器34和x射线源56之间的距离也可以调整。此外，支撑受试者18的工作台32可相对于c形臂14的移动和/或c形臂14的计划移动进行纵坐标移动，以将患者定位在成像系统10的成像视野内。因此，患者和/或成像系统的部件的用于调整成像视野的移动可包括c形臂14和工作台32中的一者或两者的移动。
25.一般来讲，系统控制器24命令成像系统10的操作(诸如经由x射线源56、x射线检测器34和上述定位系统的操作)以执行检查方案并处理所获取的数据。例如，经由上述系统和控制器，系统控制器24可围绕感兴趣的区域或目标t旋转支撑x射线源56和x射线检测器34的台架，使得可以在相对于目标t的各种视图处获得x射线衰减数据。例如，x射线辐射16的中心轴52可聚焦在目标t处。在本示例中，系统控制器24还可包括信号处理电路系统、相关联的存储器电路系统，该存储器电路系统用于存储由计算机执行的程序和例程(诸如用于执行本文描述的图像处理技术的例程)、以及配置参数、图像数据等等。
26.在所描绘的实施方案中，由系统控制器24获取和处理的图像信号被提供给处理器30，以用于重建图像。处理器30可以是一个或多个常规微处理器。由das 28收集的数据可以直接地传输到处理器30，或在存储在存储器38中之后传输。适合于存储数据的任何类型的存储器都可以由成像系统10利用。例如，存储器38可以包括一个或多个光学、磁性和/或固态存储器存储结构。此外，存储器38可以位于获取系统站点处和/或可以包括用于存储用于图像重建的数据、处理参数和/或例程的远程存储设备，如下所述。图像重建的一个示例可包括锥形束计算机断层扫描(cbct)，其中在围绕受试者18的多个角度下获取的图像相对于彼此投影，以形成成像区域的3d表示的体素。可使用其他形式的图像重建，包括但不限于处理来自检测器信号的图像数据以产生临床有用的图像。
27.处理器30可被配置为经由操作员工作站40从操作员接收命令和扫描参数，该操作员工作站40通常配备有键盘、触摸屏和/或其他输入设备。操作员可以经由操作员工作站40控制成像系统10。因此，操作员可以使用操作员工作站40观察重建的图像和/或以其他方式操作成像系统10。例如，耦接到操作员工作站40的显示器42可以用于观察重建图像并控制成像。另外，图像也可以由打印机44打印，该打印机44可耦接到操作员工作站40。
28.此外，处理器30和操作员工作站40可耦接到其他输出设备，其他输出设备可以包括标准或专用计算机监视器和相关联的处理电路系统。可在系统中进一步链接一个或多个操作员工作站40，以用于输出系统参数、请求检查、查看图像等。一般来讲，系统内提供的显示器、打印机、工作站和类似设备可以是数据采集部件本地的，或可以远离这些部件，诸如机构或医院内的其他地方，或位于完全不同的位置，经由一个或多个可配置的网络(诸如互联网、虚拟专用网络等)链接到图像采集系统。
29.还应注意，操作员工作站40还可以耦接到图片存档和通信系统(pacs)46。pacs 46继而可以耦接到远程客户端48、放射科信息系统(ris)、医院信息系统(his)，或者耦接到内部或外部网络，使得其他人在不同位置都可以访问原始或经处理的图像数据。
30.虽然前述讨论已经分别描述了成像系统10的各种示例性部件，但是这些各种部件可以在公共平台内或在互连平台中提供。例如，处理器30、存储器38和操作员工作站40可以
被共同地提供作为通用或专用计算机或工作站，该通用或专用计算机或工作站被配置为根据本公开的各方面进行操作。在这样的实施方案中，通用或专用计算机可以相对于成像系统10的数据获取部件被提供作为单独部件，或者可以在具有这样的部件的公共平台中提供。同样地，系统控制器24可以提供作为此类计算机或工作站的一部分，或提供作为专用于图像采集的单独系统的一部分。
31.如图1所示，成像系统10还可包括一般被配置为满足某些应用的特定需要的多种另选实施方案。例如，成像系统10可以是固定系统、移动系统或移动c形臂系统，其中x射线检测器34或永久性地安装在c形臂14的一个端部内部或可从系统中移除。此外，成像系统10可以是固定x射线室中的工作台和/或墙壁支架系统，其中x射线检测器34或与该系统永久性地安装在一起或者是便携式的。另选地，成像系统10可以是具有便携式x射线检测器的移动x射线系统。这种便携式x射线检测器可进一步构造成具有用于将检测器读出电子器件连接到扫描仪的数据采集系统的可拆卸的拴系件或电缆。当不使用时，可将便携式x射线检测器从扫描站拆下以便储存或转移。在实施过程中，成像系统10可以是任何合适的基于x射线的成像系统，包括但不限于常规x射线照相系统、ct成像系统、层析x射线照相系统、c形臂系统、荧光镜透视检查系统、乳房摄影术系统、双能或多能系统、导航或介入成像系统等。此外，虽然上面描述了平板检测器的示例，但可使用包括图像增强器和摄像机的数字检测器系统来将入射x射线20转换成视频信号。
32.如本文所用，短语“重建图像”并非旨在排除本发明的其中生成表示图像的数据而非可视图像的实施方案。因此，如本文所用，术语“图像”广义地是指可视图像和表示可视图像的数据两者。然而，许多实施方案生成(或被配置为生成)至少一个可视图像。
33.如下文将更详细描述的，受试者18可用x射线成像链进行成像，该x射线成像链包括x射线源56和x射线检测器34。尽管未明确示出，但可以理解的是，x射线成像链还可包括各种透镜(例如，准直透镜和/或聚焦透镜)和孔径。x射线成像链以操作员(例如，临床医生)选择的不同角度围绕受试者18定位。受试者18躺在工作台32上，并且工作台32的位置也可在整个成像过程中发生改变。所获取的x射线图像是2d圆锥投影，并且成像链和工作台32位置的变化可使操作员能够在不同的角度和放大倍数下看到受试者18的解剖结构。例如，成像规程的工作流程可包括获取数个图像序列，这些图像序列可用于诊断受试者18并且在必要时对受试者18进行干预。可在这些不同的图像中实时观察感兴趣的解剖位置，这可帮助引导针插入或其他介入。
34.参见图2，示出了示例性医学图像处理系统200。在一些实施方案中，医学图像处理系统200被结合到医学成像系统诸如荧光镜透视成像系统(例如，图1的成像系统10)、磁共振成像(mri)系统、ct系统、单光子发射计算机断层显像(spect)系统等中。在一些实施方案中，医学图像处理系统200的至少一部分设置在设备(例如，边缘设备或服务器)处，该设备经由有线和/或无线连接可通信地耦接到医学成像系统。在一些实施方案中，医学图像处理系统200设置在单独的设备(例如，工作站)处，该设备可从医学成像系统或者从存储由医学成像系统生成的图像的存储设备接收图像。医学图像处理系统200可包括图像处理单元231、用户输入设备232和显示设备233。例如，图像处理单元231可以可操作地和/或通信地耦接到用户输入设备232和显示设备233。
35.图像处理单元231包括处理器204，该处理器被配置为执行存储在非暂态存储器
206中的机器可读指令。处理器204可以是单核或多核的，并且由处理器204执行的程序可被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可任选地包括分布在两个或更多个设备中的单独部件，这些设备可远程定位和/或被配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可由云计算配置中的可远程访问的联网计算设备虚拟化和执行。在一些实施方案中，处理器204可以包括能够执行处理功能的其他电子部件，诸如数字信号处理器、现场可编程门阵列(fpga)或图形板。在一些实施方案中，处理器204可包括能够执行处理功能的多个电子部件。例如，处理器204可包括从多个可能的电子部件中选择的两个或更多个电子部件，这些电子部件包括：中央处理器、数字信号处理器、现场可编程门阵列和图形板。在另外的实施方案中，处理器204可被配置为图形处理单元(gpu)，包括并行计算架构和并行处理能力。
36.非暂态存储器206可存储分割模块210、轨迹预测模块212和医学图像数据214。分割模块210可包括一个或多个机器学习模型(诸如深度学习网络)，该一个或多个机器学习模型包括多个权重和偏差、激活函数、损失函数、梯度下降算法以及用于实现该一个或多个深度神经网络以处理输入的医学图像的指令。例如，分割模块210可存储用于实现神经网络的指令。分割模块210可包括经训练的和/或未训练的神经网络并且还可包括与存储在其中的一个或多个神经网络模型相关联的训练例程或参数(例如，权重和偏差)。在一个示例中，训练例程可包括用于从医学图像数据214接收训练数据集的指令，这些训练数据集包括用于训练存储在分割模块210中的机器学习模型中的一个或多个机器学习模型的医学图像、相关联的地面实况标签/图像和相关联的模型输出的集合。在一些实施方案中，训练例程可从医学图像数据214以外的来源(诸如其他图像处理系统、云等)接收用于训练一个或多个机器学习模型的医学图像、相关联的地面实况标签/图像和相关联的模型输出。在一些实施方案中，训练例程的一个或多个方面可包括云计算配置中的可远程访问的联网存储设备。附加地或另选地，在一些实施方案中，训练例程可用于离线且远离图像处理系统200生成分割模块210。在此类实施方案中，训练例程可不包括在分割模块210中，但是可生成存储在分割模块210中的数据。
37.类似地，轨迹预测模块212可包括一个或多个算法，包括机器学习模块，以及用于实现用于处理输入的医学图像的一个或多个算法的指令。在一些实施方案中，轨迹预测模块212可另外使用从分割模块210和/或用户接收的数据作为输入。如将在本文详细描述的，分割模块210可用于在介入医学成像(例如，实时荧光镜透视检查)期间识别和分割受试者体内的插入的医疗设备(例如，针)，并且轨迹预测模块212可精确地定位所插入医疗设备的远侧部分并估计(例如，推断)其在患者内的轨迹。
38.非暂态存储器206还存储医学图像数据214。医学图像数据214包括例如由x射线成像模态捕获的图像，诸如荧光镜透视x射线图像，由mri系统或ct系统捕获的解剖图像等。在一些实施方案中，非暂态存储器206可包括设置在两个或更多个设备处的部件，这些设备可远程定位和/或被配置用于协调处理。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括以云计算配置的可远程访问的联网存储设备。
39.图像处理系统200还可包括用户输入设备232。用户输入设备232可包括触摸屏、键盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理单元231内的数据交互并操纵该数据的其他设备中的一者或多者。作为示例，用户输入设备232可使用户能够注释
成像结构，诸如能够指示医疗设备插入的目标位置。
40.显示设备233可包括利用任何类型的显示技术的一个或多个显示设备。在一些实施方案中，显示设备233可包括计算机监视器，并且可显示未处理的图像、经处理的图像、参数标测图和/或检查报告。显示设备233可与处理器204、非暂态存储器206和/或用户输入设备232在共享壳体中组合，或者可为外围显示设备。显示设备233可包括监视器、触摸屏、投影仪或另一种类型的显示设备，该显示设备可使得用户能够查看医学图像和/或与存储在非暂态存储器206中的各种数据进行交互。
41.应当理解的是，图2所示的图像处理系统200是图像处理系统的一个非限制性实施方案，并且在不脱离本公开的范围的情况下，其他成像处理系统可包括更多、更少或不同的部件。
42.如上所述，图像处理系统(例如，图2的图像处理系统200)可接收由成像系统(例如，图1的成像系统10)获取的图像，或者其可包括在该成像系统中。图像处理系统可实时分析和注释所获取的图像。出于本公开的目的，术语“实时”被定义为包括在没有任何有意延迟的情况下(例如，基本上在发生时)执行的动作。例如，成像系统可以预定的帧速率获取图像，重建图像用于显示，并且实时显示重建的图像，并且图像处理系统也可处理重建的图像以识别所插入的医疗设备，确定医疗设备的轨迹，并且将医疗设备的轨迹实时叠加在显示的图像上。
43.为了协调实时成像和图像处理，图3示出了方法300，该方法用于确定医疗设备插入轨迹并且相应地增强/注释实时图像。将参照在本文参照图1至图2所描述的系统和部件来描述该方法，然而可以理解的是，在不脱离本公开的范围的情况下，该方法可利用其他系统和部件来实现。方法300可被实现为计算设备的非暂态存储器(诸如图1的存储器38和/或图2的非暂态存储器208)中的可执行指令，并且可由一个或多个可操作地连接的处理器(诸如图1的处理器30和/或图2的处理器204)以协调的方式来执行。将参照x射线荧光镜透视成像来描述方法300，但可以理解的是，在不脱离本公开的范围的情况下，可使用其他成像模态。
44.在302处，方法300包括接收成像方案和规程信息。例如，成像系统(例如，图1的成像系统10)的操作员可诸如经由操作员工作站(例如，图1的操作员工作站40)输入或选择成像方案和规程信息。规程信息可包括所执行的介入成像规程的类型和/或用于该规程的成像方案。例如，规程类型或成像方案可指定正在成像的解剖结构，规定要获取的一系列视图(以及获取该系列视图的成像系统的相应位置)，并且指示是否使用了造影剂及其类型。例如，可将造影剂施用于受试者以辅助实现感兴趣的解剖结构的可视化。作为一个示例，可注射造影剂以使脉管系统可视化。规程类型的例示性示例包括支气管内肺活检、经颈静脉肝内门体分流术(tips)规程、经皮肿瘤消融、癌症治疗(诸如使用冷冻消融、射频消融等)和骨巩固规程。
45.作为另一个示例，规程类型可进一步指定将被插入到被成像受试者体内的医疗设备的物理属性，诸如待插入的医疗设备的类型、厚度、规格、长度和/或形状(例如，曲率)。医疗设备可以是针、光纤电缆、杆、螺钉或其他类型的可植入设备或医疗内窥镜。所述属性还可包括医疗设备的刚度或柔韧性(例如，可变形性)，其可基于形成医疗设备的一种材料(或多种材料)来确定。例如，较小规格的针(例如14规格)可比较大规格的针(例如20规格)更厚
和更硬。作为另一个示例，光纤电缆比钢条更具柔性。在一些示例中，可基于规程类型和/或图像分析来自动选择要插入的医疗设备及其一些或全部物理属性。附加地或另选地，操作员可选择、调整或以其他方式输入医疗设备的物理属性。医疗设备的物理属性可用于确定插入期间医疗设备在受试者体内的轨迹，如将在下文详细描述的(例如，在316处)。
46.作为又一个示例，成像方案信息可包括用于x射线源的x射线管电压、电流和脉冲宽度设置，以及用于在x射线检测器处获取图像的帧速率设置和放大率。然后，x射线检测器可在达到平衡条件时生成同步信号，并且将该同步信号发送回系统控制器。x射线源可等待来自检测器的同步信号，并且一旦启用了x射线曝光就开始在同步信号处生成x射线。工作站/图像处理单元可停止当前活动、初始化获取和图像处理模块并且等待传入帧。此外，在一些示例中，在曝光准备阶段期间，可预热x射线管的灯丝(例如，经由在x射线曝光之前在灯丝上施加一定量的电压)以便减少x射线管达到电流设置的时间量。例如，可将灯丝加热到基于电流设置的预先确定的温度，使得一旦曝光开始，就可快速达到电流设置。
47.在304处，方法300包括获取受试者的图像用于进入点和路径规划。例如，在用于执行设备插入的实时成像开始之前，可获得感兴趣解剖结构的倾斜cbct横截面，以便规划设备的进入点和路径，如将在下文详细描述的。在一些示例中，可根据所采集的cbct投影图像来执行3d体积重建。
48.在306处，方法300包括基于所获取的图像确定设备进入点和路径。当要插入一个以上的医疗设备时，可为每个设备确定单独的进入点和路径。例如，3d体积可用于识别感兴趣的解剖结构，诸如目标结构或区域，并且通过确定进入点、路径(例如，通道)和要避开的结构来规划规程。在一些示例中，操作员(或另一临床医生)可选择、标记或以其他方式标注(例如，注释)或指示3d体积上的插入设备的目标结构或区域。在其他示例中，处理器可使用计算机视觉基于所接收的规程信息自动确定目标结构或区域。例如，处理器可识别支气管内肺活检部位，并且在3d体积上呈现所识别的部位以供操作员查看和可选地调整。
49.此外，规程规划可用于确定在规程期间获取实时(例如，实时的)图像的操作参数。此类参数的示例可包括例如期望的帧速率、c形臂位置和旋转角度以及工作台位置。例如，可选择参数，使得设备的通道以及感兴趣的解剖结构在规程期间大致位于成像平面内。作为另一个示例，处理器可在确定规程规划时考虑受试者的大小和位置以及辐射剂量注意事项。
50.在308处，方法300包括以期望的帧速率获取受试者的图像并且实时显示图像。例如，可根据在302处接收的成像方案和在306处确定的规程规划来获取图像。例如，处理器可经由马达控制器(例如，图1的马达控制器36)将c形臂位置和旋转角度以及工作台位置调整到确定位置以对目标结构或区域进行成像。当获取每个图像时，可实时处理供显示的图像数据并将其显示在显示设备(例如，图1的显示器42)上。在一些示例中，3d模型可叠加在2d实时图像上并且也被显示。
51.在310处，该方法包括在实时图像上显示设备的确定的进入点和路径。例如，处理器可将设备的进入点和路径显示为实时图像上的视觉注释。如本文所用，术语“注释”可指由给定图像中的一个(或多个)点、在图像内具有精确位置的线性(例如，线)段、和/或在图像内各自具有精确位置的一组连续的线段限定的精确位置。每个注释可包含或可不包含相关联的文本(例如，标签)。
52.在312处，该方法包括经由实时图像分析在插入期间识别设备。作为一个示例，处理器可采用一个或多个对象检测(例如，图像识别)和分割算法来(例如，经由图2的分割模块210)将医疗设备与组织、骨骼、血管和其他解剖结构区分开。例如，分割算法可采用形状或边缘检测算法来定义医疗设备与组织、器官和结构之间的边界。
53.在314处，方法300包括在实时图像中定位设备的远侧端部。设备的远侧端部包括医疗设备距离临床医生用来插入该设备的附接点或手柄最远的部分。作为另一个示例，设备的远侧端部包括最先进入受试者的设备的末端。例如，针的远侧端部是针的尖端。作为一个示例，处理器可根据医疗设备的边界来定位所分割设备的末端，并且识别其在2d图像空间内的位置。附加地或另选地，处理器可根据设备的确定的进入点和路径来定位设备的远侧端部，因为设备的尖端通常最接近目标。在一些示例中，操作员可输入信息，诸如通过在实时图像中选择设备远侧端部的一般区域，以便减少不确定性。在其他示例中，附加地或另选地，处理器可考虑设备的先前角度的知识。例如，临床医生最初可以减小设备远侧端部的位置不确定性的角度来导航设备。当改变角度使得定位设备的远侧端部变得更具挑战性时，处理器可使用来自先前视图的知识来确定设备远侧端部的当前位置。
54.当处理器最初未成功定位设备的远侧端部时，除了上述方法之外，还可使用其他方法。例如，可在更高的辐射剂量水平下和/或利用围绕远侧端部的期望区域的准直来获取一个x射线图像，以便增强所获取的图像。作为另一个示例，系统可向操作员输出建议最小台架旋转的消息，以便减少或去除设备和成像解剖结构的边缘之间的重叠。作为又一个示例，当设备处于在自上而下或自下而上视图中沿其轴看到的角度时(例如，其中针在图像中表现为点而不是长度)，处理器可暂时中断虚拟轨迹推断和渲染，直到角度改变。
55.在316处，方法300包括实时推断设备在受试者体内的轨迹。作为一个示例，处理器可使用存储在存储器中(例如，图2的轨迹预测模块212中)的几何模型来推断或投影医疗设备在受试者体内的轨迹。例如，几何模型可采用曲线拟合，诸如多项式曲线拟合或幂级数曲线拟合模型，以基于如在实时图像中可观察到的(例如，经由x射线检测器捕获的)医疗设备的当前观察到的几何曲率来识别最佳拟合曲线。此外，处理器可基于设备远侧端部的当前位置来推断最佳拟合曲线。例如，设备的远侧端部可指示医疗设备在图像平面内的轨迹的角度。因此，医疗设备远侧端部的当前位置及其取向可被输入到几何模型中。例如，所述取向可包括远侧端部的2d和/或3d位置以及相对于基准(诸如所确定的路径)的角度。在一些示例中，最佳拟合曲线可延伸超过医疗设备的远侧端部预定距离(例如，长度)。例如，可由操作员选择预定距离，或者根据所选规程对预定距离进行预编程，以便在比例上与实时图像的放大率和所获取的角度一致。例如，成像系统相对于设备的角度可使给定长度在实时图像中看起来更短或更长。作为另一个示例，最佳拟合曲线可延伸到目标结构或区域。此外，可以理解的是，当医疗设备进一步插入或其轨迹的角度改变时，可实时更新推断轨迹。
56.在一些示例中，当医疗设备最初被插入时，医疗设备的相对小的部分在实时图像中可以是可视的，但当设备被进一步插入时，可视(例如，所捕获的)部分可以增加。作为示例，处理器在推断设备的实时轨迹时可仅使用医疗设备的可视部分。在其他示例中，处理器在确定轨迹时可考虑设备的已知全长和已知几何形状。例如，14cm线性(非弯曲)针的0.5厘米(cm)部分可以是可视的，并且处理器可推断14cm线性针的轨迹。当仅考虑可视部分而不是作为整体的医疗设备时，推断可能不太准确。因此，对于给定规程(例如，在302处)输入或
编程医疗设备的物理属性可帮助增加推断的准确性。
57.更甚者，在一些示例中，除了几何模型之外，还可使用机械模型。机械模型可考虑医疗设备的物理属性(例如，长度、厚度和相对刚度)以及被医疗设备穿透的组织、骨骼或其他解剖结构的物理属性(例如，相对刚度或柔韧性)。作为一个示例，处理器可部分地基于所执行的规程来识别组织、骨骼或其他解剖结构的相对刚度或柔韧性。例如，骨巩固规程可包括将医疗设备插入一个或多个骨或骨碎片中，而tips规程可不包括将医疗设备插入穿过骨。处理器可将每种类型的组织的相对刚度(或柔韧性)分数存储在存储器中，并且可在确定轨迹时单独地或与医疗设备的相对刚度(或柔韧性)组合地使用这些值。作为例示性示例，较硬的组织(例如，骨骼)可约束医疗设备的运动，而较柔性的组织(例如，肌肉)可允许医疗设备在插入期间的增加的角度变化。作为另一个示例，厚的针可能不容易变形，并且因此可被预测为在线性通道内行进。相比之下，薄的柔性针在插入期间可能变形并且偏离直线通道。
58.因此，在一些示例中，除了推断医疗设备的轨迹之外，处理器还可确定推断中的不确定性。在一些示例中，不确定性可基于几何曲率。例如，相对于线性曲线拟合和相应的推断，在非线性曲线拟合和相应的推断中可能存在更大的不确定性。附加地或可选地，处理器可将几何曲率、正被插入的医疗设备的刚度、正被导航/穿透的组织以及正被执行的规程的类型中的一者或多者输入到不确定性算法中，该不确定性算法可输出预期的可能轨迹的范围。一般来讲，不确定性可随着医疗设备的刚度增加而降低，可随着到设备远侧端部的距离增加而增加，并且可随着穿刺材料的密度降低而增加。作为另一个示例，处理器可相对于当前设备位置比较先前预测的轨迹，以便相应地调整不确定性。例如，如果当前位置在先前预测的不确定性之外，则可进一步增加不确定性。因此，可在每个成像时段、每个操作员和/或每个器官的基础上学习不确定性。可前瞻性地收集数据以完善进一步插入中的不确定性估计。
59.不确定性通常可遵循推断的形状，并且不确定性以及因此预期的可能轨迹的范围可随着在投影轨迹内距医疗设备远侧端部的距离增加而增加。例如，不确定性对于线性投影轨迹可以是基本上锥形的，或者可如投影轨迹曲线那样弯曲。此外，不确定性可包括映射到围绕推断轨迹的区域的空间区域。可在视觉上将不确定性在实时图像上表示为空间区域(例如，宽度随着距设备的距离增加而增加的锥形区域)，推断轨迹的变化的不透明度(例如，随着不确定性增加而较不可视)，线宽或线类型的变化(例如，随着不确定性增加而呈点状)，和/或沿着推断轨迹的颜色映射区域(例如，用于较低不确定性的第一颜色，用于较高不确定性的第二颜色)。
60.在318处，方法300包括在实时图像上显示设备的推断轨迹。例如，推断轨迹可被显示为在图像上与医疗设备的确定路径并排或重叠的注释(例如，如在306处确定的)。作为一个示例，所确定的路径可被显示为第一颜色注释或图形，诸如线或曲线，并且推断轨迹可被显示为不同于第一颜色的第二颜色注释或图形。其他属性，诸如线条粗细或样式，在确定的路径和推断轨迹之间可以不同，以便彼此区分。附加地或另选地，可提供基于文本的标签以指示相对于推断(例如，估计)轨迹的确定的(例如，规划的)路径。在一些示例中，还可在视觉上显示推断中的不确定性。例如，不确定性可在视觉上被表示为围绕推断轨迹的锥形或其他形状，其通常随着距医疗设备远侧端部的距离增加(并且因此不确定性增加)而变宽。
显示具有和不具有不确定性的推断轨迹的示例在图4和图5中示出，并且将在下文描述。
61.通过在实时(例如，实时的)图像上显示实时的推断轨迹和期望轨迹两者，临床医生可更容易地识别将医疗设备定位在规划的路径内以到达目标结构或区域的校正。例如，如果推断轨迹示出医疗设备转向规划路径的左侧，则临床医生可朝向右侧调整医疗设备的插入角度，以便使推断轨迹更接近规划路径。例如，临床医生继续进行逐步调整，直到推断轨迹基本上与规划路径重叠。相比之下，在没有实时反馈以示出对相对于规划路径的推断轨迹的调整效果的情况下，临床医生可能对插入角度进行欠校正或过校正，从而导致医疗设备的较不准确的放置。
62.在320，方法300包括确定是否完成获取。例如，当获得当前介入成像规程和成像方案的所有规定视角时，即可完成获取。作为另一个示例，操作员可经由输入指示已完成获取。
63.如果未完成获取，则方法300返回到308以继续以期望的帧速率获取受试者的图像并且实时显示图像。因此，设备的轨迹将继续被跟踪，并且诸如由于临床医生调整插入角度而对轨迹的调整也将被实时确定和更新，以向临床医生提供反馈。
64.如果已完成获取，则方法300进行到322并且包括停止获取受试者的图像。例如，可停用x射线源，诸如通过停止向x射线发生器供电或将x射线源置于低功率“待机”模式，其中x射线源不主动产生x射线，直到成像系统关闭为止。此外，在一些示例中，x射线检测器可不被供电或被置于“待机”模式，其中功耗降低并且x射线检测器不主动地产生电信号，直到成像系统断电为止。然后方法300可以结束。例如，在操作员选择新的成像方案或提供另一个输入以开始新的成像序列之前，可能不会激活x射线源。
65.这样，可在介入成像规程期间显示医疗设备的实时的(实时)轨迹。通过显示实时轨迹，可提高医疗设备的放置精度。此外，由于增强现实格式的实时引导，临床医生可更容易地放置设备。总体而言，可减少规程的长度，这可减少提供给患者的辐射剂量并且增加患者的舒适度。
66.现在转向图4，其示出了在插入医疗设备期间显示实时估计轨迹的第一示例。具体地，图4示出了实时显示图像400，该实时显示图像可经由显示设备(例如，显示器42)被显示给执行插入的临床医生。所显示的图像400包括实时x射线图像401和轨迹注释，这将在下文描述。例如，在实时图像处理和分析期间，轨迹注释被叠加在可从原始x射线图像数据生成的实时x射线图像401上。此外，可使用荧光镜透视成像系统(诸如图1的成像系统10)来获取实时x射线图像401。可以理解的是，尽管示出了一个实时显示图像，但实时显示图像400表示以编程的帧速率获取、处理和实时显示的x射线图像序列中的一个注释的x射线图像。
67.实时显示图像400示出了具有局部远侧端部404的针402。在本示例中，远侧端部404在视觉上由“x”表示，但在其他示例中，远侧端部404可不在实时显示图像400上在视觉上被注释。实时显示图像400还示出了规划的轨迹406(例如，相对于图3的306描述的确定的路径)和实时估计轨迹408(例如，相对于图3描述的推断轨迹)。在所示的示例中，实时显示图像400使用不同的线类型和文本标签来区分规划的轨迹406与实时估计轨迹408，但其他示例可以不同的方式在视觉上区分规划的轨迹406与实时估计轨迹408。此外，在本示例中，实时估计轨迹408基本上平行于规划的轨迹406但与其间隔开。因为实时估计轨迹408不与规划的轨迹406重叠，所以实时显示图像400可通知临床医生调整针402朝向规划的轨迹406
的角度。
68.图5示出了在插入医疗设备期间显示实时估计轨迹的第二示例。具体地，图5示出了实时显示图像500，该实时显示图像可经由显示设备(例如，显示器42)被显示给执行插入的临床医生。所显示的图像500包括实时x射线图像501和轨迹注释，这将在下文描述。如上文相对于图4所描述的，轨迹注释被叠加在实时x射线图像501上，该实时x射线图像可使用荧光镜透视成像系统(例如，图1的成像系统10)来获取，并且实时显示图像500表示以编程的帧速率获取、处理和实时显示的x射线图像序列中的一个注释的x射线图像。
69.实时显示图像500示出了具有局部远侧端部504的医疗设备502。在所示的示例中，医疗设备502是具有相机和用于穿刺结节的针尖端的光纤内窥镜。在本示例中，医疗设备502的远侧端部504(例如，针尖端)没有在实时显示图像500上特别注释。实时显示图像500还示出了目标区域503、用于到达目标区域503的规划的轨迹506(例如，相对于图3的306描述的确定的路径)和实时估计轨迹508(例如，相对于图3描述的推断轨迹)。在所示的示例中，实时显示图像500使用不同的线来区分规划的轨迹506与实时估计轨迹508。此外，在本示例中，实时估计轨迹508中的不确定性由围绕实时估计轨迹508的区域510指示。例如，因为医疗设备502是柔性的，所以如果当前轨迹被维持但预期停留在区域510内，则医疗设备502可偏离实时估计轨迹508。即使实时估计轨迹508不与规划的轨迹506重叠，实时显示图像500也示出医疗设备502指向目标区域503。因此，临床医生可对医疗设备502的角度进行较小的调整以到达目标区域503，而不是与规划的轨迹506完全重叠。如果仅示出了规划的轨迹506而没有示出实时估计轨迹508，则临床医生可能反而对规划的轨迹506进行过校正，因为临床医生可能难以预测医疗设备502在偏离规划的轨迹506时是否将到达目标区域503。
70.这样，可更容易和准确地放置医疗设备。因此，可减少执行规程所花费的时间量，从而使得临床医生能够在一天内治疗更多的患者并腾出手术室。此外，每个患者可更快地到达恢复室，这可增加患者的舒适度。
71.从插入期间获取的实时图像推断医疗设备在插入患者体内期间的实时轨迹的技术效果是，医疗设备可被更快速地准确放置。
72.本公开还为用于介入成像规程的方法提供支持，该方法包括：在将医疗设备插入受试者体内期间基于插入的实时图像来识别医疗设备；基于插入的实时图像来实时推断插入期间的医疗设备的轨迹；以及在实时图像上显示医疗设备的推断轨迹。在该方法的第一示例中，在实时图像上显示医疗设备的推断轨迹包括将推断轨迹从医疗设备的远侧端部延伸为线性或曲线推断。在任选地包括第一示例的该方法的第二示例中，基于插入的实时图像来实时推断插入期间的医疗设备的轨迹包括：定位医疗设备的远侧端部；以及基于远侧端部的当前位置和医疗设备的几何曲率来推断医疗设备的轨迹。在任选地包括第一示例和第二示例中的一者或两者的该方法的第三示例中，该方法还包括：通过基于实时图像中医疗设备的可视部分识别医疗设备的最佳拟合曲线来确定几何曲率，并且其中推断医疗设备的轨迹还包括将最佳拟合曲线延伸超过医疗设备的远侧端部。在任选地包括第一示例至第三示例中的一者或多者或每一者的该方法的第四示例中，基于医疗设备的已知长度和形状来确定医疗设备的几何曲率。在任选地包括第一示例至第四示例中的一者或多者或每一者的该方法的第五示例中，推断医疗设备的轨迹还基于插入的机械模型。在任选地包括第一
示例至第五示例中的一者或多者或每一者的该方法的第六示例中，插入的机械模型使用医疗设备的一个或多个物理属性来估计医疗设备在插入期间的变形。在任选地包括第一示例至第六示例中的一者或多者或每一者的该方法的第七示例中，一个或多个物理属性包括医疗设备的长度、厚度和刚度中的至少一者。在任选地包括第一示例至第七示例中的一者或多者或每一者的该方法的第八示例中，插入的机械模型使用在插入期间由医疗设备穿透的受试者的解剖结构的一个或多个物理属性。在任选地包括第一示例至第八示例中的一者或多者或每一者的该方法的第九示例中，该方法还包括：确定推断轨迹中的不确定性；将不确定性映射到围绕推断轨迹的空间区域；以及将不确定性在实时图像上显示为空间区域。在任选地包括第一示例至第九示例中的一者或多者或每一者的该方法的第十示例中，确定推断轨迹中的不确定性基于医疗设备的几何曲率、医疗设备的刚度、医疗设备正在穿透的组织和介入成像规程的类型中的一者或多者。
73.本公开还为用于介入成像的方法提供支持，该方法包括：基于在将医疗设备插入受试者体内之前获取的受试者的图像来确定插入的期望轨迹；在插入期间获取受试者的实时图像；在插入期间在受试者的实时图像上显示用于插入的期望轨迹；实时估计医疗设备在插入期间的实时轨迹；以及在受试者的实时图像上显示医疗设备的实时轨迹。在该方法的第一示例中，实时估计医疗设备在插入期间的实时轨迹包括：经由分割算法来识别实时图像中的医疗设备；确定医疗设备的远侧端部的位置；确定医疗设备的几何曲率；以及基于几何曲率和远侧端部的位置来估计医疗设备的实时轨迹。在任选地包括第一示例的该方法的第二示例中，在受试者的实时图像上显示医疗设备的实时轨迹包括将实时轨迹延伸超出医疗设备的远侧端部预定距离。在任选地包括第一示例和第二示例中的一者或两者的该方法的第三示例中，估计医疗设备的实时轨迹还基于医疗设备的长度、医疗设备的厚度、医疗设备的刚度、介入成像的规程类型和正被医疗设备穿透的解剖特征的刚度中的至少一者。在任选地包括第一示例至第三示例中的一者或多者或每一者的该方法的第四示例中，该方法还包括：基于实时轨迹的形状、医疗设备的长度、医疗设备的厚度、医疗设备的刚度、介入成像的规程类型和正被医疗设备穿透的解剖特征的刚度中的至少一者来估计实时轨迹中的不确定性；以及在实时图像上显示不确定性的视觉表示。
74.本公开还为成像系统提供支持，该成像系统包括：辐射源，该辐射源被配置为朝向受试者投射辐射束；辐射检测器，该辐射检测器被配置为接收由辐射源投射并且由受试者撞击的辐射束；显示器；和处理器，该处理器可操作地耦接到存储指令的存储器上，该指令在被执行时致使处理器：经由辐射检测器获取正在穿透受试者的医疗设备的实时图像；实时分析实时图像以识别医疗设备并且估计医疗设备的实时轨迹；以及经由显示器在实时图像上实时显示实时轨迹。在该系统的第一示例中，为了实时分析实时图像以识别医疗设备并且估计医疗设备的实时轨迹，存储器包括其他指令，该其他指令在被处理器执行时致使处理器：经由分割算法来识别医疗设备；定位医疗设备的远侧端部；以及基于远侧端部的当前位置和医疗设备的几何模型来估计医疗设备的实时轨迹。在任选地包括第一示例的该系统的第二示例中，为了实时分析实时图像以估计医疗设备的实时轨迹，存储器包括其他指令，该其他指令在被处理器执行时致使处理器：进一步基于医疗设备的刚度、厚度和长度中的至少一者来估计医疗设备的实时轨迹。在任选地包括第一示例和第二示例中的一者或两者的该系统的第三示例中，医疗设备的几何模型基于医疗设备的曲率来识别最佳拟合曲
线，并且存储器包括其他指令，该其他指令在被处理器执行时致使处理器：基于医疗设备的刚度、厚度和长度中的至少一者来估计医疗设备的实时轨迹中的不确定性；以及经由显示器在实时图像上实时显示实时轨迹中的不确定性。
75.如本文所用，以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
76.该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。