用于医学图像配准的器官变形补偿的制作方法

1.本发明总体上涉及医学图像配准，并且更特别地涉及用于医学图像配准的器官变形补偿。


背景技术：

2.医学图像的配准是许多医学成像分析任务的基础。然而，医学图像的配准可能受到患者的运动模式（诸如，例如呼吸或心脏运动）严重影响。患者的这种运动模式引起了医学图像中的器官和其他解剖对象的各种变形状态，从而导致医学图像之间的未对准，并且通常发生在其中针对准确配准存在高需求的患者区域中。常规的配准技术常常不能够准确地补偿这种变形。特别地，许多常规配准技术聚焦于对准具有高强度差异的结构，同时遗漏具有低强度差异的结构的未对准。


技术实现要素：

3.根据一个或多个实施例，提供了用于医学图像配准的系统和方法。接收一个或多个解剖对象（例如，器官）的第一输入医学图像和第二输入医学图像。针对所述一个或多个解剖对象中的每个相应解剖对象：在第一输入医学图像或第二输入医学图像中的一个中检测包括相应解剖对象的感兴趣区域，从第一输入医学图像和第二输入医学图像提取感兴趣区域，以及使用特定于相应解剖对象的运动模型、根据从第一输入医学图像提取的感兴趣区域或从第二输入医学图像提取的感兴趣区域中的一个来确定相应解剖对象的运动分布。基于所述一个或多个解剖对象中的每个相应解剖对象的运动分布来配准第一输入医学图像和第二输入医学图像，以生成融合图像。
4.在一个实施例中，通过如下方式来配准第一输入医学图像和第二输入医学图像：基于每个相应解剖对象的运动分布与先验分布之间的距离来确定所述一个或多个解剖对象的正则化项，以及最小化包括所述一个或多个解剖对象的正则化项的损失函数。可以通过对每个相应解剖对象的运动分布与先验分布之间的距离进行求和来确定正则化项。
5.在一个实施例中，特定于相应解剖对象的运动模型包括包含编码器的变分自编码器，并且使用所述编码器来确定相应解剖对象的运动分布。可以通过如下方式来训练机器学习网络：训练变分自编码器的编码器以生成代码，所述代码表示对从第一训练图像提取的感兴趣区域与从第二训练图像提取的感兴趣区域之间的变形的编码，以及训练所述变分自编码器的解码器以从所述代码以及从第一训练图像提取的感兴趣区域来生成变形场（deformation field），所述变形场表示从第一训练图像提取的感兴趣区域与从第二训练图像提取的感兴趣区域之间的变形。
6.在一个实施例中，针对每个相应解剖对象，通过如下方式来学习特定于相应解剖对象的运动模型：接收相应解剖对象的第一训练图像和第二训练图像，在第一训练图像中检测包括相应解剖对象的感兴趣区域并且在第二训练图像中检测包括相应解剖对象的感兴趣区域，从第一训练图像和第二训练图像提取感兴趣区域，以及训练机器学习网络以根
据从第一训练图像提取的感兴趣区域和从第二训练图像提取的感兴趣区域对相应解剖对象的运动进行建模，作为特定于相应解剖对象的运动模型。
7.在一个实施例中，可以通过如下方式来检测包括相应解剖对象的感兴趣区域：在第一输入医学图像或第二输入医学图像中的一个中分割相应解剖对象，以及使感兴趣区域围绕所分割的相应解剖对象而居中。
8.通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员来说将是明显的。
附图说明
9.图1示出了根据一个或多个实施例的用于医学图像配准的方法；图2示出了根据一个或多个实施例的用于学习特定于解剖对象的运动模型的方法；图3示出了根据一个或多个实施例的示例性变分自编码器；以及图4示出了计算机的高级框图。
具体实施方式
10.本发明总体上涉及用于医学图像配准的器官变形补偿的方法和系统。本文中描述了本发明的实施例，以给出对用于医学图像配准的器官变形补偿的这种方法和系统的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。对象的数字表示在本文中常常是在标识和操纵该对象方面来描述的。这种操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，要理解的是，本发明的实施例可以使用存储在计算机系统内的数据在计算机系统内执行。
11.此外，应当理解的是，虽然本文中讨论的实施例可以关于用于医学图像配准的器官变形补偿来讨论，但是本发明不限于此。本发明的实施例可以被应用于通过补偿任何感兴趣对象的变形或运动的任何类型的图像的配准。
12.在医学图像配准中，目标是找到空间变换来变换第一图像以便与第二图像对准。第一图像通常被称为运动图像，并且第二图像通常被称为固定图像。通常，运动（诸如例如，呼吸运动或心脏运动）引起了医学图像中所描绘的解剖对象的变形，从而导致这种医学图像配准中的不准确性。本发明的某些实施例学习特定于解剖对象的运动模型，并且使用该运动模型来确定用于医学图像配准的解剖对象的正则化项，从而补偿该解剖对象的变形或其他运动。有利地，正则化项提供了以高准确性程度进行的医学图像配准。
13.图1示出了根据一个或多个实施例的用于医学图像配准的方法100。方法100可以使用任何合适的计算设备（诸如例如，图4的计算机402）来执行。
14.在步骤102处，学习特定于一个或多个解剖对象中的相应解剖对象的运动模型。步骤102可以在离线或预处理阶段期间执行。在一个实施例中，通过执行图2的方法200的步骤来学习特定于相应解剖对象的运动模型。
15.参考图2，示出了根据一个或多个实施例的用于学习特定于解剖对象的运动模型的方法200。方法200可以由任何合适的计算设备（诸如例如，图4的计算机402）来执行。
16.在步骤202处，接收一个或多个特定解剖对象的第一训练图像和第二训练图像。第
一训练图像可以对应于表示为i0的运动图像，并且第二训练图像可以对应于表示为i1的固定图像。第一训练图像i0和第二训练图像i1描绘了由于例如呼吸运动或心脏运动而处于各种变形状态的相同的一个或多个特定解剖对象。在一个实施例中，第一训练图像i0和第二训练图像i1是在一时间段内获取的图像序列。该一个或多个解剖对象可以包括患者的任何解剖结构，诸如例如器官（例如，肺、心脏、肝、肾、膀胱等）、脉管、骨骼等。
17.在一个实施例中，第一训练图像i0和第二训练图像i1具有相同的模态。第一训练图像i0和第二训练图像i1可以具有任何合适的模态，诸如例如x射线、磁共振成像（mri）、计算机断层摄影（ct）、超声（us）、单光子发射计算机断层摄影（spect）、正电子发射断层摄影（pet）、或任何其他合适的模态或模态组合。第一训练图像i0和第二训练图像i1可以直接从用于获取这些图像的图像获取设备（例如，图4的图像获取设备414）来接收。替代地，第一训练图像i0和第二训练图像i1可以通过从计算机系统（例如，图片存档和通信系统pacs）的存储装置或存储器加载先前获取的图像、或者接收已经从远程计算机系统传输的图像来接收。应当理解的是，虽然关于第一训练图像i0和第二训练图像i1描述了方法200，但是可以使用任何多个训练图像来执行方法200。
18.在步骤204处，针对该一个或多个特定解剖对象中的相应特定解剖对象，在第一训练图像i0或第二训练图像i1中的一个中检测包括相应特定解剖对象的感兴趣区域。感兴趣区域可以经由来自用户（例如，临床医生）的输入来手动检测，或者使用任何合适的已知技术来自动检测。在一个实施例中，根据用于性能水平估计的选择性和迭代方法（simple）方法来从训练图像中分割相应特定解剖对象，并且感兴趣区域围绕所分割的相应特定解剖对象而居中。
19.在步骤206处，从第一训练图像和第二训练图像提取包括相应特定解剖对象的感兴趣区域。
20.在步骤208处，训练机器学习网络以基于从第一训练图像提取的感兴趣区域和从第二训练图像提取的感兴趣区域来对相应特定解剖对象的运动进行建模，以学习特定于相应特定解剖对象的运动模型。该机器学习网络可以是用于对解剖对象的运动进行建模的任何合适的机器学习。在一个实施例中，根据一个或多个实施例，该机器学习网络是变分自编码器（vae），诸如例如图3中所示的vae 300，以提供特定于相应特定解剖对象的概率运动模型。
21.vae 300包括编码器306和解码器 310。编码器 306是接收子图像 302和 304作为输入并且输出代码z
0 308的神经网络。子图像 302和 304分别是从第一训练图像i0和第二训练图像i1提取的感兴趣区域o。代码z
0 308是表示由编码器 306从第一训练图像i0和第二训练图像i1采样的多元高斯的均值和方差的低维向量。解码器 310是接收子图像 302和代码z
0 308作为输入并且输出速度v 312和变形场
ϕ 314的神经网络。速度v 312是vae 300的原始输出，并且是非微分同胚的（non-diffeomorphic）。速度v 312包括每个像素的速度值。变形场
ϕ 314通过指数运算来计算，并且表示子图像 302与 304之间的变形。通过使运动子图像 302的外观信息对解码器 310可用，变形场
ϕ 314更有可能编码变形信息而不是外观信息。如图3中所示，变形场
ϕ 314被应用于子图像 302以重建子图像 304。根据等式1来训练vae 300以优化代码z
0 308，从而最
佳地变换子图像 302以便与子图像 304对准。 （等式1）。
22.其中p(z0)是z0的先验分布，并且被假定遵循多元单位高斯分布。先验分布p(z0)指代由vae 300学习的分布，该分布表示相应特定解剖对象的所有可能运动的分布（如在训练集中观察到的那样）。
23.应当理解的是，方法200可以返回到步骤204，并且可以迭代地重复步骤204-208，以学习特定于该一个或多个特定解剖对象中的每个特定解剖对象的运动模型。
24.返回参考图1，在步骤104处，接收该一个或多个解剖对象的第一输入医学图像和第二输入医学图像。第一输入医学图像可以对应于运动图像m，并且第二输入医学图像可以对应于要配准的数据集的固定图像f。第一输入医学图像m和第二输入医学图像f描绘了由于例如呼吸运动或心脏运动而处于各种变形状态的相同的一个或多个解剖对象。在一个实施例中，第一输入医学图像m和第二输入医学图像f是在一时间段内获取的图像序列。第一输入医学图像m和第二输入医学图像f可以具有任何合适的模态。
25.第一输入医学图像m和第二输入医学图像f可以直接从用于获取这些图像的图像获取设备（例如，图4的图像获取设备414）来接收。替代地，第一输入医学图像m和第二输入医学图像f可以通过从计算机系统（例如，图片存档和通信系统pacs）的存储装置或存储器加载先前获取的图像、或者接收已经从远程计算机系统传输的图像来接收。
26.在步骤106处，针对每个相应解剖对象，在第一输入医学图像m或第二输入医学图像f中的一个中检测包括相应解剖对象的感兴趣区域o。感兴趣区域o可以经由来自用户（例如，临床医生）的输入来手动检测，或者使用任何合适的已知技术来自动检测。在一个实施例中，可以通过从第一输入医学图像m或第二输入医学图像f中分割相应解剖对象并且使感兴趣区域围绕所分割的相应解剖对象而居中，来自动地确定感兴趣区域，如上面关于图2中的方法200的步骤204所描述的那样。
27.在步骤108处，从第一输入医学图像和第二输入医学图像提取感兴趣区域。
28.在步骤110处，使用特定于相应解剖对象的运动模型（在步骤102处学习的）、根据从第一输入医学图像m提取的感兴趣区域和从第二输入医学图像f提取的感兴趣区域来确定相应解剖对象的运动分布。在其中运动模型是vae的一个实施例中，根据函数，将运动模型的经训练的编码器（例如，图3的编码器 306）应用于从第一输入医学图像m提取的感兴趣区域和从第二输入医学图像f提取的感兴趣区域，以确定相应解剖对象的运动分布z0。特别地，编码器接收从第一输入医学图像m提取的感兴趣区域以及如通过变形场修改的从第一输入医学图像m提取的感兴趣区域作为输入，并且输出运动分布z0。变形场表示第一输入医学图像m与第二输入医学图像f之间的全局运动。有利地，计算相同图像（例如，第一输入医学图像m）上的运动分布z0使得能够仅在模态之一上利用特定于相应解剖对象的运动模型的训练进行多模态配准。应当理解的是，运动分布z0可以取而代之根据通过反转所得到的运动分布z0来确定，其中是使用固定图像来训练的。
29.然后，通过在每次迭代时改变该网络的训练权重θ来最小化运动分布z0=与先验分布p(z0)之间的距离。最小化运动分布z0与先验分布p(z0)之间的距离确保了运动分布z0是相应解剖对象的可能运动。在一个实施例中，该距离是kullback-leibler散度。然而，可以应用其他距离度量，诸如例如最优传输损失、生成性对抗网络、对抗自编码器、或任何其他合适的距离度量。
30.方法100可以返回到步骤106，并且可以针对该一个或多个解剖对象中的每个相应解剖对象迭代地重复步骤106-110（例如，用于全身配准），从而确定该一个或多个解剖对象中的每个解剖对象的运动分布。
31.在步骤112处，基于该一个或多个解剖对象中的每个相应解剖对象的运动分布来配准第一输入医学图像和第二输入医学图像，以生成融合图像。
32.在一个实施例中，解剖对象特定的正则化项被确定为每个相应解剖对象的运动分布z0=与先验分布p(z0)之间的距离的总和，如等式2中所示： （等式2）其中o是相应解剖对象的感兴趣区域，是距离度量（例如，kullback-leibler散度），是从第一输入医学图像m提取的感兴趣区域o，是第一输入医学图像m与第二输入医学图像f之间的全局运动，并且p(z0)是先验分布。然后，根据等式3的损失函数来配准第一输入医学图像和第二输入医学图像： （等式3）其中是距离度量（例如，kullback-leibler散度），f是第二输入医学图像，m是第一输入医学图像，是该运动模型的散度场，是空间正则化项，是等式2中定义的该一个或多个解剖对象的正则化项，并且λ1和λ2分别是对和进行加权的参数。等式3的损失函数包括该一个或多个解剖对象的正则化项，并且因此可以用于补偿器官变形以训练机器学习网络来配准第一输入医学图像和第二输入医学图像，以生成融合图像。
33.在步骤114处，输出融合图像。例如，可以通过在计算机系统的显示设备上显示融合图像、将融合图像存储在计算机系统的存储器或存储装置上、或者通过将融合图像传输到远程计算机系统来输出融合图像。
34.有利地，本发明的实施例提供了用于医学图像配准的解剖对象特定的正则化项，以将配准过程聚焦于感兴趣区域上并且补偿感兴趣区域中的解剖对象的运动。由于本发明的某些实施例涉及检测输入医学图像中的一个中的边界框，所以本发明的实施例在计算上执行起来不像常规技术那样昂贵，常规技术需要对两个图像中的解剖对象进行分割。本发明的实施例允许以高准确性程度进行医学图像配准。
35.在一些实施例中，代替于先验分布p(z0)，可以使用平均后验分布。在学习了每个解剖对象的运动模型之后，可以提取平均后验分布。
36.本文中描述的系统、装置和方法可以使用数字电路或者使用一个或多个计算机来实现，该计算机使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或者耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移除磁盘、磁光盘、光盘等。
37.本文中描述的系统、装置和方法可以使用以客户端-服务器关系操作的计算机来实现。通常，在这种系统中，客户端计算机远离服务器计算机而定位，并且经由网络进行交互。客户端-服务器关系可以由在相应的客户端和服务器计算机上运行的计算机程序来定义和控制。
38.本文中描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这种基于网络的云计算系统中，连接到网络的服务器或另一个处理器经由网络与一个或多个客户端计算机通信。客户端计算机可以经由例如在客户端计算机上驻留和操作的网络浏览器应用与服务器进行通信。客户端计算机可以将数据存储在服务器上，并且经由网络来访问该数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传输到服务器。服务器可以执行所请求的服务，并且将数据提供给（一个或多个）客户端计算机。服务器还可以传输被适配成使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传输被适配成使客户端计算机执行本文中描述的方法和工作流程的一个或多个步骤或功能（包括图1-2的一个或多个步骤或功能）的请求。本文中描述的方法和工作流程的某些步骤或功能（包括图1-2的一个或多个步骤或功能）可以由服务器或者由基于网络的云计算系统中的另一个处理器来执行。本文中描述的方法和工作流程的某些步骤或功能（包括图1-2的一个或多个步骤）可以由基于网络的云计算系统中的客户端计算机来执行。本文中描述的方法和工作流程的步骤或功能（包括图1-2的一个或多个步骤）可以由服务器和/或由基于网络的云计算系统中的客户端计算机以任何组合的形式来执行。
39.本文中描述的系统、装置和方法可以使用有形地体现在信息载体中（例如，体现在非暂时性机器可读存储设备中）以供可编程处理器执行的计算机程序产品来实现；并且本文中描述的方法和工作流程步骤（包括图1-2的一个或多个步骤或功能）可以使用可由这种处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令，可以在计算机中直接或间接使用这些指令来执行某个活动或带来某个结果。计算机程序能够以任何形式的编程语言（包括编译或解译的语言）来编写，并且它能够以任何形式来部署，包括作为独立程序或作为模块、组件、子例程、或适合用于计算环境中的其他单元。
40.图4中描绘了可以被用来实现本文中描述的系统、装置和方法的示例计算机402的高级框图。计算机402包括可操作地耦合到数据存储设备412和存储器410的处理器404。处理器404通过执行定义了计算机402的总体操作的计算机程序指令来控制这种操作。计算机程序指令可以存储在数据存储设备412、或其他计算机可读介质中，并且在期望执行计算机程序指令时被加载到存储器410中。因此，图1-2的方法和工作流程步骤或功能可以由存储在存储器410和/或数据存储设备412中的计算机程序指令来定义，并且可以由执行计算机程序指令的处理器404来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程以执行图1-2的方法和工作流程步骤或功能的计算机可执行代码。因此，通过执行计算机程
序指令，处理器404执行图1-2的方法和工作流程步骤或功能。计算机402还可以包括一个或多个网络接口406以用于经由网络与其他设备通信。计算机402还可以包括使得用户能够与计算机402进行交互的一个或多个输入/输出设备408（例如，显示器、键盘、鼠标、扬声器、按钮等）。
41.处理器404可以包括通用微处理器和专用微处理器两者，并且可以是计算机402的唯一处理器或者多个处理器之一。例如，处理器404可以包括一个或多个中央处理单元（cpu）。处理器404、数据存储设备412和/或存储器410可以包括一个或多个专用集成电路（asic）和/或一个或多个现场可编程门阵列（fpga）、由其补充或者被并入其中。
42.数据存储设备412和存储器410均包括有形的非暂时性计算机可读存储介质。数据存储设备412和存储器410可以均包括高速随机存取存储器，诸如动态随机存取存储器（dram）、静态随机存取存储器（sram）、双倍数据速率同步动态随机存取存储器（ddr ram）、或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备（诸如，内部硬盘和可移除磁盘）、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备（诸如，可擦除可编程只读存储器（eprom）、电可擦除可编程只读存储器（eeprom）、紧凑盘只读存储器（cd-rom）、数字多功能盘只读存储器（dvd-rom）盘）或其他非易失性固态存储设备。
43.输入/输出设备408可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备408可以包括用于向用户显示信息的显示设备（诸如，阴极射线管（crt）或液晶显示器（lcd）监视器）、键盘以及诸如鼠标或轨迹球之类的指点设备，用户可以通过该指点设备向计算机402提供输入。
44.图像获取设备414可以连接到计算机402，以将图像数据（例如，医学图像）输入到计算机402。将图像获取设备414和计算机402实现为一个设备是可能的。图像获取设备414和计算机402通过网络进行无线通信也是可能的。在可能的实施例中，计算机402可以相对于图像获取设备414远程地定位。
45.可以使用一个或多个计算机（诸如，计算机402）来实现本文中讨论的任何或所有系统和装置。
46.本领域技术人员将认识到，实际计算机或计算机系统的实现方式可以具有其他结构，并且也可以包含其他组件，并且出于说明性目的，图4是这种计算机中的一些组件的高级表示。
47.前述具体实施方式应在每个方面被理解为是说明性和示例性的，而非限制性的，并且本文中公开的本发明的范围不是由该具体实施方式确定的，而是从根据专利法允许的全部范围（full breadth）所解释的权利要求来确定的。要理解的是，本文中所示出和描述的实施例仅仅说明了本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。