图像配准方法及其模型训练方法与流程

1.本发明涉及图像处理技术领域，更具体地涉及图像配准方法及其模型训练方法。


背景技术：

2.图像配准是图像融合、图像重建、图像与标准图谱的匹配、图像定量分析等研究的基础。图像配准通过寻找一种最优空间变换，使两个图像的对应点在给定相似性度量下达到空间位置和解剖位置的一致。通过图像配准计划可以充分利用不同时间、不同模态、不同序列的图像中所包含的多种信息，为后续的图像高级分析(例如，医学上的疗效评估、图像引导治疗、多序列图像分割、不同模态融合等)提供基础。图像配准根据变换方式的不同可分为刚性配准和非刚性配准。刚性配准是指图像中任意两点间的距离在变换前后保持不变，只发生了坐标轴的平移和旋转。刚性配准只适用于不存在形变或刚性体的配准，刚性配准在很多情况下不能满足临床的需求。因为很多形变的性质是非刚性的、非线性的，所以许多重要的临床应用需要非刚性变换来描述图像之间的空间关系。目前，传统的刚性配准方法和非刚性配准方法存在一些问题需要解决，例如：适用性差，一种方法或一组参数只适用于某一特定模态甚至是特定的数据集上；处理速度慢，由于传统的配准方法是采用迭代优化的方式搜寻最优参数的，这导致其处理速度相当慢，很难应用在实时化场景中；或者由于诸如局部极值而造成精度较差；等等。
3.举例来说，肺癌是全球最常见的恶性肿瘤之一，其发病率及死亡率均位于恶性肿瘤的第一位，是公认危害人类健康的杀手。免疫治疗是一种通过重塑肿瘤患者免疫系统以杀灭肿瘤细胞的治疗方法，由于它毒副作用小，疗效持久，因此在肺癌治疗过程中得到应用。另一方面，客观、精确地评估肿瘤治疗的疗效就具有重要的临床意义，而诸如ct和mr影像检查在其中发挥着重要作用。针对影像检查评估免疫治疗疗效，2017年recist工作组及其免疫治疗小组委员会发表了irecist标准。为了采用irecsit或者其他疗效评估标准精准定量地进行疗效评估，有效的图像配准方法是必不可少的环节。然而，受免疫治疗后影像数据的复杂特性以及肺部器官自发运动导致不规则形变的影响，现有的图像配准方法在精确地、高效地完成图像配准方面还有待提高。
4.因此，本领域中存在对改进的图像配准方法的需求。


技术实现要素：

5.在本发明的一个方面，提供了一种图像配准方法。该方法可以包括：获取参考图像和待配准的浮动图像；对所述参考图像和所述浮动图像执行图像预处理，所述图像预处理可以包括基于迭代最近点配准和互信息配准的刚性配准；对经预处理的所述参考图像和经预处理的所述浮动图像执行非刚性配准，以获得配准结果图像；以及输出所述配准结果图像。
6.在本发明的另一个方面，提供了一种用于图像的基于迭代最近点配准和互信息配准的刚性配准方法。该方法可以包括：利用迭代最近点配准对参考图像和待配准的浮动图
像进行关于轮廓点数据集的粗配准，从而获得第一变换参数；基于所述第一变换参数，利用互信息配准来优化所述参考图像和所述浮动图像之间的配准，从而获得第二变换参数；以及基于所述第二变换参数对所述参考图像与所述浮动图像进行配准。
7.在本发明的又一个方面，提供了一种训练用于图像的非刚性配准模型的方法。该方法可以包括：通过将经预处理的参考图像和经预处理的浮动图像输入到u-net中，获得空间变换参数；通过将所述空间变换参数输入到空间变换网络中，对所述经预处理的浮动图像进行空间变换和插值操作，从而获得配准结果图像；使用损失函数计算所述参考图像与所述配准结果图像之间的损失函数值，其中所述损失函数可以包括所述参考图像与所述配准结果图像之间的相关系数和均方误差二者；以及重复前述步骤，直至所述非刚性配准模型收敛或达到预定迭代训练次数。
8.在本发明的又一个方面，提供了一种计算机可读介质，其上具有指令，所述指令在被处理器执行时可以使得所述处理器执行如上所述任一种方法的步骤。
9.在本发明的又一个方面，提供了一种图像配准设备，该图像配准设备可以包括用于实现如上所述任一种方法的步骤的装置。
10.在本发明的又一个方面，提供了一种用于图像配准的系统。该系统可以包括：医学成像设备，所述医学成像设备用于进行成像扫描以生成医学图像；存储设备，所述存储设备用于存储所述医学图像；以及医学成像工作站或医学图像云平台分析系统，所述医学成像工作站或医学图像云平台分析系统可以通信地连接至所述存储设备并且包括处理器，所述处理器可以用于执行如上所述任一种方法的步骤。
11.通过下面参考附图进行的详细描述，本发明的这些以及其他的特征和方面会变得更加清楚。
附图说明
12.为了能够详细地理解本发明，可参考实施例得出上文所简要概述的本发明的更具体的描述，一些实施例在附图中示出，为了促进理解，已尽可能使用相同附图标记来标示各图所共有的相同要素。然而，应当注意，附图仅仅示出本发明的典型实施例，并且因此不应视为限制本发明的范围，因为本发明可允许其他等效实施例，在附图中：
13.图1示意性地示出了根据本发明的实施例的图像配准方法的示例性流程图。
14.图2示意性地示出了根据本发明的实施例的用于图像的基于迭代最近点配准和互信息配准的刚性配准方法的示例性流程图。
15.图3示意性地示出了根据本发明的实施例的训练用于图像的非刚性配准模型的方法的示例性流程图。
16.图4a和4b分别示意性地示出了根据本发明的一个实施例的执行图像配准之前和之后的示例性融合效果。
17.图5a和5b分别示意性地示出了根据本发明的另一个实施例的执行图像配准之前和之后的示例性融合效果。
18.图6示意性地示出了根据本发明的实施例的执行图像配准方法的电子设备的示例。
19.图7示意性地示出了根据本发明的实施例的图像配准设备的示例性框图。
20.图8示意性地示出了根据本发明的实施例的用于图像配准的系统的示例性框图。
21.可以预期的是，本发明的一个实施例中的要素可有利地适用于其他实施例而无需赘述。
具体实施方式
22.以下将描述本发明的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是，在任意一种实施方式的实际实施过程中，正如在任意一个工程项目或者设计项目的过程中，为了实现开发者的具体目标，为了满足系统相关的或者商业相关的限制，常常会做出各种各样的具体决策，而这也会从一种实施方式到另一种实施方式之间发生改变。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明的内容不充分。
23.除非另作定义，权利要求书和说明书中使用的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“一个”或者“一”等类似词语并不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同元件，并不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，也不限于是直接的还是间接的连接。
24.本文中所描述的图像可以是各种对象的图像，包括但不限于人类患者和动物的解剖结构(诸如肺部、胸部等)、物件(诸如零部件等)、或存在于体内的各种外来物(诸如牙植入体、支架、造影剂等)的图像。此外，本文中所描述的图像可以是各种模态的图像，包括但不限于由计算机断层扫描(ct)设备、磁共振成像(mri)设备、c形臂成像设备、正电子发射断层扫描(pet)设备、单光子发射计算机断层扫描(spect)设备、或其他任何合适的成像设备生成的图像。本发明的实施例可以在不同时间、不同模态、或不同序列的图像之间实现精确、高效且适用性强的图像配准。
25.在本发明的实施例中，图像的“轮廓点数据集”是指图像中目标对象(诸如，肺部器官)的外部轮廓上的所有像素的数据集合。本文中所使用的术语“迭代最近点配准”是指基于迭代最近点算法的图像配准，而“互信息配准”是指基于互信息算法的图像配准。
26.现在参考图1，图1示出了根据本发明的实施例的示例性图像配准方法100的流程图。图像配准方法100开始于步骤120。在步骤120中，可以获取参考图像和待配准的浮动图像。在本发明的各种实施例中，参考图像可以是从所获取的对象的各种图像(诸如，不同时期的、不同模态的、不同序列的图像)中选择来作为图像配准的基准的图像。举例而言，在对不同时期扫描的同一患者的ct图像进行配准时，通常选择第一次扫描的图像作为参考图像。
27.接着，在步骤140中，图像配准方法100可以对所获取的参考图像和浮动图像执行
图像预处理。在一个实施例中，对参考图像和浮动图像的预处理可被同时地执行。本文中所描述的图像预处理对参考图像和浮动图像而言在诸如操作步骤、操作参数等方面是一个一致的预处理过程，例如采用相同的像素间距、相同的归一化公式等，因此可以减轻或消除由于图像数据的复杂特性(诸如对经过免疫治疗的患者或其他对象进行医学成像扫描所获得的医学图像)或者由不同设备采集的图像质量不同而导致的配准不佳，从而提高了本文中所描述的图像配准方法的适用性。
28.图像预处理140可包括对参考图像和浮动图像执行刚性配准146。刚性配准典型地可以包括基于迭代最近点(icp)的刚性配准和基于互信息(mi)的刚性配准。传统的基于迭代最近点的刚性配准只对参考图像和浮动图像的轮廓点数据集进行匹配，计算的数据量较小，因此配准速度较快，但配准的精度相对较差。而传统的基于互信息的刚性配准通过多次迭代搜索来寻找最优的变换参数，在搜索计算的过程中需要反复计算参考图像和浮动图像的联合分布，因此虽然配准精度较高，但存在配准耗时、容易陷入局部极值的问题。本文中所描述的基于迭代最近点和互信息的刚性配准方法将迭代最近点配准所输出的变换参数用作互信息配准的初始值从而将二者结合起来实现图像的由粗到精的刚性配准。将通过迭代最近点配准获得的变换参数作为互信息搜索的初始值，这可以大幅度地缩小全局最优变换参数的搜索范围，从而避免陷入局部极值，达到提升配准精度的目的；另一方面，以这种方式，还可以减少搜索次数，从而达到提升配准速度的目的。下面参考图2更详细地描述根据本发明实施例的结合基于迭代最近点的配准和基于互信息的配准的用于图像的示例性刚性配准方法200。
29.用于图像的基于迭代最近点和互信息的刚性配准方法200开始于步骤230。在该步骤中，刚性配准方法200可以利用迭代最近点配准对参考图像和待配准的浮动图像进行关于轮廓点数据集的粗配准，从而获得第一变换参数，如图2中的框230所示。
30.在一些实施例中，参考图像和浮动图像各自的轮廓点数据集可以通过移动立方体(mc)法来提取。在一些实施例中，第一变换参数可以是三维变换参数。在三维的实施例中，第一变换参数可以包括x轴方向上的平移像素量、y轴方向上的平移像素量、z轴方向上的平移像素量、轴向面(xy平面)上的中心旋转角度、矢状面(xz平面)上的中心旋转角度、以及冠状面(yz平面)上的中心旋转角度。在另一些实施例中，第一变换参数可以是二维变换参数。在二维的实施例中，第一变换参数可以包括x轴方向上的平移像素量、y轴方向上的平移像素量、以及xy平面上的中心旋转角度。
31.在本发明的实施例中，在迭代最近点配准之后，如图2中的框250所示，刚性配准方法200可以基于第一变换参数，利用互信息配准来优化参考图像和浮动图像之间的配准，从而获得第二变换参数。
32.具体而言，在实施例中，可以先将所获得的第一变换参数作为互信息配准的初始值，对浮动图像进行空间变换。对浮动图像执行的空间变换可以使得浮动图像与参考图像的整体轮廓对齐。在一个示例中，该空间变换可以包括对浮动图像的平移操作和/或旋转操作。平移操作可包括浮动图像在x、y和/或z轴方向上的平移操作。旋转操作可包括浮动图像在轴向面(xy平面)、矢状面(xz平面)和/或冠状面(yz平面)上的旋转操作。
33.在空间变换之后，浮动图像可以接着被执行插值操作。在一个实施例中，对浮动图像执行的插值操作可以例如是最近邻插值、部分体积(pv)插值、线性插值、b样条插值、双线
性插值、和/或双三次插值。
34.然后，互信息配准可以进一步计算所得的插值结果与参考图像之间的互信息值，从而获得与该互信息值对应的第二变换参数。类似于第一变换参数，在一些实施例中，第二变换参数也可以是三维变换参数。在三维的实施例中，第二变换参数可以包括x轴方向上的平移像素量、y轴方向上的平移像素量、z轴方向上的平移像素量、轴向面(xy平面)上的中心旋转角度、矢状面(xz平面)上的中心旋转角度、以及冠状面(yz平面)上的中心旋转角度。在另一些实施例中，第二变换参数可以是二维变换参数。在二维的实施例中，第二变换参数可以包括x轴方向上的平移像素量、y轴方向上的平移像素量、以及xy平面上的中心旋转角度。
35.在执行互信息配准之后，刚性配准方法200可以基于所获得的第二变换参数对参考图像与浮动图像进行配准，如图2中的框270所示。
36.在本发明的优选实施例中，基于迭代最近点配准和互信息配准的刚性配准方法200可以在执行互信息配准之后先判定所计算出的互信息值是否收敛、或者迭代最近点配准和互信息配准的执行是否达到预定的重复次数。本文中提及的“互信息值收敛”是指迭代最近点配准和互信息配准的本次执行计算出的互信息值与前一次执行计算出的互信息值之间的差小于等于预定阈值。该预定阈值可以是例如0.001。另外，在实施例中，预定的重复次数可以在400次至800次的范围内，例如，450次、500次、550次、600次、650次、700次、750次，等等。
37.如果该判定的结果为“否”，则刚性配准方法200可以通过随机梯度下降返回到步骤230处。如果该判定的结果为“是”，则刚性配准方法200可以将第二变换参数输出，以执行步骤270。
38.现在返回参考图1，图像配准方法100的图像预处理步骤140可任选地(因此以虚线框示出)包括在对参考图像和浮动图像执行基于迭代最近点配准和互信息配准的刚性配准146之前对二者执行重采样142和/或归一化144操作。
39.重采样142可使得参考图像和浮动图像的像素间距相同。在一个实施例中，可通过重采样142将参考图像和浮动图像的像素间距重采样至1*1*1。在一个实施例中，重采样142可采用例如最近邻插值、部分体积(pv)插值、线性插值、b样条插值、双线性插值、和/或双三次插值。
40.归一化144可消除奇异像素的不良影响。归一化后，图像的像素值可落入均值为0、方差为1的标准正太分布中。在一个实施例中，对参考图像和浮动图像二者的归一化144均可基于以下公式(1)来进行：其中，x
norm
为归一化后的像素值，x为原始像素值，并且x
min
和x
max
分别为原始图像中的像素最小值和像素最大值。
41.如图1中所示，在刚性配准146之后，图像预处理步骤140可任选地进一步包括对参考图像和经刚性配准的浮动图像的自适应裁剪148。自适应裁剪148可以减少图像的边缘背景信息的干扰，从而提高图像配准的精度。此外，由于刚性配准可以将参考图像和浮动图像的整体轮廓对齐，因此在刚性配准之后进行自适应裁剪可以去除参考图像和浮动图像共同
的边缘部分。如果在刚性配准之前进行裁剪，则可能会裁剪掉图像的非边缘部分。
42.在一个实施例中，针对诸如解剖解构(例如，肺部、胸部、腹部等)之类的对象的图像，自适应裁剪148可通过半自动或自动的分割方法定位参考图像和经刚性配准的浮动图像中的目标对象的轮廓。该半自动或自动的分割方法可以是基于深度学习的分割方法。接着，可以对目标对象的轮廓执行开运算，以去除孤立点。在开运算之后，可以计算目标对象的轮廓的最小包围盒。在三维图像的示例中，该最小包围盒可以是三维包围盒，例如最小立方体包围盒。
43.然后，可以自动地将该最小包围盒扩充至期望的尺寸，从而基于该期望的尺寸获得经裁剪的参考图像和浮动图像。该期望的尺寸使得经裁剪的参考图像和浮动图像可以适于输入到非刚性配准模型中。这是因为非刚性配准模型对输入图像有尺寸上的要求而最小包围盒的尺寸可能并不符合这种要求，所以通常不能将最小包围盒直接输入到非刚性配准模型中。举例而言，在u-net包含4个卷积下采样层的示例性非刚性配准模型中，每经过一层卷积，图像的尺寸可被缩小至原来的一半。因此，如果不将最小包围盒的每一个维度的尺寸扩充至24(即，16)的倍数，就无法将经裁剪的参考图像和浮动图像输入到u-net中。在该示例中，最小包围盒的每一个维度优选地可被分别扩充至第一个到达的16的倍数值。例如，一个示例性的最小包围盒为278像素*273像素*236像素，其期望的尺寸可以是288像素*288像素*240像素。在其他实施例中，例如，当u-net包含2个卷积层时，可以将最小包围盒的每一个维度的尺寸扩充至22(即，4)的倍数；再例如，当u-net包含8个卷积层时，可以将最小包围盒的每一个维度的尺寸扩充至28(即，256)的倍数。
44.在图像预处理140之后，图像配准方法100可以在步骤160中对经预处理的参考图像和浮动图像执行非刚性配准。图像的刚性配准可以实现坐标对齐，而非刚性配准可以解决形变问题。在一些实施例中，非刚性配准160采用基于深度学习的u-net和空间变换网络(stn)无监督模型。具体而言，非刚性配准160可通过将经预处理的参考图像和经预处理的浮动图像输入到u-net中而获得空间变换参数，并且接着，可以通过将所获得的空间变换参数输入到空间变换网络(stn)中而对经预处理的浮动图像进行空间变换和插值操作，从而获得配准结果图像。该空间变换参数亦可称为形变场。刚性配准160过程中的空间变换可以实现参考图像与浮动图像之间的精配准。在一个实施例中，该空间变换可以包括对经预处理的浮动图像的平移操作。该平移操作可包括浮动图像的各个像素在x、y和/或z轴方向上的平移操作。在一个实施例中，对经预处理的浮动图像执行的插值操作可以例如是双线性插值。
45.在本发明的实施例中，可以在执行非刚性配准160之前对非刚性配准过程所采用的模型进行训练。下面参考图3更详细地描述根据本发明的实施例的训练用于图像的非刚性配准模型的示例性方法300。
46.模型训练方法300开始于步骤310。在步骤310中，可以通过将经预处理的参考图像和经预处理的浮动图像输入到u-net中，获得空间变换参数。接着，在步骤330中，可以通过将所获得的空间变换参数输入到空间变换网络(stn)中，对经预处理的浮动图像进行空间变换和插值操作，从而获得配准结果图像。在一个实施例中，该空间变换可以包括对经预处理的浮动图像的平移操作。该平移操作可包括浮动图像的各个像素在x、y和/或z轴方向上的平移操作。在一个实施例中，对经预处理的浮动图像执行的插值操作可以例如是双线性
插值。
47.然后，在步骤350中，可以使用损失函数来计算所获得的配准结果图像与参考图像之间的损失函数值。本文中所使用的损失函数基于图像之间线性相关的变化。在损失函数只包括参考图像与配准结果图像之间的相关系数(correlation coefficient)的情况下，训练完成的模型对形变较大的图像的配准结果难以达到令人满意的程度。发明人发现，这种不足可以通过参考图像与配准结果图像之间的均方误差而得以有效地弥补。因此，本发明的损失函数包括参考图像与配准结果图像之间的相关系数和均方误差二者，使得在非刚性配准模型的训练过程中可以更好地衡量所输出的配准结果和参考图像之间的差异，从而提升非刚性配准模型的性能。在一个实施例中，损失函数可由以下公式(2)来进行表示：其中，l表示损失函数，α为参考图像和配准结果图像之间的相关系数(correlation coefficient)的系数，β为参考图像和配准结果图像之间的均方误差的系数，n为参考图像和配准结果图像的像素的个数，f
i
、t
i
分别为参考图像和配准结果图像的第i个像素的值，并且f’、t’分别为参考图像和配准结果图像的平均像素值。在实施例中，可以根据需要设置α和β的值。例如，在一个示例中，可以将α设置为0.7，而将β设置为0.3。
48.在计算损失函数值之后，训练方法300可以在步骤370中判定非刚性配准模型是否收敛或者是否达到预定迭代训练次数。在本发明中，当本次迭代计算出的损失函数值与前一次迭代计算出的损失函数值之间的差小于等于预定阈值时，可以认为模型已“收敛”。模型已收敛说明模型对参考图像和浮动图像之间的非线性映射关系已经进行了所期望的学习，以供对参考图像和浮动图像进行非刚性配准。
49.如果框370的判定结果为“否”，则训练方法300可以返回到步骤310处。如果框370的判定结果为“是”，则可以结束训练，并保存模型参数以供图像配准过程中的非刚性配准过程使用。在实施例中，模型参数可以包括u-net中的卷积层的各个卷积核的值。
50.再次返回参考图1，在步骤180中，图像配准方法100可以输出经刚性配准和非刚性配准而获得的配准结果图像。
51.本发明的方法的执行不应受限于上面描述的顺序。相反，可以使本发明的方法的一些步骤按不同的顺序执行或同时执行，或者在一些实施例中可以不执行某些步骤。另外，本发明的方法的任何步骤可以用模块、单元、电路或用于执行这些步骤的任何其他合适手段来执行。
52.图4a和图5a示出了两组测试图像在执行本文中所描述的图像配准方法之前的图像融合效果。图4b和图5b示出了该两组测试图像在执行本文中所描述的图像配准方法之后的图像融合效果。可以看出，通过使用本发明的图像配准方法，图像之间的配准精度能够得到显著的提高。
53.此外，下表示出了本发明的图像配准方法与传统非刚性配准方法demons在互信息、均方误差值(mean squared error，mse)以及配准时间等评价指标上的对比。其中，互信
息的值越大和/或均方误差的值越小表示配准的效果越好。另外，配准时间越短，则表示配准效率越高。
54.图6示出根据本发明的实施例的执行图像配准方法的电子设备600的示例。电子设备600包括：一个或多个处理器620；存储装置610，用于存储一个或多个程序，当该一个或多个程序被一个或多个处理器620执行，使得一个或多个处理器620实现本文中描述的方法。处理器诸如例如，数字信号处理器(dsp)、微控制器、专用集成电路(asic)或微处理器。
55.图6所示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
56.如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：一个或者多个处理器620，存储装置610，连接不同系统组件(包括存储装置610和处理器620)的总线650。
57.总线650表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外国总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外国组件互连(pci)总线。
58.电子设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
59.存储装置610可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)611和/或高速缓存存储器66。电子设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统613可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如"软盘")读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom，dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线650相连。存储装置610可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
60.具有一组(至少一个)程序模块615的程序/实用工具614，可以存储在例如存储装置610中，这样的程序模块615包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块615通常执行本发明所描述的任意实施例中的功能和/或方法。
61.电子设备600也可以与一个或多个外部设备660(例如键盘、指向设备、显示器670等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得
该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口630进行。并且，电子设备600还可以通过网络适配器640与一个或者多个网络(例如局域网(lan)、广域网(wan)和/或公共网络，例如因特网)通信。如图6所示，网络适配器640通过总线650与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
62.处理器620通过运行存储在存储装置610中的程序，从而执行各种功能应用以及数据处理。
63.图7示意性地示出了根据本发明的实施例的示例性图像配准设备700的框图。图像配准设备700包括获取装置720、刚性配准装置746、非刚性配准装置760以及输出装置780。获取装置720可用于获取参考图像和待配准的浮动图像。刚性配准装置746可用于执行本文中所述的用于图像的基于迭代最近点配准和互信息配准的刚性配准方法。非刚性配准装置760可用于对经预处理的参考图像和经预处理的浮动图像执行非刚性配准，以获得配准结果图像。输出装置780可用于输出所获得的配准结果图像。
64.在一个实施例中，图像配准设备700可任选地(因此以虚线框示出)包括重采样装置742和归一化装置744。重采样装置742可用于对参考图像和浮动图像进行重采样，以使得参考图像和浮动图像的像素间距相同。归一化装置744可用于对参考图像和浮动图像进行归一化。在一个实施例中，图像配准设备700还可任选地包括自适应裁剪装置748。自适应裁剪装置748可用于对参考图像和经刚性配准的浮动图像进行自适应裁剪。
65.参考图7，刚性配准装置746可进一步包括迭代最近点配准模块、互信息配准模块、图像配准模块、以及任选的提取模块和迭代模块。迭代最近点配准模块可用于利用迭代最近点配准对参考图像和待配准的浮动图像进行关于轮廓点数据集的粗配准，从而获得第一变换参数。互信息配准模块可用于基于所获得的第一变换参数，利用互信息配准来优化参考图像和浮动图像之间的配准，从而获得第二变换参数。图像配准模块可用于基于所获得的第二变换参数对参考图像与浮动图像进行配准。提取模块可用于提取参考图像和待配准的浮动图像各自的轮廓点数据集。迭代模块可用于通过随机梯度下降，重复执行迭代最近点配准模块和互信息配准模块的操作，直至计算出的互信息值收敛或达到预定的重复次数。
66.此外，非刚性配准装置760可进一步包括u-net模块、stn模块、损失函数值计算模块以及迭代模块。u-net模块可用于通过将经预处理的参考图像和经预处理的浮动图像输入到u-net中而获得空间变换参数。stn模块可用于通过将所获得的空间变换参数输入到空间变换网络(stn)中而对经预处理的浮动图像进行空间变换和插值操作，从而获得配准结果图像。损失函数值计算模块可用于使用损失函数计算所获得的配准结果图像与参考图像之间的损失函数值。迭代模块可用于在训练非刚性配准模型时重复非刚性配准的各个操作，直至该非刚性配准模型收敛或达到预定迭代训练次数。
67.根据本发明的实施例，还提供一种计算机可读介质，其上具有指令，所述指令在被处理器执行时使得处理器执行本发明的方法的步骤。该计算机可读介质可以包括但不限于通过机器或设备制造或形成的物品的非瞬态的有形安排，其包括存储介质，诸如：硬盘；任
何其他类型的盘，包括软盘、光盘、只读光盘存储器(cd-rom)、可读写光盘存储器(cd-rw)以及磁光盘；半导体器件，诸如只读存储器(rom)、诸如动态随机存取存储器(dram)和静态随机存取存储器(sram)之类的随机存取存储器(ram)、可擦除可编程只读存储器(eprom)、闪存、电可擦除可编程只读存储器(eeprom)；相变存储器(pcm)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。该计算机可读介质可以安装在ct设备中，也可以安装在远程操控ct设备的单独的控制设备或计算机中。
68.图8示出了根据本发明的实施例的用于图像配准的示例性系统800的框图。参考图8，系统800可以包括用于进行成像扫描以生成医学图像的医学成像设备801、用于存储医学图像的存储设备802、以及通信地连接至存储设备802并且包括处理器805的医学成像工作站803或医学图像云平台分析系统804。处理器805可以用于执行本文中所描述的各种方法。
69.医学成像设备801可以是ct设备、mri设备、c形臂成像设备、pet设备、spect设备、或其他任何合适的成像设备。存储设备802可以位于医学成像设备801内、医学成像设备801外部的服务器内、独立的医学影像存储系统(诸如，pacs)内和/或远程的云存储系统内。医学成像工作站803可以设置在医学成像设备801本地，而医学图像云平台分析系统804可以远离医学成像设备801定位，例如设置在与医学成像设备801通信的云端处。作为示例，在医疗机构利用医学成像设备801完成成像扫描之后，扫描得到的数据被存储在存储设备802内；医学成像工作站803可以直接读取扫描得到的数据，并且通过其处理器使用本发明的方法进行图像配准。作为另一个示例，医学图像云平台分析系统804可以通过远程通信读取存储设备802内的医学图像，以提供“软件即服务(saas)”。saas可以存在于医院与医院之间、医院与影像中心之间，也可以存在于医院与第三方在线诊疗服务商之间。
70.本发明中所描述的技术可至少部分地以硬件、软件、固件或其任何组合来实现。例如，可在一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、或任何其他等效的集成或分立逻辑电路、以及体现在编程器(诸如，医师或患者编程器、刺激器、或其他设备)中的此类部件的任何组合内实现所述技术的各方面。术语“处理器”、“处理电路”、“控制器”或“控制模块”通常可以指任何上述逻辑电路(单独或与其他逻辑电路组合)，或任何其他等效电路(并且单独或与其他数字或模拟电路组合)。
71.示例性实施例
72.示例1是一种图像配准方法。该方法可以包括：获取参考图像和待配准的浮动图像；对所述参考图像和所述浮动图像执行图像预处理，所述图像预处理可以包括基于迭代最近点配准和互信息配准的刚性配准；对经预处理的所述参考图像和经预处理的所述浮动图像执行非刚性配准，以获得配准结果图像；以及输出所述配准结果图像。
73.示例2包括如示例1所限定的方法，其中，所述基于迭代最近点配准和互信息配准的刚性配准可以进一步包括：利用迭代最近点配准对所述参考图像和所述浮动图像进行关于轮廓点数据集的粗配准，从而获得第一变换参数；基于所述第一变换参数，利用互信息配准来优化所述参考图像和所述浮动图像之间的配准，从而获得第二变换参数；以及基于所述第二变换参数对所述参考图像与所述浮动图像进行配准。
74.示例3包括如示例2所限定的方法，其中，可以通过移动立方体法来提取所述参考图像和所述浮动图像中的每一者的轮廓点数据集。
75.示例4包括如示例2或3所限定的方法，其中，所述互信息配准可以进一步包括：以
所述第一变换参数为所述互信息配准的初始值而对所述浮动图像进行空间变换；对空间变换后的所述浮动图像进行插值操作；以及计算所得的插值结果与所述参考图像之间的互信息值，从而获得与所述互信息值对应的所述第二变换参数。
76.示例5包括如示例4所限定的方法，其中，所述空间变换可以包括所述浮动图像在x轴方向上的平移操作、在y轴方向上的平移操作、在z轴方向上的平移操作、在轴向面上的旋转操作、在矢状面上的旋转操作、以及在冠状面上的旋转操作中的一个或多个。
77.示例6包括如示例4所限定的方法，其中，所述插值操作可以包括最近邻插值、部分体积插值、线性插值、b样条插值、双线性插值、以及双三次插值中的一个或多个。
78.示例7包括如示例4所限定的方法，其中，所述优化可以进一步包括：通过随机梯度下降，重复所述迭代最近点配准和所述互信息配准，直至所述互信息值收敛或达到预定的重复次数。
79.示例8包括如示例2至7中任一示例所限定的方法，其中，所述第一变换参数和所述第二变换参数中的每一个可以包括：x轴方向上的平移像素量、y轴方向上的平移像素量、z轴方向上的平移像素量、轴向面上的中心旋转角度、矢状面上的中心旋转角度、以及冠状面上的中心旋转角度；或者x轴方向上的平移像素量、y轴方向上的平移像素量、以及xy平面上的中心旋转角度。
80.示例9包括如示例1至8中任一示例所限定的方法，其中，所述图像预处理可以进一步包括：在执行所述基于迭代最近点配准和互信息配准的刚性配准之前对所述参考图像和所述浮动图像进行重采样，使得所述参考图像和所述浮动图像的像素间距相同。
81.示例10包括如示例1至9中任一示例所限定的方法，其中，所述图像预处理可以进一步包括：在执行所述基于迭代最近点配准和互信息配准的刚性配准之前利用相同的归一化公式对所述参考图像和所述浮动图像进行归一化。
82.示例11包括如示例1至10中任一示例所限定的方法，其中，所述图像预处理可以进一步包括：在执行所述基于迭代最近点配准和互信息配准的刚性配准之后对所述参考图像和所述浮动图像进行自适应裁剪。
83.示例12包括如示例11所限定的方法，其中，所述自适应裁剪可以进一步包括：通过半自动或自动的分割方法来定位所述参考图像和经刚性配准的所述浮动图像中的目标对象的轮廓；对所述轮廓执行开运算，以去除孤立点；计算开运算后的轮廓的最小包围盒；以及自动地将所述最小包围盒扩充至期望的尺寸，从而基于所述期望的尺寸获得经裁剪的参考图像和浮动图像，其中所述期望的尺寸可以使得所述经裁剪的参考图像和浮动图像适于输入到用于执行所述非刚性配准的模型中。
84.示例13包括如示例1至12中任一示例所限定的方法，其中，可以同时对所述参考图像和所述浮动图像执行所述图像预处理。
85.示例14包括如示例1至13中任一示例所限定的方法，其中，所述非刚性配准可以进一步包括：通过将经预处理的所述参考图像和经预处理的所述浮动图像输入到u-net中，获得空间变换参数；以及通过将所述空间变换参数输入到空间变换网络中，对所述经预处理的浮动图像进行空间变换和插值操作，从而获得所述配准结果图像。
86.示例15包括如示例14所限定的方法，其中，所述空间变换可以包括所述浮动图像的各个像素在x、y和/或z轴方向上的平移操作。
87.示例16包括如示例14或15所限定的方法，其中，所述插值操作可以是双线性插值。
88.示例17是一种用于图像的基于迭代最近点配准和互信息配准的刚性配准方法。该方法可以包括：利用迭代最近点配准对参考图像和待配准的浮动图像进行关于轮廓点数据集的粗配准，从而获得第一变换参数；基于所述第一变换参数，利用互信息配准来优化所述参考图像和所述浮动图像之间的配准，从而获得第二变换参数；以及基于所述第二变换参数对所述参考图像与所述浮动图像进行配准。
89.示例18包括如示例17所限定的方法，其中，可以通过移动立方体法来提取所述参考图像和所述浮动图像中的每一者的轮廓点数据集。
90.示例19包括如示例17或18所限定的方法，其中，所述互信息配准可以进一步包括：以所述第一变换参数为所述互信息配准的初始值而对所述浮动图像进行空间变换；对空间变换后的所述浮动图像进行插值操作；以及计算所得的插值结果与所述参考图像之间的互信息值，从而获得与所述互信息值对应的所述第二变换参数。
91.示例20包括如示例19所限定的方法，其中，所述空间变换可以包括所述浮动图像在x轴方向上的平移操作、在y轴方向上的平移操作、在z轴方向上的平移操作、在轴向面上的旋转操作、在矢状面上的旋转操作、以及在冠状面上的旋转操作中的一个或多个。
92.示例21包括如示例19所限定的方法，其中，所述插值操作可以包括最近邻插值、部分体积插值、线性插值、b样条插值、双线性插值、以及双三次插值中的一个或多个。
93.示例22包括如示例19所限定的方法，其中，所述优化可以进一步包括：通过随机梯度下降，重复所述迭代最近点配准和所述互信息配准，直至所述互信息值收敛或达到预定的重复次数。
94.示例23包括如示例17至22中任一示例所限定的方法，其中，所述第一变换参数和所述第二变换参数中的每一个可以包括：x轴方向上的平移像素量、y轴方向上的平移像素量、z轴方向上的平移像素量、轴向面上的中心旋转角度、矢状面上的中心旋转角度、以及冠状面上的中心旋转角度；或者x轴方向上的平移像素量、y轴方向上的平移像素量、以及xy平面上的中心旋转角度。
95.示例24包括如示例17至23中任一示例所限定的方法，其中，可以在所述迭代最近点配准之前对所述参考图像和所述浮动图像进行重采样，使得所述参考图像和所述浮动图像的像素间距相同。
96.示例25包括如示例17至24中任一示例所限定的方法，其中，可以在所述迭代最近点配准之前利用相同的归一化公式对所述参考图像和所述浮动图像进行归一化。
97.示例26是一种训练用于图像的非刚性配准模型的方法。该方法可以包括：(a)通过将经预处理的参考图像和经预处理的浮动图像输入到u-net中，获得空间变换参数；(b)通过将所述空间变换参数输入到空间变换网络中，对所述经预处理的浮动图像进行空间变换和插值操作，从而获得配准结果图像；(c)使用损失函数计算所述参考图像与所述配准结果图像之间的损失函数值，其中所述损失函数可以包括所述参考图像与所述配准结果图像之间的相关系数和均方误差二者；以及(d)重复步骤(a)-(c)，直至所述非刚性配准模型收敛或达到预定迭代训练次数。
98.示例27包括如示例26所限定的方法，其中，所述空间变换可以包括所述浮动图像的各个像素在x、y和/或z轴方向上的平移操作。
99.示例28包括如示例26或27所限定的方法，其中，所述插值操作可以是双线性插值。
100.示例29是一种计算机可读介质，其上具有指令，所述指令在被处理器执行时可以使得所述处理器执行如上所述任一种方法的步骤。
101.示例30是一种图像配准设备，该图像配准设备可以包括用于实现如上所述任一种方法的步骤的装置。
102.示例31是一种用于图像配准的系统。该系统可以包括：医学成像设备，所述医学成像设备用于进行成像扫描以生成医学图像；存储设备，所述存储设备用于存储所述医学图像；以及医学成像工作站或医学图像云平台分析系统，所述医学成像工作站或医学图像云平台分析系统可以通信地连接至所述存储设备并且包括处理器，所述处理器可以用于执行如上所述任一种方法的步骤。
103.上面已经描述了本发明的一些示例性实施例。然而，应该理解的是，在不脱离本发明精神和范围的情况下，还可以对上述示例性实施例做出各种修改。例如，如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同方式被组合和/或被另外的组件或其等同物替代或补充，也可以实现合适的结果，那么相应地，这些修改后的其它实施方式也落入权利要求书的保护范围内。