乳腺图像配准方法、计算机设备和存储介质与流程

1.本技术涉及图像配准技术领域，特别是涉及一种乳腺图像配准方法、计算机设备和存储介质。


背景技术：

2.在乳腺动态增强磁共振成像(dce
‑
mri)扫描过程中，在对比剂注射前、中、后期分别对乳腺成像，可以得到多层面多时相的扫描图像。通常，由于对比剂随时间的扩散，同一层面不同时相的乳腺dce
‑
mri图像之间存在灰度差异，而这种差异在病灶区域最为明显，会造成组织病灶诊断的不准确；另外，乳腺dce
‑
mri扫描过程持续2～3分钟，病人的呼吸运动会引起乳腺组织的形变位移，导致同一层面不同时相的图像内部组织区域不对齐，给乳腺dce
‑
mri图像的分析处理造成困难。因此，在分析乳腺dce
‑
mri之前，需要对不同时相的乳腺 dce
‑
mri图像进行配准，以消除乳腺组织的形变位移以及同一层面不同时相的乳腺dce
‑
mri图像之间的灰度差异。
3.传统技术中，对乳腺dce
‑
mri图像的配准，主要是通过对乳腺dce
‑
mri 图像进行迭代优化，例如，采用自由形变模型(free from deformation，ffd)、 hs光流场模型、带有相似性评价模型的马尔可夫随机场等模型对乳腺dce
‑
mri 图像进行迭代优化，实现乳腺dce
‑
mri图像的配准。
4.然而，传统的乳腺dce
‑
mri图像配准方法，存在耗时较长的问题。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种能够减少乳腺dce
‑
mri图像配准耗时的乳腺图像配准方法、装置、计算机设备和存储介质。
6.一种乳腺图像配准方法，所述方法包括：
7.获取第一图像和第二图像；其中，所述第一图像与所述第二图像均为乳腺动态扫描图像；所述乳腺动态扫描图像中包括乳房和腺体；
8.将所述第一图像和所述第二图像输入预设的配准网络，通过所述配准网络得到所述第二图像对应的形变场；其中，所述配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据所述配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据所述第一样本图像和所述配准后的样本乳腺图像得到第一损失、根据所述第一样本图像对应的分割图像和所述配准后的样本腺体分割图像得到第二损失，根据所述第一损失和所述第二损失对所述初始配准网络进行训练；
9.根据所述第二图像和所述形变场，得到配准后的乳腺图像。
10.在其中一个实施例中，所述第一图像与所述第二图像为检测者同一体位不同扫描时相下的乳腺动态增强磁共振图像；所述将所述第一图像和所述第二图像输入预设的配准网络，通过所述配准网络得到所述第二图像对应的形变场之前，所述方法还包括：
11.通过三维仿射变换对所述第二图像和所述第一图像进行预配准，得到第一配准图像；
12.所述将所述第一图像和所述第二图像输入预设的配准网络，通过所述配准网络得到所述第二图像对应的形变场，包括：
13.将所述第一图像和所述第一配准图像输入所述配准网络，通过所述配准网络得到所述形变场。
14.在其中一个实施例中，所述方法还包括：
15.获取第一腺体掩膜图像和第二腺体掩膜图像；其中，所述第一腺体掩膜图像为所述第一图像对应的腺体掩膜图像，所述第二腺体掩膜图像为所述第二图像对应的腺体掩膜图像；
16.通过三维仿射变换对所述第一腺体掩膜图像和所述第二腺体掩膜图像进行预配准，得到第二配准图像；
17.根据所述第二配准图像和所述形变场，得到配准后的腺体图像。
18.在其中一个实施例中，所述根据所述第二图像和所述形变场，得到配准后的乳腺图像，包括：
19.将所述第二图像和所述形变场输入空间转换器模型，通过所述空间转换器模型得到所述配准后的乳腺图像。
20.在其中一个实施例中，所述空间转换器模型包括网格生成器和采样器，所述将所述第二图像和所述形变场输入空间转换器模型，通过所述空间转换器模型得到所述配准后的乳腺图像，包括：
21.将所述形变场输入所述网格生成器，得到所述第二图像各体素和所述配准后的乳腺图像各体素之间的第一映射关系；
22.将所述第一映射关系和所述第二图像输入所述采样器，通过所述采样器得到所述配准后的乳腺图像。
23.在其中一个实施例中，所述根据所述第二配准图像和所述形变场，得到配准后的腺体图像，包括：
24.将所述第二配准图像和所述形变场输入空间转换器模型，通过所述空间转换器模型得到所述配准后的腺体图像。
25.在其中一个实施例中，所述空间转换器模型包括网格生成器和采样器，所述将所述第二配准图像和所述形变场输入空间转换器模型，通过所述空间转换器模型得到所述配准后的腺体图像，包括：
26.将所述形变场输入所述网格生成器，得到所述第二配准图像各体素和所述配准后的腺体图像各体素之间的第二映射关系；
27.将所述第二映射关系和所述第二配准图像输入所述采样器，通过所述采样器得到所述配准后的腺体图像。
28.在其中一个实施例中，所述初始配准网络的损失还包括平滑损失，所述配准网络的训练过程包括：
29.通过三维仿射变换对所述第一样本图像和所述第二样本图像进行预配准，得到第一样本配准图像；
30.通过三维仿射变换对所述第一样本图像对应的腺体掩膜图像和所述第二样本图像对应的腺体掩膜图像进行预配准，得到第二样本配准图像；
31.将所述第一样本图像和所述第一样本配准图像输入所述初始配准网络，通过所述初始配准网络得到所述第一样本配准图像对应的样本形变场和所述平滑损失；
32.将所述第一样本配准图像和所述样本形变场输入所述空间转换器模型，通过所述空间转换器模型得到配准后的样本乳腺图像；
33.将所述第二样本配准图像和所述样本形变场输入所述空间转换器模型，通过所述空间转换器模型得到所述配准后的样本腺体分割图像；
34.根据所述配准后的样本乳腺图像和所述第一样本图像，得到所述第一损失；
35.根据所述配准后的样本腺体分割图像和所述第一样本图像对应的分割图像，得到所述第二损失；
36.根据所述平滑损失、所述第一损失和所述第二损失，对所述初始配准网络进行训练，得到所述配准网络。
37.一种乳腺图像配准装置，所述装置包括：
38.第一获取模块，用于获取第一图像和第二图像；其中，所述第一图像与所述第二图像均为乳腺动态扫描图像；所述乳腺动态扫描图像中包括乳房和腺体；
39.第二获取模块，用于将所述第一图像和所述第二图像输入预设的配准网络，通过所述配准网络得到所述第二图像对应的形变场；其中，所述配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据所述配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据所述第一样本图像和所述配准后的样本乳腺图像得到第一损失、根据所述第一样本图像对应的分割图像和所述配准后的样本腺体分割图像得到第二损失，根据所述第一损失和所述第二损失对所述初始配准网络进行训练；
40.第一配准模块，用于根据所述第二图像和所述形变场，得到配准后的乳腺图像。
41.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
42.获取第一图像和第二图像；其中，所述第一图像与所述第二图像均为乳腺动态扫描图像；所述乳腺动态扫描图像中包括乳房和腺体；
43.将所述第一图像和所述第二图像输入预设的配准网络，通过所述配准网络得到所述第二图像对应的形变场；其中，所述配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据所述配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据所述第一样本图像和所述配准后的样本乳腺图像得到第一损失、根据所述第一样本图像对应的分割图像和所述配准后的样本腺体分割图像得到第二损失，根据所述第一损失和所述第二损失对所述初始配准网络进行训练；
44.根据所述第二图像和所述形变场，得到配准后的乳腺图像。
45.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
46.获取第一图像和第二图像；其中，所述第一图像与所述第二图像均为乳腺动态扫
描图像；所述乳腺动态扫描图像中包括乳房和腺体；
47.将所述第一图像和所述第二图像输入预设的配准网络，通过所述配准网络得到所述第二图像对应的形变场；其中，所述配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据所述配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据所述第一样本图像和所述配准后的样本乳腺图像得到第一损失、根据所述第一样本图像对应的分割图像和所述配准后的样本腺体分割图像得到第二损失，根据所述第一损失和所述第二损失对所述初始配准网络进行训练；
48.根据所述第二图像和所述形变场，得到配准后的乳腺图像。
49.上述乳腺图像配准方法、装置、计算机设备和存储介质，通过将第一样本图像和第二样本图像输入预设的初始配准网络，能够得到配准后的样本乳腺图像，从而可以根据配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据第一样本图像和配准后的样本乳腺图像得到第一损失、根据第一样本图像对应的分割图像和配准后的样本腺体分割图像得到第二损失，进而可以根据第一损失和第二损失对初始配准网络进行训练得到配准网络，这样将获取的第一图像和第二图像输入训练好的配准网络，能够通过该配准网络快速地得到第二图像对应的形变场，相比于传统的通过对乳腺动态增强磁共振图像进行迭代优化得到配准后的乳腺图像，通过该配准网络提高了得到第二图像对应的形变场的效率，由于得到第二图像对应的形变场的效率得到了提高，进而提高了根据第二图像和该形变场得到配准后的乳腺图像的效率，缩短了得到配准后的乳腺图像的时间。
附图说明
50.图1为一个实施例中乳腺图像配准方法的应用环境图；
51.图2为一个实施例中乳腺图像配准方法的流程示意图；
52.图2a为一个实施例中配准网络的结构示意图；
53.图3为一个实施例中乳腺图像配准方法的流程示意图；
54.图4为一个实施例中空间转换器的结构示意图；
55.图5为一个实施例中乳腺图像配准方法的流程示意图；
56.图6为一个实施例中采用本技术的乳腺图像配准方法得到的配准结果示意图；
57.图7为一个实施例中采用本技术的乳腺图像配准方法得到的配准结果示意图；
58.图8为一个实施例中有无腺体掩模辅助优化损失函数的配准结果对比示意图；
59.图9为一个实施例中乳腺图像配准装置的结构框图。
具体实施方式
60.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
61.本技术实施例提供的乳腺图像配准方法，可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器，该存储器中存储有计算机程序，处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的，该计算机设备还可以包
括网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的，该计算机设备可以是服务器，可以是个人计算机，还可以是个人数字助理，还可以是其他的终端设备，例如平板电脑、手机等等，还可以是云端或者远程服务器，本技术实施例对计算机设备的具体形式并不做限定。
62.在一个实施例中，如图2所示，提供了一种乳腺图像配准方法，以该方法应用于图1中的计算机设备为例进行说明，包括以下步骤：
63.s201，获取第一图像和第二图像；其中，第一图像与第二图像均为乳腺动态扫描图像；乳腺动态扫描图像中包括乳房和腺体。
64.其中，乳腺动态扫描图像为对检测者的乳腺进行动态扫描所得到的。可选的，该乳腺动态扫描图像可以为乳腺动态增强磁共振图像。通常，在动态增强磁共振扫描过程中，对比剂的扩散会影响核磁信号从而引起动态增强磁共振图像亮度的变化，在对比剂注射前、中、后期分别对乳腺成像，可以得到多层面多时相的扫描图像。具体地，计算机设备获取第一图像和第二图像，其中，第一图像与第二图像均为乳腺动态扫描图像，该乳腺动态扫描图像中包括乳房和腺体。可选的，计算机设备可以从磁共振设备中获取上述第一图像和第二图像，也可以从pacs(picture archiving and communication systems，影像归档和通信系统)服务器中获取上述第一图像和第二图像。
65.s202，将第一图像和第二图像输入预设的配准网络，通过配准网络得到第二图像对应的形变场；其中，配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据第一样本图像和配准后的样本乳腺图像得到第一损失、根据第一样本图像对应的分割图像和配准后的样本腺体分割图像得到第二损失，根据第一损失和第二损失对初始配准网络进行训练。
66.具体地，计算机设备将获取的上述第一图像和第二图像输入预设的配准网络，通过该配准网络得到第二图像对应的形变场。其中，该配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据该配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据上述第一样本图像和配准后的样本乳腺图像得到第一损失、根据上述第一样本图像对应的分割图像和上述配准后的样本腺体分割图像得到第二损失，根据该第一损失和第二损失对初始配准网络进行训练。可选的，上述配准后的样本腺体分割图像可以是配准后的样本乳腺图像对应的腺体掩膜图像，也可以是上述配准后的样本乳腺图像中的腺体分割图像。可选的，配准网络的网络结构示意图可以如图2a所示，通常，配准网络的输入是第一图像和第二图像拼接形成的双通道三维图像，一般输入图像的大小为2
×
256
×
256
×
96，编码路径包含若干个块，每个块由两个3
×3×
3的卷积层和一个2
×2×
2的最大池化层组成，每个卷积层后连接一个归一化层和一个带泄露修正线性单元(斜率为 0.2)，卷积步长为2，最小层的特征图每个方向的尺寸是输入图像每个方向尺寸的1/16，解码路径同样包含若干个块，每个块与编码阶段相同层次的块组成相似，上采样通过2
×2×
2的反卷积实现，编码路径和解码路径之间的跳跃连
接表示将上采样后的特征图与对应下采样的特征图拼接结合，将上采样阶段学到的特征直接传播到用于生成形变场的层，在卷积层获取输入图像对的层次特征来估计相应的形变场，解码路径的最后一层通过1
×1×
1的卷积将特征图映射到整个网络的输出层，在x，y，z三个方向各生成一个与输入图像尺寸相同的位移场，该位移场表示每个体素在各个方向(x，y，z)的位移，输出位移场的尺寸是 3
×
256
×
256
×
96。
67.s203，根据第二图像和形变场，得到配准后的乳腺图像。
68.具体地，计算机设备根据上述第二图像和得到的形变场，得到配准后的乳腺图像。可选的，计算机设备可以将上述形变场作用于上述第二图像，得到配准后的乳腺图像，也可以将上述形变场和第二图像输入预设的空间转换网络，得到配准后的乳腺图像。
69.上述乳腺图像配准方法中，通过将第一样本图像和第二样本图像输入预设的初始配准网络，能够得到配准后的样本乳腺图像，从而可以根据配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据第一样本图像和配准后的样本乳腺图像得到第一损失、根据第一样本图像对应的分割图像和配准后的样本腺体分割图像得到第二损失，进而可以根据第一损失和第二损失对初始配准网络进行训练得到配准网络，这样将获取的第一图像和第二图像输入训练好的配准网络，能够通过该配准网络快速地得到第二图像对应的形变场，相比于传统的通过对乳腺动态增强磁共振图像进行迭代优化得到配准后的乳腺图像，通过该配准网络提高了得到第二图像对应的形变场的效率，由于得到第二图像对应的形变场的效率得到了提高，进而提高了根据第二图像和该形变场得到配准后的乳腺图像的效率，缩短了得到配准后的乳腺图像的时间。
70.在上述获取第一图像和第二图像的场景中，上述第一图像与第二图像为检测者同一体位不同扫描时相下的乳腺动态增强磁共振图像。在一个实施例中，上述s202之前，上述方法还包括：通过三维仿射变换对第二图像和第一图像进行预配准，得到第一配准图像。
71.具体地，计算机设备通过三维仿射变换对上述第二图像和第一图像进行预配准，得到第一配准图像，上述s202包括：将上述第一图像和得到的第一配准图像输入上述配准网络，通过该配准网络得到上述形变场。需要说明的是，通过三维仿射变换对上述第二图像和第一图像进行预配准，能够消除检测者的呼吸运动所带来的位移变化，从而减少对第二图像和第一图像进行配准时所带来的影响。
72.本实施例中，计算机设备通过三维仿射变换对获取的第二图像和第一图像进行预配准，得到的第一配准图像能够消除检测者的呼吸运动对第二图像和第一图像所带来的位移变化，从而能够减少位移变化对第二图像和第一图像进行配准时所带来的影响。
73.在一些场景中，计算机设备通过第二图像和第一图像得到配准后的乳腺图像后，还需要对乳腺图像中的腺体进行配准，得到配准后的腺体图像。在一个实施例中，如图3所示，上述方法还包括：
74.s301，获取第一腺体掩膜图像和第二腺体掩膜图像；其中，第一腺体掩膜图像为第一图像对应的腺体掩膜图像，第二腺体掩膜图像为原始第二图像对应的腺体掩膜图像。
75.具体地，计算机设备获取第一腺体掩膜图像和第二腺体掩膜图像，其中，第一腺体掩膜图像为上述第一图像对应的腺体掩膜图像，第二腺体掩膜图像为原始第二图像对应的腺体掩膜图像。可选的，计算机设备可以将上述第一图像输入预设的分割网络，通过该分割网络对第一图像进行分割得到上述第一腺体掩膜图像，也可以对上述第一图像中的腺体掩
膜进行标注，对标注的腺体掩膜图像进行分割得到上述第一腺体掩膜图像。可选的，计算机设备可以将上述第二图像输入上述预设的分割网络，通过上述分割网络对第二图像进行分割得到上述第二腺体掩膜图像，也可以对上述第二图像中的腺体掩膜进行标注，对标注的腺体掩膜图像进行分割得到上述第二腺体掩膜图像。
76.s302，通过三维仿射变换对第一腺体掩膜图像和第二腺体掩膜图像进行预配准，得到第二配准图像。
77.具体地，计算机设备通过三维仿射变换对上述第一腺体掩膜图像和上述第二腺体掩膜图像进行预配准，得到第二配准图像。需要说明的是，通过三维仿射变换对上述第一腺体掩膜图像和上述第二腺体掩膜图像进行预配准，能够消除检测者的呼吸运动所带来的位移变化，从而减少对第一腺体掩膜图像和第二腺体掩膜图像进行配准时所带来的影响。
78.s303，根据第二配准图像和形变场，得到配准后的腺体图像。
79.具体地，计算机设备根据上述得到的第二配准图像和上述得到的形变场，得到配准后的腺体图像。可选的，计算机设备可以将上述形变场作用于上述第二配准图像，得到配准后的腺体图像，也可以将上述形变场和第二配准图像输入预设的空间转换网络，得到配准后的腺体图像。
80.本实施例中，计算机设备通过三维仿射变换对第一图像对应的第一腺体掩膜图像和第二图像对应的第二腺体掩膜图像进行预配准，能够消除检测者的呼吸运动所带来的位移变化，从而减少对第一腺体掩膜图像和第二腺体掩膜图像进行配准时所带来的影响，提高了得到的第二配准图像的准确度，从而可以根据第二配准图像和形变场准确地对第二配准图像进行配准，提高得到的配准后的腺体图像的准确度。
81.在上述根据第二图像和形变场，得到配准后的乳腺图像的场景中，在一个实施例中，上述s203，包括：将第二图像和形变场输入空间转换器模型，通过空间转换器模型得到配准后的乳腺图像。
82.具体地，计算机设备将上述第二图像和上述得到的形变场输入空间转换器模型，通过该空间转换器模型得到上述配准后的乳腺图像。可选的，上述空间转换器模型包括网格生成器和采样器。可选的，如图4所示，计算机设备可以将上述形变场输入空间转换器模型的网格生成器，得到上述第二图像各体素和配准后的乳腺图像各体素之间的第一映射关系，进一步地，计算机设备将该第一映射关系和上述第二图像输入空间转换器模型的采样器，通过该采样器得到配准后的乳腺图像。需要说明的是，网格生成器得到的是一种映射关系t
θ
(g)，假设上述第二图像中每个体素的坐标为配准后的乳腺图像中每个体素的坐标为空间变换函数t
θ
(g)为三维仿射变换函数，和的对应关系可以表示为：
[0083][0084]
可选的，计算机设备将上述第一映射关系和第二图像输入采样器，通过采样器得到配准后乳腺图像可以是采用8邻域线性插值的方法进行的采样，如下式所示：
其中，对于每一个体素p，p
′
＝p u(p)， z(p
′
)表示p
′
的邻域体素，d表示空间维度，在反向传播过程中优化损失函数时，便于计算损失函数的梯度。
[0085]
本实施例中，计算机设备将第二图像和该第二图像对应的形变场输入空间转换器模型，通过该空间转换器模型能够快速地得到配准后的乳腺图像，提高了得到配准后的乳腺图像的效率。
[0086]
在上述根据第二配准图像和形变场，得到配准后的腺体图像的场景中，在一个实施例中，上述s303，包括：将第二配准图像和形变场输入空间转换器模型，通过空间转换器模型得到配准后的腺体图像。
[0087]
具体地，计算机设备将上述第二配准图像和上述形变场输入空间转换器模型，通过该空间转换器模型得到配准后的腺体图像。可选的，该空间转换器模型包括网格生成器和采样器。可选的，计算机设备将上述得到的形变场输入上述网格生成器，得到上述第二配准图像各体素和配准后的腺体图像各体素之间的第二映射关系，进一步地，将得到的第二映射关系和上述第二配准图像输入采样器，通过该采样器得到配准后的腺体图像。需要说明的是，网格生成器得到上述第二映射关系和通过采样器得到配准后的腺体图像的详细过程和原理与上述得到第一映射关系和通过采样器得到配准后的乳腺图像的过程和原理相同，本实施例在此不再赘述。
[0088]
本实施例中，计算机设备将第二配准图像和该第二配准图像对应的形变场输入空间转换器模型，通过该空间转换器模型能够快速地得到配准后的腺体图像，提高了得到配准后的腺体图像的效率。
[0089]
在上述将第一图像和第二图像输入预设的配准网络，通过配准网络得到第二图像对应的形变场的场景中，该配准网络为预先训练好的网络，在一个实施例中，如图5所示，上述初始配准网络的损失还包括平滑损失，上述配准网络的训练过程包括：
[0090]
s501，通过三维仿射变换对第一样本图像和第二样本图像进行预配准，得到第一样本配准图像。
[0091]
具体地，计算机设备通过三维仿射变换对获取的第一样本图像和第二样本图像进行预配准，得到第一样本配准图像。需要说明的是，通过三维仿射变换对上述第一样本图像和上述第二样本图像进行预配准，能够消除检测者的呼吸运动所带来的位移变化，从而减少对第一样本图像和第二样本图像进行配准时所带来的影响。
[0092]
s502，通过三维仿射变换对第一样本图像对应的腺体掩膜图像和第二样本图像对应的腺体掩膜图像进行预配准，得到第二样本配准图像。
[0093]
具体地，计算机设备通过三维仿射变换对第一样本图像对应的腺体掩膜图像和第二样本图像对应的腺体掩膜图像进行预配准，得到第二样本配准图像。需要说明的是，通过三维仿射变换对上述第一样本图像对应的腺体掩膜图像和上述第二样本图像对应的腺体掩膜图像进行预配准，能够消除检测者的呼吸运动所带来的位移变化，从而减少对第一样本图像对应的腺体掩膜图像和第二样本图像对应的腺体掩膜图像进行配准时所带来的影响。
[0094]
s503，将第一样本图像和第一样本配准图像输入初始配准网络，通过初始配准网
络得到第一样本配准图像对应的样本形变场和平滑损失。
[0095]
具体地，计算机设备将上述第一样本图像和得到的第一样本配准图像输入上述初始配准网络，通过该初始配准网络得到第一样本配准图像对应的样本形变场和平滑损失。需要说明的是，平滑损失为样本形变场本身具有的平滑损失 l
smooth
(φ)。可以理解的是，初始配准网络的网络结构与上述配准网络的网络结构相同，关于初始配准网络的网络结构的详细说明请参见上述实施例的描述，本实施例在此不再对初始配准网络的网络结构进行赘述。
[0096]
s504，将第一样本配准图像和样本形变场输入空间转换器模型，通过空间转换器模型得到配准后的样本乳腺图像。
[0097]
具体地，计算机设备将上述得到的第一样本配准图像和上述样本形变场输入上述空间转换器模型，通过空间转换器模型得到配准后的样本乳腺图像。可选的，该空间转换器模型包括网格生成器和采样器。可选的，计算机设备将上述得到的样本形变场输入上述网格生成器，得到上述第一样本配准图像各体素和配准后的样本乳腺图像各体素之间的映射关系，进一步地，将得到的映射关系和上述第一样本配准图像输入采样器，通过该采样器得到配准后的样本乳腺图像。需要说明的是，网格生成器得到上述映射关系和通过采样器得到配准后的样本乳腺图像的详细过程和原理与上述得到第一映射关系和通过采样器得到配准后的乳腺图像的过程和原理相同，本实施例在此不再赘述。
[0098]
s505，将第二样本配准图像和样本形变场输入空间转换器模型，通过空间转换器模型得到配准后的样本腺体掩膜图像。
[0099]
具体地，计算机设备将上述第二样本配准图像和上述样本形变场输入空间转换器模型，通过该空间转换器模型得到配准后的样本腺体掩膜图像。可选的，该空间转换器模型包括网格生成器和采样器。可选的，计算机设备将上述得到的样本形变场输入上述网格生成器，得到上述第二样本配准图像各体素和配准后的样本腺体掩膜图像各体素之间的映射关系，进一步地，将得到的映射关系和上述第二样本配准图像输入采样器，通过该采样器得到配准后的样本腺体掩膜图像。需要说明的是，网格生成器得到上述映射关系和通过采样器得到配准后的样本腺体掩膜图像的详细过程和原理与上述得到第一映射关系和通过采样器得到配准后的乳腺图像的过程和原理相同，本实施例在此不再赘述。
[0100]
s506，根据配准后的样本乳腺图像和第一样本图像，得到第一损失。
[0101]
具体地，计算机设备根据配准后的样本乳腺图像和上述第一样本图像f，得到第一损失的值。需要说明的是，由于注射对比剂前后乳腺动态增强磁共振图像的灰度值发生明显变化，第一样本图像f和第二样本图像m的灰度值分布不再相似，因此使用第一样本图像f和配准后的样本乳腺图像之间的局部相关性作为相似性度量，其中，局部相关性计算公式为：式中，和分别表示第一样本图像f和配准后的样本乳腺图像的均值图像。cc 值越大，表示配准后的图像与第一样本图像之间的互相关性越强，配准效果越好，因此，第一损失
为：相似性损失达到最小时，配准后的图像越接近第一样本图像，但是此时形变场可能会不连续，与真实形变情况不符，因此对位移场u的空间梯度施加一个扩散约束(diffusion regularizer) 来平滑形变场φ，如下式所示：式中，ω为腺体体素集。需要说明的是，第一损失的值可以不局限于通过第一样本图像f和配准后的样本乳腺图像之间的局部相关性作为相似性度量得到。
[0102]
s507，根据配准后的样本腺体分割图像和第一样本图像对应的分割图像，得到第二损失。
[0103]
具体地，计算机设备根据配准后的样本腺体分割图像和上述第一样本图像对应的分割图像s
f
，得到第二损失的值。可选的，可以定义第二损失如下式所示：式中，dice用于衡量第一样本图像对应的腺体分割图像s
f
和配准后的样本腺体分割图像中腺体区域的重叠性，其计算公式如下：
[0104][0105]
需要说明的是，在计算之前，需要对腺体二值掩模图像进行线性插值，使在反向传播过程中可微。
[0106]
s508，根据平滑损失、第一损失和第二损失，对初始配准网络进行训练，得到配准网络。
[0107]
具体地，计算机设备根据上述得到的平滑损失、第一损失和第二损失，对初始配准网络进行训练，得到上述配准网络。可选的，计算机设备可以根据平滑损失l
smooth
(φ)的值、第一损失的值和第二损失的值，得到初始配准网络的损失函数式中，λ、γ是正则化参数。需要说明的是，对平滑损失和第二损失进行正则化是因为优化腺体掩模图像的相似性损失会造成形变场的不连续，因此需要进行正则化。可选的，计算机设备可以将初始配准网络的损失函数达到最小值或稳定值时对应的初始配准网络，确定为上述配准网络。需要说明的是，对初始配准网络进行训练的过程中，批尺寸可以设为1，每个时期(epoch)定义为100 个batch上的迭代优化，最大值设为700。可选的，额可以使用自适应矩估计方法(adaptive moment estimation，adam)对损失函数进行优化，采用正态分布随机初始配准网络的初始化参数，初始学习率设为1e
‑
4，正则化系数λ、γ经过网格搜索(grid search)，可以分别设为1.5和1.8。
[0108]
本实施例中，计算机设备通过三维仿射变换对第一样本图像和第二样本图像进行预配准得到第一样本配准图像，通过三维仿射变换对第一样本图像对应的腺体掩膜图像和第二样本图像对应的腺体掩膜图像进行预配准得到第二样本配准图像，能够减少检测者的呼吸运动所带来的位移变化，从而可以将第一样本图像和第一样本配准图像输入初始配准网络，通过初始配准网络准确地得到第一样本配准图像对应的样本形变场和平滑损失，进
而可以将第一样本配准图像和样本形变场输入空间转换器模型，通过空间转换器模型准确地得到配准后的样本乳腺图像，将第二样本配准图像和样本形变场输入空间转换器模型，通过空间转换器模型准确地得到配准后的样本腺体分割图像，进一步地，可以根据配准后的样本乳腺图像和第一样本图像，得到第一损失，根据配准后的样本腺体分割图像和第一样本图像对应的分割图像得到第二损失，进而可以根据平滑损失、第一损失和第二损失对初始配准网络进行准确地训练从而得到配准网络，提高了得到的配准网络的准确度。
[0109]
示例性，在一个实施例中，对上述配准模型进行测试得到在测试数据集上的平均dice相似系数为0.831
±
0.019。图6、图7分别为以肿块型病例和微小钙化灶型病例的乳腺动态增强磁共振图像为例进行图像配准得到的结果示意图，将形变场网格可视化，可以观察到形变场扭曲部分集中在乳房内的腺体区域，配准后腺体区域基本重合。通过对比配准前后第二图像和第一图像的差图，可以看出配准之前的差图中组织和病灶轮廓较为模糊，而配准之后的图像与第一图像基本重合，病灶轮廓变清晰。图7所示的为微小钙化灶的示意图，配准前的差图中右侧乳房里的病灶几乎不可见，而配准后的差图中凸显了该病灶，间接证明了配准的有效性，实现了具有诊断学意义的roi(腺体)内体素物理空间位置的对齐，达到了预期目标。
[0110]
进一步地，通过分别训练有无腺体掩模辅助优化损失函数(auxiliaryfibroglandular tissues mask optimization，afmo)的配准模型，并在相同的测试集上评价配准表现，得到有无afmo模型的配准结果平均dice分别为0.831
ꢀ±
0.019和0.793
±
0.036(p
‑
value＝0.016<0.05)，表明使用afmo的配准结果其腺体相似度更高。图8比较了四例具有代表性的dce
‑
mr图像样本在有无 afmo情况下的配准结果，图中各列表示不同的dce
‑
mr图像样本，其中第一列为无病灶且低乳腺密度的样本，第二至四列均为有病灶样本，可以看出，对于无病灶且乳腺密度较低的病例(图8第一列)，有无afmo的配准结果dice 分别为0.812和0.825，差别不大。对于存在病灶的病例，有afmo的配准结果中腺体区域的重叠性比没有afmo的高，并且在使用afmo的配准结果中，病灶区域得以凸显，而在没有使用afmo的配准结果中，虽然乳房区域重叠较好，但是病灶的边缘轮廓被弱化(图8第二列)，或者整个病灶被模糊甚至消失(图 8第三、四列)，这将给病灶和腺体的分析带来困难。因此，在配准过程中使用 afmo，较好地保留了图像中腺体区域和bpe组织的信息，提高了腺体区域配准的有效性。另外，还比较了通过仿射对齐、simpleelastix工具包、ants syn 工具包、无afmo模型和本技术中的配准模型进行图像配准的性能，得到在相同的配准测试集上本技术的配准模型的平均dice值最优，并且在配准有效性和实时性之间取得了较好的平衡。
[0111]
应该理解的是，虽然图2
‑
5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2
‑
5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0112]
在一个实施例中，如图9所示，提供了一种乳腺图像配准装置，包括：第一获取模块、第二获取模块和第一配准模块，其中：
[0113]
第一获取模块，用于获取第一图像和第二图像；其中，第一图像与第二图像均为乳
腺动态扫描图像；乳腺动态扫描图像中包括乳房和腺体。
[0114]
第二获取模块，用于将第一图像和第二图像输入预设的配准网络，通过配准网络得到第二图像对应的形变场；其中，配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据第一样本图像和配准后的样本乳腺图像得到第一损失、根据第一样本图像对应的分割图像和配准后的样本腺体分割图像得到第二损失，根据第一损失和第二损失对初始配准网络进行训练。
[0115]
第一配准模块，用于根据第二图像和形变场，得到配准后的乳腺图像。
[0116]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0117]
在上述实施例的基础上，可选的，第一图像与第二图像为检测者同一体位不同扫描时相下的乳腺动态增强磁共振图像，上述装置还包括：第二配准模块，其中：
[0118]
第二配准模块，用于通过三维仿射变换对第二图像和第一图像进行预配准，得到第一配准图像。
[0119]
第二获取模块，用于将第一图像和第一配准图像输入配准网络，通过配准网络得到形变场。
[0120]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0121]
在上述实施例的基础上，可选的，上述装置还包括：第三获取模块、第三配准模块和第四配准模块，其中：
[0122]
第三获取模块，用于获取第一腺体掩膜图像和第二腺体掩膜图像；其中，第一腺体掩膜图像为第一图像对应的腺体掩膜图像，第二腺体掩膜图像为第二图像对应的腺体掩膜图像。
[0123]
第三配准模块，用于通过三维仿射变换对第一腺体掩膜图像和第二腺体掩膜图像进行预配准，得到第二配准图像。
[0124]
第四配准模块，用于根据第二配准图像和形变场，得到配准后的腺体图像。
[0125]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0126]
在上述实施例的基础上，可选的，上述第一配准模块，包括：第一配准单元，其中：
[0127]
第一配准单元，用于将第二图像和形变场输入空间转换器模型，通过空间转换器模型得到配准后的乳腺图像。
[0128]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0129]
在上述实施例的基础上，可选的，空间转换器模型包括网格生成器和采样器，上述第一配准单元，用于将形变场输入网格生成器，得到第二图像各体素和配准后的乳腺图像各体素之间的第一映射关系；将第一映射关系和第二图像输入采样器，通过采样器得到配准后的乳腺图像。
[0130]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0131]
在上述实施例的基础上，可选的，上述第四配准模块，包括：第二配准单元，其中：
[0132]
第二配准单元，用于将第二配准图像和形变场输入空间转换器模型，通过空间转换器模型得到配准后的腺体图像。
[0133]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0134]
在上述实施例的基础上，可选的，空间转换器模型包括网格生成器和采样器，上述第二配准单元，用于将形变场输入网格生成器，得到第二配准图像各体素和配准后的腺体图像各体素之间的第二映射关系；将第二映射关系和第二配准图像输入采样器，通过采样器得到配准后的腺体图像。
[0135]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0136]
在上述实施例的基础上，可选的，初始配准网络的损失还包括平滑损失，上述装置还包括：第五配准模块、第六配准模块、第四获取模块、第五获取模块、第六获取模块、第七获取模块、第八获取模块和训练模块，其中：
[0137]
第五配准模块，用于通过三维仿射变换对第一样本图像和第二样本图像进行预配准，得到第一样本配准图像。
[0138]
第六配准模块，用于通过三维仿射变换对第一样本图像对应的腺体掩膜图像和第二样本图像对应的腺体掩膜图像进行预配准，得到第二样本配准图像。
[0139]
第四获取模块，用于将第一样本图像和第一样本配准图像输入初始配准网络，通过初始配准网络得到第一样本配准图像对应的样本形变场和平滑损失。
[0140]
第五获取模块，用于将第一样本配准图像和样本形变场输入空间转换器模型，通过空间转换器模型得到配准后的样本乳腺图像。
[0141]
第六获取模块，用于将第二样本配准图像和样本形变场输入空间转换器模型，通过空间转换器模型得到配准后的样本腺体分割图像。
[0142]
第七获取模块，用于根据配准后的样本乳腺图像和第一样本图像，得到第一损失。
[0143]
第八获取模块，用于根据配准后的样本腺体分割图像和第一样本图像对应的分割图像，得到第二损失。
[0144]
训练模块，用于根据平滑损失、第一损失和第二损失，对初始配准网络进行训练，得到配准网络。
[0145]
本实施例提供的乳腺图像配准装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
[0146]
关于乳腺图像配准装置的具体限定可以参见上文中对于乳腺图像配准方法的限定，在此不再赘述。上述乳腺图像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0147]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0148]
获取第一图像和第二图像；其中，第一图像与第二图像均为乳腺动态扫描图像；乳
腺动态扫描图像中包括乳房和腺体；
[0149]
将第一图像和第二图像输入预设的配准网络，通过配准网络得到第二图像对应的形变场；其中，配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据第一样本图像和配准后的样本乳腺图像得到第一损失、根据第一样本图像对应的分割图像和配准后的样本腺体分割图像得到第二损失，根据第一损失和第二损失对初始配准网络进行训练；
[0150]
根据第二图像和形变场，得到配准后的乳腺图像。
[0151]
上述实施例提供的计算机设备，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0152]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0153]
获取第一图像和第二图像；其中，第一图像与第二图像均为乳腺动态扫描图像；乳腺动态扫描图像中包括乳房和腺体；
[0154]
将第一图像和第二图像输入预设的配准网络，通过配准网络得到第二图像对应的形变场；其中，配准网络通过如下的训练方法得到：将第一样本图像和第二样本图像输入预设的初始配准网络，得到配准后的样本乳腺图像，根据配准后的样本乳腺图像得到配准后的样本腺体分割图像，并根据第一样本图像和配准后的样本乳腺图像得到第一损失、根据第一样本图像对应的分割图像和配准后的样本腺体分割图像得到第二损失，根据第一损失和第二损失对初始配准网络进行训练；
[0155]
根据第二图像和形变场，得到配准后的乳腺图像。
[0156]
上述实施例提供的计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0157]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(randomaccess memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory， sram)或动态随机存取存储器(dynamic randomaccess memory，dram)等。
[0158]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0159]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。