多模态医学影像处理方法、装置、计算机设备和存储介质与流程

1.本技术涉及图像融合技术领域，特别是涉及一种多模态医学影像处理方法、装置、计算机设备和存储介质。


背景技术：

2.pet-mri成像系统(正电子发射磁共振成像系统)是将pet(positron emission computed tomography,正电子发射计算机断层显像)与mri(magnetic resonance imaging,核磁共振成像)技术融合而成的一种分子水平的功能显像加结构显像的系统，其是借助于高场超导mri的高分辨率和pet的高灵敏度实现解剖结构显像和功能成像的互补，实现mri的功能成像与pet功能成像的强强联合与交叉验证，实现对一些复杂疾病的诊断与监控。
3.一体化pet-mri成像系统在心脏成像中，由于pet影像和mri影像是同步采集的，因此其错配情况相对于异机扫描已经大幅改善。但是，由于呼吸运动、心脏非自主运动的影响，一体化pet-mri成像系统在心脏成像过程中，pet影像和mri影像仍然存在部分错配，导致pet影像和mri影像融合后得到的pet-mri影像的成像质量较差。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高心脏成像中pet-mri影像配准精度的多模态医学影像处理方法、装置、计算机设备和存储介质。
5.一种多模态医学影像处理方法，所述方法包括：
6.获取第一mri影像序列和第二mri影像序列；
7.根据所述第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选取所述相似度满足相似度条件的候选pet影像作为目标pet影像；
8.将所述第一mri影像序列与所述第二mri影像序列进行配准，确定所述第一mri影像序列与所述目标pet影像的第一配准参数；
9.根据所述第一配准参数，融合所述第一mri影像序列和所述目标pet影像，得到第一pet-mri影像。
10.在其中一个实施例中，所述方法还包括：
11.根据所述第二mri影像序列与所述目标pet影像进行配准得到的第二配准参数，融合所述第二mri影像序列和所述目标pet影像，得到第二pet-mri影像。
12.在其中一个实施例中，所述第一mri影像序列为二维mri影像构成的序列；
13.所述将所述第一mri影像序列与所述第二mri影像序列进行配准，确定所述第一mri影像序列与所述目标pet影像的第一配准参数，包括：
14.获取所述第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度；
15.根据所述三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由
度，通过广义模式搜索法将所述第一mri影像序列与所述第二mri影像序列进行配准，确定所述第一mri影像序列与所述目标pet影像的第一配准参数。
16.在其中一个实施例中，所述第一mri影像序列为三维mri影像构成的序列；
17.所述将所述第一mri影像序列与所述第二mri影像序列进行配准，确定所述第一mri影像序列与所述目标pet影像的第一配准参数，包括：
18.获取所述第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度；
19.根据所述三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度，通过广义模式搜索法将所述第一mri影像序列与所述第二mri影像序列进行配准，确定所述第一mri影像序列与所述目标pet影像的第一配准参数。
20.在其中一个实施例中，所述方法还包括：
21.对检测对象的pet数据进行呼吸门控重建，得到多期重建后的pet影像；
22.将所述多期重建后的pet影像确定为所述多组候选pet影像。
23.在其中一个实施例中，所述方法还包括：
24.根据所述第二mri影像序列，生成衰减图；
25.在所述呼吸门控重建过程中，根据所述衰减图对所述pet数据进行校正。
26.在其中一个实施例中，所述第二mri影像序列通过如下方式确定：
27.获取检测对象的多组二维mri影像序列，每组二维mri影像序列对应所述检测对象的至少一个片层；
28.将多个所述二维mri影像序列组合为三维mri影像序列，得到第二mri影像序列。
29.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
30.获取第一mri影像序列和第二mri影像序列；
31.根据所述第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选取所述相似度满足相似度条件的候选pet影像作为目标pet影像；
32.将所述第一mri影像序列与所述第二mri影像序列进行配准，确定所述第一mri影像序列与所述目标pet影像的第一配准参数；
33.根据所述第一配准参数，融合所述第一mri影像序列和所述目标pet影像，得到第一pet-mri影像。
34.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
35.获取第一mri影像序列和第二mri影像序列；
36.根据所述第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选取所述相似度满足相似度条件的候选pet影像作为目标pet影像；
37.将所述第一mri影像序列与所述第二mri影像序列进行配准，确定所述第一mri影像序列与所述目标pet影像的第一配准参数；
38.根据所述第一配准参数，融合所述第一mri影像序列和所述目标pet影像，得到第一pet-mri影像。
39.上述多模态医学影像处理方法、装置、计算机设备和存储介质，首先根据第二mri
影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选择相似度较高的目标pet影像，然后将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数，最后根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。可以理解，本技术通过先确定与第二mri影像序列配准效果较好的目标pet影像，使得第二mri影像序列与目标pet影像之间拥有准确的配准关系，如此可消除呼吸运动以及心跳运动的影响，并且可将其他的第一mri影像序列与目标pet影像的配准转化为将其他的第一mri影像序列与第二mri影像序列的配准，同样消除了呼吸运动以及心跳运动对第一mri影像序列的影响，提高了影像配准的准确性，进而基于准确配准得到的第一mri影像序列和目标pet影像进行融合，提高了融合得到的pet-mri影像的成像质量。
附图说明
40.图1为一个实施例中多模态医学影像处理方法的流程示意图；
41.图2为一个实施例中pet数据门控重建的流程示意图；
42.图3为一个实施例中扫描对象为心脏的示意图；
43.图4为一个实施例中在多种扫描期相下采集影像的示意图；
44.图5为一个实施例中通过mri水脂分离序列进行影像配准的示意图；
45.图6为一个实施例中对lge序列采集的影像与水脂分离序列采集的影像进行配准的示意图；
46.图7为一个实施例中多模态医学影像处理装置的结构框图；
47.图8为一个实施例中计算机设备的内部结构图。
具体实施方式
48.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
49.在一个实施例中，如图1所示，提供了一种多模态医学影像处理方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。可选地，该终端可以是pet-mri成像系统。本实施例中，该方法包括以下步骤：
50.步骤s102，获取第一mri影像序列和第二mri影像序列。
51.其中，第一mri影像序列是基于第一脉冲序列/第一扫描序列生成的。第二mri影像序列是基于第二脉冲序列/第二扫描序列生成的。第一脉冲序列与第二脉冲序列实现不同的功能。可选地，如图5所示，第一脉冲序列为心脏磁共振成像序列，采用心电门控(ecg gated)控制第一脉冲序列触发，且在第一脉冲序列的执行过程中需屏气操作，也即第一脉冲序列的执行需要ecg触发和屏气操作。该心脏磁共振成像序列可以是fse dark blood序列，cine序列，perfusion序列，lge序列，mapping序列或flow序列中的一种或多种；第二脉冲序列为水脂分离序列，呼吸门控用于第二脉冲序列激发的磁共振信号的重建，即第二脉冲序列为检测对象自由呼吸下执行。该水脂分离序列可以是quick3d_dixon序列，也可以是
非quick3d_dixon序列。
52.具体地，终端基于第一脉冲序列，采集第一mri影像序列。终端基于第二脉冲序列，采集第二mri影像序列。可选地，第一mri影像序列、第二mri影像序列为检测对象的一系列图像集合，且图像可以是二维图像或三维图像。在此实施例中，第二mri影像序列可对应检测对象呼吸门控的一个期相的图像。
53.步骤s104，根据第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选取相似度满足相似度条件的候选pet影像作为目标pet影像。
54.其中，多组候选pet影像通过如下方式确定：对检测对象的pet数据进行呼吸门控重建，得到多期重建后的pet影像(多个期相对应的pet影像)；将多期重建后的pet影像确定为多组候选pet影像。可选的，每一期重建后的pet影像可经过衰减校正：根据所述第二mri影像序列，生成衰减图；在呼吸门控重建过程中，根据衰减图对pet数据进行校正。在此实施例中，pet数据的采集同样为检测对象自由呼吸下进行，且多组候选pet影像的重建采用呼吸门控划分为多个期相。
55.其中，相似度用于评价第二mri影像序列与候选pet影像的配准效果。相似度越高，表明第二mri影像序列与候选pet影像的配准效果越佳，反之，相似度越低，表明第二mri影像序列与候选pet影像的配准效果越差。
56.具体地，终端将第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准，得到第二配准参数。并且，终端基于第二mri影像序列、候选pet影像以及对应的第二配准参数，计算可用于评价配准效果的相似度，进而选取相似度满足相似度条件的候选pet影像作为目标pet影像。可选地，终端基于互信息的算法计算第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准所对应的相似度。
57.可选地，相似度条件可以是相似度最高，也可以是相似度次高，还可以是相似度大于相似度阈值等等。设置相似度条件的目的是选取配准效果较佳的目标pet影像。
58.步骤s106，将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
59.具体地，终端将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。可选地，第一配准参数可以以矩阵形式表示。
60.步骤s108，根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。
61.其中，配准参数可以是偏移场、位移场等，也可以是平移量等。
62.pet-mri影像为pet影像和mri影像融合后得到的影像。
63.具体地，终端根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。
64.上述多模态医学影像处理方法中，首先根据第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选择相似度较高的目标pet影像，然后将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数，最后根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。可以理解，本技术通过先确定与第二mri影像序列配准效果较好的目标pet影像，使得第二mri影像序列与目标pet影像之间拥有准确的配准关系，如此可消除呼吸运动以及心跳
运动的影响，并且可将其他的第一mri影像序列与目标pet影像的配准转化为将其他的第一mri影像序列与第二mri影像序列的配准，同样消除了呼吸运动以及心跳运动对第一mri影像序列的影响，提高了影像配准的准确性，进而基于准确配准得到的第一mri影像序列和目标pet影像进行融合，提高了融合得到的pet-mri影像的成像质量。
65.在一个实施例中，该方法还包括以下步骤：
66.步骤s109，根据第二mri影像序列与目标pet影像进行配准得到的第二配准参数，融合第二mri影像序列和目标pet影像，得到第二pet-mri影像。
67.具体地，终端根据第二mri影像序列与目标pet影像进行配准得到的第二配准参数，融合第二mri影像序列和目标pet影像，得到第二pet-mri影像。可选地，第二配准参数可以以矩阵形式表示。
68.本实施例中，将拥有准确配准关系的第二mri影像序列与目标pet影像进行融合，由于消除了呼吸运动以及心跳运动的影响，因此提高了融合得到的第二pet-mri影像的成像质量。
69.在一个实施例中，第一mri影像序列为二维mri影像构成的序列。基于此，在一个实施例中，涉及上述步骤s106“将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数”的一种可能的实现方式。在上述实施例的基础上，步骤s106具体可以通过以下步骤实现：
70.步骤s1062，获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度；
71.步骤s1064，根据三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
72.其中，第二脉冲序列为三维mri影像成像序列，第二mri影像序列为三维mri影像构成的序列。
73.具体地，终端获取第一mri影像序列对应的8个自由度，分别为三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度。然后，终端根据三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度，通过广义模式搜索法(generalized pattern search,gps)将第一mri影像序列与第二mri影像序列进行配准，得到第一mri影像序列与第二mri影像序列的配准结果，将该配准结果确定为第一mri影像序列与目标pet影像的第一配准参数，同时，终端通过归一化互信息法(normalized mutual information)来评价配准效果，计算第一mri影像序列与目标pet影像配准的相似度。
74.本实施例中，基于8个自由度，并通过广义模式搜索法进行二维mri影像与三维mri影像的配准，有利于提高配准的准确性。
75.在一个实施例中，第一mri影像序列为三维mri影像构成的序列。基于此，在一个实施例中，涉及上述步骤s106“将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数”的一种可能的实现方式。在上述实施例的基础上，步骤s106具体可以通过以下步骤实现：
76.步骤s106a，获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度；
77.步骤s106b，根据三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
78.其中，第二脉冲序列为三维mri影像成像序列，第二mri影像序列为三维mri影像构成的序列。
79.具体地，终端获取第一mri影像序列对应的9个自由度，分别为三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度。然后，终端根据三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度，通过广义模式搜索法(generalized pattern search,gps)将第一mri影像序列与第二mri影像序列进行配准，得到第一mri影像序列与第二mri影像序列的配准结果，将该配准结果确定为第一mri影像序列与目标pet影像的第一配准参数，同时，终端通过归一化互信息法(normalized mutual information)来评价配准效果，计算第一mri影像序列与目标pet影像配准的相似度。
80.本实施例中，基于9个自由度，并通过广义模式搜索法进行三维mri影像与三维mri影像的配准，有利于提高配准的准确性。
81.在一个实施例中，该方法还包括以下步骤：
82.步骤s112，对待重建的pet影像进行呼吸门控重建，得到多期重建后的pet影像；
83.步骤s114，将多期重建后的pet影像确定为多组候选pet影像。
84.其中，呼吸门控技术，是指按照影像采集时所同步获取的呼吸生理曲线选取特定呼吸频率范围内的pet生数据，将呼吸周期以幅值或相位角度均分为数等份，分别选取特定呼吸期相对应的pet生数据进行整合和重建，从而得到多箱的pet数据，该多箱数据代表不同呼吸状态下所获取的pet影像。
85.具体地，如图5所示，终端对待重建的pet影像进行呼吸门控重建，得到多期重建后的pet影像，并将多期重建后的pet影像确定为多组候选pet影像。
86.本实施例中，采用呼吸门控技术进行pet影像的重建，可使呼吸运动产生的伪影减少，有利于提高pet影像的成像质量。
87.在一个实施例中，如图2所示该方法还包括以下步骤：
88.步骤s122，根据第二mri影像序列，生成衰减图；
89.步骤s124，对检测对象的pet数据进行呼吸门控重建，得到多期重建后的pet影像，且在呼吸门控重建过程中，根据衰减图对pet数据进行校正。
90.其中，衰减系数用于pet影像的衰减校正。可选地，空气对应最小的衰减系数而骨骼对应最大的衰减系数。pet影像的衰减校正是指光子在介质中飞行时被组织散射或吸收后的现象，对衰减进行补偿才能得到定量分析的影像。
91.其中，初始pet影像可以是正电子发射计算机断层显像仪扫描的pet影像。
92.具体地，终端获取用于生成第二mri影像序列的第二脉冲序列，然后根据第二脉冲序列，生成衰减系数，最后根据衰减系数对初始pet影像进行校正，得到待重建的pet影像。可选地，终端可以基于quick3d_dixon序列生成μ-map；终端也可以基于非quick3d_dixon序列生成μ-map。
93.本实施例中，通过衰减系数对pet影像进行衰减校正，进一步提高了pet影像的成像质量。
94.在一个实施例中，提供一目标神经网络模型，该目标神经网络模型提供mri影像序列和相应衰减校正数据之间的映射关系。
95.在一个实施例中，目标神经网络模型可包括卷积神经网络(cnn)模型、反向传播神经网络(bp)模型、径向基函数神经网络(rbf)模型、深度信念网络(dbn)模型、elman神经网络模型等，或者其组合。
96.在一个实施例中，目标神经网络模型采用多组样本数据训练获得，每组样本数据包括同一部位的先验mri影像和先验ct影像对应的衰减图。其中，先验ct影像对应的衰减图可通过如下方式确定：确定先验ct影像包含肺部、脂肪、肋骨、脊柱、心脏等多个组织的分类信息；根据多个组织的分类信息为部位的每一个体素分配相应衰减值，生成先验ct影像对应的衰减图。
97.在一个实施例中，目标神经网络模型采用多组样本数据训练获得，每组样本数据包括同一部位的先验mri影像和先验ct影像对应的衰减图。其中，先验ct影像对应的衰减图可通过如下方式确定：确定先验ct影像包含肺部、脂肪、肋骨、脊柱、心脏等多个组织的分类信息；将先验ct影像与同一部位的先验pet影像进行配准，根据多个组织的分类信息为配准后的先验pet影像的每一个体素分配相应衰减值，生成先验ct影像对应的衰减图。
98.可选地，如图3所示，扫描对象为心脏。呼吸运动会导致心脏在呼吸运动方向上产生位移，从而导致实际心脏扫描得到的层面与预先定位的层面不一致。
99.在一个实施例中，扫描对象的片层为心脏的短轴位(short axial plane，sa plane)。由于呼吸运动的影像，期望采集的短轴位(expected sa plane)与实际采集的短轴位(acquired sa plane)之间存在一定位移。对应的两不同层面的影像也存在一定程度的失配准。
100.现有技术中为了抑制呼吸运动或心跳运动对于医学影像的影响，可采用门控技术。
101.在该实施例中，如图4所示，分别列举了多种扫描期相下采集的影像：采集方式1-ecg门控(ecg门控触发) 呼气末屏气；采集方式2-ecg门控 吸气末屏气；采集方式3-自由心跳 呼吸门控(呼吸门控重建)；采集方式4-自由心跳 自由呼吸；采集方式5-自由心跳 呼吸门控重建。图中，深色环形影像表示采集方式1采集得到的磁共振心肌影像，且该影像为参考影像。浅色环形影像表示对应采集方式2-5分别采集得到的心肌影像。在此实施例中，采集方式2的mr影像与参考影像存在明显的错配；采集方式3的mr影像与参考影像所确定的心肌位置相同，但心肌厚度存在明显差异。在实际心脏成像过程中，扫描技师设定心脏扫描执行采集方式1，而当患者未按照指令严格进行屏气时，采集方式实际为采集方式2，两种采集方式存在明显错配。
102.采集方式4具体执行的为pet成像扫描，其采集得到的pet影像与参考影像既存在错配也存在位置的不同。采集方式5具体执行的同样pet成像扫描，其采集得到的pet影像与采集方式3的mri影像的心肌厚度和位置基本是一致的。基于此，在pet-mri成像时，可以选择采集方式3的mri影像与采集方式5的pet影像进行配准/匹配。
103.在一个实施例中，如图5所示，mri水脂分离序列(图中的water_dixon)采用呼吸门控方式采集，与pet呼吸门控重建得到的呼气末的pet影像匹配准确，mri水脂分离序列可以用于替代pet影像，用于与心脏磁共振成像序列(图中的cine、fse dark blood、lge等)直接
配准。
104.在一个实施例中，如图6所示，心脏磁共振成像序列选择心肌延迟强化(late gadolinium enhancement，lge)序列，其采集的影像受呼吸运动的影像；mri水脂分离序列选用gre_quick3d序列，其采用呼吸门控方式。
105.将lge序列采集的影像与水脂分离序列采集的影像进行配准，可获得配准矩阵，该配准矩阵为两序列采集影像之间的运动向量场；将配准矩阵作用于pet影像，即可获得变换的pet影像，该变换的pet影像与lge序列采集的影像之间较为精确的匹配。相比较而言，未变换的pet影像，pet影像与lge序列采集的影像之间存在失匹配。
106.在多模心脏成像中，往往需要对不同模态的影像进行配准，当其中某些模态如pet或spect对心脏结构显示便捷模糊或者不显示解剖结构边界时，用户通常不能判断两种模态之间的配准是否准确，更无法进行手动或自动的配准；本发明通过研究不同模态对呼吸和心跳运动的处理特点，认为不同模态之间如果使用近似的策略来处理心跳和呼吸运动，则心脏的大小和位置在两种模态上会保持一致，基于这种规律，以解剖结构显示清晰的影像取代结构不清晰的影像用于配准则可大幅提高配准效率。如pet/mri显像中的心肌的pet炎症显像中，仅病变部位的心肌呈高摄取，心肌的其余结构显示不清；则该pet影像与mri是否存在错配，以及发生错配后的校正则无法进行。本发明通过解剖结构清晰的water-dixon序列取代pet影像来与其他心脏mri序列进行配准，从而解决了原来临床无法解决的问题。
107.在一个实施例中，涉及上述步骤s102中“获取第二mri影像序列”的一种可能的实现方式。在上述实施例的基础上，该步骤具体可以通过以下步骤实现：
108.步骤s1022，获取第二脉冲序列；
109.步骤s1024，若第二脉冲序列为二维mri影像成像序列，则根据第二脉冲序列进行成像，得到二维mri影像序列；
110.步骤s1026，将二维mri影像序列转化为三维mri影像序列，得到第二mri影像序列。
111.具体地，终端获取第二脉冲序列，若第二脉冲序列为二维mri影像成像序列，则根据第二脉冲序列进行成像，得到二维mri影像序列，之后再将二维mri影像序列转化为三维mri影像序列，并将该三维mri影像序列确定为第二mri影像序列。可以理解，该第二mri影像序列为三维mri影像构成的序列。可选地，第二脉冲序列可使用呼吸门控方式进行采集。
112.本实施例中，将二维mri影像成像序列转化为三维mri影像成像序列，有利于后续影像配准的精确实施。
113.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
114.在一个实施例中，如图7所示，提供了一种多模态医学影像处理装置，包括：序列获取模块202、影像选取模块204、影像配准模块206和影像融合模块208，其中：
115.序列获取模块202，用于获取第一mri影像序列和第二mri影像序列；
116.影像选取模块204，用于根据第二mri影像序列与多组候选pet影像中每组候选pet
影像进行配准确定的相似度，选取相似度满足相似度条件的候选pet影像作为目标pet影像；
117.影像配准模块206，用于将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数；
118.影像融合模块208，用于根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。
119.上述多模态医学影像处理装置中，首先根据第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选择相似度较高的目标pet影像，然后将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数，最后根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。可以理解，本装置通过先确定与第二mri影像序列配准效果较好的目标pet影像，使得第二mri影像序列与目标pet影像之间拥有准确的配准关系，如此可消除呼吸运动以及心跳运动的影响，并且可将其他的第一mri影像序列与目标pet影像的配准转化为将其他的第一mri影像序列与第二mri影像序列的配准，同样消除了呼吸运动以及心跳运动对第一mri影像序列的影响，提高了影像配准的准确性，进而基于准确配准得到的第一mri影像序列和目标pet影像进行融合，提高了融合得到的pet-mri影像的成像质量。
120.在一个实施例中，影像融合模块208还用于根据第二mri影像序列与目标pet影像进行配准得到的第二配准参数，融合第二mri影像序列和目标pet影像，得到第二pet-mri影像。
121.在一个实施例中，第一mri影像序列为二维mri影像构成的序列。影像配准模块206具体用于获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度；根据三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
122.在一个实施例中，第一mri影像序列为三维mri影像构成的序列。影像配准模块206具体用于获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度；根据三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
123.在一个实施例中，该装置还包括：影像重建模块和影像确定模块，其中：
124.影像重建模块，用于对待重建的pet影像进行呼吸门控重建，得到多期重建后的pet影像；
125.影像确定模块，用于将多期重建后的pet影像确定为多组候选pet影像。
126.在一个实施例中，该装置还包括：参数生成模块和影像校正模块，其中：
127.参数生成模块，用于根据所述第二mri影像序列，生成衰减图；
128.影像校正模块，用于在呼吸门控重建过程中，根据衰减图对所述pet数据进行校正。
129.在一个实施例中，序列获取模块202具体用于获取第二脉冲序列；若第二脉冲序列为二维mri影像成像序列，则根据第二脉冲序列进行成像，得到二维mri影像序列；将二维
mri影像序列转化/组合为三维mri影像序列，得到第二mri影像序列。在此实施例中，获取检测对象的多组二维mri影像序列，每组二维mri影像序列对应检测对象的至少一个片层；将多个二维mri影像序列组合为三维mri影像序列，得到第二mri影像序列。
130.关于多模态医学影像处理装置的具体限定可以参见上文中对于多模态医学影像处理方法的限定，在此不再赘述。上述多模态医学影像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
131.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多模态医学影像处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
132.本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
133.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
134.获取第一mri影像序列和第二mri影像序列；
135.根据第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选取相似度满足相似度条件的候选pet影像作为目标pet影像；
136.将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数；
137.根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。
138.上述计算机设备中，首先根据第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选择相似度较高的目标pet影像，然后将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数，最后根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。可以理解，本计算机设备通过先确定与第二mri影像序列配准效果较好的目标pet影像，使得第二mri影像序列与目标pet影像之间拥有准确的配准关系，如此可消除呼吸运动以及心跳运动的影响，并且可将其他的第一mri影像序列与目标pet影像的配准转化为将其他的第一mri影像序列与第二mri影像序列的配准，同样消除了呼吸运动以及心跳运动对第一mri影像序列的影响，提高了影像配准的准确性，进而基于准确配准得到的第一mri影像序列和目标
pet影像进行融合，提高了融合得到的pet-mri影像的成像质量。
139.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
140.根据第二mri影像序列与目标pet影像进行配准得到的第二配准参数，融合第二mri影像序列和目标pet影像，得到第二pet-mri影像。
141.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
142.将第一mri影像序列与第二mri影像序列进行配准，获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度；根据三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
143.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
144.获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度；根据三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
145.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
146.对待重建的pet影像进行呼吸门控重建，得到多期重建后的pet影像；将多期重建后的pet影像确定为多组候选pet影像。
147.在一个实施例中，处理器执行计算机程序时还实现以下步骤：
148.根据第二mri影像序列，生成衰减图；
149.在呼吸门控重建过程中，根据衰减图对pet数据进行衰减校正。
150.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
151.获取第一mri影像序列和第二mri影像序列；
152.根据第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选取相似度满足相似度条件的候选pet影像作为目标pet影像；
153.将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数；
154.根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。
155.上述计算机可读存储介质中，首先根据第二mri影像序列与多组候选pet影像中每组候选pet影像进行配准确定的相似度，选择相似度较高的目标pet影像，然后将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数，最后根据第一配准参数，融合第一mri影像序列和目标pet影像，得到第一pet-mri影像。可以理解，本存储介质通过先确定与第二mri影像序列配准效果较好的目标pet影像，使得第二mri影像序列与目标pet影像之间拥有准确的配准关系，如此可消除呼吸运动以及心跳运动的影响，并且可将其他的第一mri影像序列与目标pet影像的配准转化为将其他的第一mri影像序列与第二mri影像序列的配准，同样消除了呼吸运动以及心跳运动对第一mri影像序列的影响，提高了影像配准的准确性，进而基于准确配准得到的第一mri影像序列和目
标pet影像进行融合，提高了融合得到的pet-mri影像的成像质量。
156.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
157.根据第二mri影像序列与目标pet影像进行配准得到的第二配准参数，融合第二mri影像序列和目标pet影像，得到第二pet-mri影像。
158.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
159.将第一mri影像序列与第二mri影像序列进行配准，获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度；根据三维空间的平移自由度、三维空间的旋转自由度、二维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
160.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
161.获取第一mri影像序列对应的三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度；根据三维空间的平移自由度、三维空间的旋转自由度、三维影像的伸缩自由度，通过广义模式搜索法将第一mri影像序列与第二mri影像序列进行配准，确定第一mri影像序列与目标pet影像的第一配准参数。
162.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
163.对待重建的pet影像进行呼吸门控重建，得到多期重建后的pet影像；将多期重建后的pet影像确定为多组候选pet影像。
164.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
165.根据第二mri影像序列，生成衰减图；
166.在呼吸门控重建过程中，根据衰减图对pet数据进行校正。
167.在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
168.获取第二脉冲序列；若第二脉冲序列为二维mri影像成像序列，则将第二脉冲序列转化为三维mri影像成像序列；根据三维mri影像成像序列进行成像，得到第二mri影像序列。
169.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
170.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
171.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来
说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。