融合T1w-MRI和fMRI信息的大脑核磁共振图像配准方法

融合t1w-mri和fmri信息的大脑核磁共振图像配准方法
技术领域
1.本发明属于脑影像学图像处理技术领域，尤其是涉及一种基于融合t1w-mri和fmri信息的大脑核磁共振图像配准方法。


背景技术：

2.大脑是人体最重要的部位之一，它通过巨量的神经元和突触连接支配着人的思维和行动，可以算的上自然界最为复杂和精妙的产物。因此，研究人的大脑有着极其重要的意义，通过揭示大脑的运作方式和本质，可以加深对人类自身的了解，并且还可以根据其原理来造福人类，例如，人工神经网络就是对大脑的工作机制深入了解后通过仿生研究出的产物，极大的推动的深度学习的发展，从而推动了人类社会的进步。此外，对大脑精神疾病病理的研究也是预防和治疗精神疾病的重要手段。
3.人类对大脑的研究技术也是不断进步，早期人们是通过解剖人的尸体来了解大脑的结构和功能的，这样做有很大的局限性，并且很难在活人身上进行实验。随着医学成像技术的发展，脑电波图像、正电子发射型计算机断层显像、电子计算机断层扫描、核磁共振成像等各种成像技术在大脑的研究中蓬勃发展，其中核磁共振成像技术(magnetic resonance imaging，mri)由于有着对人体无损伤的优势而得到广大学者的青睐。
4.在核磁共振成像方式中，常见的有t1加权核磁共振图像(t1 weighted magnetic resonance imaging,t1w-mri)和功能核磁共振图像(functional magnetic resonance imaging，fmri)等。对采集到的图像进行预处理是之后进行研究的重要前提，而图像配准就是其中一环。例如在预处理步骤中的标准化，就是将mri图像利用配准算法配准到标准空间中。另外对于分析不同人群脑功能网络之间的差异，需要对功能核磁共振图像进行组分析，因此不同个体图像间的配准是最基本的要求。由于大脑结构十分复杂，不同模态的图像包含着不同的信息，很难同时建立结构对应和功能对应，因此，将对大脑mri图像的配准算法还需进行深一步的研究。


技术实现要素：

5.本发明的目的在于提供一种融合t1w-mri和fmri信息的大脑核磁共振图像配准方法，在利用大脑t1加权核磁共振图像所包含的精细的结构信息和功能核磁共振图像所包含的功能区域信息，采用卷积神经网络为框架，完善和发展大脑核磁共振图像的配准算法。
6.为了达到上述目的，本发明通过以下技术方案实现：
7.一方面，本发明公开了一种融合t1w-mri和fmri信息的大脑核磁共振图像配准方法，该方法包括如下步骤：
8.图像采集:采集多个被试的mri图像组，且每个被试的mri图像组均包括该被试的t1w-mri图像和相应的静息态fmri图像；
9.图像预处理:分别对采集到的多个被试的mri图像组进行预处理以得到多个预处理后的被试的mri图像组，其中，每个预处理后的被试的mri图像组中，预处理后的静息态
fmri图像的尺寸为预处理后的t1w-mri图像的尺寸1/t，其中，t的取值范围为2～5；
10.图像划分:对预处理后的被试的mri图像组进行划分以得到训练集和验证集；
11.构建模型：构建包括卷积神经网络和半监督损失函数的配准模型；
12.训练模型:利用训练集对配准模型进行迭代训练以获得训练好的配准模型；
13.验证模型:利用验证集对训练好的配准模型进行验证并通过调整超参数以获得最终的配准模型；
14.获取配准后图像:根据最终的配准模型获取待配准被试的mri图像组的配准后图像；
15.其中，根据最终的配准模型获取待配准被试的mri图像组的配准后图像包括：
16.选取目标被试和待配准被试组成被试对，对所述被试对的mri图像组进行所述图像预处理；
17.将预处理后的待配准被试和目标被试的t1w-mri图像同时输入最终的配准模型，以从最终的配准模型输出待配准被试的t1w-mri图像的变形场，并通过空间变换网络对待配准被试的t1w-mri图像进行变形得到待配准被试的t1w-mri配准后图像，对待配准被试的t1w-mri图像的变形场进行下采样处理，以得到待配准被试的静息态fmri图像的变形场，并通过空间变换网络对待配准被试的静息态fmri图像进行变形得到待配准被试的静息态fmri配准后图像。
18.在其中的一些实施例中，所述卷积神经网络为u-net卷积神经网络。
19.在其中的一些实施例中，所述半监督损失函数定义为以下公式：
20.l＝l
t1-sim
λl
f-sim
γl
smooth
；
21.其中，l为所述半监督损失函数，l
t1-sim
为待配准被试的t1w-mri配准后图像和目标被试的t1w-mri图像的相似度损失函数，l
f-sim
为待配准被试的fmri配准后图像和目标被试的fmri图像的相似度函数；l
smooth
为变形场平滑函数；λ和γ为权重系数；
22.根据经验给半监督损失函数中权重系数λ和γ一个初始值以得到一个最初的半监督损失函数。
23.在其中的一些实施例中，权重系数λ和γ的初始值均为0.2。
24.在其中的一些实施例中，利用训练集对配准模型进行迭代训练以获得训练好的配准模型的步骤包括：
25.步骤s1，从所述训练集中随机的选取两个不同被试的mri图像组作为被试对的mri图像组，将被试对的mri图像组中两个不同被试对应的t1w-mri图像，分别作为待配准t1w-mri图像和目标t1w-mri图像输入到卷积神经网络中，并在经过卷积神经网络计算之后得到变形场φ后，对变形场φ进行下采样处理，以得到变形场φ的1/t比例变形场φ
1/t
；其中，变形场φ为t1w-mri图像的变形场，变形场φ
1/t
为静息态t1w-mri图像的变形场；
26.步骤s2，将变形场φ和变形场φ
1/t
通过空间变换网络分别施加到被试对的相应的待配准图像上以得到配准后的图像；
27.步骤s3，根据配准后的图像与目标图像的相似度和变形场的梯度经过计算获取半监督损失函数的值后，根据半监督损失函数的值利用优化器更新卷积神经网络的参数以得到更新后的卷积神经网络。
28.步骤s4，继续将训练集的数据输入更新后的卷积神经网络中，重复步骤s1～s3，直
到达到最大迭代次数，以得到训练好的配准模型。
29.在其中的一些实施例中，采用adam优化器对卷积神经网络的参数进行更新，并设置学习率为10-4
，以得到更新后的卷积神经网络。
30.在其中的一些实施例中，在所述图像预处理的步骤中，分别对采集到的多个被试的mri图像组进行预处理的步骤具体包括：
31.对被试的t1w-mri图像进行去除头骨、强度标准化、仿射对齐、剪裁和归一化处理，对被试的静息态fmri图像进行去除前10个时间点、时间层矫正、头动校正、协变量回归、去除线性漂移、滤波、平滑、仿射对齐和剪裁处理。
32.在其中的一些实施例中，对被试的t1w-mri图像进行仿射对齐是将经过强度标准化处理后的t1w-mri图像仿射对齐到体素尺寸为1mm的标准空间模板，对被试的静息态t1w-mri图像进行仿射对齐是将经过平滑处理后的静息态fmri图像仿射对齐到体素尺寸为tmm的标准空间模板。
33.在其中的一些实施例中，在所述图像划分的步骤中:训练集和验证集的比例为7:3～9:1。
34.另一方面，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，当执行该计算机程序产品时，进行权利要求1～9中任一项所述的融合t1w-mri和fmri信息的大脑核磁共振图像配准方法。
35.与现有技术相比，上述发明至少具有如下优点或者有益效果之一：
36.本发明同时利用了大脑t1加权核磁共振图像精细的结构信息和功能核磁共振图像的功能信息，融合了两种模态中所蕴含的不同的重要信息，实现了大脑结构区域对应和功能区域的对应。对于两种模态的配准来说，一定程度上提升了配准精度。对于fmri图像的配准来说，还减少了借助结构图像进行分步配准所产生的累计误差，同时引用深度学习来进行全局优化，利用gpu加速计算，大大缩短了配准算法的计算时间。
附图说明
37.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未可以按照比例绘制附图，重点在于示出本发明的主旨。
38.图1为本发明实施例中融合t1w-mri和fmri信息的大脑核磁共振图像配准方法流程图。
具体实施方式
39.下面结合附图和具体的实施例对本发明进行进一步的说明，但是不作为本发明的限定。
40.如图1所示，本发明公开了一种融合t1w-mri和fmri信息的大脑核磁共振图像配准方法，具体的，该方法包含如下步骤：
41.步骤1，图像采集:采集多个(例如250个)被试的mri图像组，且每个被试的mri图像组均包括该被试的t1w-mri图像和相应的静息态fmri图像，其中，采集t1w-mri图像的体素尺寸为1mm。和相对应的静息态fmri图像，采集相应的静息态fmri图像的体素尺寸为3mm。
42.步骤2，图像预处理:分别对采集到的多个被试的mri图像组进行预处理以得到多个预处理后的被试的mri图像组，其中，对被试的t1w-mri图像进行去除头骨、强度标准化、仿射对齐、剪裁和归一化处理，对被试的静息态fmri图像去除前10个时间点、时间层矫正、头动校正、协变量回归、去除线性漂移、滤波、平滑、仿射对齐和剪裁处理。
43.具体的，使用freesurfer软件对被试的t1w-mri图像进行去除头骨、强度标准化2个步骤；使用dparsf软件对被试的静息态fmri图像件进行去除前10个时间点、时间层矫正、头动校正、协变量回归、去除线性漂移、滤波、平滑7个步骤；对被试的t1w-mri图像进行仿射对齐是使用spm软件将经过强度标准化处理后的t1w-mri图像仿射对齐到体素尺寸为1mm的标准空间模板，对被试的静息态t1w-mri图像进行仿射对齐是使用spm软件将经过协变量回归的静息态fmri图像仿射对齐到体素尺寸为3mm的标准空间模板。
44.其中，每个预处理后的被试的mri图像组中，预处理后的静息态fmri图像的尺寸为预处理后的t1w-mri图像的尺寸1/3，具体的，将t1w-mri剪裁为144
ⅹ
192
ⅹ
192的大小，同时将预处理后静息态fmri图像剪裁为48
ⅹ
64
ⅹ
64的大小，之后再对t1w-mri图像进行归一化处理。
45.步骤3，图像划分:对预处理后的被试的mri图像组按照比例进行划分以得到训练集和验证集；具体的，对预处理后的被试的mri图像组按照9：1的比例进行划分以得到训练集和验证集，其中，225个为训练集，25个为测试集；当然在本发明的其他实施例中，也可以按照其他的比例进行划分，这并不影响本发明的目的。
46.步骤4，构建模型：构建包括u-net卷积神经网络和半监督损失函数的配准模型，具体的，采用tensorflow构建u-net卷积神经网络。
47.具体的，上述半监督损失函数通过以下公式获得：
48.l＝l
t1-sim
λl
f-sim
γl
smooth
49.其中，l为半监督损失函数，l
t1-sim
为待配准被试的t1w-mri配准后图像和目标被试的t1w-mri图像的相似度损失函数，l
f-sim
为待配准被试的fmri配准后图像和目标被试的fmri图像的相似度函数；l
smooth
为变形场平滑函数；λ和γ为权重系数；根据经验给半监督损失函数中权重系数λ和γ一个初始值以得到一个最初的半监督损失函数；具体的，根据经验给与权重系数λ和γ赋予一个初始的值0.2和0.2，得到一个最初的半监督损失函数。
50.具体的，对于半监督损失函数中的每一项构造步骤如下：
51.步骤a，l
t1-sim
为待配准被试的t1w-mri配准后图像和目标被试的t1w-mri图像的相似度损失函数，使用这两幅图像(待配准被试的t1w-mri配准后图像和目标被试的t1w-mri图像)灰度值的均方误差计算，见下式：
[0052][0053]
其中，p为体素位置；ω为整个图像的图像域；f
t1
(p)为待配准被试的t1w-mri配准后图像在p这个体素位置的灰度值；r
t1
(p)为目标被试的t1w-mri图像在p这个体素位置的灰度值。
[0054]
步骤b，半监督损失函数l中，第二项l
f-sim
为待配准被试的fmri配准后图像和目标被试的fmri图像的相似度函数，使用这两幅图像(待配准被试的fmri配准后图像和目标被
试的fmri图像)的局部功能连接直方图的巴氏系数来计算，局部功能连接直方图通过局部功能连接向量计算得到。其中局部功能连接向量的计算方式如下：对于一个体素点n，取以该点为中心，边长为7体素的正方体邻域，按照任意顺序计算该邻域内的所有体素m
i,i＝1～343
与中心点n的pearson相关系数，进而得到一个以体素点n为中心的局部功能连接向量c(n)。对于一对时间序列(体素点n的时间序列i(n)和体素点m的时间序列i(mi))，它们的pearson相关系数c(n,mi)计算公式如下：
[0055][0056]
在某个体素位置n，其边长为7体素的正方体邻域的局部功能连接向量表示为c(n)＝[c(n,m1),c(n,m2),
…
,c(n,m
343
)]，其中mi,i＝1～343，为n的邻域内的体素点。
[0057]
接下来为了消除相对位置和计算顺序的影响，将得到的局部功能连接向量转换为局部功能连接分布直方图。pearson相关系数值的范围为-1到1，便以间隔为0.1将该范围分为20个区间，统计计算向量中的相关系数在各个区间的个数，最终得到相关系数分布直方图，就是局部功能连接分布直方图，用向量表示h(n)＝[h(n,1),h(n,2),
…
,h(n,20)]，其中h(n,i),i＝1～20，为以体素点n为中心的局部功能连接向量中的值落入第i个区间的个数。
[0058]
最后，用巴氏系数(bhattacharyya coefficient，bc)计算目标被试的fmri图像和待配准被试的fmri配准后图像相同区域的局部功能连接分布直方图hf(n)和hr(n)的差异，对所有体素的邻域ω都计算其局部功能连接分布直方图的差异，将所有得到的数值取平均，就得到最终的损失值，公式如下。
[0059]
步骤c，在实际情况下，可能会生成物理上不真实的非平滑变形场，因此需要对变形场进行平滑处理，防止空间折叠。这里使用扩散模型中的一些应用，对位移场u的空间梯度使用正则化进行约束，其中l
smooth
(φ)为平滑函数。
[0060][0061]
其中，为位移场u在体素位置p的空间梯度。
[0062]
可以使用相邻体素之差来近似计算空间梯度，具体来说可以使用相邻体素之差来近似计算空间梯度，具体来说其中对x方向的梯度可用下式近似计算。
[0063][0064]
对于y方向和z方向的同理，在此便不予以赘述。
[0065]
步骤5，训练模型:利用训练集对配准模型进行迭代训练以获得训练好的配准模型。
[0066]
在本发明的一个优选的实施例中，上述利用训练集对配准模型进行迭代训练以获
得训练好的配准模型的步骤包括：
[0067]
步骤s1，从训练集中随机的选取两个不同被试的mri图像组作为被试对的mri图像组，将被试对的mri图像组中两个不同被试对应的t1w-mri图像，分别作为待配准t1w-mri图像和目标t1w-mri图像输入到卷积神经网络中，并在经过卷积神经网络(编码器和解码器)计算之后得到变形场φ(表示为位移场u)后，对变形场φ进行下采样处理，以得到变形场φ1/3比例的变形场φ
1/3
(表示为位移场u
1/3
)；其中，变形场φ为t1w-mri图像的变形场，变形场φ
1/3
为静息态t1w-mri图像的变形场。
[0068]
步骤s2，将变形场φ和变形场φ
1/3
通过空间变换网络分别施加到被试对的相应的待配准图像上以得到配准后的图像。
[0069]
具体的，将变形场φ和变形场φ
1/3
通过空间变换网络分别施加到被试对的相应的待配准图像上以得到配准后的图像的步骤包含以下几步：
[0070]
步骤s21，对于待配准被试的t1w-mri图像(m
t1
)，将变形场φ施加到待配准图像上，符号表示为使得待配准图像扭曲变形，得到待配准被试的t1w-mri配准后图像(r
t1
)。r
t1
图像通过插值计算得到的强度计算公式为：
[0071][0072]
其中，表示经过位移场u变换后的位置的强度，表示相邻区域的体素位置，q为相邻区域的体素位置的其中一个位置，d表示三维空间中的x，y，z的三个方向。。
[0073]
步骤s22，同理，再将所得到的变形场φ
1/3
施加到上面所选待配准被试的fmri(mf)图像上，即可得到相应的配准后的fmri图像(rf)，计算公式如下。
[0074][0075]
其中，表示经过位移场u变换后的位置的强度，表示相邻区域的体素位置，为相邻区域的体素位置的其中一个位置，d表示三维空间中的x，y，z的三个方向。
[0076]
步骤s3，根据配准后的图像与目标图像的相似度和变形场的梯度经过计算获取半监督损失函数的值后，根据半监督损失函数的值利用优化器更新卷积神经网络的参数以得到更新后的卷积神经网络。
[0077]
具体的，模型的目标就是最小化这个损失函数，进而得到一个最优的卷积神经网络。
[0078][0079]
其中θ为卷积神经网络中的参数。之后就是使用adam优化器对卷积神经网络的参数θ进行迭代，设置学习率为10-4
，得到更新后的卷积神经网络。
[0080]
步骤s4，继续将训练集的数据输入上述更新后的卷积神经网络中，重复步骤s1～s3，直到达到最大迭代次数，以得到训练好的配准模型，具体的，设置最大迭代次数为500次。
[0081]
步骤5，验证模型:利用验证集对训练好的配准模型进行验证并通过调整超参数以获得最终的配准模型，其中该超参数包括权重系数λ和γ、学习率和迭代次数等。
[0082]
具体的，使用验证集对训练好的配准模型进行验证，这里挑选验证集中的一个被试作为目标，将验证集中的其他被试分别用训练后的模型配准到目标被试上，然后观察配准后的结果。之后不断调整权重系数λ和γ、迭代次数、学习率等超参数，重新训练模型，从中挑选验证集中的最优结果作为最终的配准模型。
[0083]
步骤6，获取配准后图像:根据最终的配准模型获取待配准被试的mri图像组的配准后图像；
[0084]
具体的，上述根据最终的配准模型获取待配准被试的mri图像组的配准后图像包括；
[0085]
步骤a、选取目标被试和待配准的被试组成被试对，对所述被试对的mri图像组进行步骤2的图像预处理；
[0086]
步骤b、将预处理后的待配准被试和目标被试的t1w-mri图像同时输入最终的配准模型，以从最终的配准模型输出待配准被试的t1w-mri图像的变形场，并通过空间变换网络对待配准被试的t1w-mri图像进行变形得到待配准被试的t1w-mri配准后图像，对待配准被试的t1w-mri图像的变形场进行下采样处理，以得到待配准被试的静息态fmri图像的变形场，并通过空间变换网络对待配准被试的静息态fmri图像进行变形得到待配准被试的静息态fmri配准后图像。
[0087]
在此需要说明的是，上述步骤1～6的步骤的顺序可以根据需要进行调节，这并不影响本发明的目的。
[0088]
另外，本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，当执行该计算机程序产品时，进行上述的融合t1w-mri和fmri信息的大脑核磁共振图像配准方法。
[0089]
综上，本发明通过输入被试对的两个t1w-mri图像到配准模型中，经过一系列变换得到一个变形场，然后利用空间变换网络将变形场施加到待配准图像上，接着使用均方误差作为衡量t1w-mri的相似度损失函数，使用局部功能连接分布直方图的巴氏系数作为衡量fmri相似度损失函数，同时对变形场的施加约束，按照一定的比例系数，构造出一个总损失函数。之后通过优化器优化迭代，不断训练神经网络，最终得到一个训练好的配准模型，并根据该训练好的配准模型进行图像配准。对于两种模态的配准来说，一定程度上提升了配准精度。对于fmri图像的配准来说，还减少了借助结构图像进行分布配准所产生的累计误差，同时引用深度学习来进行全局优化，利用gpu加速计算，大大缩短了配准算法的计算时间。
[0090]
本领域技术人员应该理解，本领域技术人员在结合现有技术以及上述实施例可以实现变化例，在此不做赘述。这样的变化例并不影响本发明的实质内容，在此不予赘述。
[0091]
以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示
的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。