一种多模态大脑影像特征学习方法

1.本发明涉及生物医学信息技术领域，尤其涉及一种多模态大脑影像特征学习方法。


背景技术：

2.大脑是人体最复杂的器官，也是迄今为止世界上最为复杂的系统之一，至今人脑的运行机制依旧未能完全被认识。如今以研究大脑各方面为目标的脑科学研究已日渐成为自然科学研究的核心内容，脑科学研究的发展使人类可以更加全面的认识大脑。近年来随着大脑影像学技术正在不断发展，提供了一系列非侵入式的方法来获得大脑信息，常用的大脑影像学技术可以分为功能和结构影像技术。在探索大脑思维与认知状态研究中，机器学习已经被广泛用于大脑影像相关研究。由于其能够从数据中自动分析获得规律，并利用规律对未知数据进行预测以及辅助寻找可能对疾病比较敏感的脑网络特征，基于机器学习的大脑影像特征学习方法已成为大脑影像研究中的一个热点研究，吸引着越来越多的研究者。
3.在实际中，医生能够获取到大量结构功能各异的大脑影像，辅助医生从不同角度对被试进行诊断，加强对疾病致病因子的认识。传统单模态大脑影像仅从一种视角出发，显然忽略了不同模态大脑影像之间的信息互补。这势必会引起获取到的特征不充分，影响最终的疾病诊断。而在多模态大脑影像特征学习中，最为重要的一点就是对多个大脑影像提取到的特征进行联合特征学习，筛选出与疾病相关联特征，并且在降低特征维度的同时提高分类性能。在已有的机器学习方法中，多任务学习(multi-task learning)常被用于与疾病相关的特征学习。其优势在于能够揭露不同任务数据之间潜在的共有特性，进行任务间信息共享，并且具有良好的泛化性。
4.多模态大脑影像特征学习又可以分为过滤式、包裹式和嵌入式三种方式。嵌入式特征学习被广泛应用，将学习器与特征学习过程相结合，在学习器学习时自动完成特征学习，正则化技术则常被用于嵌入式特征学习中。现有的嵌入式特征学习方法在基于样本的多模态特征选择时，特征选择不充分。


技术实现要素：

5.本发明的目的是为了解决传统多模态特征学习不足之处，提供了一种新的多模态大脑影像特征学习方法，采用以下技术方案：
6.一种多模态大脑影像特征学习方法，其步骤包括：
7.步骤1：从样本集中选取同一受试者的结构磁共振成像(structural magnetic resonance imaging,smri)和正电子发射断层扫描成像(positron emission computed tomography,pet)，从结构磁共振成像中提取大脑感兴趣区域的平均灰质密度作为结构磁共振成像的特征，从正电子发射断层扫描成像中提取大脑感兴趣区域的葡萄糖代谢作为正电子发射断层扫描成像的特征；
8.步骤2：分别计算每种模态数据的特征之间的相关系数，得到对应的特征相关矩阵，并进行线性融合得到特征相关正则化；
9.步骤3：对特征矩阵进行加权融合，计算特征相邻节点得到邻接矩阵，根据余弦距离方法，构建特征图拉普拉斯矩阵，得到特征结构正则化；
10.步骤4：将特征相关正则化和特征结构正则化嵌入到引入低秩约束的多任务模型中，进行特征学习，得到特征学习模型；
11.步骤5：通过特征学习模型筛选具有良好表征的特征向量，分别进行标准化，对多模态数据提取到的特征进行线性融合，得到融合后的特征矩阵；
12.步骤6：将样本集融合后的特征矩阵划分为测试集和训练集，使用训练集对支持向量机进行训练并生成模型，利用测试集检验模型分类性能，最后计算分类性能指标；采用训练好的模型分类得到特征向量。
13.进一步的，所述步骤1具体为：
14.步骤1.1：从结构磁共振成像提取中平均灰质密度：采用标准脑模板对结构磁共振成像的原始图像进行空间标准化，将每张原始图像同一区域与模板区域一一对应，随后将图像分割为灰质、白质和脑脊液三种脑组织结构；最后使用大脑分区模版提取感兴趣区域平均灰质密度作为结构磁共振成像特征；
15.步骤1.2：从正电子发射断层扫描成像中提取平均葡萄糖代谢：对正电子发射断层扫描成像的原始图像进行头动矫正，配准到标准脑模板进行标准化和平滑操作，最后使用大脑分区模板提取脑区平均葡萄糖代谢作为正电子发射断层扫描成像特征。
16.进一步的，所述步骤2具体为：
17.分别计算每种模态数据特征之间的相关系数，定义矩阵记录第i种模态的相关系数矩阵，其中p表示特征数；通过线性融合得到特征相关正则化，其计算公式为：
[0018][0019]
式中，tr(
·
)表示矩阵的迹范数，表示线性融合后的相关矩阵，其中m表示模态个数，则表示特征权重矩阵。
[0020]
进一步的，所述步骤3具体为：
[0021]
步骤3.1：对特征矩阵进行加权融合，具体为：将结构磁共振成像的特征矩阵x1和正电子发射断层扫描成像的特征矩阵x2分别进行标准化，随后进行加权融合，得到融合特征矩阵xf，其加权融合公式为：
[0022]
xf＝δ1x1 δ2x2ꢀꢀ
(2)
[0023]
式中，x1和x2为特征矩阵，δ1和δ2为加权融合系数；
[0024]
步骤3.2：根据融合后的特征矩阵xf，计算特征相邻节点，随后使用余弦距离法构建邻接矩阵h，其计算方法为：
[0025][0026]
式中，h
ij
用来度量特征矩阵x中第i列特征向量与第j列特征向量之间的相似性，x
·i和x
·j分别表示特征矩阵x中第i列和第j列的特征向量；
[0027]
步骤3.3：根据步骤3.2计算得到的邻接矩阵h，计算度矩阵s，进一步构造基于加权融合的拉普拉斯矩阵lf，其计算方法如公式(4)所示：
[0028]
lf＝s-h
ꢀꢀ
(4)
[0029]
式中，是度矩阵，并且是一个对角矩阵，主对角线元素为邻接矩阵中每个特征的度；
[0030]
步骤3.4：通过得到的拉普拉斯矩阵lf，进一步得到保持特征的局部空间几何结构的特征结构正则化，其计算公式如公式(5)所示：
[0031]
tr(w
t
lfw)
ꢀꢀ
(5)
[0032]
式中，为特征权重矩阵，tr(
·
)表示矩阵的迹范数。
[0033]
进一步的，所述步骤4具体为：
[0034]
使用迹范数近似低秩约束，在多任务学习模型基础上引入迹范数来提高不同模态数据之间信息共享，并引入公式(1)提到的特征相关正则化以及公式(5)提到的特征结构正则化，最终得到一种基于特征相关与特征结构融合的多模态大脑影像特征学习模型：
[0035][0036]
式中，yi表示第i种模态的标签，xi为第i种模态的特征矩阵，wi中每行元素表示第i种模态下对应的特征权重值，α、β、γ为正则化参数且均为大于零的实数。
[0037]
进一步的，所述步骤5具体为：
[0038]
步骤5.1：通过公式(6)的特征学习模型，对多模态大脑影像的特征权重进行学习，得到特征权重矩阵w，根据权重矩阵对特征进行筛选；
[0039]
步骤5.2：将筛选之后的两种模态大脑影像的特征进行线性融合，即将多个特征矩阵拼接在一起，得到融合后的特征矩阵。
[0040]
进一步的，所述步骤6具体为：
[0041]
对融合后的特征矩阵进行测试集和训练集划分，使用线性支持向量机进行模型训练，利用测试集数据验证模型分类性能，判断是否达到指定迭代次数；若否，则重新执行步骤6；若是，则选择最好分类结果对应的特征向量输出。
[0042]
进一步的，所述方法还包括以下步骤：
[0043]
步骤7：将筛选得到的特征对应关键脑区进行可视化，用于分析疾病所影响的关键脑区。
[0044]
本发明具有如下有益效果：
[0045]
本发明为一种基于特征相关与特征结构融合的多模态大脑影像特征学习方法，将特征相关正则化和特征结构正则化嵌入到引入低秩约束的多任务模型中进行特征学习，充分考虑了多模态大脑影像特征间的潜在关系和特征局部空间几何结构，筛选与疾病相关联
的特征，克服特征信息量不足的问题，能够提高特征学习解释性的同时提高分类性能。
附图说明
[0046]
图1为本发明一种多模态大脑影像特征学习方法的实施流程图；
具体实施方式
[0047]
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。
[0048]
请参考图1，本发明为一种多模态大脑影像特征学习方法，其步骤包括：
[0049]
步骤1：从样本集中选取同一受试者的结构磁共振成像和正电子发射断层扫描成像提取大脑感兴趣区域的平均灰质密度作为结构磁共振成像的特征；提取大脑感兴趣区域的葡萄糖代谢作为正电子发射断层扫描成像的特征；本实例中，样本集包括正常被试73人，早期轻度认知障碍53人，晚期轻度认知障碍49人以及阿尔兹海默症患者69人；步骤1具体包括：
[0050]
步骤1.1：从结构磁共振成像提取中平均灰质密度：
[0051]
步骤1.1a：采用mni152标准脑模板对结构磁共振成像的原始图像进行空间标准化，将每张原始图像同一区域与模板区域一一对应，随后将图像分割为灰质、白质和脑脊液三种脑组织结构；
[0052]
步骤1.1b：最后使用aal(anatomical automatic labeling)模版提取感兴趣区域平均灰质密度作为结构磁共振成像特征；
[0053]
步骤1.2：从正电子发射断层扫描成像中提取平均葡萄糖代谢：
[0054]
步骤1.2a：对正电子发射断层扫描成像的原始图像进行头动矫正，配准到mni152标准脑模板进行标准化和平滑操作；
[0055]
步骤1.2b：最后使用aal模板提取脑区平均葡萄糖代谢作为正电子发射断层扫描成像特征。
[0056]
步骤2：分别计算每种模态数据特征之间的相关系数，定义矩阵其中p表示特征数；记录第i种模态的相关系数矩阵，通过线性融合得到特征相关正则化，其计算公式为：
[0057][0058]
式中，tr(
·
)表示矩阵的迹范数，表示线性融合后的相关矩阵，其中m表示模态个数，则表示特征权重矩阵；
[0059]
步骤3：对特征矩阵进行加权融合，计算特征相邻节点得到邻接矩阵，根据余弦距离方法，构建特征图拉普拉斯矩阵，得到特征结构正则化；具体步骤为：
[0060]
步骤3.1：对特征矩阵进行加权融合，具体为：将结构磁共振成像的特征矩阵x1和正电子发射断层扫描成像的特征矩阵x2分别进行标准化，随后进行加权融合，得到融合特征矩阵xf，其加权融合公式为：
[0061]
xf＝δ1x1 δ2x2ꢀꢀ
(8)
[0062]
式中，x1和x2为特征矩阵，δ1和δ2为加权融合系数；
[0063]
步骤3.2：根据融合后的特征矩阵xf，计算特征相邻节点，随后使用余弦距离法构建邻接矩阵h，其计算方法为：
[0064][0065]
式中，h
ij
用来度量特征矩阵x中第i列特征向量与第j列特征向量之间的相似性，x
·i和x
·j分别表示特征矩阵x中，第i列和第j列的特征向量；
[0066]
步骤3.3：根据步骤3.2计算得到的邻接矩阵h，计算度矩阵s，进一步构造基于加权融合的拉普拉斯矩阵lf，其计算方法如公式(10)所示：
[0067]
lf＝s-h
ꢀꢀ
(10)
[0068]
式中，是度矩阵，并且是一个对角矩阵，主对角线元素为邻接矩阵中每个特征的度；
[0069]
步骤3.4：通过得到的拉普拉斯矩阵lf，进一步得到保持特征的局部空间几何结构的特征结构正则化，其计算公式如公式(11)所示：
[0070]
tr(w
t
lfw)
ꢀꢀ
(11)
[0071]
式中，为特征权重矩阵，tr(
·
)表示矩阵的迹范数；
[0072]
步骤4：使用迹范数近似低秩约束，在多任务学习模型基础上引入迹范数来提高不同模态数据之间信息共享，并引入公式(7)提到的特征相关正则化以及公式(11)提到的特征结构正则化，最终得到一种基于特征相关与特征结构融合的多模态大脑影像特征学习模型：
[0073][0074]
式中，yi表示第i种模态的标签，xi为第i种模态的特征矩阵，wi中每行元素表示第i种模态下对应的特征权重值，α、β、γ为正则化参数，且均为大于零的实数；
[0075]
步骤5：通过特征学习模型筛选具有良好表征的特征向量，分别进行标准化，对多模态数据提取到的特征进行线性融合，得到融合后的特征矩阵，具体为：
[0076]
步骤5.1：通过公式(12)的特征学习模型，对多模态大脑影像的特征权重进行学习，得到特征权重矩阵w，根据权重矩阵对特征进行筛选；
[0077]
步骤5.2：将筛选之后的两种模态大脑影像的特征进行线性融合，即将多个特征矩阵拼接在一起，得到融合后的特征矩阵；
[0078]
步骤6：对融合后的特征矩阵进行测试集和训练集划分，使用线性支持向量机进行模型训练，其中核函数类型设置为线性核，随后利用测试集数据验证模型分类性能；此外，指定最大迭代次数为10次，对分类性能进行均衡，消除偶然因素。
[0079]
在其他一些实施例中，在步骤6后续还包括以下步骤：
[0080]
步骤7：将筛选得到的特征对应关键脑区进行可视化，用于分析疾病所影响的关键脑区。
[0081]
本发明未涉及部分均与现有技术相同或采用现有技术加以实现。
[0082]
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。