基于多模态磁共振成像的图卷积神经网络疾病预测系统的制作方法

1.本发明涉及神经影像数据分析领域，尤其涉及一种基于多模态磁共振成像的图卷积神经网络疾病预测系统。


背景技术：

2.多模态磁共振成像(magneticresonanceimaging，mri)具有多个模态的影像学信息，为研究各类疾病提供了多种生理学指标。t1加权结构像能够进行灰质和白质的分割，并可通过皮层重建来进行皮层信息提取(皮层体积、厚度和表面积等)。静息态功能磁共振成像反映了大脑在静息状态下的神经活动情况，是近年来研究脑功能和脑网络连接的一种重要方法。静息态磁共振数据可以用于计算低频振幅(amplitudeoflowfrequencyfluctuations,alff)，局部一致性(regionalhomogeneity,reho)以及功能连接(functionalconnectivity,fc)。其中，alff用于衡量不同脑区神经元的活动强弱，reho描述的是某个体素与周围相邻体素时间序列的同步性，fc可用于评估脑区之间的功能关联程度。扩散磁共振成像通过测量水分子扩散差异来检测脑白质的微结构特性以及纤维束走向。扩散磁共振数据可用于扩散张量成像(diffusiontensorimaging,dti)，计算各向异性分数(fractionalanisotropy,fa)、平均扩散率(meandiffusivity,md)等指标，也可用于神经突方向分散度和密度成像(neuriteorientationdispersionanddensityimaging,noddi)，计算神经突内容积比(intra-neuritevolumefraction,icvf)以及方向分散度(orientationdispersionindex,odi)等。并且可以通过全脑层面的纤维追踪结果，得到脑区间的纤维连接矩阵，用于评估脑区之间的结构连接。其中，fa反映了扩散的各项异性部分与扩散张量总值的比值，md反映了水分子单位时间内扩散运动的范围，icvf可以反映神经密度，odi可以量化神经突方向的离散度。
3.图卷积神经网络(graphconvolutionalneuralnetwork,gcn)是一种可以从图数据中提取特征的方法，从而使用这些特征去对图数据进行节点分类和图分类。通过对多模态磁共振数据的处理，可以得到上述具有生理学意义的指标。
4.目前基于磁共振数据进行疾病预测的方法，一般只是分别进行单一模态的数据处理，比如基于支持向量机支持向量机（supportvectormachines,svm）的方法用大脑表面积和皮层厚度对精神分裂症患者做自动分类（yuanx,yanz,zhaoy,etal.supportvectormachine-basedclassificationoffirstepisodedrug-na
ï
veschizophreniapatientsandhealthycontrolsusingstructuralmri[j].schizophreniaresearch,2017,214），或是基于稀疏组套索(sparsegrouplasso,sgl)的方法用fa值来进行渐冻症患者的分类（richie-halforda,yeatmanjd,simonn,etal.multidimensionalanalysisanddetectionofinformativefeaturesinhumanbrainwhitematter[j].ploscomputationalbiology,2021,17(6):e1009136），或是基于svm用alff值对创伤后应激障碍的病人进行分类（yuanm,qiuc,mengy,etal.pre-treatmentresting-statefunctionalmrimagingpredicts
thelong-termclinicaloutcomeaftershort-termparoxtinetreatmentinpost-traumaticstressdisorder[j].frontiersinpsychiatry,2018,9），对于多模态数据的融合还比较欠缺。多模态脑影像指标在以往研究中被证实与帕金森病（andicac,kamagatak,hatanot,etal.neuriteorientationdispersionanddensityimagingofthenigrostriatalpathwayinparkinson'sdisease:retrogradedegenerationobservedbytract-profileanalysis[j].parkinsonism&relateddisorders,2018:55-60），阿尔兹海默症（liux,guoz,dingy,etal.abnormalbaselinebrainactivityinalzheimer'sdiseasepatientswithdepression:aresting-statefunctionalmagneticresonanceimagingstudy[j].neuroradiology,2017,59(7):709-714），抑郁症（vythilingamm,vermettene,andersongm,etal.hippocampalvolume,memory,andcortisolstatusinmajordepressivedisorder:effectsoftreatment.[j].biologicalpsychiatry,2004,56(2):101-112）等各类疾病密切相关。并且大规模脑影像数据是一类非结构化数据，难以进行自动化、智能化程度高的数据挖掘和分析。医学图像数据与电子病历中的文本数据都是医疗数据类型中常见的非结构化数据。尽管目前得到长足发展的卷积神经网络在图像处理领域取得广泛的应用，然而面对结构复杂的医学图像，由于其成像模态、分辨率、成像角度的多样性，仍然存在大量的局限性。通过合理的方法将非结构化的图像数据转化为结构化数据有利于后续的数据挖掘和分析。


技术实现要素：

[0005]
本发明的目的在于针对现有技术的不足，提出一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，该系统可以融合多模态数据的信息并提高模型的预测能力和模型在不同疾病下的泛化能力。
[0006]
本发明是通过以下技术方案来实现的：一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，该系统包括如下模块：多模态磁共振数据获取模块，用于根据脑图谱提取多模态磁共振数据中的信息，包括结构像、静息态磁共振数据和扩散磁共振数据；数据预处理模块，用于对结构像、静息态磁共振数据和扩散磁共振数据进行预处理；脑影像组学信息提取模块，用于根据数据预处理模块处理后的结构像计算不同脑区的皮层体积、厚度和表面积信息；根据数据预处理模块处理后的静息态磁共振数据计算不同脑区的低频振幅和局部一致性信息；根据数据预处理模块处理后的扩散磁共振数据计算不同脑区的各向异性分数、平均弥散系数、细胞内体积分数和方向扩散分数信息；脑连接组学信息提取模块，用于根据数据预处理模块处理后的静息态磁共振数据计算得到每个被试的功能连接矩阵；根据数据预处理模块处理后的扩散磁共振数据计算得到每个被试的结构连接矩阵；脑图结构构建模块，用于将脑连接组学信息提取模块得到的功能连接矩阵和结构连接矩阵相乘得到邻接矩阵，作为脑图结构的边集，将脑图谱的各个脑区作为节点集，其中包含对应脑区的脑影像组学信息，由边集和节点集构建得到脑图结构；
图卷积神经网络模型构建模块，用于构建图卷积神经网络模型，以脑图结构数据作为模型输入，以被试所在的组别为标签作为模型输出，对图卷积神经网络模型进行训练，通过训练后的图卷积神经网络模型预测脑疾病。
[0007]
进一步地，所述数据预处理模块预处理过程具体为对结构像去脑壳，只保留脑组织结构；对静息态磁共振数据进行头动矫正与时间矫正；对扩散磁共振数据进行去噪、头动矫正和涡流矫正。
[0008]
进一步地，所述脑影像组学信息提取模块对脑组织结构的结构像进行灰白质分割；对灰白质分割后的结构像进行空间标准化，将其映射到统一的脑表面模板fsaverage上，并根据给定的脑图谱分为不同脑区；最后通过freesurfer软件进行皮层重构得到不同脑区的皮层体积、厚度和表面积信息。
[0009]
进一步地，所述脑影像组学信息提取模块对矫正后的静息态磁共振数据进行空间标准化，将其线性配准到结构像以及非线性配准到统一的脑体积模板mni152nlinin2009casym上；对配准后的静息态磁共振数据进行去噪、带通滤波、回归协变量和空间平滑操作，并计算得到不同脑区的低频振幅alff和局部一致性reho值信息；其中，低频振幅alff的频率0.01hz-0.1hz之间，局部一致性reho值要在空间平滑前计算。
[0010]
进一步地，所述脑影像组学信息提取模块对去噪和校正后的扩散磁共振数据进行反向的空间标准化，将标准脑模板mni152nlinin2009casym非线性配准到每个被试的结构像上，进而线性配准到每个被试的扩散像个体空间，并将脑图谱也根据相同的映射配准到每个被试的扩散像空间；对进行反向的空间标准化后的扩散磁共振数据进行弥散张量成像dti模型拟合，计算各个脑区的各向异性分数fa和平均弥散系数md值；最后对扩散磁共振数据进行神经突定向弥散和密度成像模型noddi拟合，计算各个脑区的细胞内体积分数icvf和方向扩散分数odi值。
[0011]
进一步地，所述脑连接组学信息提取模块用于从预处理后的静息态磁共振数据中提取基于标准脑图谱的每个脑区的平均时间序列；计算脑区间时间序列的皮尔逊相关系数，得到各个脑区之间的皮尔逊相关系数矩阵；对皮尔逊相关系数矩阵进行费希尔z变换，得到每个被试的功能连接矩阵。
[0012]
进一步地，所述脑连接组学信息提取模块用于对预处理后的扩散磁共振数据进行响应函数的估计以及通过球面约束反卷积重建纤维方向分布模型，并基于重建的模型进行全脑纤维追踪；基于配准到扩散像空间的脑图谱对纤维追踪的结果做筛选和归一化，得到每个被试的结构连接矩阵。
[0013]
进一步地，所述脑图结构构建模块用于以脑图谱的各个脑区作为节点，对得到各个脑区的多模态信息构建特征向量，包括结构像上提取的不同脑区的皮层体积、厚度和表面积的大脑结构指标，静息态磁共振数据上计算得到不同脑区的低频振幅alff和局部一致性reho值的大脑功能指标，扩散磁共振数据计算得到各个脑区的各向异性分数fa、平均弥散系数md、细胞内体积分数icvf和方向扩散分数odi值的大脑扩散指标；将归一化后的功能连接矩阵和结构连接矩阵相乘，作为邻接矩阵；基于邻接矩阵构建脑图结构数据g(v, e)，其中节点集v由脑图谱中提取的脑区构成，边集e由相乘得到的邻接矩阵构成。
[0014]
进一步地，所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型；图卷积神经网络模型包括两层图卷积神经网络gcn层，其中滤波器使用切比雪夫chebyshev卷
积核，阶数使用3阶，损失函数采用交叉熵函数；以构建的脑图结构数据的多模态磁共振数据作为图卷积神经网络模型的输入，以被试所在的组别为标签，作为图卷积神经网络模型的输出，利用反向传播技术进行图卷积神经网络模型训练。
[0015]
本发明的有益效果：本发明通过多模态数据预处理、影像指标提取和结构化数据整合，使用深度学习的方法，可以更好的融合多个脑区跨模态的生理学指标以及脑区之间的相关性，实现了多模态信息的融合，以及脑区节点与脑区连接的融合，提高了模型的预测能力和模型在不同疾病下的泛化能力。
附图说明
[0016]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0017]
图1是本发明提出的基于多模态磁共振成像的图卷积神经网络疾病预测系统结构示意图。
[0018]
图2是本发明提出的脑图结构数据构建示意图。
[0019]
图3是本发明提出的图卷积神经网络模型结构示意图。
具体实施方式
[0020]
下面将结合附图对本发明作进一步的说明。为了使本领域的人员更好地理解本技术中的技术方案，下面将结合附图对本发明作进一步的说明。但这仅仅是本技术的一部分实施例，而不是全部的实施例。基于本技术所述的具体实施例，本领域的其他人员在没有做出创造性劳动的前提下所获得的其他实施例，都应当落在本发明的构思范围之内。
[0021]
总体而言，本发明提出一种基于多模态磁共振成像的图卷积神经网络疾病预测系统，将多模态的磁共振影像数据整合成图结构的数据，用图卷积神经网络的方法对疾病进行预测。以该系统计算得到的多模态特征进行疾病预测，可以融合多模态数据的信息并提高模型的预测能力和模型在不同疾病下的泛化能力。整体系统结构如图1所示，包括多模态磁共振数据获取模块、数据预处理模块、脑影像组学信息提取模块、脑连接组学信息提取模块、脑图结构构建模块和图卷积神经网络模型构建模块；所述多模态磁共振数据获取模块用于获取多模态磁共振的脑影像数据，包括结构像、静息态磁共振数据和扩散磁共振数据；所述数据预处理模块用于对多模态的脑影像数据的各个模态进行预处理和配准。结构像数据预处理包括去除颅骨和非脑组织、空间标准化、对图像进行灰质、白质、脑脊液的分割、通过freesurfer软件包进行皮层重建，量化人脑的功能、连接以及结构属性，对结构像进行三维重建，生成展平或胀平图像，并得到皮质厚度、面积、灰质容积等解剖参数。静息态功能磁共振数据预处理包括：时间层校正，头动校正，结构像和功能像对齐，空间标准化，ica-aroma去噪等步骤。完成上述步骤后，使用ica-aroma去噪后的标准空间静息态功能磁共振数据进行进一步的回归去噪，包括：头动参数，全局信号，白质信号，脑脊液信号等。随后对数据进行带通滤波及空间平滑。扩散磁共振影像数据的预处理包括：图像去噪、畸变矫正、提取b0图像做信号归一化、头动和涡流矫正。完成上述步骤后，基于数据b向量分布情况对
图像进行弥散模型重建，计算响应函数和纤维方向分布函数，进行全脑的纤维追踪；所述脑影像组学信息提取模块基于标准的脑图谱，将不同模态不同分辨率的数据通过前面的预处理方法与标准脑图谱配准，在各个脑区内计算各模态的脑影像组学信息，包括结构像上提取的不同脑区的皮层体积、厚度和表面积等大脑结构指标，静息态上计算得到不同脑区的alff和reho值等大脑功能指标，扩散磁共振计算得到各个脑区的各向异性分数fa，平均弥散系数md，细胞内体积分数icvf和方向扩散分数odi值等。所述脑连接组学信息提取模块用于在各个脑区间计算各模态的连接组学信息，包括静息态磁共振数据计算得到的功能连接矩阵，扩散磁共振计算得到的结构连接矩阵，将归一化后的大脑功能连接矩阵和结构连接矩阵相乘，作为图模型的邻接矩阵；所述脑图结构构建模块用于将脑区内的影像组学信息作为节点特征，整合脑连接组学信息作为边的权重构建图结构的数据；所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型，将脑图结构数据输入到图卷积神经网络模型进行疾病预测。
[0022]
本发明系统的具体实施过程如下：预处理过程包括：结构像预处理，静息态磁共振数据预处理以及扩散磁共振数据预处理。其中，结构像预处理调用ants软件的skull-stripping方法对结构像去脑壳，只保留脑组织结构；静息态功能磁共振数据预处理首先使用fsl软件的mcflirt方法对静息态数据进行头动矫正，用afni软件的3dtshift方法进行时间矫正。其次，对静息态数据进行空间标准化，用ants软件将其配准到结构像以及标准模板上。然后，对静息态数据用ica-aroma的方法进行去噪，并进行0.01hz-0.1hz的频域滤波，回归掉白质和脑脊液的信号。最后，用半峰全宽为6mm的高斯核进行空间平滑。扩散磁共振数据预处理首先用mrtrix3软件的dwidenoise方法对扩散磁共振数据进行去噪。然后，用fsl软件的head motion correction的方法进行头动矫正。最后，用fsl的eddy方法进行涡流矫正。
[0023]
脑影像组学信息提取过程包括：结构像影像节点信息提取，静息态磁共振数据节点信息提取，扩散磁共振数据节点信息提取。其中，结构像影像节点信息提取调用fsl软件的fast方法对结构像进行灰白质分割。其次，使用ants软件的非线性配准方法对结构像进行空间标准化，将其映射到统一的脑体积模板mni152nlin2009casym上，并根据给定的脑图谱分为不同脑区。然后，通过freesurfer软件的皮层重构方法得到皮层信息，将结构像映射到统一的脑表面模板fsaverage上并将其配准到各个脑区。最后，得到不同脑区的皮层体积、厚度和表面积等信息；静息态磁共振数据节点信息提取调用afni的3drsfc和3dreho函数计算得到不同脑区的alff和reho值等信息。特别地，reho值要在空间平滑前计算；扩散磁共振数据节点信息提取包括对扩散磁共振数据进行反向的空间标准化，将标准脑模板mni152nlinin2009casym非线性配准到每个被试的结构像上，进而线性配准到每个被试的扩散像个体空间，并将脑图谱也根据相同的映射配准到每个被试的扩散像空间。然后，对扩散磁共振数据进行dti模型拟合，计算各个脑区的各向异性分数fa和平均弥散系数md值。最后，用noddi matlab toolbox对扩散磁共振数据进行神经突定向弥散和密度成像模型noddi拟合，计算各个脑区的细胞内体积分数icvf和方向扩散分数odi值。
[0024]
所述脑连接组学信息提取模块用于静息态磁共振数据连接信息提取的过程具体为：从预处理后的静息态磁共振数据中提取基于标准脑图谱的每个脑区的平均时间序列；其次，计算脑区间平均时间序列的皮尔逊相关系数，得到各个脑区之间的皮尔逊相关系数
矩阵；最后，对皮尔逊相关系数矩阵进行费希尔z变换，得到每个被试的功能连接矩阵。其中，费希尔z变换公式为：其中，r是时间序列的皮尔逊相关系数，范围为[-1，1]，f是经过fisher’s z变换的结果。
[0025]
所述脑连接组学信息提取模块用于扩散磁共振数据连接信息提取的过程具体为：使用mrtrix3软件对预处理后的扩散磁共振数据进行响应函数的估计以及通过球面约束反卷积重建纤维方向分布模型；其次，基于重建的模型进行全脑纤维追踪，追踪数目为1000万条；最后，基于sift方法对纤维追踪的结果做筛选，保留有生理学意义的纤维束，并对纤维束数量做归一化，统计每两个脑区之间的纤维连接数目，得到每个被试的结构连接矩阵。
[0026] 所述脑图结构构建模块用于对结构化脑影像图模型数据整合，如图2所示，以选定脑图谱的各个脑区作为节点，上述计算得到各个脑区的多模态信息构建特征向量，包括结构像上提取的不同脑区的皮层体积、厚度和表面积等大脑结构指标，静息态上计算得到不同脑区的alff和reho值等大脑功能指标，扩散磁共振计算得到各个脑区的各向异性分数fa，平均弥散系数md，细胞内体积分数icvf和方向扩散分数odi值等大脑扩散指标；其次，将归一化后的大脑功能连接矩阵和结构连接矩阵相乘，作为图模型的邻接矩阵；再次，构建图结构数据g(v, e)，其中节点集v由脑图谱中提取的脑区构成，边集e由相乘得到的邻接矩阵构成。
[0027]
所述图卷积神经网络模型构建模块用于构建图卷积神经网络模型，如图3所示，模型包括两层gcn层，读出层以及全连接层。读出层将每个图的节点表示折叠为图表示，全连接层用于对前面设计的特征做加权和。其中滤波器使用chebyshev卷积核，阶数使用3阶，其中chebyshev卷积核是：其中，k表示chebyshev卷积核阶数，x表示输入特征，为卷积核，是滤波器的参数，为k阶的chebyshev多项式，是正则化后的laplacian矩阵，由邻接矩阵计算得到。损失函数采用交叉熵函数：其中y
ik
表示第i个样本所对应的第k个认知功能状态标签，p
ik
为图卷积神经网络模型预测的属于第k个认知功能状态的概率。训练过程将数据集以被试为单位按7:1:2的比例随机分成训练集、验证集和测试集，以构建的图结构的多模态磁共振数据作为图卷积神经网络模型的输入，以被试所在的组别为标签，作为图卷积神经网络模型的输出，利用反向传播技术进行图卷积神经网络模型训练。
[0028]
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。