一种基于卷积神经网络的静态脑网络特征提取方法和系统与流程

1.本发明涉及机器学习与医学影像处理技术领域，具体而言涉及一种基于卷积神经网络的静态脑网络特征提取方法和系统。


背景技术：

2.随着现在生物技术的快速发展，脑影像技术，如现代核磁共振成像(magneticresonanceimaging，mri)技术，包括功能性核磁共振成像(functionalmri，fmri)，提供了一种非侵入式的方式探索人体大脑，揭示了之前无法认知的脑结构和功能的机制。脑网络分析可以在连接层次上刻画大脑不同脑区间的交互，成为医学图像分析和神经影像学中一个新的研究热点。
3.最近，机器学习的传统方法已被用于脑网络的分析和分类中。例如，研究人员利用脑网络进行早期脑疾病的诊断和分类，获得了很好的性能。在这些研究中，典型的做法是从脑网络中提取大脑区域的局部测量(如聚类系数等)作为特征用于疾病的分类。而特征选择是在从数据中利用一定策略选择出原始特征集的一个最优子集，即依据某些准则和方法，在原始的d维的特征集合中选择能为我们提供更多信息的k维特征子集，实际上就是从高维数据中选择对特定任务有用的特征，丢弃数据中的冗余项，从而达到降低样本维度的目的，避免了“维数灾难”的发生，促进后续其他目标任务的学习，从而改进分类性能。例如，chen等人使用边的权重作为特征用于ad(alzheimer’sdisease)和mci(mildcognitiveimpairment)的分类。如已有研究从dti图像中利用白质构建了结构型连接网络，并提取6种生理参数构建了6种不同的结构型网络，用于mci的分类，取得很好的效果。有些研究提出利用lasso模型构建功能性连接网络，并用于儿童自闭症的研究。还有些研究提出利用grouplasso方法构建mci和nc功能性连接网络，并用于分类。然而，先前等人的方法只在病人样本组中分析脑网络连接性，因此不适合用于分类。而之前一些研究的方法在mci和nc上构建了具有相同拓扑结构的连接网络，因此在分类过程中，从而忽略病人网络和正常人网络在拓扑结构上的差异性。由于局部性测量仅仅网络局部结构的特征,从而可能会影响分类性能。
4.随着深度学习的方法逐渐火热，卷积神经网络的方法在图像领域异常火爆。随着imagenet比赛，涌现出各种深度网络的改进典型代表，如alexnet、vgg、googlenet、resnet等。用这些模型在图像分类中展出比较优异的效果，分类精度一度超过人类判别精度。近来，相关人员结合医学影像数据特点，提出了一种基于深度学习静态脑网络特征提取方法，并把该方法用于医学影像当中。
5.虽然卷积神经网络多用于图片的分类，但是基于图片的特征，其本质也是由多个像素所构成的矩阵，在基于rs
‑
fmri数据对大脑的研究中，较为常见的方法是将图像型数据抽象为数值型数据并且构建大脑网络，这就和医学影像中所构成的功能性脑网络相似，此外传统的机器学习方法来进行提取特征可能会难以区别出正常人脑区和患者脑区之间特征，但是由于是局部测量，所以可能会影响分类性能。


技术实现要素：

6.本发明针对现有技术中的不足，提供一种基于卷积神经网络的静态脑网络特征提取方法和系统，采用深度学习中的卷积神经网络来提取特征的方法，对于静态脑网络提取特征进一步分类处理。本发明克服了已有方法的不足，进而学习出更具有判别力和解释性的特征。通过深度学习的特征来进行预测和分类，这种方法可以用于医学影像的分析和研究,理论上还可以明显提高脑疾病分类的性能。最后在真实脑疾病数据集上进行了验证，实验结果表明，相比之前传统学习的方法，所提出的方法对脑疾病诊断具有更好的分类性能。
7.为实现上述目的，本发明采用以下技术方案：
8.一种基于卷积神经网络的静态脑网络特征提取方法，所述提取方法包括以下步骤：
9.s1，根据自动解剖标记模板将每个样本的大脑空间划分为116个感兴趣区域，通过计算每个脑区之间的皮尔逊系数来构成静态脑网络；
10.s2，采用参数大小为[32,32,64,32]的卷积神经网络对静态脑网络进行处理以提取相应的脑区特征，通过卷积和全连接之后分别提取得到脑区空间特征以及脑区边缘化特征；其中，卷积神经网络的通道数为[32,32]，全连接层参数为[64,32]，卷积核为116；
[0011]
s3，在卷积神经网络后连接两层卷积层，两个卷积层的卷积核的大小分别是32和16，步长为116，第一层卷积层的参数为1x116x32，第二层卷积层的参数为1x1x32；这两层卷积层对步骤s2中提取得到的脑区空间不同位置的相近特征继续进行卷积操作进行深度提取；
[0012]
s4，将步骤s3中经过卷积层处理之后维度大小为1*1*32的脑区空间特征送入两层大小分别为64和32的全连接层继续提取脑区边缘化特征，传递至全连接层的脑区边缘化特征图包含与学习目标相同的特征，再采用softmax逻辑回归函数来进行脑疾病的诊断和分类。
[0013]
为优化上述技术方案，采取的具体措施还包括：
[0014]
进一步地，根据权利要求1所述的基于卷积神经网络的静态脑网络特征提取方法，其特征在于，步骤s1中，根据下述公式计算每个脑区之间的皮尔逊系数：
[0015]
f(i,j)＝pcc(x
i
,x
j
)
[0016]
其中，pcc表示两个脑区之间的相关性，x
i
和x
j
分别表示脑区i和脑区j的血氧信号，f(i,j)描述脑区i和脑区j之间的相互作用。
[0017]
进一步地，所述采用softmax逻辑回归函数来进行脑疾病的诊断和分类的过程包括以下步骤：
[0018]
执行3个分类任务：2个二分类hcvs.emci、ncvs.lmci，和一个4分类hcvs.emcivs.lmcivs.ad；
[0019]
对于每个分类采用5折交叉验证策略，并使用softmax分类器进行分类；
[0020]
取每一折的精确度求取平均值作为最后的精确度。
[0021]
进一步地，步骤s4中，所述softmax逻辑回归函数为：
[0022]
s
a
＝e
a
/∑
b
e
b
[0023]
其中，s
a
表示第a个类别在所有的b种类中所占的概率，a代表第a个类别，b代表一共有b种类别。
[0024]
进一步地，所述样本采用静息态功能性核磁共振成像数据集。
[0025]
本发明还提及一种基于卷积神经网络的静态脑网络特征提取系统，所述提取系统包括：
[0026]
静态脑网络生成模块，用于根据自动解剖标记模板将每个样本的大脑空间划分为116个感兴趣区域，通过计算每个脑区之间的皮尔逊系数来构成静态脑网络；
[0027]
参数大小为[32,32,64,32]的卷积神经网络，用于对静态脑网络进行处理以提取相应的脑区特征；其中，卷积神经网络的通道数为[32,32]，全连接层参数为[64,32]，卷积核为116；
[0028]
两层卷积层，连接在卷积神经网络之后，这两个卷积层的卷积核的大小分别是32和16，步长为116，第一层卷积层的参数为1x116x32，第二层卷积层的参数为1x1x32；通过卷积之后分别提取为脑区空间特征，该特征用于识别脑区位于空间不同位置的相近特征；这两层卷积层对提取得到的脑区空间不同位置的相近特征继续进行卷积操作；
[0029]
两层大小分别为64和32的全连接层，用于对经过卷积层处理之后维度大小为1*1*32的特性继续提取脑区边缘特征；
[0030]
softmax分类器，采用softmax逻辑回归函数来进行脑疾病的诊断和分类。
[0031]
本发明首先构建出静态功能脑网络，然后用深度学习的卷积神经网络的方法来提取出更深层次的特征，接着把卷积神经网络中学习的特征来进行学习训练，并且在测试集上进行测试训练的结果，来得到对脑疾病分类得到更好的效果。
附图说明
[0032]
图1是本发明实施例的基于卷积神经网络的静态脑网络特征提取方法流程图。
[0033]
图2是本发明实施例的基于卷积神经网络的静态脑网络特征提取系统结构图。
[0034]
图3是本发明实施例的emcivs.hc2分类训练图。
[0035]
图4是本发明实施例的advs.hc2分类训练图。
[0036]
图5是本发明实施例的advs.lmcivs.emcivs.hc4分类训练图。
具体实施方式
[0037]
现在结合附图对本发明作进一步详细的说明。
[0038]
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
[0039]
实施例一
[0040]
图1是本发明实施例的基于卷积神经网络的静态脑网络特征提取方法流程图，本实施例对于医学数据集中的扫描图像，通过pearson系数，把不同脑区之间的关联性构成了一个静态功能脑网络，再将该静态功能脑网络在搭建的卷积神经网络中进行训练，最后把训练好的模型在测试集上使用softmax函数来进行脑疾病分类。参见图1，该提取方法具体包括以下步骤：
[0041]
步骤一、针对所有样本，通过计算每个脑区之间的关联系数通过皮尔逊系数(pcc,pearsoncorrelationcoefficient)来构成静态脑网络(sfcn,staticfunctionalconnecti
vitynetwork)。
[0042]
步骤一中，获取多个fmri扫描的样本，对于每个被扫描的样本，根据自动解剖标记(automatedanatomicallabeling，aal)模板将每个样本的大脑空间划分为116个感兴趣区域(regions
‑
of
‑
interests，rois)，再采用皮尔逊相关系数构建出静态功能性脑网络，皮尔逊相关系数被用来衡量两个脑区之间的相关联性。所构建的静态脑网络是加权的全连接网络。公式如下：
[0043]
f(i,j)＝pcc(x
i
,x
j
)
[0044]
其中，pcc表示两个脑区之间的相关性(在此研究中使用的是pcc)，x
i
和x
j
分别表示脑区i和脑区j的血氧(bold)信号，f(i,j)描述每个脑区之间的相互作用。因此，给定扫描一定时间的时间序列，最后得到一组fc网络，f(i,j)可以隐含的描述网络的静态特性。
[0045]
步骤二、通过深度学习中搭建的卷积神经网络(convolutionalneuralnetworks,cnn)来在构建出的sfcn进行提取脑区特征。
[0046]
步骤二中，对于通过步骤一中提取的一个完整的静态功能脑网络，该静态功能脑网络是一个三维矩阵(样本数*13456*137)，在步骤二中搭建出参数大小为[32,32,64,32]的卷积神经网络,其中[32,32]为通道数，[64,32]为全连接层的大小，116(代表脑区)大小为卷积核大小，用于卷积时的每一步的步长。把sfcn通过搭建出的第一层进行卷积操作之后，输出的特征大小为1*116*32，其中32为第一层通道数，紧接着把第一层提取的特征输入到第二层卷积中进行操作，其中经过两层卷积之后的维度大小为1*1*32。
[0047]
步骤三、把步骤二中用搭建出两层卷积层，每层卷积核的大小分别是32和16，每一步所走的步长为116，第一层的参数大小为1x116x32,第二层卷积操作之后的大小为1x1x16由这两层所构建出的cnn自动提取的特征送入到搭建的两层全连接层中继续进行卷积操作来提取相关脑区特征。
[0048]
步骤三中，基于深度学习中的搭建了卷积核大小分别是[32,32,64,32]的卷积神经网络，然后把经过两层卷积后维度为1*1*32的脑区特征输入到全连接层中，第一层全连接输出维度大小是64，第二层全连接输出维度是32，然后继续进行全连接的操作。
[0049]
步骤四、把步骤三中经过卷积层之后的特征送入两层大小分别为64和32的全连接层继续提取特征，之后用softmax逻辑回归函数来进行脑疾病的诊断和分类。
[0050]
步骤四中，将步骤三中通过两层卷积过后，继续进行两层全连接后的一维向量送入到softmax函数中进行分类。softmax函数实际上是有限项离散概率分布的梯度对数归一化，是逻辑函数的一种推广。softmax函数用于多分类过程中，它将多个神经元的输出，映射到(0,1)区间内，可以看成概率来理解，从而来进行多分类，其公式如下：
[0051]
s
i
＝e
i
/∑
j
e
j
[0052]
其中，s
i
表示第i个类别在所有的j种类中所占的概率。i代表第i个类别，j代表一共有j种类别。
[0053]
步骤五、训练出搭建好的卷积神经网络模型，然后用于在测试集中进行评估该模型的性能。
[0054]
在本实施例中，主要采用公开的静息态功能性核磁共振成像(rest
‑
statefmri)数据集，即阿尔兹海默神经影像计划(alzheimersdiseaseneuroimaginginitiative，adni)。对adni的数据集，adni数据集总共包括了174个受试者，其中包括48个正常人，50个早期mci
患者(emci),45个晚期mci患者(lmci)和31个患有阿尔兹海默症(ad)的病人。具体的，成像矩阵大小为49
×
58，切片的厚度为3mm，翻转角度(flipangle)是90
°
，轴向切片(axialslices)为47，te和tr分别为30ms和2.2s，体素大小是3
×3×
4mm3。
[0055]
在经历以上几个步骤的特征提取之后，随之执行了3个分类任务：包括2个二分类hcvs.emci，ncvs.lmci和一个4分类hcvs.emcivs.lmcivs.ad其中对于每个分类，实验使用的是5折交叉验证策略，并最后使用softmax分类器进行分类，然后取每一折的精确度求取平均值作为最后的精确度。为了评价不同方法的效果，本实施例采用了两个指标，即所有种类的准确度，以及对于每个种类分类的准确度。首先将提出的方法(cnn
‑
fcn)与利用静态fc网络的聚类系数作为特征的基线方法(baseline)进行了比较,以及和用于svm分类的方法进行比较，这几种比较结果的方法在表1和表2中给出。
[0056]
表1：2分类任务(emcivs.hc和advs.hc)中方法的比较结果
[0057][0058]
acc＝accuracy
[0059]
表2：4分类任务(advs.lmcivs.emcivs.hc)中方法的比较结果
[0060][0061]
附图3至图5给出深度学习中搭建的卷积神经网络在不同的分类任务中的每一折中每200轮中的训练次数以及训练中的准确度。从表1和表2可以看出，提出的基于深度学习中的cnn方法与其他2种比较方法相比，具有更好的分类性能,从结果还可以观察到两组对比中基于深度学习中cnn的方法的性能始终优于基于svm来分类脑疾病诊断的方法，这表明了提出的新的方法相对于传统学习来提取特征来进行分类更有优势。这些结果表明，通过提出的基于深度学习来提取脑网络的特征，将会进一步提高分类性能。
[0062]
实施例二
[0063]
相应的，在前述提取方法的基础上，本实施例还提及一种基于卷积神经网络的静态脑网络特征提取系统。参见图2，该提取系统包括依次连接的静态脑网络生成模块、参数大小为[32,32,64,32]的卷积神经网络、两层卷积层、两层大小分别为64和32的全连接层和
softmax分类器。
[0064]
静态脑网络生成模块，用于根据自动解剖标记模板将每个样本的大脑空间划分为116个感兴趣区域，通过计算每个脑区之间的皮尔逊系数来构成静态脑网络。
[0065]
参数大小为[32,32,64,32]的卷积神经网络，用于对静态脑网络进行处理以提取相应的脑区特征；其中，卷积神经网络的通道数为[32,32]，全连接层参数为[64,32]，卷积核为116。
[0066]
两层卷积层，连接在卷积神经网络之后，这两个卷积层的卷积核的大小分别是32和16，步长为116，第一层卷积层的参数为1x116x32，第二层卷积层的参数为1x1x32；这两层卷积层对步骤s2中提取得到的相应的脑区特征继续进行卷积操作。
[0067]
两层大小分别为64和32的全连接层，用于对经过卷积层处理之后维度大小为1*1*32的脑区特征继续提取特征。
[0068]
softmax分类器，采用softmax逻辑回归函数来进行脑疾病的诊断和分类。
[0069]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。