一种基于时空图卷积模型的脑效应连接网络学习方法与流程

1.本发明属于脑科学研究、神经网络深度学习理论与应用研究领域，具体来说，是涉及一种基于时空图卷积模型的脑效应连接学习方法。


背景技术：

2.人脑连接组研究试图从多层次建立刻画不同活体人脑功能、结构的脑网络组图谱；脑效应连接网络是一种由节点和有向边构成的图模型，其中节点通常被定义为脑区，有向边刻画了一个脑区施加于另一个脑区神经活动的因果效应。目前，利用计算方法从人脑功能磁共振成像(functional magnetic resonance imaging,fmri)数据中进行脑效应连接网络的学习已成为该项研究中的一个前沿热点。
3.近年来，随着信息科学和神经科学的不断融合，许多传统的机器学习和数据挖掘方法被成功地用于脑效应连接网络的学习。根据所采用的计算模型和学习机理的不同，这些方法可大致分为两大类：基于模型驱动的方法和基于数据驱动的方法。
4.基于模型驱动的方法利用已知模型来描述脑区间神经活动的因果效应，通过模型选择从相互竞争的假设模型获得一个与数据最匹配的模型。此类方法的代表性算法是结构方程模型和动态因果模型。研究表明，此类方法通常用于学习小规模的脑效应连接网络，且在缺乏先验模型时难以获得良好的学习性能。而基于数据驱动的方法不需要先验知识和假设，能够直接从fmri数据中学习脑效应连接网络。此类方法主要包括基于格兰杰因果的方法、基于线性非高斯无环模型的方法和patel条件依赖性度量的方法。但这些方法仍然难以克服fmri数据维度高、样本量小和信号非平稳等缺陷。
5.由此可见，虽然传统的机器学习方法在学习脑效应连接网络方面发挥了重要作用，但受到浅层模型及学习机理的制约，这些方法通常难以克服fmri数据的固有缺陷对学习性能造成的不良影响。
6.伴随着深度学习的蓬勃发展及其在图像、语音等诸多领域获得的巨大成功，一些深度学习方法已被探索性地用于从fmri数据中学习脑效应连接网络。然而，目前的这些方法未能充分提取fmri数据的时间和空间特征，极大地制约了模型学习的准确性。


技术实现要素：

7.本发明针对上述脑效应连接网络学习所面临的挑战，提出了一种基于时空图卷积模型的脑效应连接网络学习方法。该方法充分考虑了fmri数据的时序特征和脑区之间的空间拓扑关系，能够从时间和空间两个维度提取fmri数据中的深层特征，并在对脑区时间序列进行预测的过程中自适应地学习脑区间的效应连接网络。
8.为了实现上述目的，本发明采用的技术方案是一种基于时空图卷积模型的脑效应连接网络学习方法。该方法首先利用时间卷积网络学习各个脑区的fmri数据的时序特征，然后通过图卷积网络聚合邻居脑区的信息来更新每个脑区的特征。最终，基于所学到的每个脑区的特征，在预测脑区时间序列的过程中可以学习到一个最优的脑效应连接网络。
9.一种基于时空图卷积模型的脑效应连接网络学习方法，其特征在于，在计算机上依次按照以下步骤实现：
10.(1)：参数设置：包括时间卷积网络的相关参数和图卷积网络的相关参数。其中，时间卷积网络的相关参数包括脑区个数n,时间卷积网络的层数m,每层时间卷积网络的块数b，扩张因子β,卷积核大小k，图卷积网络的相关参数包括脑效应连接参数矩阵a初始化(通过计算脑区间的皮尔逊相关系数构建初始化的脑效应连接矩阵),图卷积网络的层数e,每个脑区自身特征的调节系数ρ，调节网络结构复杂度的参数γ，预测损失函数的超参数λ1和图正则化损失函数的超参数λ2。
11.(2)：时间卷积网络提取fmri数据的时间特征：首先利用扩张卷积网络学习fmri数据的时间特征，然后通过一个门控机制提取所需要的时间特征。时间卷积网络提取fmri时间特征的具体步骤如下：
12.①
在扩张卷积网络中的每个卷积块中，利用一维卷积核提取每个脑区fmri的时间特征,如下所示：
[0013][0014]
其中，xi表示脑区i的fmri时间序列，表示脑区i第b个卷积块在t时刻学习到的时间特征，β表示扩张卷积网络的扩张因子，取值为2，k表示卷积核的大小，取值为3；f表示一个维度为1
×
k的卷积核。
[0015]
②
通过跳连接操作将不同卷积块所提取的时间特征聚合起来，并在跳连接操作完成后，通过一个relu激活函数层对所得的聚合特征进行标准化，其公式如下：
[0016][0017]
其中，b表示时间卷积网络的块数，取值为4；relu表示激活函数。
[0018]
③
设计了一个由tanh激活函数层和sigmoid激活函数层构成的门控网络，并将步骤
②
输出的时间特征作为该门控网络的输入，通过门控网络的调节和控制作用，可以获得传递到空间卷积模块的脑区时间特征，其表达式如下：
[0019][0020]
其中，h表示经过门控网络所提取到的脑区时间特征，g表示双曲正切激活函数；σ表示sigmoid激活函数；w1和w2是模型在进行门控卷积操作时所学习到的网络权重系数；表示进行element-wise product逐元素乘法。
[0021]
步骤(3)：图卷积网络提取脑区fmri数据的空间特征。图卷积网络通过脑区间的邻接矩阵为每个脑区聚合邻居脑区的特征，以获取每个脑区的新的特征，其具体步骤如下：
[0022]
步骤(3.1)：构建一个脑区间的邻接矩阵，该邻接矩阵由一个效应连接参数矩阵和一个调节矩阵构成。它的表达式定义如下：
[0023]ag
＝a ρ*i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0024]
其中，ag表示脑区间的邻接矩阵；a表示脑效应连接网络参数矩阵，通过计算脑区间的皮尔逊相关系数可对a进行初始化；ρ表示每个脑区自身特征的调节系数，取值为0.083；i表示n
×
n的单位矩阵。
[0025]
步骤(3.2)：根据步骤(3.1)的邻接矩阵，采用图卷积网络为每个脑区聚合邻居脑区的特征。对于任意一个脑区i来说，聚合其邻居脑区特征的表达式如下：
[0026][0027]
其中，e表示图卷积网络的层数，表示脑区i在第e层聚合的邻居脑区的特征，f
agg
表示图卷积网络的聚合函数，表示脑区i的相邻脑区u在第e-1层的空间特征，δ(i)表示脑区i的邻居脑区的集合。
[0028]
步骤(3.3)：对于任意一个脑区i来说，将邻居脑区的特征与自身特征相加，可得到该脑区的新的特征。时空图卷积网络所学习到的脑区i的特征表示如下：
[0029][0030]
其中，表示脑区i在第e层的空间特征；f
upd
表示脑区i的特征更新函数，通过聚合邻居脑区的特征，脑区i获得了新的特征；relu表示激活函数，ag表示脑区间的邻接矩阵；是脑区i在第e-1层时进行时空图卷积操作学习到的网络权重系数；是脑区u在第e-1层时进行时空图卷积操作学习到的网络权重系数。
[0031]
步骤(4)：基于所得到的新的脑区特征，设计了一个包含脑区fmri数据预测损失项和图正则化损失项的联合损失函数。以最小化该联合损失函数为目标，使模型在迭代训练的过程中自动地学习到一个脑效应连接网络。构建联合损失函数的具体步骤如下：
[0032]
步骤(4.1)：构建脑区fmri数据预测损失项。首先基于所学到的每个脑区的特征，通过一个二维卷积网络来获得每个脑区的预测值，然后利用绝对值平方误差来测量脑区fmri预测值和实际值间的差距，具体表达式如下：
[0033][0034][0035]
其中，表示在t 1时刻各脑区fmri数据的预测值，是由步骤(3)所得到的各脑区的新的特征，ω1是二维卷积网络在模型前向和反馈训练过程中所学习到的网络权重系数，l
p
表示脑区fmri数据预测损失项，y
t 1
表示在t 1时刻各脑区fmri数据的真实值。
[0036]
步骤(4.2)：构建一个基于脑区激活信息的图正则化损失项。具体来说，它首先通过计算每个脑区在第c次测量时的fmri数值是否超过激活阈值来判断该脑区的激活状态。令u表示脑区激活的指示器，r是脑区激活阈值，取值为0.5。若xc≥r，则uc＝1；若xc＜r，则uc＝0。
[0037]
接下来，利用脑区联合激活概率判断每对脑区间的激活关系。具体来说，任意两个脑区i和j之间的激活关系可以包括四种：1)脑区i和j同时激活；2)脑区i激活而脑区j不激活；3)脑区j激活而脑区i不激活；4)脑区i和j同时不激活。这四种激活关系可由联合激活概率表示为：
[0038][0039]
其中，θ1表示脑区i和j同时激活的概率；θ2表示脑区i激活而脑区j不激活的概率；θ3表示脑区j激活而脑区i不激活的概率；θ4表示脑区i和j都不激活的概率。
[0040]
将每个脑区的fmri数据进行标准化处理，可将公式(9)改写为：
[0041][0042]
其中，d表示fmri时间序列的长度，i表示1
×
n的单位矩阵，vi和vj表示经过min-max标准化后的脑区i和j的fmri时间序列，即vi∈[0,1]，vj∈[0,1]。根据脑区间的联合激活概率，设计了激活参数来帮助模型学习脑区间的效应连接，其表达式如下：
[0043][0044]
其中，q表示激活参数；θ1 θ2是脑区i的边缘激活概率，表示无论脑区j是否激活，脑区i都是激活状态；θ1 θ3是脑区j的边缘激活概率,表示无论脑区i是否激活，脑区j都是激活状态。当θ1 θ2＞θ1 θ3时，脑区i占支配地位，脑区i和j之间的效应连接是i
→
j的概率会更大；反之，当θ1 θ3＞θ1 θ2时，脑区j占支配地位，脑区i和j之间的效应连接是i
←
j的概率会更大。
[0045]
基于激活参数q，图正则化损失项可以定义为：
[0046]
lr＝γ
·a·qꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0047]
其中，lr表示图正则化损失项，γ表示调节网络结构复杂度的参数，取值为0.5；a表示脑效应连接网络参数矩阵。
[0048]
因此，本发明所设计的联合损失函数的表达式为：
[0049]
l＝λ1l
p
λ2lrꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0050]
其中，l表示联合损失函数，λ1是预测损失函数的超参数,取值为1；λ2是图正则化损失函数的超参数，取值为0.5。
[0051]
本发明的有益效果是：本发明提出一种基于时空图卷积模型的脑效应连接网络学习方法，利用时间卷积网络和图卷积网络特征学习能力强和模型泛化性好的优势，有效地提取了fmri数据深层的时间和空间特征，使模型在对脑区时间序列预测的过程中准确地、自动地学习了效应连接网络。因此，本发明提供的方法具有特征提取能力强、准确性高，模型泛化能力好等优势，可以有效缓解以往脑效应连接网络学习方法中出现的问题。
附图说明
[0052]
图1是一种基于时空图卷积模型的脑效应连接网络学习方法示意图。
具体实施方式
[0053]
从smith仿真数据集中选取sim2数据集。由于sim2数据集包含50名被试的fmri数据，依次将每名被试10个脑区的fmri数据作为输入，利用时空图卷积模型学习每名被试的脑效应连接网络。该方法的基本结构如图1所示，其具体实施步骤如下：
[0054]
步骤(1)：初始化参数：包括时间卷积网络的相关参数和图卷积网络的相关参数。具体来说，时间卷积网络的相关参数包括脑区个数n＝10，时间卷积网络的层数m＝3,每层时间卷积网络的块数b＝4，扩张因子大小β＝2，卷积核大小k＝3；图卷积网络的相关参数包括脑效应连接参数矩阵a(通过计算脑区间的皮尔逊相关系数构建初始化的脑效应连接矩阵),图卷积网络的层数e＝2,每个脑区自身特征的调节系数ρ＝0.083，调节网络结构复杂度的参数γ＝0.5，脑区激活阈值θ＝0.3，预测损失函数的超参数λ1＝1和图正则化损失函数的超参数λ2＝0.5。
[0055]
步骤(2)：时间卷积网络提取fmri数据的时间特征。首先利用扩张卷积网络学习fmri数据的时间特征，然后通过一个门控机制提取所需要的时间特征。时间卷积网络提取fmri时间特征的具体步骤如下：
[0056]
步骤(2.1)：在扩张卷积网络的每个卷积块中，利用一个维度为1
×
5的卷积核提取每个脑区fmri的时间特征。
[0057]
步骤(2.2)：通过跳连接操作将不同卷积块所提取的时间特征聚合起来，并在跳连接操作完成后，通过一个relu激活函数层对所得的聚合特征进行标准化；
[0058]
步骤(2.3)：设计了一个由tanh激活函数层和sigmoid激活函数层构成的门控网络，并将步骤(2.2)输出的时间特征作为门控网络的输入，通过门控网络的调节和控制作用，可以完成对fmri数据中时间特征的提取。
[0059]
步骤(3)：图卷积网络提取脑区fmri数据的空间特征。图卷积网络通过脑区间的邻接矩阵为每个脑区聚合邻居脑区的特征，以获取每个脑区的新的特征，其具体步骤如下：
[0060]
步骤(3.1)：构建一个脑区间的邻接矩阵，该邻接矩阵由一个效应连接参数矩阵和一个调节矩阵构成。它的表达式定义如下：
[0061]ag
＝a ρ*i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0062]
其中，ag表示脑区间的邻接矩阵；a表示脑效应连接网络参数矩阵，通过计算脑区间的皮尔逊相关系数可对a进行初始化；ρ表示每个脑区自身特征的调节系数，取值为0.083；i表示10
×
10的单位矩阵。
[0063]
步骤(3.2)：采用图卷积网络为每个脑区聚合邻居脑区的特征。对于任意一个脑区i来说，聚合其邻居脑区特征的表达式如下：
[0064][0065]
其中，e表示图卷积网络的层数，表示脑区i在第e层聚合的邻居脑区的特征，f
agg
表示图卷积网络的聚合函数，表示脑区i的相邻脑区u在第e-1层的空间特征，δ(i)表示脑区i的邻居脑区的集合。
[0066]
步骤(3.3)：对于任意一个脑区i来说，将邻居脑区的特征与自身特征相加，可得到该脑区的新的特征。时空图卷积网络所学习到的脑区i的特征表示如下：
[0067][0068]
其中，表示脑区i在第e层的空间特征，f
upd
表示脑区i的特征更新函数，通过聚合邻居脑区的特征，脑区i获得了新的特征；relu表示激活函数，表示脑区间的邻接矩阵，是脑区i在第e-1层时进行时空图卷积操作学习到的网络权重系数，是脑区u在第e-1层时进行时空图卷积操作学习到的网络权重系数。
[0069]
步骤(4)：基于所得到的新的脑区特征，设计了一个包含脑区fmri数据预测损失项和图正则化损失项的联合损失函数。构建联合损失函数的具体步骤如下：
[0070]
步骤(4.1)：构建脑区fmri数据预测损失项。首先基于所学到的每个脑区的特征，通过一个二维卷积网络来获得每个脑区的预测值，然后利用绝对值平方误差来测量脑区fmri预测值和实际值间的差距，具体表达式如下：
[0071][0072][0073]
其中，表示在t 1时刻各脑区fmri数据的预测值，是由步骤(3)所得到的各脑区的新的特征，ω1是二维卷积网络在模型前向和反馈训练过程中所学习到的网络权重系数，l
p
表示脑区fmri数据预测损失项，y
t 1
表示在t 1时刻各脑区fmri数据的真实值。
[0074]
步骤(4.2)：构建一个基于体素激活信息的图正则化损失项。具体来说，它首先通过计算每个脑区在第c次测量时的fmri数值是否超过激活阈值来判断该脑区的激活状态。令u表示脑区激活的指示器，r是脑区激活阈值，取值为0.5。若xc≥r，则uc＝1；若xc＜r，则uc＝0。
[0075]
接下来，利用体素联合激活概率判断每对脑区间的激活关系。具体来说，任意两个脑区i和j之间的激活关系可以包括四种：1)脑区i和j同时激活；2)脑区i激活而脑区j不激活；3)脑区j激活而脑区i不激活；4)脑区i和j同时不激活。这四种激活关系可由联合激活概率表示为：
[0076][0077]
其中，θ1表示脑区i和j同时激活的概率；θ2表示脑区i激活而脑区j不激活的概率；θ3表示脑区j激活而脑区i不激活的概率；θ4表示脑区i和j都不激活的概率。
[0078]
将每个脑区的fmri数据进行标准化处理，可将公式(6)改写为：
[0079][0080]
其中，d表示fmri时间序列的长度，i表示1
×
10的单位矩阵，vi和vj表示经过min-max标准化后的脑区i和j的fmri时间序列，即vi∈[0,1]，vj∈[0,1]。根据脑区间的联合激活概率，设计了激活参数来帮助模型学习脑区间的效应连接，其表达式如下：
[0081][0082]
其中，q表示激活参数；θ1 θ2是脑区i的边缘激活概率，表示无论脑区j是否激活，脑区i都是激活状态；θ1 θ3是脑区j的边缘激活概率,表示无论脑区i是否激活，脑区j都是激活状态。当θ1 θ2＞θ1 θ3时，脑区i占支配地位，脑区i和j之间的效应连接是i
→
j的概率会更大；反之，当θ1 θ3＞θ1 θ2时，脑区j占支配地位，脑区i和j之间的效应连接是i
←
j的概率会更大。
[0083]
基于激活参数q，图正则化损失项可以定义为：
[0084]
lr＝γ
·a·qꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0085]
其中，γ表示调节网络结构复杂度的参数，取值为0.5；a表示脑效应连接网络参数矩阵。
[0086]
因此，本发明所设计的联合损失函数l的表达式为：
[0087]
l＝λ1l
p
λ2lrꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0088]
其中，λ1是预测损失函数的超参数,取值为1；λ2是图正则化损失函数的超参数，取值为0.5。
[0089]
以最小化该联合损失函数l为目标，模型在迭代训练的过程中能够自动学习到一个脑效应连接网络。
[0090]
表1给出了基于时空图卷积模型的方法与其他几种典型算法在sim2仿真数据集上的学习性能比较。在表1中，lsgc表示大规模格兰杰因果学习方法，rnn-gc表示循环神经网络格兰杰因果学习方法，ec-gan表示对抗生成网络脑效应连接学习方法，stgcmec表示本发明提出的基于时空图卷积模型的学习方法。
[0091]
为了对比stgcmec和其他算法的学习性能，采用了精度、召回率、准确率和f1值这四个评价指标，表1中提供的评价结果分别表示每个算法运行30次获得的平均值和方差。由表1可知，基于时空图卷积模型的学习方法在精度、召回率、准确率和f1值上都获得了比其他三种算法更好的性能。
[0092]
表1 stgcmec和其他对比算法在sim2上的学习性能
[0093]
算法精度召回率准确率f1值
lsgc0.61
±
0.050.57
±
0.020.89
±
0.010.59
±
0.04rnn-gc0.64
±
0.060.62
±
0.050.91
±
0.010.63
±
0.05ec-gan0.65
±
0.070.60
±
0.070.90
±
0.020.62
±
0.06stgcmec0.68
±
0.060.68
±
0.060.92
±
0.010.68
±
0.06。