一种基于自动变分自编码器的脑效应连接网络学习方法与流程

1.本发明属于脑科学研究、神经网络深度学习理论与应用研究领域，具体来说，是涉及一种基于自动变分自编码器的脑效应连接网络学习方法。


背景技术：

2.人脑连接组研究试图从多层次建立刻画不同活体人脑功能、结构的脑网络组图谱,脑效应连接网络是一种由节点和有向边构成的图模型，其中节点通常被定义为脑区，有向边刻画了一个脑区施加于另一个脑区神经活动的因果效应。目前，利用计算方法从人脑功能磁共振成像(functional magnetic resonance imaging,fmri)数据中进行脑效应连接网络的学习已成为该项研究中的一个前沿热点。
3.近年来，随着信息科学和神经科学的不断融合，许多传统的机器学习和数据挖掘方法被成功地用于脑效应连接网络的学习。然而，这些方法受到浅层模型及学习机理的制约，难以从fmri数据中提取到深层特征，因此极大地限制了此类方法的发展。
4.伴随着深度学习的蓬勃发展及其在图像、语音等诸多领域获得的巨大成功，一些深度学习方法已被探索性地用于从fmri数据中学习脑效应连接网络。例如：多层感知机神经网络方法，循环神经网络格兰杰因果方法和基于对抗生成网络的脑效应连接学习方法。实验结果表明这些方法能够获得比传统的机器学习方法更好的性能。然而，目前这些方法需要人工设置许多超参数，算法的性能严重依赖于所设置的参数。一旦参数设置不合理，算法将难以准确地学习到脑效应连接网络。


技术实现要素：

5.本发明针对上述脑效应连接网络学习所面临的挑战，提出了一种基于自动变分自编码器的脑效应连接网络学习方法。该方法能够自动地调节模型参数，使模型在生成脑区fmri数据的过程中自适应地学习到脑效应连接网络。
6.为了实现上述目的，本发明采用的技术方案是一种基于自动变分自编码器的脑效应连接网络学习方法。该方法首先利用编码网络从各脑区的fmri数据中学习潜变量，然后基于该潜变量，通过解码网络生成各脑区的fmri数据。最后，当生成的fmri数据和真实的fmri数据高度相似时，模型在迭代训练的过程中可以学习到一个最优的脑效应连接网络。
7.一种基于自动变分自编码器的脑效应连接网络学习方法，其特征在于，在计算机上依次按照以下步骤实现：
8.步骤(1)：参数设置：包括脑区个数n,初始化脑效应连接参数矩阵a(计算脑区间的皮尔逊相关系数作为初始化的脑效应连接矩阵),网络稀疏损失函数的超参数λ，期望的kl散度值v
kl
，比例控制器系数k
p
,积分控制器系数ki。
9.步骤(2)：利用编码器从fmri数据中学习潜变量，具体步骤如下：
10.步骤(2.1)：利用结构方程模型将脑效应连接参数矩阵和脑区fmri数据编码为潜变量，其表达式如下：
11.z＝(i-a
t
)x
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
12.其中，z＝[z1,...,zn]表示潜变量，i表示单位矩阵，a表示脑效应连接参数矩阵，x＝[x1,...,xn]表示各脑区fmri数据。
[0013]
步骤(2.2)：设计了一个基于多层感知机的编码网络，该编码网络由3层神经网络结构组成(包括输入层、隐层和输出层)，然后通过该编码网络来估计潜变量的后验分布的均值和方差。假设潜变量服从正态分布，则可根据所得到的均值和方差推断出潜变量的后验分布。接下来，通过蒙特卡罗采样和重参化技巧，可以从潜变量的分布中采样得到每个脑区所对应的潜变量。
[0014]
步骤(3)：利用解码网络从获得的潜变量中生成脑区fmri数据。设计一个基于多层感知机的解码网络，该解码网络由3层神经网络结构组成(包括输入层、隐层和输出层)，用于从步骤(2)所获得的潜变量中得到生成的各脑区fmri数据的分布，其表达式如下：
[0015]
p
θ
(x|z)＝relu((i-a
t
)-1
zθ)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0016]
其中，p
θ
(x|z)表示从潜变量中学到的各脑区fmri数据的分布，relu表示激活函数，θ表示在模型在前向和反向传播过程中解码网络学到的权重系数。
[0017]
步骤(4)：设计了一个包含fmri数据生成损失项和网络稀疏损失项的损失函数。以最小化该损失函数为目标，使模型在迭代训练的过程中自动地学习到一个脑效应连接网络。构建该损失函数的具体步骤如下：
[0018]
步骤(4.1)：构建脑区fmri数据生成损失项。为了使生成的fmri数据接近真实的fmri数据，采用证据下界作为数据生成的目标函数，其表达式为：
[0019][0020]
其中，l
elbo
表示脑区fmri数据生成损失项，表示生成的fmri数据，φ和θ分别表示在模型在前向和反向传播过程中编码器和解码器学习到的网络权重系数，p(z)表示潜变量的真实分布，q
φ
(z|x)表示由步骤(2.2)所得到的潜变量的后验分布，表示从潜变量中学到的各脑区fmri数据的分布，表示生成的fmri数据期望，d
kl
(q
φ
(z|x)||p(z))是kl散度值，表示生成fmri数据与实际fmri数据的误差。
[0021]
步骤(4.2)：由于kl散度在数据生成的过程中发挥了重要作用，kl散度值过大或者过小都会影响模型的学习性能。因此，设计了一个比例-积分控制器，使模型能够自动调节kl散度的大小。比例-积分控制器的计算公式如下：
[0022][0023][0024]
其中，β(t)表示比例-积分控制器，k
p
＝0.005表示比例控制系数,ki＝0.01表示积分控制系数，e(t)表示模型估计的kl散度值和期望的kl散度值在t时刻的误差，t表示模型训练完成一次的时间，期望的kl散度值v
kl
＝1.5，运行算法所得到的实际的kl散度值
[0025]
步骤(4.3)：将所设计的比例-积分控制器引入到公式(1)中，如图2所示，可得到新的脑区fmri数据生成损失项，其表达式如下：
[0026][0027]
其中，m表示对潜变量进行蒙特卡洛采样的次数，m表示对潜变量进行蒙特卡洛采样的第m次，σz表示潜变量的后验分布的方差，μz表示潜变量的后验分布的均值。
[0028]
步骤(4.4)：为了构建稀疏的脑效应连接网络结构，设计了一个保持脑效应连接网络稀疏性的网络稀疏损失函数，其表达式如下：
[0029][0030]
其中，ls表示网络稀疏损失函数，λ表示网络稀疏损失函数的超参数，i和j表示任意两个脑区，a
ij
表示脑区i和脑区j之间的效应连接。
[0031]
步骤(4.5)：根据所设计的fmri数据生成损失项和网络稀疏损失项，本发明所构建的损失函数l的表达式为：
[0032]
l＝-l
elbo
lsꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0033]
以最小化该联合损失函数l为目标，模型在迭代训练的过程中能够自动学习到一个脑效应连接网络。
[0034]
本发明的有益效果是：本发明提出一种基于自动变分自编码器的脑效应连接网络学习方法，该方法利用编码网络将脑区fmri数据和脑效应连接矩阵编码为潜变量，然后，基于潜变量，通过解码网络从潜变量中获得生成的fmri数据。由于在损失函数中引入了比例-积分控制器，该方法能够自适应地调节模型参数，并在迭代训练的过程中自动地学习一个最优的效应连接网络。因此，本发明提供的方法具有超参数少、准确性高，模型泛化能力强等优势，可以有效地缓解以往脑效应连接网络深度学习方法中需要手动调节大量参数的问题。
附图说明
[0035]
图1：一种基于自动变分自编码器的脑效应连接网络学习方法示意图。
[0036]
图2：比例-积分控制器对脑区fmri数据生成损失函数的调节作用。
具体实施方式
[0037]
从smith仿真数据集中选取sim3仿真数据集，将15个脑区的fmri数据作为输入，利用自动变分自编码器学习脑区间的效应连接网络。该方法的基本结构如图1所示，其具体实施步骤如下：
[0038]
步骤(1)：参数设置：包括脑区个数n＝15,脑效应连接网络参数矩阵a通过脑区间的皮尔逊相关系数进行初始化,网络稀疏损失函数的超参数λ＝0.5,期望的kl散度值v
kl
＝1.5,比例控制器系数k
p
＝0.005,积分控制器系数ki＝0.01。
[0039]
步骤(2)：利用编码器从fmri数据中学习潜变量，具体步骤如下：
[0040]
步骤(2.1)：利用结构方程模型将脑效应连接参数矩阵和脑区fmri数据编码为潜变量，其表达式如下：
[0041]
z＝(i-a
t
)x
ꢀꢀꢀꢀꢀꢀꢀ
(1)
[0042]
其中，z＝[z1,...,zn]表示潜变量，i表示单位矩阵，a表示脑效应连接参数矩阵，x＝[x1,...,xn]表示各脑区fmri数据。
[0043]
步骤(2.2)：设计了一个基于多层感知机的编码网络，该编码网络由3层神经网络结构组成(包括输入层、隐层和输出层)，然后通过该编码网络来估计潜变量的后验分布的均值和方差。假设潜变量服从正态分布，则可根据所得到的均值和方差推断出潜变量的后验分布。接下来，通过蒙特卡罗采样和重参化技巧，可以从潜变量的分布中采样得到每个脑区所对应的潜变量。
[0044]
步骤(3)：利用解码网络从获得的潜变量中生成脑区fmri数据。设计了一个基于多层感知机的解码网络，该解码网络由3层神经网络结构组成(包括输入层、隐层和输出层)，用于从步骤(2)所获得的潜变量中得到生成的各脑区fmri数据的分布，其表达式如下：
[0045]
p
θ
(x|z)＝relu((i-a
t
)-1
zθ)
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0046]
其中，p
θ
(x|z)表示从潜变量中学到的各脑区fmri数据的分布，relu表示激活函数，θ表示模型在前向和反向传播过程中解码网络学到的网络权重系数。
[0047]
步骤(4)：设计了一个包含fmri数据生成损失项和网络稀疏损失项的损失函数。以最小化该损失函数为目标，使模型在迭代训练的过程中自动地学习到一个脑效应连接网络。构建该损失函数的具体步骤如下：
[0048]
步骤(4.1)：构建脑区fmri数据生成损失项。为了使生成的fmri数据接近真实的fmri数据，采用证据下界作为数据生成的目标函数，其表达式为：
[0049][0050]
其中，l
elbo
表示脑区fmri数据生成损失项，表示生成的fmri数据，φ和θ分别表示模型在前向和反向传播过程中编码器和解码器学习到的权重系数，p(z)表示潜变量的真实分布，q
φ
(z|x)表示由步骤(2.2)所得到的潜变量的后验分布，表示从潜变量中学到的各脑区fmri数据的分布，表示生成的fmri数据期望，d
kl
(q
φ
(z|x)||p(z))是kl散度值，表示生成fmri数据与实际fmri数据的误差。
[0051]
步骤(4.2)：由于kl散度在数据生成的过程中发挥了重要作用，kl散度值过大或者过小都会影响模型的学习性能。因此，设计了一个比例-积分控制器，使模型能够自动调节kl散度的大小。比例-积分控制器的计算公式如下：
[0052][0053][0054]
其中，β(t)表示比例-积分控制器，k
p
＝0.005表示比例控制系数,ki＝0.01表示积分控制系数，e(t)表示模型估计的kl散度值和期望的kl散度值在t时刻的误差，t表示模型训练完成一次的时间，期望的kl散度值v
kl
＝1.5，运行算法所得到的实际的kl散度值
[0055]
步骤(4.3)：将所设计的比例-积分控制器引入到公式(1)中，如图2所示，可得到新的脑区fmri数据生成损失项，其表达式如下：
[0056][0057]
其中，m表示对潜变量进行蒙特卡洛采样的次数，m表示对潜变量进行蒙特卡洛采样的第m次，σz表示潜变量的后验分布的方差，μz表示潜变量的后验分布的均值。
[0058]
步骤(4.4)：为了构建稀疏的脑效应连接网络结构，设计了一个保持脑效应连接网络稀疏性的网络稀疏损失函数，其表达式如下：
[0059][0060]
其中，ls表示网络稀疏损失函数，λ表示网络稀疏损失函数的超参数，i和j表示任意两个脑区，a
ij
表示脑区i和脑区j之间的效应连接。
[0061]
步骤(4.5)：根据所设计的fmri数据生成损失项和网络稀疏损失项，本发明所构建的损失函数l的表达式为：
[0062]
l＝-l
elbo
lsꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0063]
以最小化该联合损失函数l为目标，模型在迭代训练的过程中能够自动学习到一个脑效应连接网络。
[0064]
表1给出了基于自动变分自编码器的方法与其他几种典型算法在sim3仿真数据集上的性能比较。在表1中，patel表示条件独立性依赖方法，rnn-gc表示循环神经网络格兰杰因果学习方法，ec-gan表示对抗生成网络脑效应连接学习方法，avaeec表示本发明提出的基于模型的学习方法。
[0065]
为了对比avaeec和其他算法的学习性能，采用了精度、召回率、准确率和f1值这四个评价指标，表1中提供的评价结果分别表示每个算法运行50次获得的平均值和方差。由表1可知，基于自动变分自编码器的学习方法在精度、召回率、准确率和f1值上都获得了比其他三种算法更好的性能。
[0066]
表1 avaeec和其他对比算法在sim3上的学习性能
[0067]
算法精度召回率准确率f1值patel0.76
±
0.030.70
±
0.030.95
±
0.010.73
±
0.02rnn-gc0.77
±
0.040.81
±
0.090.96
±
0.010.80
±
0.06ec-gan0.80
±
0.030.78
±
0.030.96
±
0.010.79
±
0.03stgcmec0.81
±
0.030.81
±
0.030.97
±
0.010.81
±
1.10