一种联合图对比学习的自适应多通道图卷积网络

1.本发明属于机器学习领域，具体涉及基于图卷积网络以及图对比学习。


背景技术：

2.大脑是人类生物系统中最复杂的器官，而脑网络技术是当前一种重要的研究脑疾病的方法，为人脑交互模式提供了有力表示。为了对脑功能进行非侵入性研究，人们采用了多种脑功能成像方法。在神经科学中，大脑网络通常可以由不同的结构模式(例如扩散张量成像dti)和功能模式(例如静息状态功能磁共振成像rs-fmri)表示。这些网络数据代表了人类大脑连接的复杂结构，例如，在rs-fmri网络中，边缘连接代表大脑区域与功能刺激之间的相关性，而dti可以揭示功能相关灰质区域之间的物理连接。因此，它们对于理解大脑功能的生物学机制具有重要的研究价值。先前的研究表明，大脑网络的不同模式相互传达互补信息，多种模式的融合可以导致大脑分析的持续改进，从而能够提取到更多有效的特征提高脑疾病的分类诊断。
3.除此以外，近年来的研究发现即使是在静息状态下，大脑的功能连接也并非是静止不动的，而是会显示出复杂的自发的时空变化。而这些脑连接的变化与神经活动有关，在一定程度上也与认知或戒备状态的改变有关。此外，研究表明这些功能连接的时变属性能够作为疾病诊断的生物靶标，在研究大脑活动随时空变化在疾病诊断中具有重要意义。因此近年来动态功能网络分析已被用于各种脑疾病的诊断，它不仅为静息大脑活动的动态时空组织提供了新的见解，而且还捕获了由疾病病理引起的功能连接组改变。
4.最近，随着深度学习在自然语言，自然图像上的发展，越来越多的研究也将深度学习引入到医学影像分析上。传统的卷积神经网络往往是通过在图上平移卷积核来获得样本的特征，但是这种方式仅仅适用于获得欧式空间下的特征，对于一些不规则的图结构，例如：大脑，社交网络，蛋白质结构，就不能获得有效结果。然而，图卷积网络(gcn)作为图数据的强大表示，提供了拓扑结构和节点特征的融合策略来学习节点嵌入，非常适合研究通常具有复杂非线性结构的脑网络。gcn的工作原理在于使图上的节点从每个卷积层中的拓扑邻居聚合特征信息。通过这种方式，特征信息通过网络拓扑传播到节点嵌入，然后将学习到的节点嵌入用于分类任务。gcn在多模态脑网络上研究通常是将不同模态下的大脑网络视为大脑的多个视图并提取视图之间的互补特征。然而，现有的利用gcn研究多模态脑网络还存在一些问题：
5.(1)大部分研究在进行多模态融合的过程中，仅仅关注于多个模态之间共有的特征，而忽略了每个模态鉴别性的特征。然而，各模态的特异性的特征和模态之间的共同特征是互补的，需要自适应融合得到更深层次的相关信息才能更好地描述大脑网络。
6.(2)利用gcn编码脑网络获得的嵌入表达不一定能够反映原始脑网络数据和结构的丰富程度，尤其是在编码的过程中随着网络层数的增加，容易丢失信息。
7.因此如何有效的获得多模态脑网络的特征并且将他们自适应结合，成为该领域的一大难点。针对以上的问题，我们提出了一种联合图对比学习的自适应多通道图卷积网络，
可以用于个体脑疾病的诊断。


技术实现要素：

8.发明目的：医学影像的自动识别技术对医生的工作有重要的的辅助作用，在相关领域一项好的技术的发明和应用可以极大的提高医院的诊断水平。目前大脑影像的自动识别方法并不能有效地利用功能磁共振(fmri)和弥散张量成像(dti)的信息，且在构建脑网络的过程中常常忽略脑网络的动态特征。除此以外，通常从脑网络中提取到的特征不能够反映原始脑网络数据和结构的丰富程度。因此，基于以上的问题，我们提出一种联合图对比学习的自适应多通道图卷积网络，目的是为了能够提取到多模态大脑网络具有鉴别性的特征和互补特征，从而更好的表示大脑，用于各类大脑疾病诊断。
9.技术方案：为实现上述目的，本发明提出了一种联合图对比学习的自适应多通道图卷积网络。首先我们利用滑动时间窗口划分时间序列，在每个窗口内构建对应的fmri图和dti 图。之后我们使用自适应的多通道图卷积网络提取每个窗口内的空间特征，最后我们利用 lstm来探索窗口与窗口之间脑区的时间变异性作为大脑的时间特征。我们将提取到了每个被试脑网络的空间特征和时间特征并用于个体被试脑疾病的诊断。其具体的技术方法包括以下步骤：
10.步骤一：多模态图的构建：利用重叠的固定大小的时间窗口划分每个感兴趣脑区对应的rs-fmri，并在每个窗口内构建基于fmri图和dti图，其中每张图的邻接矩阵分别为每个窗口对应的功能连接脑网络和结构连接脑网络，特征矩阵为每个窗口的时间序列信息。
11.步骤二：自适应的多通道的图卷积网络来提取多模态脑网络的空间信息特征：多通道的图卷积网络由三个模块的图卷积网络构成，其中两个模块gcn编码器用于提取单个模态最具有判别性的特征，另一个模块的gcn编码器用于获得多模态的共享特征，最后使用注意力机制将特征融合。
12.步骤三：图对比学习优化特征：为了确保能够获得多模态的共享特征和每个模态最具有鉴别性的特征，我们联合图对比学习优化提取的特征
13.步骤四：提取脑网络的时间特征：利用长短期记忆人工神经网络(lstm)来探索每个窗口之间的脑区的时间变异性并将其作为脑网络的时间特征
14.步骤五：将输出特征用多层感知机进行分类获得最终识别结果
15.有益效果：本发明针对脑疾病诊断问题，提出联合图对比学习的自适应多通道图卷积网络。本发明相较于现有技术，具有以下技术效果：
16.1)本发明结合了多模态信息，有效挖掘了动态脑网络的时间和空间的特征，使得每个样本的特征表示具有鉴别性，从而提高分类性能
17.2)本发明设计的多通道的图卷积网络能够有效结合了多模态融合的互补特征以及每个模态最具有特异性的特征，因此相比于传统的多模态融合的方法，可以挖掘并利用到每个样本更多的空间特征。
18.3)本发明采用了图对比学习的方式，最大化经过编码器的图嵌入表达和原始脑网络的互信息，以及最小化不同任务下每个图之间包含的信息，从而使得获得的特征能够反映原始脑网络的全局与局部的特征。
附图说明
19.图1是一种联合图对比学习的自适应多通道图卷积网络总体框架图；
20.图2是一种联合图对比学习的自适应多通道图卷积网络工作流程图；
21.图3是构建功能连接脑网络图和结构连接脑网络图；
22.图4是利用注意力机制自适应融合多通道gcn提取的特征；
23.图5是不同模态之间的对比策略；
具体实施方式
24.下面结合附图，对本发明作更进一步的说明。
25.本发明的总体框架图如图1所示。图2展示的是方法实施的流程图。图3展示的是每个窗口构建功能性脑网络和结构连接脑网络图的流程。图4是利用注意力机制自适应融合多通道gcn提取的特征。图5展示了不同模态之间优化特征的对比策略。
26.下面基于图2所示的实施架构对本发明上述提供的一种联合图对比学习的自适应多通道图卷积网络方法的具体实施过程进行说明，在实际应用过程中不仅限于多模态脑网的学习。
27.首先我们利用固定大小的重叠滑动时间窗口分割rs-fmri数据，再在每个窗口内构建对应的rs-fmri图和dti图，其中图的邻接矩阵分别为窗口对应的功能连接脑网络和结构连接网络，节点的特征矩阵为每个窗口内的时间序列。之后利用多通道gcn对每个窗口内的多模态进行特征提取，并结合注意力机制融合特征。多通道gcn是由三个模块的gcn编码器构成的，其中两个模块的gcn是为了获得fmri模态和dti模态下最具有鉴别性的特征 zf和zd，另一个模块的gcn采用共享权重的方式获得多模态互补的特征嵌入zc。其中，每个编码器都由三层的gcn堆叠而成，并且采用分层池化的方式，获得图一阶，二阶，三阶的信息。如果将f
in
和f
out
作为gcn的输入节点特征矩阵和输出，我们可以将gcn公式化为：
[0028][0029]
其中d是度矩阵，w表示那些连接顶点的可学习加权矩阵。因此对于特异性卷积模块，他的第1层的输出可以公式化为：
[0030][0031]
其中代表的是经过通道获得的图嵌入表达。而对于公共卷积模块，第i个窗口下的 fmri图第1层的嵌入可以表示为：
[0032][0033]
而第i个窗口下的dti图的第1层嵌入可以表示为：
[0034][0035]
其中共享权重矩阵可以过滤出两种模态的互补信息。最后，我们将两个图嵌入和相结合，作为整个公共卷积模块所提取到的嵌入
[0036][0037]
除此以外，为了让所获得的特征能够尽可能的反映原始脑网络图最丰富的特征，
我们引入图对比学习的策略。我们将获得的图表示和原始的图的节点结构进行对比，从而使多模态融合的特征能够反映脑网络的全局和局部的信息，实现信息融合的infomax。为了获得每个模态的最具有鉴别性的信息，我们将不同模块下同一个图结构进行节点到节点的对比，实现不同通道下模态的信息的infomin。最终我们将通过自适应融合后得到的特征视为每个窗口的空间信息。
[0038]
由于这里获得的仅仅是每个窗口的空间特征，而窗口与窗口之间脑区还存在交互，因此需要通过计算脑区的时间变异性作为时间特征信息。为此，我们引入了lstm来捕获窗口与窗口之间特征的联系。具体来说，本发明采用堆叠的lstm层对整体功能特征表示进行编码，以学习时间步长下的脑网络时间动态，并且每个lstm之后都要进行批处理和tanh活化。最后我们将获得的结合了空间与时间信息的嵌入作为整个被试的特征，用于个体脑疾病的分类诊断。
[0039]
下面结合图3所示，对本发明中构建fmri图和dti图进行详细的阐述。
[0040]
我们为每个时间窗口构建对应的fmri图和dti图，分别对应每个窗口下的功能连接脑网络图和结构连接脑网络图。其中，每张图的邻接矩阵为功能连接脑网络和结构连接脑网络，通过皮尔逊相关系数计算两两脑区之间的相似性获得。皮尔逊相关系数可以公式化为：
[0041][0042]
其中cov(x，y)为x，y之间的协方差。var(x)和var(y)分别表示x的方差和y的方差。为了防止冗余连接造成模型过于复杂，我们选择使用knn算法，选择每个节点最近邻的k个几点，并保留住他们之间的拓扑连接，并将最终得到的连接矩阵作为图的邻接矩阵。而图的特征矩阵，即图上每个节点的特征是由窗口的时间序列组成的。
[0043]
下面结合图4，对本发明中利用注意力机制自适应融合多通道提取的特征进行阐释。
[0044]
通过了多通道gcn，我们能够分别获得fmri模态的嵌入zf，dti模态的嵌入zd，以及多模态融合下的嵌入zc。直接将所有获得的图表示嵌入都连接起来作为被试的脑网络的特征，不容易突出那些最重要的特征信息。为了获得最相关的嵌入z来表示每个被试，本发明采用注意力机制来融合特征。其中注意力机制的可以表示为
[0045]
(af，ad，ac)＝att(zf，zd，zc)
[0046]
其中af，ad，ac代表的是zf，zd，zc的注意力值。具体来说以zf为例子，我们首先通过一个非线性变换对嵌入进行变换，使用一个共享的注意向量得到如下的注意值
[0047][0048]
这里w是权矩阵b是偏置向量。同样，我们可以得到和的注意值。然后用softmax函数对注意值进行归一化，得到最终权重：
[0049][0050]
的值越大，表示zf越重要。同样我们可以通过softmax函数得到因此我们学习到权重和并表示为af＝diag(af)，ad＝dia9(ad)and ac＝
diag(ac)。然后我们将这三个嵌入组合起来，得到最终的嵌入z用于表示整个窗口的空间信息：
[0051]
z＝af*zf ad*zd ac*zc[0052]
下面结合图5所示，对本发明中利用图对比学习对提取的特征进行优化。
[0053]
为了使得提取出来的特征最具有特异性，且能够反映原始图的全局和局部的特征，我们引入图对比学习的方法来评估学习到的特征。具体来说，根据特征提取目的的不同，我们引入两种不同的图对比学习函数。
[0054]
(1)多模态融合信息最大化(infomax)：从提取多模态的公共信息的角度来说，为了尽可能获得两个模态的共享的特征并且使得提取到的特征能够尽可能的反映原始图的全局和局部的特点，实现多模态融合的信息最大化，我们对一个视图的点表示与另外一个视图的图表达进行对比。具体来说，如图5(a)所示，我们最大化图表示z
cd
和z
cf
与原始图结构h
cd
和h
cf
之间的互信息。因此，多模态融合infomax的对比函数被设计为：
[0055][0056]
然而互信息的计算我们需要借助估计器，这里我们使用jason-shannon divergence (jsd)估计器计算，因此互信息的计算可以表示为：
[0057][0058]
其中sp(x)＝log(1 e
x
)，d是鉴别器函数，它采用带有sigmoid激活函数的内积。
[0059]
(2)不同通道之间信息最小化(infomin)：由于每个模态都含有自己最丰富的具有鉴别性的信息区别于多模态融合下的公共特征，因此保留住单模态的特异性信息同样重要。虽然与多模态融合任务下的原始图结构相同，但由于编码器编码的目的不同，即任务不同，因此编码后获得的图也应该有所不同。为此我们对不同任务下编码以后的图结构进行节点到节点的对比学习，我们将每个视图上的点与另外一个视图上所有的节点互相视为负样本，最小化同图不同任务下节点之间的互信息。如图5(b)所示，我们计算图视图hf上节点i 与图视图以h
cf
之间的互信息：
[0060][0061]
其中，k代表剩余节点，τ为温度参数，并且我们定义θ(u，v)＝s(p(u)，p(v))，s(
·
，
·
) 使用简单的余弦相似度实现，p(
·
)为增强批判的非线性表达。由于两个图是对称的，所以我们可以总结l
sf
为：
[0062][0063]
总的来说，该发明的损失函数是由三个部分组成的，包括：分类交叉熵损失损失，多模态融合信息最大化约束，不同任务之间信息最小化约束。因此，总约束ld可以表示为：
[0064]
ld＝l
t
αl
sf
βl
sd
[0065]
其中α和β分别为多模态融合信息最大化以及不同任务之间信息最小化的参数。在
标注数据的引导下，我们可以通过反向传播来优化模型，并学习节点的嵌入来进行分类。
[0066]
综上，本发明提出了一种联合图对比学习的自适应多通道图卷积网络方法用于脑疾病的诊断，并将多模态脑网络的空间信息与时间特征有效结合。所提出的多通道图卷积网络结构，能够获得多模态之间的互补特征，以及单个模态的鉴别性特征，并通过使用注意力机制有效融合。除此以外，引入了图对比学习的策略，不仅能够使得获得的图表示能够更好地反映原始图的全局和局部的结构，还可以让提取的特征具有鉴别性。因此，本发明能使得提取到的信息更好的表示被试的大脑结构以及状态，有利于个体疾病的诊断。
[0067]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0068]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。