基于线图扩展的多模态脑超图注意力网络的分类方法

1.本发明属于图像处理技术领域，涉及一种基于线图扩展的多模态脑超图注意力网络的分类方法。


背景技术：

2.人脑是一个高度复杂的系统，探索其内在的结构和功能是一项巨大的挑战。磁共振成像技术与超图注意力网络的结合，已成为脑科学领域的研究热点之一，并广泛应用在各项研究中。该方法在探索受试者全脑结构的相似度上取得许多令人惊喜的成果。然而，由于其自身原理和特点及方法论的限制，导致分类准确率低，严重影响了应用价值。
3.在传统的静息态功能磁共振分类研究中，将磁共振影像信息作与机器学习算法相结合，可以建立多种疾病的分类器和预测器。虽然机器学习作为重要的分析工具，在脑疾病诊断领域提供了新的视角，但仍存在一些问题。
4.首先，机器学习未能考虑受试者之间的关系，另外，在传统方法中基于感兴趣区域定义的特征表示不足以表征受试者的全部信息，且特征选择独立于后续的分类器，可能不能与后续的分类器很好的协调，潜在地导致诊断性能下降。
5.基于此，研究人员提出了深度学习框架，其中图神经网络其对非结构化信息的表征能力使得尤其适用于神经影像研究领域中。近年来，图神经网络已广泛应用于无侵入的脑成像技术中进行脑疾病的诊断和预测，并得到了飞跃的发展。但图卷积神经网络方法的输入是简单图，即受试者之间采用成对的连接。然而现实生活中，受试者之间的非成对关系是简单图无法表述的，传统的简单图图结构在表述相关性方面存在局限性，限制了图卷积神经网络的应用。因此超图神经网络提出，并应用于脑疾病分类诊断中。
6.然而，现有的超图神经网络通过聚合邻域节点的信息只能获取有效的节点嵌入，而忽略了与边有关的信息，且在嵌入学习过程中，现有研究假设超图的超边是可分解的，将超图的超边显示或隐式的通过星形扩展或连通分量扩展转化为简单图，然后对转换后的简单图进行下游挖掘任务；但是，在一条完整超边内存在的关系可能并不存在于该超边的不完全子集内，这会导致高维数据的信息丢失，不利于整体特征学习。


技术实现要素：

7.本发明提供一种基于线图扩展的多模态脑超图注意力网络的分类方法，利用稀疏表示学习度量受试者间相似性构建超图，基于线图扩展的多模态脑超图注意力网络模型可以利用线图和使超节点和超边在神经网络每一层中交替，基于双层的注意力机制交替堆叠，实现同时结合超节点和超边的特征来进行节点和边的嵌入学习。
8.本发明所采用的技术方案是，基于线图扩展的多模态脑超图注意力网络的分类方法，具体按照以下步骤进行：
9.步骤s1：对受试者的结构磁共振影像和功能磁共振影像进行预处理，得到预处理后的结构磁共振影像和功能磁共振影像；
10.步骤s2：根据选定的标准化脑图谱，对预处理后的结构磁共振影像和功能磁共振影像进行脑区分割，得到分割后的结构磁共振影像和功能磁共振影像；
11.步骤s3：对分割后的结构磁共振影像进行结构特征提取，得到结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，构建功能脑网络，进而提取功能特征，得到功能特征矩阵；将功能特征矩阵和结构特征矩阵进行特征融合，得到融合后的多模态特征；
12.步骤s4：基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图，从而得到数据集，并将数据集划分为训练集和测试集，所述数据集包括多模态超图关联矩阵、超图节点特征矩阵和节点标签；
13.步骤s5：基于多模态超图关联矩阵，使用行规范化和列规范化，形成多模态线图邻接矩阵；
14.步骤s6：基于多模态线图邻接矩阵、分层的双层注意力机制、softmax函数、交叉熵损失函数，利用线图扩展法，构建多模态超图注意力网络模型，采用训练集进行训练优化；
15.步骤s7：采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。
16.步骤s1中，对受试者的结构和功能磁共振影像数据进行预处理，其中，具体步骤包括：时间校正、头动校正、配准和空间标准化、低频滤波。
17.步骤s2中，根据选定的标准化脑图谱对影像进行脑区分割，步骤具体包括：选择国际通用的解剖标记模板(automated anatomical labeling，简称aal)作为标准化脑图谱，对预处理后的影像数据进行脑区分割。模板将全脑分割为90个脑区，其中左右半脑各45个脑区。
18.步骤s3中，对分割后的结构磁共振影像进行结构特征提取，具体步骤包括颅骨分离、灰白质分离；首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正，然后，使用分水岭算法对得到的图像进行颅骨分离，分割成皮质下白质和灰质体积结构；将图像灰白质分离后，根据生成的高精度灰质、白质分割面计算各脑区的皮质厚度及灰质体积，从每幅图像中提取的所有脑区特征构成一个特征向量，进而得到所有被试的脑区结构特征矩阵。
19.然后，对分割后的功能磁共振影像进行平均时间序列的提取，具体步骤包括：提取各脑区所包含的所有体素在不同时间点上的bold强度，再进行算术平均得到脑区的平均时间序列，根据脑区平均时间序列得到每个脑区与其他脑区的线性组合表示，构建出功能脑网络并计算功能脑网络的属性，包括：节点度、超边度、节点效率，进而得到每个被试的功能特征矩阵。
20.最后，对功能和结构特征矩阵进行特征融合，具体步骤为：将得到的结构特征和功能特征进行连接。
21.步骤s4中，基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图数据集，具体步骤为，将每个被试节点作为质心节点，然后通过将质心节点连接到其它节点来构建超边，以稀疏系数作为相似度度量，其中，稀疏线性回归模型具体表示如下：
[0022][0023]
公式(1)中：sm表示质心节点与其它被试节点相关性的权重向量，xm表示选定的第m个被试节点的多模态特征，fm＝[x1，...，x
m-1
，0，x
m 1
，...，xm]包含除选定被试之外的所有被
试的多模态特征，||
·
||2表示l2范数，λ表示控制模型稀疏的正则化参数，||
·
||1表示l1范数，根据xm，fm可以得到sm，sm中非零元素对应的被试即为与选定被试有相关性的被试，由此得到超边。
[0024]
构建多模态超图，从而得到数据集，数据集包括多模态超图关联矩阵，超图节点特征矩阵和节点标签，多模态超图构建的具体步骤为：利用公式(1)中得到的第m个质心节点与其它被试节点相关性的权重向量sm，稀疏超图的权重矩阵s就被定义为s＝[s1，s2，...，sm，...，sm]
t
，选定一个阈值θ，在本研究中设置为0.001。大于该阈值的表示有连通性，而小于该阈值的表示没有连通性。将相似度高的节点用一条超边连接起来，超图关联矩阵表示如下：
[0025][0026]
公式(2)中，h(vi，ej)表示多模态超图关联矩阵中对应的元素，v∈v表示节点，e∈e表示超边，θ表示阈值，s
i，j
表示节点vi在超边ej上的权重。
[0027]
数据集中超图节点特征矩阵表示为被试大脑内各个脑区的结构特征和脑功能网络的特征集合，将其表示为x；根据被试的信息(标签、站点、性别)将数据集划分为训练集和测试集。
[0028]
步骤s5中，基于多模态超图关联矩阵使用行规范化和列规范化形成线图邻接矩阵，线图的引入是基于现有的超图神经网络大多只通过聚合节点信息实现特征更新，忽略了超图中超边的结构信息，引入线图可以实现超图在神经网络模型中学习时即保留超图的超边结构信息并实现超边信息聚合，其具体步骤为：将超图的超边转化为线图的节点，若两条超边共享节点，则将对应线图中的两个节点连接。超图对应的线图邻接矩阵包含关于线图的节点如何相连的信息，同时，为避免连接两条高阶超边的权重在线图中的权重过高，使用关联矩阵的行规范化和列规范化来形成多模态线图的邻接矩阵，具体公式表示如下：
[0029][0030]
公式(3)中，a
l
表示多模态线图的邻接矩阵加权形式，de表示多模态超图的超边度矩阵，h
t
表示多模态超图关联矩阵的转置，dv表示多模态超图的超节点度矩阵，h表示多模态超图关联矩阵。
[0031]
步骤s6中，基于分层的多层注意力机制，softmax函数、交叉熵损失函数利用线图扩展法构建多模态超图注意力网络模型，对训练集进行训练优化。具体来说，在大多数情况下，超图神经网络假设超图的所有的超边大小相等，但对于最终的分类任务来说，某些超边的存在可能比其他超边更重要，引入双层注意力机制可以基于节点级和超边级学习节点的邻居和超边的邻居的重要性，进而可以对节点特征和超边特征生成有效的节点和超边嵌入，从而大大提高超图神经网络模型的表达能力。
[0032]
首先，将训练集输入到超图注意力网络模型中，超图注意力网络模型由两层注意力网络堆叠而成，其中每一层又根据节点层和超边层分为两层，基于分层的多层注意力机制可以分别从节点层和超边层的注意力机制中为不同的节点和超边学习不同的权重，节点层的注意力机制的具体表示如下：
[0033]
[0034]
公式(4)中，wv表示基于每层更新的超边特征得到的节点的权重，σ
att
表示一个非线性激活函数，hx
l-1
表示从l-2层更新得到的超图节点特征矩阵，其中，2层更新得到的超图节点特征矩阵，其中，表示第l-1层更新得到的m个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，h表示超图关联矩阵，是注意力向量。
[0035]
超边层的注意力机制的具体表示如下：
[0036][0037]
公式(5)中，we表示基于每层更新的节点特征得到的超边的权重，σ
att
表示一个非线性激活函数，h
t
x
l-1
表示从第l-2层更新得到的线图节点特征矩阵，其中，表示第l-1层更新得到的m个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，h表示超图关联矩阵，是注意力向量。
[0038]
然后，利用线图扩展法构建多模态超图注意力网络模型，具体步骤为：第l-1层的线图的节点特征矩阵来自于该层中已更新的超图节点特征，在第l-1层中通过线图聚合的超边特征再次分配给超图的节点并传递给下一层。
[0039]
第l-1层的超图节点的特征信息以矩阵乘法的形式映射给第l层的线图的节点特征矩阵线图的节点，并基于超边层的注意力机制，将超边权重分配给线图节点，线图运行超边聚集网络，获得超边信息，得到更新后的特征矩阵，具体表示公式如下：
[0040][0041]
公式(6)中，表示通过聚合超边信息更新得到的第l-1层的特征矩阵，a
l
表示线图的邻接矩阵加权形式，d(
·
)表示对角运算，w表示基于每层更新的节点特征得到的超图中超边的权重，h
t
x
l-1
表示从l-2层更新得到的节点特征矩阵，其中，2层更新得到的节点特征矩阵，其中，表示第l-1层更新得到的m个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，h表示超图关联矩阵，是一个可训练参数。
[0042]
将第l-1层中线图的更新节点特征映射到第l层的超图中，基于节点层的注意力机制学习节点权重，节点特征聚合网络根据权重通过聚合相邻节点的信息获得节点嵌入，更新特征矩阵。具体表示如下：
[0043][0044]
公式(7)中，x
l
表示通过聚合节点信息更新得到的第l层特征矩阵，d(
·
)表示对角运算，wv表示基于每层更新的超边特征得到的超图中节点的权重，h表示超图关联矩阵，表示通过聚合超边信息更新得到的第l-1层的特征矩阵，和q是一个可训练参数。
[0045]
最后，获得的超节点特征通过softmax层实现节点分类，最后在训练集上使用交叉熵损失函数计算损失值，并使用随机梯度下降法对交叉熵误差进行优化，从而提升模型的分类能力，其中，softmax函数具体表达式如下：
[0046][0047]
公式(8)中，表示第i个节点标签是k的概率，vi表示第i个节点，e是纳皮尔常数；
[0048]
交叉熵损失函数具体表示如下：
[0049][0050]
公式(9)中，表示超图节点vi的实际标签是k，表示超图节点vi在softmax函数的输出标签中是k标签的概率；
[0051]
步骤s7中，所述采用交叉验证方法对构建的多模态超图注意力网络进行检验，步骤具体为：从数据集中随机选择90％的样本作为训练集，剩余10％的作为测试集，由此进行分类测试并得到分类准确率；将重复进行100次交叉验证后得到的分类准确率进行算术平均，然后将算术平均值作为分类器的分类准确率。
[0052]
本发明的有益效果：使用稀疏表示方法构建多模态超图，然后利用线图和超图的转换关系，使超节点和超边在神经网络每一层中交替，基于双层的注意力机制交替堆叠，实现同时结合超节点和超边的特征来进行节点和边的嵌入学习，这样既保留了超图结构的完整性，又利用了边到边的关系传播信息，呈现更高级别和更复杂的受试者之间的相互关系。
附图说明
[0053]
图1是本发明实施的基于线图扩展的多模态超图注意力网络分类方法流程图。
[0054]
图2是本发明实施的基于线图扩展的多模态超图注意力网络模型图。
[0055]
图3是本发明与图神经网络磁共振影像数据分类方法的对比示意图。
具体实施方式
[0056]
下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
如图1-2所示，基于线图扩展的多模态脑超图注意力网络的分类方法，具体按照以下步骤进行：
[0058]
步骤s1：对受试者的结构磁共振影像和功能磁共振影像进行预处理，得到预处理后的结构磁共振影像和功能磁共振影像；
[0059]
步骤s2：根据选定的标准化脑图谱，对预处理后的结构磁共振影像和功能磁共振影像进行脑区分割，得到分割后的结构磁共振影像和功能磁共振影像；
[0060]
步骤s3：对分割后的结构磁共振影像进行结构特征提取，得到结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，构建功能脑网络，进而提取功能特征，得到功能特征矩阵；将功能特征矩阵和结构特征矩阵进行特征融合，得到融合后的多模态特征；
[0061]
步骤s4：基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图，从而得到数据集，并将数据集划分为训练集和测试集，所述数据集包括多模态超图关联矩阵、超图节点特征矩阵和节点标签；
[0062]
步骤s5：基于多模态超图关联矩阵，使用行规范化和列规范化，形成多模态线图邻接矩阵；
[0063]
步骤s6：基于多模态线图邻接矩阵、分层的双层注意力机制、softmax函数、交叉熵
损失函数，利用线图扩展法，构建多模态超图注意力网络模型，采用训练集进行训练优化；
[0064]
步骤s7：采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。
[0065]
其中，步骤s1中，对受试者的结构和功能磁共振影像数据进行预处理，其中，具体步骤包括：时间校正、头动校正、配准和空间标准化、低频滤波。
[0066]
步骤s2中，根据选定的标准化脑图谱对影像进行脑区分割，步骤具体包括：选择国际通用的解剖标记模板(automated anatomical labeling，简称aal)作为标准化脑图谱，对预处理后的影像数据进行脑区分割。模板将全脑分割为90个脑区，其中左右半脑各45个脑区。
[0067]
步骤s3中，对分割后的结构磁共振影像进行结构特征提取，具体步骤包括颅骨分离、灰白质分离；首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正，然后，使用分水岭算法对得到的图像进行颅骨分离，分割成皮质下白质和灰质体积结构；将图像灰白质分离后，根据生成的高精度灰质、白质分割面计算各脑区的皮质厚度及灰质体积，从每幅图像中提取的所有脑区特征构成一个特征向量，进而得到所有被试的脑区结构特征矩阵。
[0068]
对分割后的功能磁共振影像进行平均时间序列的提取，具体步骤包括：提取各脑区所包含的所有体素在不同时间点上的bold强度，再进行算术平均得到脑区的平均时间序列，根据脑区平均时间序列得到每个脑区与其他脑区的线性组合表示，构建出功能脑网络并计算功能脑网络的属性，包括：节点度、超边度、节点效率，进而得到每个被试的功能特征矩阵。
[0069]
对功能和结构特征矩阵进行特征融合，具体步骤为：将得到的结构特征和功能特征进行连接。
[0070]
步骤s4中，基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图数据集，具体步骤为，将每个被试节点作为质心节点，然后通过将质心节点连接到其它节点来构建超边，以稀疏系数作为相似度度量，其中，稀疏线性回归模型具体表示如下：
[0071][0072]
公式(1)中：sm表示其它被试与选定被试相关性的权重向量，xm表示选定的第m个被试的多模态特征，fm＝[x1，...，x
m-1
，0，x
m 1
，...，xm]包含除选定被试之外的所有被试的多模态特征，||
·
||2表示l1范数，λ表示控制模型稀疏的正则化参数，||
·
||1表示l2范数，根据xm，fm可以得到sm，sm中非零元素对应的被试即为与选定被试有相关性的被试，由此得到超边。
[0073]
构建多模态超图，，从而得到数据集，数据集包括多模态超图关联矩阵，超图节点特征矩阵和节点标签，多模态超图构建的具体步骤为：利用公式(1)中得到的被试间的权重向量sm，稀疏表示权重矩阵s就被定义为s＝[s1，s2，...，sm，...，sm]
t
，选定一个阈值θ，在本研究中设置为0.001。大于该阈值的表示有连通性，而小于该阈值的表示没有连通性。将相似度高的节点用一条超边连接起来，多模态超图关联矩阵就被定义为：
[0074][0075]
公式(2)中，h(vi，ej)表示超图关联矩阵中对应的元素，v∈y表示节点，e∈e表示超边，θ表示阈值，s
i，j
表示节点vi在超边ej上的权重。
[0076]
数据集中超图节点特征矩阵表示为被试大脑内各个脑区的结构特征和脑功能网络的特征集合，将其表示为x；根据被试的信息(标签、站点、性别)将数据集划分为训练集和测试集。
[0077]
步骤s5中，基于多模态超图关联矩阵使用行规范化和列规范化形成多模态线图邻接矩阵。线图的引入是基于现有的超图神经网络大多只通过聚合节点信息实现特征更新，忽略了超图中超边的结构信息，引入线图可以实现超图在神经网络模型中学习时即保留超图的超边结构信息并实现超边信息聚合。具体来说，将超图的超边转化为线图的节点，若两条超边共享节点，则将对应线图中的两个节点连接。这样，超图对应的线图邻接矩阵包含关于线图的节点如何相连的信息。为避免连接两条高阶超边的权重在线图中的权重过高，使用关联矩阵的行规范化和列规范化来形成多模态线图的邻接矩阵，具体公式表示如下：
[0078][0079]
公式(3)中，a
l
表示多模态线图的邻接矩阵加权形式，de表示多模态超图的超边度矩阵，h
t
表示多模态超图关联矩阵的转置，dv表示多模态超图的超节点度矩阵，h表示多模态超图关联矩阵。
[0080]
步骤s6中，基于分层的多层注意力机制，softmax函数、交叉熵损失函数利用线图扩展法构建多模态超图注意力网络模型，对训练集进行训练优化。具体来说，在大多数情况下，超图神经网络假设超图的所有的超边大小相等，但对于最终的分类任务来说，某些超边的存在可能比其他超边更重要，引入双层注意力机制可以基于节点级和超边级学习节点的邻居和超边的邻居的重要性，进而可以对节点特征和超边特征生成有效的节点和超边嵌入，从而大大提高超图神经网络模型的表达能力。
[0081]
首先，将训练集输入到超图注意力网络模型中，超图注意力网络模型由两层注意力网络堆叠而成，其中每一层又根据节点层和超边层分为两层，基于分层的多层注意力机制可以分别从节点层和超边层的注意力机制中为不同的节点和超边学习不同的权重，节点层的注意力机制的具体表示如下：
[0082][0083]
公式(4)中，wv表示基于每层更新的超边特征得到的节点的权重，σ
att
表示一个非线性激活函数，hx
l-1
表示从第l-2层更新得到的超图节点特征矩阵，其中，2层更新得到的超图节点特征矩阵，其中，表示第l-1层更新得到的m个被试的特征矩阵，xm表示选定的第m个被试的多模态特征，h表示多模态超图关联矩阵，是注意力向量。
[0084]
超边层的注意力机制的具体表示如下
[0085][0086]
公式(5)中，we表示基于每层更新的节点特征得到的超边的权重，σ
att
表示一个非线性激活函数，h
t
x
l-1
表示从第l-2层更新得到的线图节点特征矩阵，其中，表示第l-1层更新得到的m个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，h表示超图关联矩阵，是注意力向量。
[0087]
然后，利用线图扩展法构建多模态超图注意力网络模型，具体步骤为：第l-1层的线图的节点特征矩阵来自于该层中已更新的超图节点特征，在第l-1层中通过线图聚合的
超边特征再次分配给超图的节点并传递给下一层。
[0088]
第l-1层的超图节点的特征信息以矩阵乘法的形式映射给第l层的线图的节点特征矩阵线图的节点，并基于超边层的注意力机制，将超边权重分配给线图节点，线图运行超边聚集网络，获得超边信息，得到更新后的特征矩阵，具体表示公式如下：
[0089][0090]
公式(6)中，表示通过聚合超边信息更新得到的第l-1层的特征矩阵，a
l
表示线图的邻接矩阵加权形式，d(
·
)表示对角运算，we表示基于每层更新的节点特征得到的超图中超边的权重，h
t
x
l-1
表示从l-2层更新得到的节点特征矩阵，其中，2层更新得到的节点特征矩阵，其中，表示第l-1层更新得到的m个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，h表示超图关联矩阵，是一个可训练参数。
[0091]
将第l-1层中线图的更新节点特征映射到第l层的超图中，基于节点层的注意力机制学习节点权重，节点特征聚合网络根据权重通过聚合相邻节点的信息获得节点嵌入，更新特征矩阵。具体表示如下：
[0092][0093]
公式(7)中，x
l
表示通过聚合节点信息更新得到的第l层特征矩阵，d(
·
)表示对角运算，wv表示基于每层更新的超边特征得到的超图中节点的权重，h表示超图关联矩阵，表示通过聚合超边信息更新得到的第l-1层的特征矩阵，和q是一个可训练参数。最后，获得的超节点特征通过softmax层实现节点分类，最后在训练集上使用交叉熵损失函数计算损失值，并使用随机梯度下降法对交叉熵误差进行优化，从而提升模型的分类能力，其中，softmax函数具体表达式如下：
[0094][0095]
公式(8)中，表示第i个节点标签是k的概率，vi表示第i个节点，e是纳皮尔常数；
[0096]
交叉熵损失函数具体表示如下：
[0097][0098]
公式(9)中，表示超图节点vi的实际标签是k，表示超图节点vi在softmax函数的输出标签中是k标签的概率；
[0099]
步骤s7中，所述采用交叉验证方法对构建的多模态超图注意力网络进行检验，步骤具体为：从数据集中随机选择90％的样本作为训练集，剩余10％的作为测试集，由此进行分类测试并得到分类准确率；将重复进行100次交叉验证后得到的分类准确率进行算术平均，然后将算术平均值作为分类器的分类准确率。
[0100]
通过稀疏线性回归方法、超边信息聚合网络、超节点特征聚合网络，双层注意力机制，softmax激活函数、交叉熵损失函数、交叉验证方法，实现了超图注意力网络在脑疾病领域的应用，由此大幅提高了分类准确率；
[0101]
如图3所示，本发明的分类准确率明显高于图神经网络在磁共振影像数据上的分
类准确率，从而使得应用价值更高。本发明克服了现有的图神经网络在磁共振影像数据分类方法上的不足之处，将多模态超图注意力网络适用于磁共振影像数据的分类。
[0102]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。