基于多模态超图注意网络的阿尔茨海默症分类方法及系统

1.本发明涉及深度学习和神经影像处理技术领域，更具体地，涉及一种基于多模态超图注意网络的阿尔茨海默症分类方法及系统。


背景技术：

2.阿尔茨海默症(alzheimer’s disease,ad)是一种典型的神经退行性疾病，临床上表现为失忆、丧失语言能力以及丧失生活自理能力等。轻度认知障碍(mildcognitive impairment，mci)是一种介于ad和健康状态hc(healthy controls，hc)之间的状态，可以细分为会转化为ad的轻度认知障碍(mci patients who willconvert to ad，mcic)和不会转化为ad的轻度认知障碍(mci patients who will notconvert to ad，mcinc)，对mci病人的准确筛查有助于对ad进行早期诊断。
3.近年来，机器学习技术被广泛应用于分析神经图像数据，然而，现有的方案大多集中在从单一模态中提取特征。然而，ad的诊断本质上是多模态的，医生需要对病人的生理或行为症状、病史和相关的医学图像进行全面分析来诊断病人。不同的模态可以揭示不同的ad病理变化，因此多模态数据的使用将有助于更准确地诊断ad。
4.超图(hypergraph)是一种广义上的图，是有限集合中最一般的离散结构，在信息科学、生命科学等领域有着广泛的应用。它的一条边(edge)可以连接任意数量的顶点(vertices)。超图结构可以较好的记录图像数据中各个roi之间的多元高阶相关关系。
5.现有技术公开了一种基于多模态的阿尔茨海默症医学图像分类方法及系统，其方法包括：将结构性核磁共振成像图像输入第一3dcnn网络，得到结构性核磁共振成像图像的第一特征；将正电子发射断层扫描成像图像输入第二3dcnn网络，得到正电子发射断层扫描成像图像的第二特征；将第一特征和第二特征输入transformer模型中的编码器模块，得到待分类大脑的融合特征；将融合特征输入多层感知机网络，得到待分类大脑的结构性核磁共振成像图像和正电子发射断层扫描成像图像的阿尔兹海默症程度图像分类结果；现有技术中的方法尽管通过多模态数据的特征融合进行阿尔茨海默症的分类，但该方法中的多模态数据为医学图像数据，无法充分挖掘多模态主体之间的关系，因此，仅使用简单的图像数据进行阿尔茨海默症的早期诊断精准度较低；
6.现有技术还公开了一种异常脑连接预测系统、方法、装置及可读存储介质，通过深度学习方法自动提取不同模态内的高阶相关特征和不同模态间的高阶互补特征，并通过对抗训练的方法实现多模态脑网络异常连接的分析和不同认知疾病的预测；该方法利用先验知识引导模型学习可解释性的表征，并通过成对协同判别器约束不同模态表征分布的一致性，再通过逆向生成器和解码器对特征编码进行重构脑部图数据，最后通过超图感知融合模块提取模态间和模态内的高阶相关特征，并设置对抗损失、重构损失和分类损失函数指导模型学习，以此达到挖掘阿尔兹海默症异常脑连接的目的；该现有技术中的方法虽然通过构建多模态超图数据进行阿尔兹海默症的分类预测，但其仅仅是广义上的一种脑连接异常区域诊断方法，由于ad的重要脑部区域在不同时期有不同的表现，尤其对于复杂度较高
的mcic和mcinc分类，该现有技术中的方法往往无法精准预测。


技术实现要素：

7.本发明为克服上述现有技术中通过多模态数据进行ad早期诊断精准度较低，以及无法判断不同脑区的重要程度的缺陷，提供一种基于多模态超图注意网络的阿尔茨海默症分类方法及系统，不仅提高了分类任务的准确性，还可以找出哪些超图对分类结果更有贡献度，从而有助于医生在对不同病人诊断时更加关注对应的大脑区域。
8.为解决上述技术问题，本发明的技术方案如下：
9.本发明提供一种基于多模态超图注意网络的阿尔茨海默症分类方法，包括以下步骤：
10.s1：获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；
11.s2：对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；
12.s3：根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；
13.s4：建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；
14.s5：获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的注意力权重。
15.优选地，所述步骤s1中，获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理的具体方法为：
16.获取若干个阿尔茨海默症患者大脑的smri图像数据并分别进行图像预处理和形态学预处理；
17.所述图像预处理的具体方法为：
18.将smri图像数据依次进行空间分割、颅骨去除、配准到标准蒙特利尔神经研究所空间和图像平滑处理，获取平滑后的smri图像数据；
19.所述形态学预处理的具体方法为：
20.将smri图像数据依次进行颅骨去除、强度标准化、标记体积、白质分割、平滑扁平化、皮层划分、统计和映射处理，获取210个脑区的形态学指标；
21.将平滑后的smri图像数据和所有脑区的形态学指标共同保存为预处理后的smri图像数据。
22.优选地，所述脑区的形态学指标包括：脑区的平均厚度、厚度标准差、灰质体积、面积、折叠指数、曲率、平均曲率和高斯曲率。
23.优选地，所述步骤s2中，对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征的具体方法为：
24.将平滑后的smri图像数据与预设的brainneome模板进行对齐，提取4个海马区感兴趣区域，具体为：左吻侧海马体脑区、右吻侧海马体脑区、左尾侧海马体脑区和右尾侧海马体脑区；
25.利用训练好的三维卷积神经网络提取所有海马区感兴趣区域的脑区深层次特征，将提取到的所有脑区深层次特征保存为患者脑区的图像特征；
26.将210个脑区的所有形态学指标共同保存为待选择的形态学特征，将待选择的形态学特征依次进行归一化处理和特征选择，获取患者脑区的形态学特征。
27.优选地，所述特征选择的具体方法为：利用卡方检测的方法进行特征选择：对于每个脑区，计算归一化后的待选择的形态学特征对应的分数，在所有待选择的形态学特征中选取分数最高的k个形态学指标作为患者脑区的形态学特征。
28.优选地，所述步骤s3中，根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图的具体方法为：
29.将患者脑区的图像特征和形态学特征相结合，获取4个海马区感兴趣区域的跨模态特征；
30.对于每个海马区感兴趣区域，利用对应的跨模态特征构造一个跨模态超图，具体方法为：
31.对于每个海马区感兴趣区域的跨模态特征，利用k近邻方法构造跨模态超图，具体为：
32.选定一个患者作为中心顶点，将其他患者作为其他顶点，利用欧氏距离计算中心顶点与其他顶点的跨模态特征差，并构建以中心顶点为中心的一条超边，该超边用于连接k个具有最小跨模态特征差异的其他顶点；
33.若有n个患者，则构造n个中心顶点并重复上述方法获取一幅包含n条超边的跨模态超图；
34.重复上述步骤，获取4幅包含n条超边的跨模态超图。
35.优选地，所述利用欧氏距离计算该中心顶点与其他顶点的跨模态特征差之前，还包括将中心顶点与其他顶点之间的超边权值转换为小于1的值，具体为：
36.根据以下公式计算第i个中心顶点与第j个其他顶点之间的超边权值w
i,j
：
[0037][0038]
其中，d
i,j
为第i个中心顶点与第j个其他顶点之间的跨模态特征距离，δ为中心顶点与其他顶点之间的平均跨模态特征距离。
[0039]
优选地，所述步骤s4中建立的超图注意力神经网络模型包括依次连接的若干个并列设置的超图卷积层、第一注意力层、动态超图构建层、第二注意力层和决策层；所述第一注意力层的输出端还与第二注意力层的输入端连接。
[0040]
优选地，所述动态超图构建层中，利用k-nn算法和k-means聚类算法动态更新由第一注意力层融合的跨模态超图特征，并生成新的跨模态超图特征。
[0041]
本发明还提供一种基于多模态超图注意网络的阿尔茨海默症分类系统，应用上述的基于多模态超图注意网络的阿尔茨海默症分类方法，包括：
[0042]
预处理单元：用于获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；
[0043]
特征提取单元：用于对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；
[0044]
超图构造单元：用于根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；
[0045]
模型训练单元：用于建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；
[0046]
分类预测单元：用于获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的注意力权重。
[0047]
与现有技术相比，本发明技术方案的有益效果是：
[0048]
本发明提供一种基于多模态超图注意网络的阿尔茨海默症分类方法和系统，首先获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；最后获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的注意力权重；
[0049]
本发明通过mri和形态学特征构建跨模态超图来表征患者之间的高阶结构关系，能够有效提高阿尔茨海默症分类任务的准确性；另外，本发明所建立的超图注意力神经网络模型通过将新超图特征和旧超图特征进行对比学习，能够输出不同的超图对分类结果的不同贡献度，从而有助于医生在对不同病人诊断时着重关注对应的大脑区域，提高了阿尔茨海默症的早期诊断的准确率和模型的泛化能力。
附图说明
[0050]
图1为实施例1所提供的一种基于多模态超图注意网络的阿尔茨海默症分类方法流程图。
[0051]
图2为实施例2所提供的特征选择流程图。
[0052]
图3为实施例2所提供的超图注意力神经网络模型结构图。
[0053]
图4为实施例2所提供的各个跨模态超图的注意力权重对比图。
[0054]
图5为实施例3所提供的一种基于多模态超图注意网络的阿尔茨海默症分类系统结构图。
具体实施方式
[0055]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0056]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0057]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0058]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0059]
实施例1
[0060]
如图1所示，本发明提供一种基于多模态超图注意网络的阿尔茨海默症分类方法，包括以下步骤：
[0061]
s1：获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；
[0062]
s2：对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；
[0063]
s3：根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；
[0064]
s4：建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；
[0065]
s5：获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的注意力权重。
[0066]
在具体实施过程中，首先获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；最后获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的注意力权重；
[0067]
将注意力权重最高的跨模态超图对应的脑区作为对该阿尔茨海默症分类结果贡献度最大的脑区，完成阿尔茨海默症患者的分类和早期诊断；
[0068]
本方法通过mri和形态学特征构建跨模态超图来表征患者之间的高阶结构关系，能够有效提高阿尔茨海默症分类任务的准确性；另外，本方法所建立的超图注意力神经网络模型通过将新超图特征和旧超图特征进行对比学习，能够输出不同的超图对分类结果的不同贡献度，从而有助于医生在对不同病人诊断时着重关注对应的大脑区域，提高了阿尔茨海默症的早期诊断的准确率和模型的泛化能力。
[0069]
实施例2
[0070]
本实施例提供一种基于多模态超图注意网络的阿尔茨海默症分类方法，包括以下步骤：
[0071]
s1：获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；
[0072]
s2：对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；
[0073]
s3：根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；
[0074]
s4：建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；
[0075]
s5：获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的
注意力权重；
[0076]
所述步骤s1中，获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理的具体方法为：
[0077]
获取若干个阿尔茨海默症患者大脑的smri图像数据并分别进行图像预处理和形态学预处理；
[0078]
所述图像预处理的具体方法为：
[0079]
将smri图像数据依次进行空间分割、颅骨去除、配准到标准蒙特利尔神经研究所空间和图像平滑处理，获取平滑后的smri图像数据；
[0080]
所述形态学预处理的具体方法为：
[0081]
将smri图像数据依次进行颅骨去除、强度标准化、标记体积、白质分割、平滑扁平化、皮层划分、统计和映射处理，获取210个脑区的形态学指标；
[0082]
将平滑后的smri图像数据和所有脑区的形态学指标共同保存为预处理后的smri图像数据；
[0083]
所述脑区的形态学指标包括：脑区的平均厚度、厚度标准差、灰质体积、面积、折叠指数、曲率、平均曲率和高斯曲率；
[0084]
所述步骤s2中，对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征的具体方法为：
[0085]
将平滑后的smri图像数据与预设的brainneome模板进行对齐，提取4个海马区感兴趣区域，具体为：左吻侧海马体脑区、右吻侧海马体脑区、左尾侧海马体脑区和右尾侧海马体脑区；
[0086]
利用训练好的三维卷积神经网络提取所有海马区感兴趣区域的脑区深层次特征，将提取到的所有脑区深层次特征保存为患者脑区的图像特征；
[0087]
将210个脑区的所有形态学指标共同保存为待选择的形态学特征，将待选择的形态学特征依次进行归一化处理和特征选择，获取患者脑区的形态学特征；
[0088]
所述特征选择的具体方法为：利用卡方检测的方法进行特征选择：对于每个脑区，计算归一化后的待选择的形态学特征对应的分数，在所有待选择的形态学特征中选取分数最高的k个形态学指标作为患者脑区的形态学特征；
[0089]
所述步骤s3中，根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图的具体方法为：
[0090]
将患者脑区的图像特征和形态学特征相结合，获取4个海马区感兴趣区域的跨模态特征；
[0091]
对于每个海马区感兴趣区域，利用对应的跨模态特征构造一个跨模态超图，具体方法为：
[0092]
对于每个海马区感兴趣区域的跨模态特征，利用k近邻方法构造跨模态超图，具体为：
[0093]
选定一个患者作为中心顶点，将其他患者作为其他顶点，利用欧氏距离计算中心顶点与其他顶点的跨模态特征差，并构建以中心顶点为中心的一条超边，该超边用于连接k个具有最小跨模态特征差异的其他顶点；
[0094]
若有n个患者，则构造n个中心顶点并重复上述方法获取一幅包含n条超边的跨模
态超图；
[0095]
重复上述步骤，获取4幅包含n条超边的跨模态超图；
[0096]
所述利用欧氏距离计算该中心顶点与其他顶点的跨模态特征差之前，还包括将中心顶点与其他顶点之间的超边权值转换为小于1的值，具体为：
[0097]
根据以下公式计算第i个中心顶点与第j个其他顶点之间的超边权值w
i,j
：
[0098][0099]
其中，d
i,j
为第i个中心顶点与第j个其他顶点之间的跨模态特征距离，δ为中心顶点与其他顶点之间的平均跨模态特征距离；
[0100]
所述步骤s4中建立的超图注意力神经网络模型包括依次连接的若干个并列设置的超图卷积层、第一注意力层、动态超图构建层、第二注意力层和决策层；所述第一注意力层的输出端还与第二注意力层的输入端连接；
[0101]
所述动态超图构建层中，利用k-nn算法和k-means聚类算法动态更新由第一注意力层融合的跨模态超图特征，并生成新的跨模态超图特征。
[0102]
在具体实施过程中，首先获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理，本实施例使用的数据，来源于公开的阿尔茨海默病神经成像倡议(adni)数据库，adni的主要目的是检测一系列磁共振成像(mri)、正电子发射断层扫描(pet)、其他生物标记物以及临床和神经心理学评估是否可以联合应用于度量轻度认知损害(mci)和早期阿尔茨海默病(ad)的进展；
[0103]
本方法预处理包括两个方向，一个是图像预处理，另一个是形态学预处理；对图像的预处理步骤包括：包括空间分割、颅骨去除、配准到标准蒙特利尔神经研究所(mni)空间以及图像平滑，经过预处理后，所有图像的尺寸为121
×
145
×
121(x
×y×
z)，空间分辨率为2
×2×
2mm3体素；
[0104]
对形态学的预处理包括：对阿尔茨海默症的磁共振成像数据进行去除脑壳处理；对去除脑壳后的磁共振成像数据进行ca强度标准化；对标准化后的磁共振成像数据进行ca标记体积等；对标记后的磁共振成像数据进行白质分割；对分割后的磁共振成像数据使用tessellation细分曲面技术进行平滑和胀平；对胀平后的磁共振成像数据进行球形映射和登记；对球形登记后的磁共振成像数据进行皮质划分、统计和映射；最后获得脑区的平均厚度(thickness)、厚度标准差(thicknessstd)、表面面积(area)、灰质体积(volume)、积分校正平均曲率(meancurv)、积分校正高斯曲率(gauscurv)、折叠指数(foldind)和内在曲率指数(curvind)等8个形态学指标特征；其中，提取皮层上的210个脑区指标，所以每个阿尔茨海默症的磁共振成像数据提取脑区形态学特征共210
×
8＝1680个；
[0105]
之后对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；
[0106]
随着时间的推移，海马体积的减少会导致失忆综合征，这是阿尔茨海默病的核心特征；据此，本方法在图像中提取海马区感兴趣区域(region of interest,roi)；当预处理后的图像的大小和坐标空间与brainneome模板一致时，根据模板的脑区划分掩码提取海马脑区图像作为后续模型的输入样本；海马体在brainneome模板中分为四个roi，分别是左吻侧海马体(215)、右吻侧海马体(216)、左尾侧海马体(217)和右尾侧海马体(218)脑区，括号
内的数字表示brainneome模板中的标签id；因此，每个患者可以获得4个海马区感兴趣区域，当海马区感兴趣区域经过训练好的3d cnn时，取3d cnn全连接层中的特征作为深层特征，每个roi都可以获得其对应的深层特征；将提取到的所有脑区深层次特征保存为患者脑区的图像特征；
[0107]
由于不是所有脑区形态学特征是有效信息，因此需要用特征选择对1680个脑区特征进行筛选，去除无关特征和冗余特征；本方法将210个脑区的所有形态学指标共同保存为待选择的形态学特征，将待选择的形态学特征先进行归一化处理，使得所有样本的脑区特征值都在0到1之间，之后进行特征选择，获取患者脑区的形态学特征，用于与患者脑区的图像特征相结合；
[0108]
如图2所示，利用卡方检测的方法进行特征选择：对于每个脑区，计算归一化后的待选择的形态学特征对应的分数，在所有待选择的形态学特征中选取分数最高的k个形态学指标作为患者脑区的形态学特征，具体为：
[0109]
对归一化后的的待选择的形态学特征同时做两个操作：第一个操作：对每列的脑区特征按照类别分别累加，获得observed(2
×
1680)；第二个操作：对每列的脑区特征累加，获得fts(1
×
1680)，统计两个标签的频率然后与fts点积运行，获得expected(2
×
1680)；之后计算对应位置的特征分数score(i,j)＝(observed(i,j)-expeted(i,j))**2/expected(i,j)，再按列累加，获得score(1x 1680)，即为所有待选择的形态学特征的分数，最后保留前k个分数最高的脑区特征，完成特征选择；
[0110]
之后根据患者脑区的图像特征和形态学特征构4幅造跨模态超图，具体方法为：
[0111]
将患者脑区的图像特征和形态学特征相结合，获取4个海马区感兴趣区域的跨模态特征；
[0112]
对于每个海马区感兴趣区域，利用对应的跨模态特征构造一个跨模态超图，具体方法为：
[0113]
对于每个海马区感兴趣区域的跨模态特征，利用k近邻方法构造跨模态超图，具体为：
[0114]
选定一个患者作为中心顶点，将其他患者作为其他顶点，利用欧氏距离计算中心顶点与其他顶点的跨模态特征差，并构建以中心顶点为中心的一条超边，该超边用于连接k个具有最小跨模态特征差异的其他顶点，在本实施例中，k＝16；
[0115]
若有n个患者，则构造n个中心顶点并重复上述方法获取一幅包含n条超边的跨模态超图；
[0116]
重复上述步骤，获取4幅包含n条超边的跨模态超图；值得注意的是，每个跨模态超图都包含有关roi和形态学的关键信息，用来标准患者之间的高阶结构关系；
[0117]
建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；
[0118]
如图3所示，本实施例建立的超图注意力神经网络模型包括依次连接的若干个并列设置的超图卷积层、第一注意力层、动态超图构建层、第二注意力层和决策层；所述第一注意力层的输出端还与第二注意力层的输入端连接；
[0119]
超图卷积层对每个跨模态超图进行超图卷积，然后形成一个集合gs，发送到第一注意力层；第一注意力层可以捕捉超图之间的交互并融合它们；之后将融合后的超图特征
vs.hc,mcic vs.hc,mcic vs.mcinc；采用5倍交叉验证策略来评估分类性能；此外，使用四个常见的分类评价指标来评价模型的性能，分别是accuracy(acc)、area under curve(auc)、f1-score和matthews correlation coefficient(mcc)；最终的对比结果如表1所示：
[0128]
表1本方法与其他方法的对比结果
[0129][0130]
在表1的所有方法中，测试集和训练集样本是一致的；图型方法包括gcn、hgnn、dhgnn、hgnn ；gcn是经典的图卷积网络，每条边可以连接两个节点，hgnn是经典的超图卷积网络，每条边可以连接多个节点；dhgnn和hgnn 均在hgnn上延伸；在图型方法中使用mri和形态模态；cnn的方法包括cnn el和maddi；cnn el是一种将卷积神经网络和集成学习相结
合的方法，在cnn el的方法下使用mri；maddi是一种基于注意的多模态深度学习在阿尔茨海默病诊断中的应用框架，在maddi方法中使用了mri和形态模态；由表1可知，本方法在几乎所有情况下的结果都优于现有方法；
[0131]
在ad与hc、mcic与hc、mcic与mcinc的准确率分别为88.00％、87.21％、71.10％；与其他方法相比，本方法在ad和hc中的准确率几乎提高了2.76％以上；同时，与之前最先进的maddi方法相比，本方法在ad和hc的准确率提高了9.24％；与其他方法相比，本方法在mcic和hc中精度几乎提高了1.25％以上；特别是与cnn el方法相比，本方法在mcic和hc上的准确率提高了8.5％；另外，在最难分类的mcic和mcinc中，本方法的准确率提高了4.37％以上；此外，本方法在其他指标评价中也有很大的优势；
[0132]
各个跨模态超图的注意力权重如图4所示，由图4可以发现，由左吻侧海马体(215)和形态学构建的跨模态超图在三个分类任务中均保持着稳定的贡献；由右尾海马体(218)和形态学构建的跨模态超图在早期阿尔茨海默病分类任务mcicvs.mcinc中贡献最小，而在晚期阿尔茨海默病分类任务ad vs.hc中贡献最大，因此，由形态学特征和右海马尾侧特征构建的跨模态超图随着病程的发展变得越来越重要，同时也意味着ad的重要区域在不同时期有不同的表现，这将有助于医生关注大脑的不同区域在不同时间如何发生变化；
[0133]
本方法通过mri和形态学特征构建跨模态超图来表征患者之间的高阶结构关系，能够有效提高阿尔茨海默症分类任务的准确性；另外，本方法所建立的超图注意力神经网络模型通过将新超图特征和旧超图特征进行对比学习，能够输出不同的超图对分类结果的不同贡献度，从而有助于医生在对不同病人诊断时着重关注对应的大脑区域，提高了阿尔茨海默症的早期诊断的准确率和模型的泛化能力。
[0134]
实施例3
[0135]
如图5所示，本实施例提供一种基于多模态超图注意网络的阿尔茨海默症分类系统，应用实施例1或2所述的基于多模态超图注意网络的阿尔茨海默症分类方法，包括：
[0136]
预处理单元301：用于获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；
[0137]
特征提取单元302：用于对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；
[0138]
超图构造单元303：用于根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；
[0139]
模型训练单元304：用于建立超图注意力神经网络模型，利用跨模态超图进行训练，获取训练好的超图注意力神经网络模型；
[0140]
分类预测单元305：用于获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的注意力权重。
[0141]
在具体实施过程中，首先预处理单元301获取若干个阿尔茨海默症患者大脑的smri图像数据并进行预处理；特征提取单元302对预处理后的smri图像数据进行特征提取，获取患者脑区的图像特征和形态学特征；超图构造单元303根据患者脑区的图像特征和形态学特征构造若干幅跨模态超图；模型训练单元304建立超图注意力神经网络模型，利用跨
模态超图进行训练，获取训练好的超图注意力神经网络模型；最后分类预测单元305获取待诊断患者大脑的smri图像数据，并获取待诊断患者的若干幅跨模态超图；将待诊断患者的若干幅跨模态超图输入训练好的超图注意力神经网络模型中进行分类，获取待诊断患者的阿尔茨海默症分类结果，以及待诊断患者的各幅跨模态超图对应的注意力权重；
[0142]
将注意力权重最高的跨模态超图对应的脑区作为对该阿尔茨海默症分类结果贡献度最大的脑区，完成阿尔茨海默症患者的分类和早期诊断；
[0143]
本系统通过mri和形态学特征构建跨模态超图来表征患者之间的高阶结构关系，能够有效提高阿尔茨海默症分类任务的准确性；另外，本系统所建立的超图注意力神经网络模型通过将新超图特征和旧超图特征进行对比学习，能够输出不同的超图对分类结果的不同贡献度，从而有助于医生在对不同病人诊断时着重关注对应的大脑区域，提高了阿尔茨海默症的早期诊断的准确率和模型的泛化能力。
[0144]
相同或相似的标号对应相同或相似的部件；
[0145]
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0146]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。