一种基于深度学习的多模态认知障碍识别方法与流程

1.本发明涉及脑与认知科学技术领域，尤其涉及一种基于深度学习的多模态认知障碍识别方法。


背景技术：

2.阿尔兹海默症是一个慢性的、逐渐恶化的且不可逆转的神经退化性疾病。患者常常伴有记忆力减退、听视觉受损、语言障碍、动作协调性变差，随着病情不断加深，逐渐丧失身体机能，最终导致死亡。通过主观心理学评测分数可以对不同程度认知障碍的患者进行分组，例如简易智力状态检查分数在24到30之间，痴呆指数为0，且未出现抑郁、痴呆等症状的人群被划分为认知能力正常；对简易智力状态检查分数在24
‑
30之间，痴呆指数为0.5，受教育程度大于16年时，wmslmⅱ分数在9
‑
11之间，或受教育程度在8
‑
15年时，wmslmⅱ分数在6
‑
9之间，或受教育程度在0
‑
7年时，wmslmⅱ分数在3
‑
6之间，且患者主动告知存在记忆力减退但不影响日常生活，未出现痴呆症状的患者，被划分为早期轻度认知障碍；对简易智力状态检查分数在24
‑
40之间，痴呆指数为0.5，受教育程度大于16年时，wmslmⅱ分数小于8，或受教育程度在8
‑
15年时，wmslmⅱ分数小于4，或受教育程度在0
‑
7年时，wmslmⅱ分数小于2的患者，被划分为晚期轻度认知障碍；对简易智力状态检查分数在20
‑
26之间，痴呆指数在0.5
‑
1之间的患者，被划分为阿尔兹海默症。除患者病情及临床心理学评分表现出的认知功能障碍是逐渐变化外，现有研究成果表明，认知障碍分类识别中也存在类似现象，阿尔兹海默症患者与健康对照组之间的分类准确度最高，意味着识别难度最小，差距最大，而早期轻度认知障碍患者与晚期轻度认知障碍患者两两分类结果表现最差，难度最大。不同分组两两识别模型中也存在这种递进关系。
3.随着深度学习技术的不断发展和完善，更多研究和应用领域采用深度学习实现了前所未有的惊人进展，主要集中在以图像识别、机器视觉、音视频媒体数据处理、社交网络等方面，这些领域拥有海量数据提供给模型进行训练。尤其在近十年计算和存储技术的飞跃提升，使得硬件资源不再是超大规模数据建模的瓶颈。与传统机器学习不同，深度学习使用了更复杂的建模手段，实现了非线性分类的突破性进展。
4.中国专利文献cn107909117b公开了一种“基于脑功能网络特征对早晚期轻度认知障碍的分类装置”。首先对样本数据进行预处理和提取多个脑区时间序列，采用皮尔逊相关计算脑区时间序列之间的相关系数构建脑功能网络，计算脑网络参数。其次采用逐步分析方法提取特征，并训练二分分类器，对待分类的静息态功能磁共振数据提取对应的特征向量并输入训练好的二分分类器，得到对医学影像图像分类结果。上述技术方案针对多分类问题的识别准确度不高。


技术实现要素：

5.本发明主要解决原有的技术方案针对多分类问题的识别准确度不高的技术问题，提供一种基于深度学习的多模态认知障碍识别方法，采用深度学习技术，设计并实现了一
种两层级联结构，整合googlenet框架，将结构性、功能连接性和功能拓扑性三种模态数据输入该模型训练，通过多节点多层次网络，在迭代过程中不断寻求各种特征组合的最佳权重，最终建立了不同程度认知障碍患者统一特征的评判体系，直接对hcp mmp脑分区中360个脑区的权重进行分配，很好地解决了认知障碍多类识别问题，通过大脑皮层平均厚度和二值化复杂脑网络的局部效率特征组合，模型最终实现96.86％的四分类准确度。
6.本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：
7.s1对与大脑连接性矩阵的构建进行预处理；
8.s2进行多模态大脑表征数据计算与复杂脑网络度量；
9.s3构建多模态数据处理深度学习框架；
10.s4进行多类识别模型训练。
11.使用深度学习技术，为多模态数据分类建模，实现了96.86％的四分类准确度。该深度学习技术的核心是采用27层googlenet网络，设计了一个两层级联架构以整合多模态数据作为训练样本。区别于之前的研究方法，本发明训练出来的深度学习模型不再采用额外的特征选择或假设驱动的先验知识，而是直接对hcp mmp脑分区中360个脑区的权重进行分配，最终建立起不同程度认知障碍患者多模态下统一特征的评判体系。
12.作为优选，所述的步骤s1预处理依据华盛顿大学多模态脑分区方法，对人类大脑进行功能区域分割，将整体大脑细分为360个脑区域，具体操作包括：s1.1获取结构态、功能态磁共振数据以及成像设备磁场分布信息；
13.s1.2根据获取信息将人类大脑注册到cifti空间，形成3.2万个坐标点；
14.s1.3采用j
‑
hcpmmp方法，将该大脑注册到多模态脑分区，形成左右各180个子脑区；
15.s1.4采用不同脑分区方法，对各个脑区之间的功能性磁共振数据进行相关分析，形成n
×
n大小复杂脑网络邻接矩阵；
16.s1.5对复杂脑网络邻接矩阵进行阈值处理，去除噪声和干扰信息，由稠密大脑连接变为稀疏大脑连接。
17.作为优选，所述的步骤s1.4采用三种脑分区方法，包括hcpmmp、dkt
‑
atlas和desikan
‑
killiany脑分区，分别形成360、62和68个子脑区，对各个子脑区之间的功能性磁共振数据进行相关分析，形成360
×
360、62
×
62和68
×
68大小的复杂脑网络邻接矩阵。
18.作为优选，所述的步骤s2具体包括以下步骤：
19.s2.1针对预处理后的大脑结构性和功能性磁共振数据，提取大脑皮层平均厚度和皮层平均曲率，作为结构性数据表征，数据大小为1
×
n；
20.s2.2计算功能性磁共振数据的相关性连接矩阵，作为功能性数据表征，数据大小为n
×
n；
21.s2.3计算全局性和区域性复杂脑网络度量指标，作为功能拓扑性数据表征,其中全局性复杂脑网络度量指标维度为1，区域性复杂脑网络度量指标大小为1
×
n。
22.作为优选，所述的步骤s2.3在加权脑网络中，计算7种全局性度量指标，包括复杂脑网络全局效率、最大化模块、最佳模块数量、同配性系数、小世界特性指数、特征路径长度以及平均聚集系数，以及7种区域性度量指标，包括复杂脑网络各节点度、强度、聚集系数、
局部效率、介数中心性、特征向量中心性、页面排序中心性。
23.作为优选，所述的步骤s2.3在在二值化脑网络中，计算7种全局性度量指标，包括复杂脑网络全局效率、最大化模块、最佳模块数量、同配性系数、小世界特性指数、特征路径长度以及平均聚集系数，以及8种区域性度量指标，包括脑网络各节点度、聚集系数、局部效率、介数中心性、特征向量中心性、页面排序中心性、k核心中心性和流量系数。
24.作为优选，所述的步骤s3构建多模态数据处理深度学习框架具体包括以下步骤：
25.s3.1整合googlenet框架中的inception结构，使其以堆叠形式，构建27层深度学习架构；
26.s3.2整合结构性和功能拓扑性表征数据，以一级级联方式构建超维特征向量；
27.s3.3以二级级联方式，再次整合功能连接性数据和结构性、功能拓扑性表征数据，作为多模态数据输入端。
28.作为优选，所述的步骤s4进行多类识别模型训练具体包括：
29.s4.1采用softmax结构，将整合后的多模态数据作为softmax输入层；
30.s4.2采用梯度下降算法，迭代求解参数，直至多分类模型收敛。
31.本发明的有益效果是：采用深度学习技术，设计并实现了一种两层级联结构，整合googlenet框架，将结构性、功能连接性和功能拓扑性三种模态数据输入该模型训练，与传统机器学习方法不同，深度学习模型通过多节点多层次网络，在迭代过程中不断寻求各种特征组合的最佳权重，最终建立了不同程度认知障碍患者统一特征的评判体系，为hcp mmp脑分区方法360个子区分配模型权重。通过对比同组样本在模型求解过程中的权重变化和不同组样本的最终模型权重分布，能够发现扣带回皮层、前额叶皮层等区域与认知功能异常密切相关。深度学习方法很好地解决了认知障碍多类识别问题，通过大脑皮层平均厚度和二值化复杂脑网络的局部效率特征组合，模型最终实现96.86％的测试准确度。
附图说明
32.图1是本发明的一种基于多模态数据表征认知障碍识别流程图。
33.图2是本发明的一种构建多模态数据处理深度学习框架图。
34.图3是本发明的一种结构性和功能拓扑性组合模态下各模型多分类性能表现图。
具体实施方式
35.下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
36.实施例：本实施例的一种基于深度学习的多模态认知障碍识别方法，如图1所示，包括
37.如图1所示，基于深度学习的多模态认知障碍识别方法，包含以下步骤：步骤1、预处理与大脑连接性矩阵的构建。
38.步骤1所述的采用多模态脑分区计算系数脑连接矩阵，具体操作如下：
[0039]1‑
1.采集磁共振数据。结构性磁共振成像的具体参数是矢状面t1权重三维快速梯度回波成像(t1w
‑
3d
‑
mprage)，采用八表面线圈sense并行成像算法，外部磁场强度为3特斯拉，成像分辨率为256
×
256 1.0毫米，切片数量170张，切片厚度1.2毫米。设定回波时间tr为6.78毫秒，重复时间te为3.14毫秒。功能性磁共振成像的具体参数是在受试者静息态下
采用3特斯拉外部磁场强度，成像分辨率为64
×
64 3.3125毫米，切片数量48张，切片厚度3.313毫米，共采集140个时间序列，共6720张切片。设定回波时间tr为3000毫秒，重复时间te为30毫秒。采用j
‑
hcpmmp数据预处理方法，将结构性和功能性磁共振数据处理到cifti空间。
[0040]1‑
2.采用三种脑分区方法，包括hcpmmp、dkt
‑
atlas和desikan
‑
killiany脑分区，分别形成360、62和68个子脑区。对各个子脑区之间的功能性磁共振数据进行相关分析，形成360
×
360、62
×
62和68
×
68大小的复杂脑网络邻接矩阵。对该矩阵进行阈值处理，去除噪声和干扰信息，形成由稠密大脑连接变为稀疏大脑连接。
[0041]
步骤2、多模态大脑表征数据计算与复杂脑网络度量
[0042]
步骤2、多模态大脑表征数据计算与复杂脑网络度量，具体操作如下：
[0043]2‑
1.针对预处理后的大脑结构性和功能性磁共振数据，提取大脑皮层平均厚度和皮层平均曲率，作为结构性数据表征，数据大小为1
×
360、1
×
62和1
×
68；
[0044]2‑
2.计算功能性磁共振数据的相关性连接矩阵，作为功能性数据表征，数据大小为360
×
360、62
×
62和68
×
68；
[0045]2‑
3.计算全局性和区域性复杂脑网络度量指标，作为功能拓扑性数据表征,其中全局性复杂脑网络度量指标维度为1，区域性复杂脑网络度量指标大小为1
×
360、1
×
62和1
×
68。加权脑网络中的7种全局性度量指标，包括复杂脑网络全局效率、最大化模块、最佳模块数量、同配性系数、小世界特性指数、特征路径长度以及平均聚集系数，以及7种区域性度量指标，包括复杂脑网络各节点度、强度、聚集系数、局部效率、介数中心性、特征向量中心性、页面排序中心性。在二值化脑网络中，除计算7种全局性度量指标外，另需计算8种区域性度量指标，包括脑网络各节点度、聚集系数、局部效率、介数中心性、特征向量中心性、页面排序中心性、k核心中心性和流量系数。
[0046]
步骤3、构建多模态数据处理深度学习框架
[0047]
步骤3所述的构建多模态数据处理深度学习框架具体如图2所示，包括以下步骤：
[0048]3‑
1.整合googlenet框架中的inception结构，使其以堆叠形式，构建27层深度学习架构。
[0049]3‑
2.整合结构性和功能拓扑性表征数据，以一级级联方式构建超维特征向量。
[0050]3‑
3.以二级级联方式，再次整合功能连接性数据和结构性、功能拓扑性表征数据，作为多模态数据输入端。
[0051]
步骤4、多类识别模型训练
[0052]
步骤4所述的多类识别模型训练具体如下：
[0053]4‑
1.采用softmax结构，将整合后的多模态数据作为softmax输入层
[0054]4‑
2.采用梯度下降算法，迭代求解参数，直至多分类模型收敛，分类结果如图3所示。
[0055]
本发明采用深度学习技术，设计并实现了一种两层级联结构，整合googlenet框架，将结构性、功能连接性和功能拓扑性三种模态数据输入该模型训练。与传统机器学习方法不同，深度学习模型通过多节点多层次网络，在迭代过程中不断寻求各种特征组合的最佳权重，最终建立了不同程度认知障碍患者统一特征的评判体系，为hcp mmp脑分区方法360个子区分配模型权重。通过对比同组样本在模型求解过程中的权重变化和不同组样本
的最终模型权重分布，我们发现扣带回皮层、前额叶皮层等区域与认知功能异常密切相关。深度学习方法很好地解决了认知障碍多类识别问题，通过大脑皮层平均厚度和二值化复杂脑网络的局部效率特征组合，模型最终实现96.86％的测试准确度。
[0056]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
[0057]
尽管本文较多地使用了多模态大脑表征数据计算、复杂脑网络度量等术语，但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质；把它们解释成任何一种附加的限制都是与本发明精神相违背的。