一种多中心非配对多模态样本的阿尔茨海默病早期识别方法

本发明涉及数据处理，尤其涉及一种多中心非配对多模态医学数据的类别识别方法。

背景技术：

1、阿尔茨海默病（alzheimer's disease，ad）是一种由于大脑细胞代谢异常引起的不可逆的神经退行性疾病，是痴呆最常见的病因，其临床特征主要表现为认知功能下降、语言表达困难和行为障碍等。目前ad尚无根治方法，不同患者的行为症状和脑萎缩（灰质丢失）的严重程度可能有很大差异，这种异质性使得诊断、治疗和预防变得复杂化。

2、由于阿尔茨海默病具有高度异质性和复杂的病理机制，单一生物标志物难以全面反映疾病的多层面损伤，限制了其早期识别与严重程度评估的准确性。脑电图（electroencephalogram，eeg）、结构磁共振成像（structural magnetic resonanceimaging，smri）和血浆蛋白（plasma protein，pp）分别从神经电生理活动、脑结构和分子病理等多个维度提供了ad发展过程中的互补信息，构建多模态生物标志物系统已成为提高早期诊断性能的重要途径。

3、然而，在临床实践中，这些模态数据往往来源于不同的样本且数据质量不一致，存在样本不对齐、特征分布差异大等问题。传统融合方法依赖严格对齐的多模态样本，一方面，这种对齐的要求限制了其在真实场景中的应用；另一方面，现有方法往往简单地舍弃非配对样本，忽视了这些样本的潜在价值。如何充分利用来自多中心的非配对多模态样本，是实现ad自适应预测的关键。因此，设计能够有效处理不对齐多模态数据、能自适应融合跨模态判别特征的ad识别模型，对模态数据进行处理，为ad识别提供数据基础，具有迫切的临床需求。

4、需要注意的是，本部分旨在为权利要求书中陈述的本公开的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

技术实现思路

1、本发明的目的在于提供一种多中心非配对多模态医学数据的类别识别方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

2、本发明首先提供一种多中心非配对多模态医学数据的类别识别方法，包括：

3、s1，接收eeg、smri和血浆蛋白的多模态数据，并进行预处理；

4、s2，提取预处理后的多模态数据的多维度特征，所述多维度特征包括eeg的频谱特征、时域特征、熵与复杂性特征、小波时频特征、hjorth参数和统计特征，smri的灰质体积测量值和结构化特征向量，以及血浆蛋白分子特征；

5、s3，根据多维度特征的类别标签信息和模态标识，构建多个同标签伪配对单元，将各模态独立分层划分训练集、验证集、测试集，预设在模型训练阶段，为每个模态分别引入加权随机采样器，对出现频率较低的类别赋予更高采样权重，将多个同标签伪配对单元拼接形成多模态训练批次；

6、s4，构建多模态融合模型，所述多模态融合模型包括：编码器、潜变量表征模块、自适应加权融合模块、轻量级通道门控模块以及多分类头；

7、编码器用于提取同标签伪配对单元中每个模态的隐藏表征，并通过两条轻量线性头处理得到均值向量和方差向量；潜变量表征模块用于对均值向量和方差向量构造对角高斯后验分布，得到各模态潜空间高斯分布表征；自适应加权融合模块用于根据模态可用性掩码对各模态进行自适应动态加权，并利用权重对均值向量进行重标定，得到加权后的各模态表示，将加权后的各模态表示按模态维度堆叠形成融合输入张量；轻量级通道门控模块用于为融合输入张量分配注意力权重以及进行特征重整，得到融合表示；多分类头用于对融合表示进行预测识别，得到类别识别结果；

8、s5，对多模态融合模型进行训练；

9、s6，利用训练后的多模态融合模型对同标签伪配对单元对应的多维度特征进行预测，得到多模态数据的类别识别结果。

10、本发明中，s1中，预处理包括：带通滤波、噪声去除、伪影去除、重新参考、插值修复、通道对齐、样本切片和归一化。

11、本发明中，s2中，所述血浆蛋白分子特征包括plgf、apoe、ttr、apoa-ⅱ、pyy、sgot、a1micro、bnp、eotaxin-3和igm。

12、本发明中，s5中，利用综合损失函数对多模态融合模型进行训练，综合损失包括交叉熵分类损失、单模态监督损失和正则化损失，所述正则化损失包括概率对齐损失和自信息同步损失。

13、本发明中，所述多分类头包括融合分类器和单模态辅助分类头，所述融合分类器用于对融合表示进行预测识别，输出类别预测概率和最终分类标签；所述单模态辅助分类头用于对均值向量进行预测，得到单模态独立分类预测值。

14、本发明中，所述识别方法还包括：

15、s7，采用五折交叉验证方法对模型性能进行评估。

16、本发明中其次提供一种多模态医学数据的类别识别系统，包括：

17、数据预处理模块，用于接收eeg、smri和血浆蛋白的多模态数据，并进行预处理；

18、特征提取模块，用于提取预处理后的多模态数据的多维度特征，所述多维度特征包括eeg的频谱特征、时域特征、熵与复杂性特征、小波时频特征、hjorth参数和统计特征，smri的灰质体积测量值和结构化特征向量，以及血浆蛋白分子特征；

19、伪配对单元构建模块，用于根据多维度特征的类别标签信息和模态标识，构建多个同标签伪配对单元，将各模态独立分层划分训练集、验证集、测试集；

20、加权采样模块，用于预设在模型训练阶段，为每个模态分别引入加权随机采样器，对出现频率较低的类别赋予更高采样权重，将多个同标签伪配对单元拼接形成多模态训练批次；

21、多模态融合模型构建模块，用于构建多模态融合模型，所述多模态融合模型包括：编码器、潜变量表征模块、自适应加权融合模块、轻量级通道门控模块以及多分类头；

22、编码器用于提取同标签伪配对单元中每个模态的隐藏表征，并通过两条轻量线性头处理得到均值向量和方差向量；潜变量表征模块用于对均值向量和方差向量构造对角高斯后验分布，得到各模态潜空间高斯分布表征；自适应加权融合模块用于根据模态可用性掩码对各模态进行自适应动态加权，并利用权重对均值向量进行重标定，得到加权后的各模态表示，将加权后的各模态表示按模态维度堆叠形成融合输入张量；轻量级通道门控模块用于为融合输入张量分配注意力权重以及进行特征重整，得到融合表示；多分类头用于对融合表示进行预测识别，得到类别识别结果；

23、训练模块，用于对多模态融合模型进行训练；

24、预测识别模块，用于利用训练后的多模态融合模型对同标签伪配对单元对应的多维度特征进行预测，得到多模态数据的类别识别结果。

25、本发明提供的技术方案可以包括以下有益效果：

26、本发明中的一种多中心非配对多模态医学数据的类别识别方法，设计了标签一致的伪配对样本构建机制：采用基于类别条件的高斯混合模型自适应建模，并通过分簇轮转采样与同标签跨模态匹配生成多样且类别均衡的伪配对训练样本，在不引入对齐信息的前提下，实现多模态融合训练，降低数据采集与预处理难度，并减少跨中心数据难以对齐带来的工程成本；

27、本发明将每个模态表征建模为对角高斯后验分布，利用预测方差刻画样本级不确定性，并据此实现不确定性感知的自适应加权融合：对噪声大、质量差或分布偏移的模态自动降权，从机制上抑制“强势模态过度主导”与错误信息传播，提高融合决策的稳健性与可靠性；

28、引入轻量级通道门控模块，在自适应模态加权的基础上对融合表示进行细粒度重整与冗余抑制，从而增强跨模态互补信息利用效率，提升分类边界可分性与泛化能力。