一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法

本发明属于医疗数据处理，具体涉及一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法。

背景技术：

1、阿尔茨海默病（alzheimer’s disease，ad）是一种常见的神经退行性疾病，其早期诊断对于延缓病程发展和制定干预策略具有重要意义。医学影像技术是阿尔茨海默病辅助诊断的重要手段之一，其中，磁共振成像（magnetic resonance imaging，mri）能够提供脑结构信息，而正电子发射断层成像（positron emission tomography，pet）能够反映脑部代谢及功能变化。研究表明，将mri与pet信息进行联合分析，有助于提升对疾病区分能力。

2、然而，在实际临床应用中，pet成像设备价格昂贵、检查成本较高，且存在一定辐射风险，导致pet影像数据在多数医疗机构中难以获取，从而限制了pet影像在阿尔茨海默病辅助诊断的推广应用。为在缺失pet的条件下兼顾影像可视化与疾病判别需求，现有技术尝试构建多任务学习框架，期望同步实现pet图像重建与阿尔茨海默病分类诊断。

3、但现有技术在尝试同时完成生成与诊断的多任务模型时候，通常将两个任务视为独立分支，各自提取独立特征，这种过程缺乏有效的特征共享与信息交互，割裂了生成任务与分类任务在特征层面的内在关联，进而导致模态转换质量与辅助诊断结果割裂。

技术实现思路

1、为了解决现有技术在阿尔茨海默病辅助诊断时的不足，本发明提供了一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，包括以下步骤：

4、获取诊断对象的mri图像数据；

5、从所述mri图像中提取包含病理语义的高维特征表示，引入基于互信息最小化的约束将提取到的高维特征按通道分离，输出表征跨模态共性病理的共享特征和表征模态纹理结构的mri私有特征，通过特征转换将mri私有特征映射为pet私有特征；从所述pet私有特征学习空间仿射参数，利用所述空间仿射参数对所述共享特征进行校准，对所述pet私有特征和校准后的共享特征进行空间自适应融合，得到重建的pet图像；根据所述共享特征、pet私有特征及mri私有特征得到疾病辅助分类预测概率；

6、基于所述重建的pet图像和疾病辅助分类预测概率得到辅助诊断结果。

7、优选地，利用四个连续的残差卷积单元从所述mri图像中提取包含病理语义的高维特征表示；每个残差卷积单元包含3×3卷积层、实例归一化层和relu激活函数，残差卷积单元之间通过最大池化实现下采样。

8、优选地，从所述pet私有特征学习空间仿射参数，利用所述空间仿射参数对所述共享特征进行校准，具体是：

9、利用多层感知机mlp从对齐后的pet私有特征中学习空间仿射变换的缩放因子和平移因子；对共享特征进行实例归一化，基于所述缩放因子、平移因子对实例归一化后的共享特征进行放射变换，得到校准后的共享特征。

10、优选地，对所述pet私有特征和校准后的共享特征进行空间自适应融合，得到重建的pet图像，具体是将pet私有特征和校准后的共享特征输入两个残差卷积单元执行常规上采样，残差单元之间，通过转置卷积逐步将特征图的尺寸恢复到原始空间维度，得到重建的pet图像。

11、优选地，引入基于互信息最小化的约束将提取到的高维特征按通道分离，输出表征跨模态共性病理的共享特征和表征模态纹理结构的mri私有特征，具体是：

12、将提取到的高维特征送入沿通道维度拆分为两部分，利用可学习映射层将拆分的两个特征投影到统一的嵌入空间，通过最小化两个特征的余弦相似度实现互信息最小化的约束，得到共享特征和mri私有特征。

13、优选地，根据所述共享特征、pet私有特征及mri私有特征得到疾病辅助分类预测概率，具体是：

14、将所述共享特征、mri私有特征和pet私有特征分别输入多层感知机制，在映射过程中被投影到各自的码本空间，实现特征增强；将所述共享特征作为查询，将所述pet私有特征和mri私有特征沿通道维度拼接后的特征分别作为键和值，通过交叉注意力机制使共享特征聚合两个私有特征中的判别性信息，得到融合特征；将所述融合特征依次经过全局平均池化操作和全连接层，得到疾病辅助分类预测概率。

15、优选地，利用三层连续的卷积、实例归一化、relu激活函数依次处理mri私有特征，进行特征转换，将mri私有特征映射为pet私有特征。

16、本发明还提供一种基于跨模态特征复用的阿尔茨海默病辅助诊断系统，具体包括：

17、数据模块，用于获取诊断对象的mri图像数据。

18、辅助诊断模块，用于从所述mri图像中提取包含病理语义的高维特征表示，引入基于互信息最小化的约束将提取到的高维特征按通道分离，输出表征跨模态共性病理的共享特征和表征模态纹理结构的mri私有特征，通过特征转换将mri私有特征映射为pet私有特征；从所述pet私有特征学习空间仿射参数，利用所述空间仿射参数对所述共享特征进行校准，对所述pet私有特征和校准后的共享特征进行空间自适应融合，得到重建的pet图像；根据所述共享特征、pet私有特征及mri私有特征得到疾病辅助分类预测概率；

19、基于所述重建的pet图像和疾病辅助分类预测概率得到辅助诊断结果。

20、本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现所述一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法中所述的步骤。

21、本发明还提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，该计算机程序被处理器加载时，能够执行所述一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法中所述的步骤。

22、本发明提供的一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法具有以下有益效果：

23、本发明引入基于互信息最小化的约束将提取到的高维特征按通道分离，将mri特征解耦为承载全局解剖结构与疾病共性的共享特征以及承载模态特有纹理细节的私有特征。后续图像生成与辅助诊断分类共享解耦后的特征，对解耦后的特征，一路根据pet私有特征学习通道级仿射变换参数对共享特征进行校准，将pet特有的信息注入保留全局解剖结构的共享特征中，生成兼具结构保真度与纹理真实感的高质量重建pet图像。另一路基于所挖掘的模态特征信息将依赖的全局病理特征，无损地传递给诊断任务，得到疾病辅助分类预测概率。在临床决策时利用输出的辅助分类预测概率与可视化的重建pet图像进行交叉印证，增强辅助诊断的可解释性与可信度。

1.一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，其特征在于，利用四个连续的残差卷积单元从所述mri图像中提取包含病理语义的高维特征表示；每个残差卷积单元包含3×3卷积层、实例归一化层和relu激活函数，残差卷积单元之间通过最大池化实现下采样。

3.根据权利要求1所述的一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，其特征在于，从所述pet私有特征学习空间仿射参数，利用所述空间仿射参数对所述共享特征进行校准，具体是：

4.根据权利要求1所述的一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，其特征在于，对所述pet私有特征和校准后的共享特征进行空间自适应融合，得到重建的pet图像，具体是将pet私有特征和校准后的共享特征输入两个残差卷积单元执行常规上采样，残差单元之间，通过转置卷积逐步将特征图的尺寸恢复到原始空间维度，得到重建的pet图像。

5.根据权利要求1所述的一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，其特征在于，引入基于互信息最小化的约束将提取到的高维特征按通道分离，输出表征跨模态共性病理的共享特征和表征模态纹理结构的mri私有特征，具体是：

6.根据权利要求1所述的一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，其特征在于，根据所述共享特征、pet私有特征及mri私有特征得到疾病辅助分类预测概率，具体是：

7.根据权利要求5所述的一种基于跨模态特征复用的阿尔茨海默病辅助诊断方法，其特征在于，利用三层连续的卷积、实例归一化、relu激活函数依次处理mri私有特征，进行特征转换，将mri私有特征映射为pet私有特征。

8.一种基于跨模态特征复用的阿尔茨海默病辅助诊断系统，其特征在于，包括：

9.一种计算机设备，包括存储器、处理器及存储在存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器加载时，能够执行权利要求1至7任一项所述方法的步骤。