一种目标导向的缺失医学影像模态合成方法
本发明涉及医学影像处理,具体涉及一种目标导向的缺失医学影像模态合成方法。
背景技术:
1、磁共振成像(mri)在临床诊断中广泛使用,包含t1加权、t2加权、对比增强t1(t1ce)、液体衰减反转恢复(flair)等多个模态,每个模态刻画不同的解剖结构与组织对比信息。在实际临床中,由于扫描时间长、运动伪影、造影剂不耐受等因素,常出现部分模态缺失;而重新扫描因数据采集成本高往往不可行。因此,通过对已有模态进行合成以补全缺失模态,成为一种可行且有吸引力的解决方案。合成得到的模态既可辅助医师阅片,也可作为下游自动分析任务(如病灶分割)的补充输入。
2、现有的模态合成方法主要分为三类:其一为一对一合成,由单一源模态合成单一目标模态,无法利用多模态互补信息;其二为多对一合成,由固定数量的多源模态合成目标模态,受限于固定输入结构、可扩展性差,输入模态组合变化时需重新设计框架;其三为统一合成,用单一网络由任意可得模态组合合成目标模态,是目前主流方向。
3、然而,现有统一合成方法存在两个关键问题。其一,跨模态输入组合下的鲁棒性不足:现有方法在特征提取阶段忽略了显式建立目标模态与可得模态之间转换关系这一关键步骤,采用通用映射,导致在不同可得模态组合下翻译特征时鲁棒性差,合成结果随输入组合波动大。其二,高质量合成困难、模态特异细节丢失:现有方法对跨模态的高维交互与融合建模不充分,导致目标模态特有的空间结构、纹理细节、强度变化等模态特异信息丢失,削弱了目标模态的判别性特征,合成图像细节模糊。
4、综上,现有技术难以在任意可得模态组合下同时满足合成的鲁棒性与高质量,如何显式建立目标导向的模态转换关系并充分保留目标模态特异细节,是本领域亟待解决的问题。
技术实现思路
1、针对上述问题,本发明提供一种目标导向的缺失医学影像模态合成方法,旨在实现在任意可得模态组合下均保持稳定、鲁棒的合成性能,并在合成过程中充分保留目标模态特有的解剖结构与纹理细节,提升合成质量。
2、本发明采用的技术方案是:
3、s1、获取同一对象的若干医学影像,将获取医学影像对应的模态作为可得模态,将未获取的模态作为目标模态;
4、s2、获取目标导向模态合成数据集,构建目标导向模态合成模型,将目标导向模态合成数据集输入到目标导向模态合成模型进行训练,得到训练好的目标导向模态合成模型;
5、s3、将待合成对象的各个可得模态对应的医学影像输入训练好的目标导向模态合成模型进行目标模态合成,得到待合成对象目标模态对应的医学影像。
6、所述模态包括t1加权、t2加权、对比增强t1加权、液体衰减反转恢复flair、质子密度加权pd。
7、所述目标导向模态合成模型包括目标特定模态编码器、全局先验模态编码器、多维度融合模块、目标特定模态解码器;
8、将各个可得模态对应的医学影像进行第一预处理得到目标导向增强特征,将目标导向增强特征输入目标特定模态编码器进行目标特定编码处理得到各个中间层的浅层特征和最终输出的目标特定特征;
9、根据各个可得模态对应的医学影像对全部模态进行统一空间表征处理得到多模态空间栅格,随后对多模态空间栅格进行第二预处理得到跨模态互补增强特征,将跨模态互补增强特征输入全局先验模态编码器进行全局先验编码处理得到各个中间层的浅层特征和最终输出的全局先验特征;
10、将目标特定特征与全局先验特征输入多维度融合模块进行融合处理,得到融合后的目标模态深层特征,进而将融合后的目标模态深层特征、目标特定模态编码器和全局先验模态编码器各个中间层的浅层特征输入目标特定模态解码器进行逐层上采样重建得到目标模态对应的医学影像。
11、所述第一预处理具体为:
12、分别对各个可得模态对应的医学影像采用各可得模态相对应的二维卷积核进行卷积得到模态特异特征,进而将模态特异特征与各个可得模态对应的可学习目标特定记忆单元逐元素相加,得到目标导向增强特征;
13、所述第二预处理具体为:
14、对多模态空间栅格进行卷积得到原生跨模态特征,进而将原生跨模态特征与可学习的跨模态信息单元逐元素相加,得到跨模态互补增强特征。
15、多模态空间栅格具体按照以下公式构建:
16、mm=fcat({1u∈a·iu+1u∉a·i0|u∈m})
17、其中,mm表示多模态空间栅格,fcat()为沿模态维的拼接操作,1(·)为指示函数,m表示所有模态的集合,u表示模态集合m中的模态,a表示可得模态的集合,iu表示模态u对应的医学影像,i0表示零填充的掩码矩阵。
18、目标导向模态合成模型采用对抗训练方式,在训练阶段,目标导向模态合成模型还包括判别器,将重建得到的目标模态对应的医学影像输入判别器进行真假判别和模态类别判别,得到判别结果,判别结果用于构建目标导向模态合成模型的损失函数。
19、所述目标导向模态合成模型的损失函数由合成损失、循环一致性损失、对抗损失以及分类损失加权求和构成,具体按以下公式设置:
20、lg=α·lsyn+β·lcyc+γ·ladv+λ·lcls
21、其中,lg表示生成器总损失,lsyn表示合成损失,即逐像素曼哈顿距离损失,lcyc表示循环一致性损失,ladv表示对抗损失,lcls表示分类损失,α、β、γ、λ分别表示合成损失、循环一致性损失、对抗损失以及分类损失的加权系数。
22、本发明的有益效果是:
23、1)通过按目标模态索引的记忆单元ht显式建立转换关系,使同一可得模态在合成不同目标模态时采用不同转换模式,从根本上提升跨模态组合下的鲁棒性。
24、2)通过零掩码多模态空间栅格mm与可学习跨模态信息单元cm,在任意输入组合下维持维度恒定的统一结构,保证合成的解剖一致性。
25、3)目标特定/全局先验双编码器与自适应解码相配合,充分保留目标模态特异的结构与纹理细节,提升合成质量。
26、在公开数据集brats-2018与ixi上,本发明在一对一、多对一、统一三种场景下的psnr、ssim、ms-ssim指标均优于主流方法,且三种可得模态组合下psnr均值相对总均值的最大偏差仅约0.49db,验证了鲁棒性。
1.一种目标导向的缺失医学影像模态合成方法,其特征在于,方法包括以下步骤:
2.根据权利要求1所述的一种目标导向的缺失医学影像模态合成方法,其特征在于:所述模态包括t1加权、t2加权、对比增强t1加权、液体衰减反转恢复flair、质子密度加权pd。
3.根据权利要求1所述的一种目标导向的缺失医学影像模态合成方法,其特征在于:所述目标导向模态合成模型包括目标特定模态编码器、全局先验模态编码器、多维度融合模块、目标特定模态解码器;
4.根据权利要求3所述的一种目标导向的缺失医学影像模态合成方法,其特征在于:所述第一预处理具体为:
5.根据权利要求3所述的一种目标导向的缺失医学影像模态合成方法,其特征在于:多模态空间栅格具体按照以下公式构建:
6.根据权利要求3所述的一种目标导向的缺失医学影像模态合成方法,其特征在于:目标导向模态合成模型采用对抗训练方式,在训练阶段,目标导向模态合成模型还包括判别器,将重建得到的目标模态对应的医学影像输入判别器进行真假判别和模态类别判别,得到判别结果,判别结果用于构建目标导向模态合成模型的损失函数。
7.根据权利要求1所述的一种目标导向的缺失医学影像模态合成方法,其特征在于:所述目标导向模态合成模型的损失函数由合成损失、循环一致性损失、对抗损失以及分类损失加权求和构成,具体按以下公式设置:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com