双域医学通用图像复原方法、系统、设备及介质
本发明涉及医学图像处理,尤其是涉及双域医学通用图像复原方法、系统、设备及介质。
背景技术:
1、医学图像复原是医学图像分析领域的重要研究方向,其主要目标是恢复低质量医学图像中的结构信息与细节特征,为临床诊断、病灶检测以及后续医学图像分析任务提供高质量图像数据支持。在实际医学成像过程中,由于辐射剂量限制、扫描时间约束以及成像设备采集精度不足等因素,医学图像通常存在不同形式的质量退化问题。例如低剂量计算机断层扫描(ct)图像容易受到噪声干扰,磁共振成像(mri)图像常因快速采样导致分辨率下降,而低剂量正电子发射断层扫描(pet)图像则容易出现结构模糊与细节信息缺失。因此,高质量医学图像复原技术具有重要的研究意义和临床应用价值。
2、目前,医学图像复原领域针对不同医学影像复原任务已提出大量深度学习方法,例如低剂量ct图像去噪、mri图像超分辨率重建以及pet图像合成等。现有方法通常针对单一任务分别训练独立模型,虽然在各自任务中取得了较好的复原效果,但在实际临床场景中往往需要同时处理多种成像模态及多种退化类型,导致模型部署数量多、参数冗余严重、存储与计算成本较高。其主要原因在于现有方法大多针对单一退化模式进行专门优化,缺乏统一建模多模态医学图像复原任务的能力。
3、近年来,部分研究开始探索通用医学图像复原方法,此类方法通常采用共享网络参数进行联合训练,以期通过单一模型处理多种复原任务。然而,由于ct、mri及pet等不同模态在成像机理、数据分布及退化特征方面存在显著差异,不同任务在训练过程中容易产生梯度更新方向冲突,进而导致模型性能下降。其主要原因在于多个任务共享同一组网络参数时,不同任务对特征提取的需求存在较大差异,现有共享学习机制难以实现精细化任务适配,导致统一模型的复原精度往往低于针对单一任务专门优化的模型。
4、此外,现有医学图像复原方法通常仅在单一域内进行特征恢复,即仅在空间域完成纹理重建,或单独在频域进行频谱补偿。由于医学图像退化通常同时包含全局频率失真与局部结构损伤,单一域内处理方式难以兼顾退化噪声抑制与细节纹理恢复,导致复原结果在结构清晰度和视觉质量方面受到限制。其主要原因在于现有方法缺乏频域处理与空间域恢复相结合的协同优化机制,无法同时利用频谱全局信息与空间局部信息进行联合复原。
5、因此,如何在统一医学图像复原框架下有效建模不同任务间的共享信息与差异特征,充分利用图像退化过程中的频率信息,并实现频率域与空间域协同恢复,成为当前医学图像复原领域亟需解决的重要问题。
技术实现思路
1、本发明的目的是提供双域医学通用图像复原方法、系统、设备及介质,旨在解决现有统一医学图像复原方法在多任务联合建模过程中存在的任务间参数冲突、退化特征感知能力不足以及恢复过程缺乏多域协同优化等问题。
2、为实现上述目的,本发明提供了双域医学通用图像复原方法,包括以下步骤:
3、步骤s1、获取待复原的低质量医学图像;
4、步骤s2、利用卷积层对低质量医学图像提取浅层特征,得到浅层特征图;并对低质量医学图像进行频域提示提取,生成条件向量;
5、步骤s3、基于生成的条件向量,生成动态卷积核,并利用动态卷积核对浅层特征图进行频域滤波处理,得到频域滤波特征;
6、步骤s4、基于生成的条件向量,对频域滤波特征进行空域细化处理,得到空域细化特征;
7、步骤s5、利用卷积层对空域细化特征进行细化处理并预测残差图像,将残差图像与低质量医学图像相加,得到复原后的高质量医学图像。
8、优选的,步骤s2中对低质量医学图像进行频域提示提取,生成条件向量的具体步骤包括:
9、步骤s21、利用轻量级编码器对低质量医学图像提取紧凑特征图;
10、步骤s22、利用卷积将紧凑特征图投影至目标通道维度,并通过快速傅里叶变换转换为频域,取对数得到频谱表示;
11、步骤s23、通过门控分支利用卷积和sigmoid函数生成注意力图,将注意力图与频谱表示进行元素级相乘,得到重新加权的频谱特征;
12、步骤s24、将重新加权的频谱特征经卷积与relu激活后,再进行全局平均池化,映射为条件向量。
13、优选的,步骤s3的具体步骤包括:
14、步骤s31、对浅层特征图执行二维快速傅里叶变换并进行频谱中心化,得到复数频谱,复数频谱包含实部与虚部;
15、步骤s32、利用多层感知机将条件向量映射为混合系数,通过混合系数对预设的实部原型核库和虚部原型核库进行线性组合,生成样本特定的动态实部卷积核和动态虚部卷积核;
16、步骤s33、利用动态实部卷积核和动态虚部卷积核分别对复数频谱的实部与虚部进行卷积操作;
17、步骤s34、对经卷积操作后的频谱施加厄密特对称性约束,并执行逆移位和逆傅里叶变换还原至空间域,得到频域滤波残差;
18、步骤s35、将频域滤波残差与步骤s2得到的浅层特征图相加,并通过通道门控机制进行校准,得到频域滤波特征。
19、优选的,步骤s4的具体步骤包括:
20、步骤s41、对频域滤波特征进行层归一化处理;
21、步骤s42、利用条件向量生成混合系数,通过混合系数对预设的空间域原型核库进行线性组合,生成样本特定的动态空间卷积核;
22、步骤s43、利用动态空间卷积核对归一化后的频域滤波特征进行动态卷积操作,经gelu激活后得到动态卷积输出;
23、步骤s44、利用多层感知机将条件向量映射为门控向量,门控向量经sigmoid函数归一化,通过门控向量对动态卷积输出进行逐元素调制,并利用卷积恢复特征维度,得到空域细化残差;
24、步骤s45、将空域细化残差与频域滤波特征相加,得到空域细化特征。
25、优选的,低质量医学图像包括低剂量计算机断层扫描图像、磁共振成像图像或低剂量正电子发射断层扫描图像中的任意一种或多种模态。
26、优选的,在模型训练阶段,采用联合损失函数进行端到端训练,联合损失函数包括像素级重建损失、模态分类辅助损失和原型多样性损失;
27、其中,像素级重建损失采用l1损失函数,用于约束复原图像与清晰图像在像素层面的一致性;模态分类辅助损失采用交叉熵损失函数,用于增强模型对输入图像模态特性的感知能力;原型多样性损失用于约束预设原型核库中各原型核之间的正交性。
28、优选的,步骤s3中的频域滤波处理与步骤s4中的空域细化处理构成频率域与空间域协同优化的双域恢复架构;其中,频域滤波处理用于抑制低质量医学图像中的全局退化信息,空域细化处理用于重建局部高频细节,通过双域恢复架构实现全局退化抑制与局部细节恢复的协同优化。
29、本发明还提供了双域医学通用图像复原系统,包括:
30、图像获取模块,用于获取待复原的低质量医学图像;
31、浅层特征提取与频域提示模块,用于利用卷积层对低质量医学图像提取浅层特征,得到浅层特征图;并且,对低质量医学图像进行频域提示提取,生成条件向量;
32、频域滤波模块,用于基于生成的条件向量,生成动态卷积核,并利用动态卷积核对浅层特征图进行频域滤波处理,得到频域滤波特征;
33、空域细化模块,用于基于生成的条件向量,对频域滤波特征进行空域细化处理,得到空域细化特征;
34、残差预测与图像复原模块,用于利用卷积层对空域细化特征进行细化处理并预测残差图像,将残差图像与获取的低质量医学图像相加,得到复原后的高质量医学图像。
35、本发明还提供了一种计算机设备,包括:存储器和处理器;存储器存储有计算机程序,处理器执行计算机程序时实现上述的双域医学通用图像复原方法的步骤。
36、本发明还提供了一种计算机可读的存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的双域医学通用图像复原方法的步骤。
37、因此,本发明采用上述的双域医学通用图像复原方法、系统、设备及介质,有益技术效果如下:
38、(1)本发明通过频域提示提取模块对输入的低质量医学图像进行频域变换与分析,利用门控分支生成注意力图对频谱表示进行重新加权,提取能够表征图像退化模式的条件向量,使模型能够感知不同医学模态及不同退化类型之间的差异,为后续图像恢复过程提供任务相关的条件信息,从而提升了模型对不同退化场景的适应能力。
39、(2)本发明利用频域提示提取所生成的条件向量,通过多层感知机映射为混合系数,分别对频域滤波单元中的实部原型核库和虚部原型核库以及空域细化单元中的空间域原型核库进行线性组合,生成样本特定的动态卷积核,使网络能够根据不同任务需求调整特征提取过程,从而缓解了多任务联合训练过程中的参数冲突问题。
40、(3)本发明通过频域滤波单元对浅层特征图执行快速傅里叶变换得到复数频谱,利用动态卷积核对频谱实部与虚部进行滤波处理并施加厄密特对称性约束,抑制图像中的全局退化信息;同时通过空域细化单元利用动态空间卷积核对频域滤波特征进行动态卷积操作,配合条件向量生成的门控向量进行逐元素调制,重建局部高频细节;频域滤波单元与空域细化单元依次级联,构成频率域与空间域协同优化的双域恢复架构,在抑制全局退化信息的同时增强局部细节结构重建能力,从而提升了复原图像的清晰度和结构保真度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com