一种基于潜在扩散模型的医学图像合成方法及系统

摘要: 本发明涉及医学图像处理,特别涉及一种基于潜在扩散模型的医学图像合成方法及系统。背景技术:1、医学图像跨模态合成是医学影像处理与人工智能交叉领域的重要研究方向,眼...
一种基于潜在扩散模型的医学图像合成方法及系统

本发明涉及医学图像处理,特别涉及一种基于潜在扩散模型的医学图像合成方法及系统。

背景技术:

1、医学图像跨模态合成是医学影像处理与人工智能交叉领域的重要研究方向,眼底影像的跨模态转换技术可在不增加额外影像采集流程的前提下,补充不同成像模式下的影像信息,在医学影像数据扩充、影像后处理分析等场景具备广泛的应用价值。随着生成式深度学习技术的持续发展,潜在扩散模型凭借低维空间运算效率高、生成图像细节丰富、结构稳定性强的优势,逐渐成为跨模态图像合成领域的主流技术路线之一。当前行业内已出现多种基于深度学习的眼底图像合成方案,涵盖编码解码架构、生成对抗网络、扩散模型等多种技术路径,相关技术围绕图像特征提取、模态映射关系学习、生成结果优化等维度持续开展技术迭代。配套的公开眼底影像数据集与临床采集数据也在不断丰富,为各类生成模型的训练与性能验证提供了充足的数据基础,整体技术处于持续发展与落地应用推进的阶段。

2、现有基于潜在扩散模型的眼底图像跨模态合成方法,在执行逆向去噪生成的过程中,缺乏针对血管等解剖结构的针对性梯度约束,合成过程中易出现血管走向偏移、血管边缘模糊扭曲的情况,导致合成图像与输入图像的解剖结构吻合度不足。同时,现有方法在模型训练阶段,大多仅针对整体图像施加判别监督,对影像中具备显著性的特征区域缺乏专门的监督机制,合成过程中易出现局部精细特征丢失、细节还原程度不足的问题,难以同时兼顾整体图像的生成真实性与局部重点区域的特征保留效果。此外,部分直接在像素空间执行完整扩散运算的方案,整体计算资源消耗较高,运算效率存在提升空间,难以在算力资源有限的应用场景下实现高效的图像合成处理。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提供一种基于潜在扩散模型的医学图像合成方法及系统。

2、本发明的目的是通过以下技术方案来实现的:

3、提供了一种基于潜在扩散模型的医学图像合成方法,该方法包括以下步骤:

4、s1.获取荧光素血管造影医学图像和彩色眼底医学图像;

5、s2.采用荧光素血管造影医学图像构建并训练梯度引导和病变保留的潜在扩散模型,梯度引导和病变保留的潜在扩散模型包括正向扩散过程和逆向扩散过程,梯度引导和病变保留的潜在扩散模型通过潜在梯度对齐约束潜在加噪表示和潜在去噪表示;

6、s3.将彩色眼底医学图像输入梯度引导和病变保留的潜在扩散模型,在逆向扩散过程的任意时间步的去噪过程中,提取彩色眼底医学图像的多条件解剖结构确定引导条件;

7、s4.采用引导条件参与逆向扩散过程的所有时间步去噪处理,生成与彩色眼底医学图像对应的荧光素血管造影医学图像。

8、进一步的,步骤s2中,荧光素血管造影医学图像对应的显著图通过差分运算生成,包括以下子步骤:

9、s2.1.对荧光素血管造影医学图像依次进行中值滤波和高斯滤波处理,得到去噪后的图像;

10、s2.2.对荧光素血管造影医学图像进行高斯滤波处理,得到背景图像;

11、s2.3.采用去噪后的图像与背景图像计算差值,结合对比度系数生成显著图,显著图用于梯度引导和病变保留的潜在扩散模型的训练监督。

12、进一步的,步骤s3中,提取彩色眼底医学图像的多条件解剖结构确定引导条件,包括以下子步骤:

13、s3.1.对彩色眼底医学图像进行多条件解耦分割处理,得到彩色眼底医学图像的多条件表示;

14、s3.2.将彩色眼底医学图像和多条件表示在通道维度上进行拼接处理,生成引导条件。

15、进一步的,步骤s4中,逆向扩散过程的任意时间步的去噪过程采用噪声预测模型对噪声进行估计,包括以下子步骤:

16、s4.1.将当前时间步的潜在表示和引导条件输入噪声预测模型的编码器,经编码处理得到张量;

17、s4.2.将张量输入噪声预测模型的解码器,经解码处理生成当前时间步对应的预测噪声;

18、s4.3.采用预测噪声去除当前时间步潜在表示中的噪声,得到去噪后的潜在表示。

19、进一步的,步骤s2中,像素空间的编码器解码器处理包括以下子步骤:

20、s201.对原始输入图像进行初始卷积处理,提取初始特征图;

21、s202.对初始特征图进行全局平均池化处理和空间平均池化处理,使用不同尺度权重对初始特征图重新加权,在通道维度上求和生成单尺度注意力图;

22、s203.将单尺度注意力图沿通道维度拼接,形成多尺度注意力特征,经激活函数处理后与原始输入图像在通道维度进行拼接,生成拼接张量;

23、s204.将拼接张量输入判别器网络,输出融合注意力引导的全局判别分数。

24、进一步的,步骤s2中,潜在梯度对齐包括梯度幅度对齐和梯度方向对齐;梯度幅度对齐的处理为:利用sobel算子分别对带噪潜在表示和去噪潜在表示计算水平梯度和垂直梯度,沿通道维度拼接构建带噪潜在表示的梯度张量和去噪潜在表示的梯度张量;对每个位置的梯度张量计算l2范数,得到带噪潜在表示的梯度幅度和去噪潜在表示的梯度幅度;计算带噪潜在表示梯度幅度和去噪潜在表示梯度幅度差值的平方,对所有位置的计算结果取平均值;梯度方向对齐的处理为:对每个位置的梯度向量进行l2归一化处理后加入正则系数;计算归一化后的带噪潜在表示梯度向量与去噪潜在表示梯度向量的余弦相似度,对所有位置的计算结果取平均值。

25、进一步的,步骤s3.1中,多条件解耦分割通过多条件编码器执行处理;多条件编码器的处理为:将彩色眼底医学图像、血管结构图像和视盘结构图像分别输入由卷积层、残差块和下采样块构成的共享编码器,提取得到彩色眼底医学图像初始特征、血管结构初始特征和视盘结构初始特征;第一阶段通过注意力机制聚合彩色眼底医学图像初始特征与视盘结构初始特征的信息,得到第一阶段融合特征;将第一阶段融合特征通过注意力机制聚合血管结构初始特征的信息;最终经过归一化块和残差块处理,得到增强的融合特征条件图。

26、进一步的,步骤s2中,训练梯度引导和病变保留的潜在扩散模型时,以每个时间步添加的噪声与对应时间步预测的噪声的均方误差,和潜在梯度对齐损失共同构成总损失函数,采用总损失函数对梯度引导和病变保留的潜在扩散模型的网络参数进行迭代优化。

27、进一步的,步骤s204中,判别器网络采用双鉴别器结构,其中一个鉴别器对输入的原始图像执行局部结构监督鉴别处理,另一个鉴别器对输入图像对应的显著图执行病变区域监督鉴别处理,融合两类鉴别结果生成全局判别分数。

28、提供了一种基于潜在扩散模型的医学图像合成系统,该系统包括存储器和处理器;

29、存储器被配置为存储计算机程序;处理器被配置为执行所述计算机程序,以实现荧光素血管造影医学图像与彩色眼底医学图像的获取、梯度引导和病变保留的潜在扩散模型的构建训练、引导条件的确定和荧光素血管造影医学图像的合成处理。

30、本发明的有益效果是:

31、(1)通过构建并运行梯度引导和病变保留的潜在扩散模型,以彩色眼底医学图像的多条件解剖结构作为去噪引导,生成对应荧光素血管造影医学图像,可在低维空间执行扩散运算,降低整体计算成本;

32、(2)引入双鉴别器与显著图协同监督机制,对原始图像与病变区域同步施加判别约束,能够提升合成图像中精细病灶与微血管结构的保留程度,减少病理特征的丢失;

33、(3)潜在梯度对齐从梯度幅度与梯度方向两个维度约束去噪过程,可维持血管走向与边缘特征的一致性,缓解血管扭曲、边界模糊等问题,提升合成图像的结构吻合度。