医学图像虚拟染色方法、装置及电子设备

本发明涉及医学图像处理，具体地说，是涉及一种医学图像虚拟染色方法、装置及电子设备。

背景技术：

1、医学图像是用于记录和呈现人体内部结构及病变情况的重要工具，它能够帮助医生观察到肉眼无法直接看到的器官、组织和病灶。在医学检查中，为了更清晰地识别和区分病灶，常常需要对图像或样本进行染色处理。通过特定的染色方法，可以增强病灶与正常组织之间的对比度，使异常区域在图像中更加突出，从而便于医生观察、分析和判断病变特征，为进一步的诊断和治疗提供重要依据。

2、传统染色图像需要喷洒染色剂，存在操作复杂、患者不适、过敏风险等问题；现有相关虚拟染色技术试图通过图像处理方法模拟染色效果，但现有虚拟染色方法得到的虚拟染色图像存在图像质量和真实感均不高，在实际使用中实时性不足，难以满足临床动态检查需求。

技术实现思路

1、本发明的目的就是为了解决以上问题，提供一种医学图像虚拟染色方法、装置及电子设备，解决现有虚拟染色图像质量不高、与真实染色图像差距大、推理速度慢等问题，满足临床实时应用要求。

2、为了解决上述问题，本发明提供如下技术方案：

3、一方面，一种医学图像虚拟染色方法，应用于生成器中，生成器包括编码模块和解码模块；

4、获取白光医学图像序列，经分块嵌入处理确定特征图；

5、将特征图划分为多个互不重叠的局部窗口；

6、任一局部窗口的内部特征输入窗口多头自注意力分支w-msa得到局部注意力特征；

7、任一局部窗口的内部特征输入移位窗口多头自注意力分支sw-msa得到全局注意力特征；

8、根据局部注意力特征和全局注意力特征融合，确定最终输出特征；

9、通过最终输出特征，生成虚拟染色医学图像。

10、在相关实施例中，任一局部窗口的内部特征输入窗口多头自注意力分支w-msa得到局部注意力特征包括

11、在注意力头中，局部窗口的内部特征分别映射为查询矩阵、键矩阵和值矩阵；

12、根据查询矩阵、键矩阵确定注意力权重，根据注意力权重和值矩阵确定注意力输出特征；

13、多个注意力头得到的多个注意力输出特征拼接确定局部注意力特征。

14、在相关实施例中，确定最终输出特征后还包括

15、根据最终输出特征，编码模块输出多组不同尺度特征；

16、将多组不同尺度特征分别统一至相同空间分辨率后，通过拼接确定融合多尺度特征；

17、融合多尺度特征通过卷积映射和非线性变换确定最终融合多尺度特征。

18、在相关实施例中，包括根据最终融合多尺度特征生成虚拟染色医学图像；具体为

19、最终融合多尺度特征输入用于图像重建的解码模块中；

20、在解码模块中每一级解码将当前解码模块特征与编码模块对应尺度输出的特征进行融合，并对融合特征进行进一步重建和优化得到重建特征；

21、将重建特征映射至目标图像空间，生成对应的虚拟染色医学图像。

22、在相关实施例中，生成虚拟染色医学图像后还包括根据虚拟染色医学图像和真实染色医学图像的对抗训练方法，其应用于判别器中，具体为：

23、将图像输入判别器中输出图像为虚拟染色医学图像或真实染色医学图像的判别结果；

24、将判别结果分别输入判别器和生成器，对抗训练提高判别器对真实染色医学图像的识别能力和引导生成器生成更符合真实染色医学图像分布特征的虚拟染色结果。

25、在相关实施例中，对生成器和判别器分别采用对抗损失、循环一致性损失以及身份映射损失共同构建的总损失函数优化训练。

26、在相关实施例中，所述的方法还包括动态评估医学图像特征的重要程度，应用于生成器，其具体为

27、对最终输出特征根据预设条件做重要性评估得出置信度得分；

28、根据预设置信度得分阈值确定保留最终输出特征和退出最终输出特征；

29、保留最终输出特征经处理后得到最终融合多尺度特征，将其和退出最终输出特征组合后输入图像重建的解码模块中，生成虚拟染色医学图像。

30、第二方面，一种医学图像虚拟染色装置，包括

31、生成器：用于接收白光医学图像并生成对应的虚拟染色医学图像；其包括编码模块、多尺度特征融合模块以及图像重建的解码模块；

32、编码模块：用于提取白光医学图像中的多层次特征信息；其包括多个串联的多层次特征提取模块，多层次提取模块包括窗口多头自注意力分支、移位窗口多头自注意力分支、多层感知机模块mlp以及残差模块；

33、多尺度特征融合模块：用于融合不同尺度的特征表示，以增强关键组织结构和病灶区域的特征表达能力；

34、图像重建解码模块：用于根据融合后的特征重建虚拟染色医学图像，实现白光医学图像向虚拟染色医学图像的转换。

35、在相关实施例中，所述的装置还包括

36、判别器：用于判断输入图像是真实染色医学图像还是生成器生成的虚拟染色医学图像，并将判别结果反馈给生成器，以指导生成器不断优化生成效果；

37、判别器包括多个卷积模块串联，卷积模块包括卷积层、批归一化层以及非线性激活层；

38、输入图像经过多层卷积处理后，逐步提取图像中的边缘特征、纹理特征以及染色分布特征，并逐层扩大感受野，从而获得具有较强判别能力的高层语义特征表示。

39、第三方面，一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现所述的医学图像虚拟染色方法的步骤。

40、与现有技术相比，本发明具有以下有益效果：

41、（1）本发明中白光医学图像经过处理后通过窗口多头自注意力分支和移位窗口多头自注意力分支的并行双分支设计，模型能够同时保留局部窗口内的细粒度组织纹理信息以及跨窗口的全局结构信息，从而获得更加丰富和鲁棒的特征表示，为后续多尺度特征融合模块和虚拟碘染色图像重建提供高质量的特征基础；双重注意力机制扩大了感受野，使生成图像更接近真实染色效果。

42、（2）本发明中判别器提供对抗训练反馈，提升生成图像的真实性。

43、（3）本发明中动态评估医学图像特征的重要程度显著降低计算复杂度，满足动态图像处理帧率要求。

1.一种医学图像虚拟染色方法，应用于生成器中，生成器包括编码模块和解码模块；其特征在于，

2.根据权利要求1所述的方法，其特征在于，任一局部窗口的内部特征输入窗口多头自注意力分支w-msa得到局部注意力特征包括

3.根据权利要求1所述的方法，其特征在于，确定最终输出特征后还包括

4.根据权利要求3所述的方法，其特征在于，包括根据最终融合多尺度特征生成虚拟染色医学图像；具体为

5.根据权利要求1所述的方法，其特征在于，生成虚拟染色医学图像后还包括根据虚拟染色医学图像和真实染色医学图像的对抗训练方法，其应用于判别器中，具体为：

6.根据权利要求1或5所述的方法，其特征在于，对生成器和判别器分别采用对抗损失、循环一致性损失以及身份映射损失共同构建的总损失函数优化训练。

7.根据权利要求4或所述的方法，其特征在于，还包括动态评估医学图像特征的重要程度，应用于生成器，其具体为

8.一种医学图像虚拟染色装置，其特征在于，包括

9.根据权利要求8所述的装置，其特征在于，还包括

10.一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现如权利要求1-7任一项所述的医学图像虚拟染色方法的步骤。