一种基于CNN-GAN联合模型的显微图像智能增强与分类方法

摘要: 本发明涉及计算机视觉、深度学习与显微成像技术交叉领域,具体为一种基于cnn-gan联合模型的显微图像智能增强与分类方法。背景技术:1、显微成像技术是生命科学研究...
一种基于CNN-GAN联合模型的显微图像智能增强与分类方法

本发明涉及计算机视觉、深度学习与显微成像技术交叉领域,具体为一种基于cnn-gan联合模型的显微图像智能增强与分类方法。

背景技术:

1、显微成像技术是生命科学研究、临床病理诊断、工业质量检测等领域不可或缺的基础工具。传统光学显微镜通过提高数值孔径、采用油浸物镜、共聚焦扫描等方式提升成像分辨率,但受限于阿贝衍射极限,且高精度光学系统成本高昂、体积庞大,难以在基层医疗机构、野外作业现场等资源受限场景中部署。近年来,随着手机摄像模组性能的持续提升,便携式显微镜应运而生,其通过手机镜头与附加显微物镜的组合,能够在低成本条件下实现数十至上千倍的显微观察。然而,受限于光学元件尺寸和光源条件,便携式显微镜在低光照、高倍率条件下采集的图像普遍存在噪声严重、对比度低、细节模糊等问题,难以满足专业诊断和精密检测的要求。

2、为改善便携式显微镜的图像质量,数字图像处理技术被广泛采用。传统方法如维纳滤波、非局部均值去噪、bm3d等虽能在一定程度上抑制噪声,但其参数敏感性强,对不同噪声水平和成像条件的适应性差,且在去噪过程中易过度平滑边缘和纹理,导致细胞边界模糊、亚细胞结构信息丢失。基于插值或重建的传统超分辨率方法则无法恢复超出光学系统截止频率的高频信息。近年来,基于深度学习的图像增强技术取得了显著进展。生成对抗网络(gan)在超分辨率重建、去噪和去模糊任务中展现出优异性能。例如,esrgan通过残差密集块和相对论判别器实现了高质量的超分辨率重建;noise2void提出了仅需单张噪声图像即可训练去噪网络的自监督方案。尽管上述方法在图像质量提升方面表现良好,但其训练目标通常仅关注像素级重建精度或感知质量,未考虑下游分类任务的特定需求。

3、在显微图像分类领域,卷积神经网络(cnn)已成为主流技术路线。vgg、resnet、inception等经典架构在病理图像分类中广泛应用,efficientnet系列通过复合缩放策略在精度与效率之间取得了良好平衡。近年来,vision transformer等基于自注意力机制的架构也展现出强大的全局上下文建模能力。然而,现有分类网络通常以人工筛选或独立增强后的图像作为输入,增强过程与分类过程相互割裂,分类网络无法利用增强网络在特征提取过程中产生的丰富中间表征,增强网络也无法根据分类目标自适应地优化增强策略。

4、上述增强技术与分类技术的割裂导致两个突出问题:一方面,增强网络以像素级重建为目标生成的图像,未必包含对分类任务最关键的结构信息和纹理信息,甚至可能因过度平滑而削弱分类相关的判别性特征;另一方面,分类网络仅使用增强网络的最终输出图像,未能利用增强过程中多尺度、多层次的中间特征,造成信息利用不充分。此外,在便携式设备的实际应用中,还面临模型参数量大、计算复杂度高、高质量成对训练数据难以获取等工程挑战。因此,存在一种需求:将图像增强与目标分类进行端到端联合优化,使增强过程直接服务于分类目标,同时兼顾便携式设备的计算资源约束和医学、工业场景对可解释性的要求。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足,本发明提供了一种基于cnn-gan联合模型的显微图像智能增强与分类方法,解决了现有技术中图像增强与目标分类相互割裂、增强后的图像不利于下游分类任务且分类网络无法利用增强中间特征的技术问题。

3、(二)技术方案

4、为实现以上目的,本发明通过以下技术方案予以实现:一种基于cnn-gan联合模型的显微图像智能增强与分类方法,包括:

5、获取待增强的显微图像;

6、通过生成网络对显微图像进行增强处理,得到增强图像以及第一中间层特征;

7、通过分类网络对增强图像进行特征提取,得到第二中间层特征;

8、将第一中间层特征与第二中间层特征进行融合,得到融合特征;

9、根据融合特征对增强图像进行分类,得到分类结果;

10、基于分类结果确定分类损失,并根据分类损失更新生成网络和/或分类网络的参数。

11、优选的,将第一中间层特征与第二中间层特征进行融合,得到融合特征,包括:

12、按照如下公式对所述第一中间层特征和所述第二中间层特征进行融合:

13、f=α×f1+β×f2+γ×(f1⊙f2);

14、其中,f为融合特征,f1为所述第一中间层特征,f2为所述第二中间层特征,α、β、γ为可学习的融合权重,⊙表示逐元素相乘。

15、优选的,所述生成网络为u-net架构,包括编码器路径、瓶颈层和解码器路径;

16、所述编码器路径包括多个下采样块,每个下采样块之后设置有通道注意力模块;

17、所述瓶颈层包括多个残差密集块;

18、所述解码器路径包括多个上采样块,编码器路径与解码器路径之间通过注意力门控连接。

19、优选的,所述瓶颈层还包括空间注意力模块和空洞空间金字塔池化模块;

20、多个所述残差密集块串联设置,相邻残差密集块之间设置有空间注意力模块;

21、每个残差密集块包括多个卷积层,各卷积层的输出特征图在残差密集块内部逐级拼接。

22、优选的,还包括:

23、通过判别网络对增强图像进行真伪判别,确定对抗损失;

24、生成网络的训练过程中采用的生成损失包括像素级重建损失、感知损失、对抗损失和特征匹配损失中的至少一种;

25、其中,像素级重建损失为增强图像与目标图像之间的l1距离,感知损失为增强图像与目标图像在预设特征提取网络的中间层特征之间的l2距离,特征匹配损失为增强图像与目标图像在判别网络的中间层特征之间的l1距离;

26、所述判别网络为多尺度判别网络,包括全局判别器、局部判别器和细节判别器;

27、所述全局判别器用于对原始分辨率的图像进行真伪判别,所述局部判别器用于对下采样2倍的图像进行真伪判别,所述细节判别器用于对下采样4倍的图像进行真伪判别。

28、优选的,所述分类网络包括骨干网络和特征金字塔网络;

29、所述骨干网络用于对增强图像进行多尺度特征提取,所述特征金字塔网络用于对骨干网络输出的多尺度特征进行融合,得到第二中间层特征。

30、优选的,根据融合特征对增强图像进行分类,得到分类结果,包括:

31、对融合特征进行全局平均池化,得到特征向量;

32、通过主分类分支对特征向量进行处理,得到类别概率分布;

33、通过辅助置信度分支对特征向量进行处理,得到置信度分数;

34、其中,所述主分类分支为全连接层和softmax激活函数,所述辅助置信度分支为全连接层和sigmoid激活函数。

35、优选的,所述分类损失包括交叉熵损失和焦点损失,根据分类损失更新生成网络和/或所述分类网络的参数,包括:

36、第一阶段:固定分类网络的参数,对生成网络进行预训练;

37、第二阶段:固定生成网络的参数,对分类网络进行预训练;

38、第三阶段:同时更新生成网络和分类网络的参数。

39、优选的,在通过生成网络对显微图像进行增强处理之前,还包括:对显微图像进行预处理,预处理包括白平衡校正、几何畸变校正和感兴趣区域提取中的至少一种。

40、优选的,还包括:

41、根据分类结果确定所述分类网络的梯度信息;

42、根据梯度信息生成类别激活热力图;

43、将类别激活热力图叠加至增强图像或所述显微图像上并输出。

44、(三)有益效果

45、本发明提供了一种基于cnn-gan联合模型的显微图像智能增强与分类方法。具备以下有益效果:

46、1、通过构建生成网络与分类网络之间的跨层特征融合连接,使分类网络能够直接利用增强过程中的多尺度中间特征,丰富了分类决策的信息来源;同时,分类损失通过梯度反向传播约束生成网络的优化方向,使增强过程主动强化与分类任务相关的判别性特征,从而实现了增强与分类的协同优化。

47、2、生成网络采用包含残差密集块、通道注意力、空间注意力和空洞空间金字塔池化的u-net架构,配合多尺度判别器和多任务损失函数,能够有效去除低光照条件下的传感器噪声和散粒噪声,实现4倍超分辨率增强,输出图像峰值信噪比大于27db、结构相似度大于0.90。