基于生成对抗网络的硅藻电镜图像修复方法与流程

基于生成对抗网络的硅藻电镜图像修复方法
【技术领域】
1.本发明涉及图像修复技术领域，尤其涉及一种基于生成对抗网络的硅藻电镜图像修复方法。


背景技术：

2.硅藻检验被认为是一种较为可靠的溺死诊断手段，在法医学领域具有广泛的应用前景。当前硅藻检验使用的电镜设备正在迭代升级，逐步走向数据采集自动化、图像识别智能化、数据分析智慧化，计算机视觉、深度学习相关技术在硅藻图像智能识别领域发挥了重要作用。
3.图像修复技术是图像处理领域中的一个热点问题，可以对硅藻图像的纹理进行修复，以增强图像的细节。现如今，基于深度学习的图像复原方法是近几年来提出的一类新兴方法，利用深度神经网络可以通过大量数据的训练学习得到训练样本间的非线性复杂关系的映射，研究人员在此基础上提出了各种各样的图像修复的方法，已广泛用于老照片修复、拍照去模糊和高清电影工业等领域。
4.然而，在电镜设备自动化采集硅藻图像的过程中，由于不同类别的硅藻尺寸差异很大，给设备自动聚焦带来了较大的挑战，自动采集的硅藻图像会存在模糊的现象，给后续的硅藻图像分类造成干扰。
5.鉴于此，实有必要提供一种新型的基于生成对抗网络的硅藻电镜图像修复方法以克服上述缺陷。


技术实现要素：

6.本发明的目的是提供一种基于生成对抗网络的硅藻电镜图像修复方法，能够提升图像的修复效果，解决了电镜设备自动采集硅藻图像时会出现模糊的问题。
7.为实现上述目的，本发明提供一种基于生成对抗网络的硅藻电镜图像修复方法，包括如下步骤：获取电镜设备针对硅藻拍摄的原始高清图像；对所述原始高清图像进行退化处理，形成配对训练集；构建unet网络和stylegan网络所组成的图像复原网络；利用所述配对训练集对所述图像复原网络进行训练，得到最终的图像修复网络模型；使用所述最终的图像修复网络模型对所述电镜设备针对硅藻拍摄的原始低清图像进行修复。
8.在一个优选实施方式中，所述对所述原始高清图像进行退化处理，形成配对训练集的步骤中：所述退化处理包括加模糊核、加噪声、下采样、jpeg压缩。
9.在一个优选实施方式中，所述对所述原始高清图像进行退化处理，形成配对训练集的步骤中：所述配对训练集为低清图像-高清图像配对训练集。
10.在一个优选实施方式中，所述构建unet网络和stylegan网络所组成的图像复原网络的步骤中：所述unet网络包括下采样层、上采样层，所述下采样层、上采样层均为8层。
11.在一个优选实施方式中，所述构建unet网络和stylegan网络所组成的图像复原网络的步骤中：所述stylegan网络包括生成器及判别器，所述生成器包括8层，所述判别器包
括串联的卷积模块、全连接层和激活函数。
12.在一个优选实施方式中，所述利用所述配对训练集对所述图像复原网络进行训练，得到最终的图像修复网络模型的步骤，包括：利用所述配对训练集训练所述图像复原网络的神经网络模型；利用所述神经网络模型的生成图像及配对的原始高清图像的特征计算损失函数；根据所述损失函数利用反向传播算法多次迭代优化所述图像复原网络。
13.在一个优选实施方式中，所述unet网络的下采样层提取的图像特征分辨率分别为512、256、128、64、32、16、8、4，所述unet网络的上采样层提取的图像特征分辨率分别为8、16、32、64、128、256、512、1024。
14.在一个优选实施方式中，所述生成器的各层提取的图像特征分辨率分别为8、16、32、64、128、256、512、1024。
15.相比于现有技术，本发明提供的基于生成对抗网络的硅藻电镜图像修复方法，先获取电镜设备针对硅藻拍摄的原始高清图像，再对所述原始高清图像进行退化处理，形成配对训练集，通过构建unet网络和stylegan网络所组成的图像复原网络，利用所述配对训练集对所述图像复原网络进行训练，得到最终的图像修复网络模型，最后使用所述最终的图像修复网络模型对所述电镜设备针对硅藻拍摄的原始低清图像进行修复，实现了通过收集原始高清图像进行退化处理后得到的待修复图像的关键特征，对预先构建的unet网络和stylegan网络所组成的图像复原网络进行训练，能有效利用高清数据集包含的高清细节特征，从而提升图像的修复效果，解决了电镜设备自动采集硅藻图像时会出现模糊的问题，增加了图像的清晰度。
16.为使发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
【附图说明】
17.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
18.图1为本发明提供的基于生成对抗网络的硅藻电镜图像修复方法的流程图；
19.图2为本发明提供的生成对抗网络模型示意图；
20.图3为利用本发明提供的基于生成对抗网络的硅藻电镜图像修复方法对硅藻图像进行修复的前后对比图。
【具体实施方式】
21.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.请参阅图1，本发明提供一种基于生成对抗网络的硅藻电镜图像修复方法，能够解决电镜设备自动采集硅藻图像时会出现模糊的问题。具体的，基于生成对抗网络的硅藻电镜图像修复方法包括如下步骤：
23.步骤s10：获取电镜设备针对硅藻拍摄的原始高清图像。具体的，用电镜设备拍摄硅藻高清图像，形成高清的硅藻图像数据集。
24.步骤s20：对所述原始高清图像进行退化处理，形成配对训练集。具体的，对原始高清图像进行退化处理，得到待修复的图像，组成低清图像-高清图像配对训练集。针对原始高清图像，可以使用加模糊核、加噪声、下采样、jpeg压缩等方式进行退化处理，获取待修复的低清图像。
25.步骤s30：构建unet网络和stylegan网络所组成的图像复原网络。具体的，图像复原网络包括unet网络和stylegan网络，可以理解地，u-net网络是基于fcn(全卷积网络)的一种语义分割网络，通常适用于做医学图像的分割，stylegan网络即基于样式的生成对抗网络，能生成更高质量的高分辨率图像。
26.步骤s40：利用所述配对训练集对所述图像复原网络进行训练，得到最终的图像修复网络模型。具体的，通过所述配对训练集能够对预先构建的所述图像复原网络进行训练，以期通过收集待修复图像的关键特征，对图像复原网络进行训练，能有效提升模型优化的效率，从而提升图像的修复效果。
27.步骤s50：使用所述最终的图像修复网络模型对所述电镜设备针对硅藻拍摄的原始低清图像进行修复。具体的，利用训练好的最终的图像修复网络模型对硅藻低清图像进行处理，并且，能够根据处理后的图像来评估模型效果并进行针对性优化，进一步使得硅藻电镜图像的清晰度增强。
28.因此，本发明提供的基于生成对抗网络的硅藻电镜图像修复方法，先获取电镜设备针对硅藻拍摄的原始高清图像，再对所述原始高清图像进行退化处理，形成配对训练集，通过构建unet网络和stylegan网络所组成的图像复原网络，利用所述配对训练集对所述图像复原网络进行训练，得到最终的图像修复网络模型，最后使用所述最终的图像修复网络模型对所述电镜设备针对硅藻拍摄的原始低清图像进行修复，实现了通过收集原始高清图像进行退化处理后得到的待修复图像的关键特征，对预先构建的unet网络和stylegan网络所组成的图像复原网络进行训练，得到能提升图像修复效果的神经网络模型，解决了电镜设备自动采集硅藻图像时会出现模糊的问题，增加了图像的清晰度。
29.进一步地，所述对所述原始高清图像进行退化处理，形成配对训练集的步骤中：所述退化处理包括加模糊核、加噪声、下采样、jpeg压缩等方式。通过对原始高清图像进行退化处理，得到待修复的图像，组成低清图像-高清图像配对训练集，即所述配对训练集为低清图像-高清图像配对训练集。
30.进一步地，所述stylegan网络包括生成器及判别器，所述构建unet网络和stylegan网络所组成的图像复原网络的步骤，包括如下步骤：
31.搭建unet网络。具体的，所述unet网络包括下采样层、上采样层，所述下采样层、上采样层均为8层，所述unet网络的下采样层提取的图像特征分辨率分别为512、256、128、64、32、16、8、4，所述unet网络的上采样层提取的图像特征分辨率分别为8、16、32、64、128、256、512、1024。
32.搭建stylegan网络的生成器。具体的，该网络包含8层，所述生成器的各层提取的图像特征分辨率分别为8、16、32、64、128、256、512、1024。
33.搭建stylegan网络的判别器。具体的，该网络由卷积模块、全连接层和sigmoid激活函数依次串联组成。
34.进一步地，所述利用所述配对训练集对所述图像复原网络进行训练，得到最终的图像修复网络模型的步骤，包括：
35.利用所述配对训练集训练神经网络模型，利用神经网络模型的生成图像及配对的原始高清图像的特征计算损失函数，利用反向传播算法多次迭代优化所述图像复原网络。
36.具体的，建立unet网络去退化损失函数：将unet上采样层各层提取的不同分辨率特征转换成不同分辨率的图像，将其配对的高清图像下采样后得到的不同分辨率的金字塔图像作为真实标签，损失函数类型具体为l1损失。建立stylegan网络的判别器损失函数：待复原图像、与之配对的高清图像会一并用于计算判别器损失函数，待复原图像的真实标签为0、与之配对的高清图像的真实标签为1，真实标签与判别器预测标签结合起来用于计算损失函数，损失函数类型具体为交叉熵损失。建立stylegan网络的生成器损失函数：待复原图像的真实标签为1，真实标签与判别器预测标签结合起来用于计算损失函数，损失函数类型具体为交叉熵损失；将stylegan网络生成的1024分辨率的图像、配对高清图像用于计算像素损失，损失函数类型具体为l1损失；使用vgg网络分别提取生成图像、配对高清图像的各层特征，用于计算特征匹配损失，损失函数类型具体为l1损失。本实施方式中，通过建立损失函数，利用反向传播算法多次迭代，能够优化unet网络和stylegan网络所组成的图像复原网络。
37.图2为本发明提供的生成对抗网络模型示意图，本发明提供的基于生成对抗网络的硅藻电镜图像修复方法，通过将输入到stylegan网络各层中的随机噪声替换为unet网络的下采样层输出的特征，能够更好地控制复原图像的细节生成，减少伪纹理的生成；并且，通过调整网络结构，将复原图像的分辨率从512提升至1024，进一步提升了硅藻图像的细节增强效果，同时减少了伪纹理的生成；通过减少跳跃连接的层数，提升了模型细节生成能力，同时进一步降低了模型参数量、提升了计算效率。进一步地，本发明还可以将常规的卷积算子替换为深度可分离卷积，进而降低模型参数量；本发明还可以通过调整训练策略，在对图像复原网络训练过程中随机选择10％的样本不添加噪声，进而能够减少高清图像经过模型处理后细节略微变模糊的现象。
38.图3为利用本发明提供的基于生成对抗网络的硅藻电镜图像修复方法对硅藻图像进行修复的前后对比图。由图3可知，利用本发明提供的基于生成对抗网络的硅藻电镜图像修复方法对硅藻图像进行修复后，图像的清晰度增强，提升了硅藻图像的细节增强效果，同时减少了伪纹理的生成，提升了图像的修复效果。
39.综上，本发明提供的基于生成对抗网络的硅藻电镜图像修复方法，先获取电镜设备针对硅藻拍摄的原始高清图像，再对所述原始高清图像进行退化处理，形成配对训练集，通过构建unet网络和stylegan网络所组成的图像复原网络，利用所述配对训练集对所述图像复原网络进行训练，得到最终的图像修复网络模型，最后使用所述最终的图像修复网络模型对所述电镜设备针对硅藻拍摄的原始低清图像进行修复，实现了通过收集原始高清图像进行退化处理后得到的待修复图像的关键特征，对预先构建的unet网络和stylegan网络
所组成的图像复原网络进行训练，能有效利用高清数据集包含的高清细节特征，从而提升图像的修复效果，解决了电镜设备自动采集硅藻图像时会出现模糊的问题，增加了图像的清晰度。
40.以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。