一种基于GSCGAN的图像灰度立体转换方法

一种基于gscgan的图像灰度立体转换方法
技术领域
1.本发明属于图像处理技术领域、显微成像技术领域，具体涉及一种基于gscgan的图像灰度立体转换方法。


背景技术：

2.普通显微镜在明场下观察透明样本时，常常无法清晰准确地观察到样本的层次结构和纹理细节，虽然进行染色之类的处理可以观察到，但同时存在破坏样本细胞的风险。相衬显微的方法利用观察对象密度及成分不同而在光照射下产生不同相位差的原理，将相位差转换为人肉眼可以分辨的明暗差别，可以比较清楚地观察生物样本的细微结构。而微分干涉相衬法所观察到的样品层次结构明显，呈浮雕状，方便判断许多明场下所看不到的或难于判别的一些结构细节。目前相衬显微系统以及微分干涉相衬显微系统需要干涉棱镜等昂贵光学附件以致整个系统成本颇高，因此利用计算成像方法将普通廉价显微镜转换成相衬或微分干涉相衬显微镜，可大大降低成本。
3.近年来，深度学习被广泛应用于机器学习、图像识别、遥感成像、医学图像等多个领域。图像风格转换即把图像风格应用于给定图像来增添图像的多样化呈现。利用深度学习方法进行风格转换是图像领域研究的热点之一。其中生成对抗网络(generative adversarial nets,gans)在最近几年引起了广泛关注，应用于图像超分辨、图像的迁移、图像分割等等许多方面。
4.余英东在《结合纹理特征分析的图像风格转换网络》一文中，提出了一种结合图像纹理特征分析的前馈图像风格转换网络算法，通过训练具有感知损失函数的前馈残差网络来进行风格转换，利用输入图像的信息熵和不变矩特征分析，发现了输入图像的特征与输出效果之间的关系，从而实现了对网络的针对性改善。但是颜色、深度等特征信息之间的联系被割裂了，没有充分考虑到它们之间的关联性和互补性，测试灰度图像的时候容易出现伪彩色的错误信息；在提升图像对比度中，针对基于深度学习的方法来说，网络参数的更新主要来自训练数据，因此通常是需要大量的训练数据，而目前关于医学生物图像研究的数据集由于医院病患样本的保密性而数量有限，无法达到更高的预测精度。


技术实现要素：

5.本发明的目的在于提供一种基于gscgan的图像灰度立体转换方法，解决了透明生物医学样本难以在普通显微镜下观察到清晰结构和细节的问题。
6.实现本发明的技术解决方案为：一种基于gscgan的图像灰度立体转换方法，其特征在于，包括以下步骤：
7.步骤1、利用科研级显微镜采集p个透明样本，分别获取明场模式、相衬模式以及微分干涉模式下对应的图像，共3p幅，p≥200；上述每幅图像像素大小为1000
×
1000，并将图像转化为灰度图像，分别对应构成明场模式图像集、相衬模式图像集以及微分干涉模式图像集；
8.步骤2、用相衬成像及微分干涉成像中的光线传播卷积公式代替传统gan中的卷积传播运算来构建复值gan，将两个复值gan首尾相连形成一个循环结构，并在每一层输出图像后加入模式判别器dm，获得初步gscgan模型；
9.步骤3、将明场模式图像集中的灰度图像作为原始训练图像，相衬模式图像集以及微分干涉模式图像集中的灰度图像作为理想训练目标图像，通过对原始训练图像的和理想训练目标图像进行傅里叶变换，将上述图像中每一个像素值变为复数，对应幅值和相位分别获得实数对与虚数对的图像特征图，并以复值形式分别输入初步gscgan模型中进行训练，得到gscgan模型；
10.步骤4、采集透明目标样本图像作为真实数据，图像像素大小在1000
×
1000，并将图像转化为灰度图像，输入gscgan模型中，即得到对应相衬干涉图或微分干涉图像，进而实现明暗分明的立体成像效果。
11.本发明与现有技术相比，其显著优点在于：
12.(1)用相衬成像及微分干涉成像中的光线传播卷积公式代替传统gan中的卷积传播运算来构建复值gan，相较于传统的实值卷积更加精确。
13.(2)添加了模式判别器dm对转换输出的图像或者理想训练目标图像进行分析，判别其为相称效果图还是微分干涉效果图，使输入一幅图像可以输出两种不同的效果图像。
14.(3)在损失函数中融入了灰度损失函数，对单通道灰度转换后的x域真实数据与y域真实数据之间的灰度差值做均方根计算，单通道灰度转换即只取rgb三通道中占比最大的一个通道，另外两个通道舍弃，只分析单独通道的数据信息。有效保存正确信息的同时避免了颜色混乱对结果造成伪彩色的影响。
附图说明
15.图1为本发明的基于gscgan的图像灰度立体转换方法流程图。
16.图2(a)为明场模式图像集、图2(b)为相衬模式图像集，图2(c)为微分干涉模式图像集。
17.图3为透明目标样本图像。
18.图4(a)为gscgan输出的相衬干涉图，图4(b)为gscgan输出的微分干涉图像。
具体实施方式
19.下面结合附图对本发明作进一步详细描述。
20.结合图1，一种基于gscgan的图像灰度立体转换方法，包括以下步骤：
21.步骤1、利用科研级显微镜采集p个透明样本，分别获取明场模式、相衬模式以及微分干涉模式下对应的图像，共3p幅，p≥200；上述每幅图像像素大小为1000
×
1000，并将图像转化为灰度图像，分别对应构成明场模式图像集、相衬模式图像集以及微分干涉模式图像集。
22.进一步地，不改变科研级显微镜的角度和位置对同一个透明样本采集其在明场模式、相衬模式以及微分干涉模式下对应的图片。
23.步骤2，用相衬成像及微分干涉成像中的光线传播卷积公式代替传统gan(generative adversarial networks，生成对抗网络)中的卷积传播运算来构建复值gan，
即网络中每一层的卷积传递不再是普通gan中的实值传递，而是光学上的复振幅和相位传递。将两个复值gan首尾相连形成一个循环结构，并在每一层输出图像后加入模式判别器dm，获得初步灰度立体转换生成对抗网络(grayscale stereo conversion generative adversarial networks，gscgan)模型，具体如下：
24.用相衬成像及微分干涉成像中的光线传播卷积公式代替传统gan中的卷积传播运算来构建复值gan，光线传播卷积公式是基于相衬及微分干涉成像理论求得，具体如下：
25.对于相衬成像，假设物体透射光复振幅分布为通过改变物体的相位频谱信息，变换后的复振幅分布为光强分布为其中δ表示零级相移，表示相位信息，i表示虚数单位，(x
′
,y
′
)表示像面上信息点的坐标；由上式可知光强与相位是线性关系，相位差转换成了振幅信息，则转换后图像可以看到明暗差别。
26.对于微分干涉成像，样品成像的光强分布为对于微分干涉成像，样品成像的光强分布为其中表示正交线偏振光间干涉相差，e0表示偏振分量的振幅，h(o,e)表示样品表面形貌微分，o表示棱镜的位置，被测相位分布式中λ表示光波波长，δo为正交线偏振光间横向剪切量，β(o)为棱镜相差，是关于棱镜位置的线性函数。
27.复值在网络中表示的方法如下：一个复数z＝a ib有一个实分量a和一个虚分量b，我们将一个复数的实部a和虚部b表示为逻辑上不同的实值实体，并在内部使用实值算法模拟复数算术，i表示虚数单位；若一个实值二维卷积层有n个特征映射，使n能被2整除；为了将它们表示为复数，则分配第一个n/2特征映射来表示实分量，其余的n/2特征映射来表示虚分量。因此，对于连接输入特征映射n
in
到输出特征映射n
out
的四维权值张量w，其核大小为m
×
m，即有一个大小为(n
out
×nin
×m×
m)/2的复权值张量。
28.将两个gan首尾相连形成一个循环结构，并在每一层输出图像后加入模式判别器dm，获得初步gscgan模型，具体如下：
29.第一个gan用于生成x域到y域的图像，由第一生成器g和第一判别器d
x
构成；第二个gan用于生成y域到x域的图像，由第二生成器f和第二判别器dy构成，将两个gan，首尾相连形成一个循环结构。
30.第一生成器g根据x域输入的原始训练图像与理想训练目标图像中y域的信息，生成一份含有y域信息的假图像，第一判别器d
x
去分析该假图像是否为理想训练目标图像中的y域图像，如果是则输出，如果不是则反馈信息给第一生成器g让其更新假图像，直至第一判别器d
x
难以分辨假图像与理想训练目标图像为止，最后输出的即为理想训练目标图像；第二生成器f根据y域输入的原始训练图像与理想训练目标图像中x域的信息，生成一份含有x域信息的假图像，第二判别器dy去分析该假图像是否为理想训练目标图像中的x域图像，反馈信息给第二生成器f让其更新图像；所述模式判别器dm对转换输出的图像或者理想训练目标图像进行分析，判别其为相称效果图还是微分干涉效果图，并反馈信息分别指导两个生成器。
31.所述第一生成器g，其在训练时的损失函数l
gscgan
(g,d
x
,m)如下：
32.l
gscgan
(g,d
x
,m)＝l
gan
(g,d
x
,x,y) αl
gan
(g,m) βl
grayscale
(g,x,y)
33.其中，第一生成器g与第一判别器d
x
间的对抗损失函数间的对抗损失函数表示x域真实数据的数学期望，表示y域真实数据的数学期望；第一生成器g与模式判别器dm间的对抗损失函数l
gan
(g,m)＝∑
x
p(x)log q(x)，p(x)表示x域生成相衬模式图像的概率，q(x)表示x域生成微分干涉模式图像的概率，让生成器进行不同模式图像的训练；l
grayscale
(g,x,y)为灰度损失函数，α与β均表示网络各损失所占的权值，d
x
(x,y)为第一判别器d
x
返回给第一生成器g的指导信息，g(x,y)表示生成器g据x域输入的原始训练图像与理想训练目标图像中y域的信息输出的图像信息；
34.第二生成器f在训练时的损失函数l
gscgan
(f,dy,m)如下：
35.l
gscgan
(f,dy,m)＝l
gan
(f,dy,x,y) αl
gan
(f,m) βl
grayscale
(f,x,y)
36.其中，第二生成器f与第二判别器dy间的对抗损失函数间的对抗损失函数表示x域真实数据的数学期望，表示y域真实数据的数学期望；第二生成器f与模式判别器dm间的对抗损失函数l
gan
(f,m)＝∑yp(y)log q(y)，p(y)表示y域生成相衬模式图像的概率，q(y)表示y域生成微分干涉模式图像的概率，让生成器进行不同模式图像的训练；l
grayscale
(f,x,y)为灰度损失函数，α与β均表示网络各损失所占的权值，dy(y,x)为第二判别器dy返回给第二生成器f的指导信息，f(y,x)表示生成器f据y域输入的原始训练图像与理想训练目标图像中x域的信息输出的图像信息；
37.生成器在训练时的灰度损失函数l
grayscale
：
38.对单通道灰度转换后的x域真实数据与y域真实数据之间的灰度差值做均方根计算，单通道灰度转换即只取rgb三通道中占比最大的一个通道，另外两个通道舍弃，只分析单独通道的数据信息。
39.第一判别器d
x
和第二判别器dy结构相同，均由5个卷积层构成，从图像中提取特征后，判断这些特征是否属于特定类别，最后一层卷积层用于产生一维输出。
40.步骤3、将明场模式图像集中的灰度图像作为原始训练图像，相衬模式图像集以及微分干涉模式图像集中的灰度图像作为理想训练目标图像。通过对原始训练图像的和理想训练目标图像进行傅里叶变换，将图像中每一个像素值变为复数，对应幅值和相位分别获得实数对与虚数对的图像特征图，并以复值形式分别输入初步gscgan模型中进行训练，得到gscgan模型。
41.步骤4、采集透明目标样本图像作为真实数据，图像像素大小在1000
×
1000，并将图像转化为灰度图像，输入gscgan模型中，即得到对应相衬干涉图或微分干涉图像，进而实现明暗分明的立体成像效果。
42.实施例1
43.步骤1、利用科研级显微镜采集400个透明样本，分别获取明场模式、相衬模式以及微分干涉模式下对应的图像，共3p幅，p≥200；上述每幅图像像素大小为1000
×
1000，并将
图像转化为灰度图像，分别对应构成明场模式图像集、相衬模式图像集以及微分干涉模式图像集，如图2(a)～图2(c)所示。
44.步骤2、用相衬成像及微分干涉成像中的光线传播卷积公式代替传统gan中的卷积传播运算来构建复值gan，即网络中每一层的卷积传递不再是普通gan中的实值传递，而是光学上的复振幅和相位传递。将两个复值gan首尾相连形成一个循环结构，并在每一层输出图像后加入模式判别器dm，获得初步gscgan模型；
45.步骤3、将明场模式图像集中的灰度图像作为原始训练图像，相衬模式图像集以及微分干涉模式图像集中的灰度图像作为理想训练目标图像。通过对原始训练图像的和理想训练目标图像进行傅里叶变换，将图像中每一个像素值变为复数，对应幅值和相位分别获得实数对与虚数对的图像特征图，并以复值形式分别输入初步gscgan模型中进行训练，得到gscgan模型。
46.步骤4、采集透明目标样本图像(如图3所示)作为真实数据，图像像素大小在1000
×
1000，并将图像转化为灰度图像，输入gscgan模型中，即得到对应相衬干涉图像或微分干涉图像(如图4(a)和图4(b)所示)，进而实现明暗分明的立体成像效果。
47.综上所述，本发明实施例提供的基于gscgan的图像灰度立体转换方法基于gscgan和原始训练图像和理想训练目标图像训练并构建模型，再将透明目标样本图像输入到所述gscgan模型，生成相衬干涉效果图或微分干涉效果图像。利用本发明，采用基于gscgan的图像灰度立体转换方法，能够直接将透明样本图像转换为相衬干涉图像或微分干涉图像。