一种应用于稀疏傅里叶叠层成像的无训练卷积神经网络相位恢复方法

1.本发明属于傅里叶叠层成像技术领域，具体涉及一种应用于稀疏傅里叶叠层成像的无训练卷积神经网络相位恢复方法。


背景技术：

2.近些年提出的叠层成像技术(又分为空间叠层成像和傅里叶叠层成像两类)，其利用合成孔径(synthetic aperture)和相位恢复(phase retrieval)技术，每次只扫描样品的子区域或样品低分辨率图像，通过计算成像方法，求解出样品的高分辨率复振幅(包含了衰减和相位信息)优化解。叠层成像技术，能够保持图像采集大视场与高分辨率的统一，同时重建样品相位信息和衰减信息(运用特定算法可进一步重建样品深度信息)。
3.傅立叶叠层成像技术其利用合成孔径(synthetic aperture)和相位恢复(phase retrieval)技术，每次只扫描样品的子区域或样品低分辨率图像，通过计算成像方法，求解出样品的高分辨率复振幅(包含了衰减和相位信息)优化解。例如以波士顿大学田磊课题组提出的系类方法为代表提出的基于深度学习的傅里叶叠层成像重建方法，该方法本质利用数据驱动，训练强监督深度卷积网络，以此获得输入低分辨图像序列和待重建物体相位信息映射关系，最终得到重建后的图像。虽然傅立叶成像系统保持了高分辨率与大视场的统一，但是系统采集低分辨率图像耗时较长，阻碍了傅里叶成像系统在时间分辨率上延展；而且在对待重建的图像进行处理的过程中，需要大量的数据对模型进行训练，增加了模型训练的难度以及训练的复杂度，且最终重建的后的高分辨率图像的幅度和相位信息的精确度差。


技术实现要素：

4.为解决以上现有技术存在的问题，本发明提出了一种应用于稀疏傅里叶叠层成像的无训练卷积神经网络相位恢复方法，该方法包括：获取稀疏待重建的低分辨率图像序列，对低分辨率图像序列做放大插值操作，并加入随机噪声；将加入随机噪声后的低分辨率图像序列输入到深度卷积神经网络中，得到高分辨率图像的幅度和相位信息；
5.对深度卷积神经网络进行训练的过程包括：
6.s1：获取低分辨率图像序列，对低分辨率图像序列进行间隔采样，得到低分辨率子图像序列；
7.s2：对低分辨率子图像序列进行放大操作，将放大操作后的图像叠加随机高斯噪声；
8.s3：将叠加随机噪声的低分辨率子图像序列输入到深度卷积神经网络中，得到两张特征图，该特征图分别对应待重建图像的幅度和相位信息；根据待重建图像的幅度和相位信息得到待重建图像的物体信息图；
9.s4：根据待重建图像的物体信息图重建的低分辨率图像；
10.s5：根据重建后的低分辨率图像和输入的低分辨率图像构建系统损失函数；
11.s6：当深度卷积神经网络的损失函数收敛时，输入低分辨率序列得到重建的高分辨率图像的幅度和相位信息，完成模型的训练。
12.优选的，对低分辨率子图像序列进行放大操作包括：获取的低分辨图像序列数据的大小为(nx,ny)；对低分辨率子图像序列进行放大后的图像大小为(nx,ny)，其中nx＝anx，ny＝any，a为尺度系数。
13.优选的，深度卷积神经网络采用u-net结构。
14.优选的，根据待重建图像的幅度和相位信息得到待重建图像的物体信息图公式为：
15.v＝aexp(jθ)
16.其中，v表示待重建图像的物体信息图，a表示待重建图像的幅度信息，θ表示待重建图像的相位信息。
17.优选的，根据待重建图像的物体信息图重建高分辨率图像包括：获取低分辨率子图像的大小和低分辨率子图像的频域中心原点坐标；对待重建图像的物体信息图进行二维傅里叶正变换；对经过二维傅里叶正变换的图像进行二维fftshift操作处理；根据低分辨率子图像的大小和低分辨率子图像的频域中心原点坐标对经过二维fftshift操作处理的特征图进行裁剪，得到与输入图像大小相同的特征图；对经过裁剪后的特征图再次进行二维fftshift操作，对再次经过二维fftshift操作的特征图进行二维傅里叶逆变换，得到重建后的特征图；采用镜头传递函数对重建后的特征图进行处理，得到重建后的高分辨率图像。
18.进一步的，根据待重建图像的物体信息图重建高分辨率图像的公式：
[0019][0020]
其中，v表示待重建图像的物体信息图，f和f-1
分别表示二维傅里叶正变换和逆变换，s表示二维fftshift操作，crop表示图像裁剪操作，(kx,ky)表示低分辨率子图像的频域中心原点坐标，(nx,ny)表示低分辨率子图像的大小，表示卷积运算，lf表示镜头传递函数。
[0021]
优选的，系统损失函数为：
[0022][0023]
其中，v表示待重建图像的物体信息图，n表示训练深度卷积神经网络所使用低分辨率子图像数目，ii(v)表示重建的高分辨率图像，ji表示输入的图像。
[0024]
本发明的有益效果：
[0025]
本发明对傅里叶叠层成像重建的过程中，采用数据驱动的方式训练卷积神经网络，使得在较少的采样图像序列下得到输入图像和重建图像的相位信息映射关系，从而得到高质量恢复图像相位和幅度信息，提高了模型的训练效率。本发明设计了一类无训练卷积神经网络，在不依赖大量数据的情况下，使用较少的采样图像序列，即可高质量恢复图像相位和幅度信息
附图说明
[0026]
图1为本发明的深度卷积神经网络结构图；
[0027]
图2为本发明的与传统方法重建实验数据的幅度图和相位图。
具体实施方式
[0028]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
本发明设计了一类无训练卷积神经网络，在无需大量采集数据的情况下，使用较少的采样图像序列，即可高质量恢复图像相位和幅度信息。该方法包括：傅里叶叠层成像设备进行稀疏采样，得到一系列低分辨率的采集图像；建立基于卷积神经网络的傅里叶叠层成像正向模型，将采集低分辨率图像序列做放大插值操作，每张图像加入随机高斯噪声后，输入卷积神经网络模型，卷积神经网络输出为预测的幅度和相位信息。获取预测的幅度和相位值之后，根据输入低分辨图像序列的信息，如频谱偏移量等，生成低分辨率图像序列，比较生成图像序列和采集图像序列差异，训练卷积神经网络，直至网络收敛。
[0030]
一种应用于稀疏傅里叶叠层成像的无训练卷积神经网络相位恢复方法，如该方法包括：获取稀疏待重建的低分辨率图像序列，对低分辨率图像序列做放大插值操作，并加入随机噪声；将加入随机噪声后的低分辨率图像序列输入到深度卷积神经网络中，得到高分辨率图像的幅度和相位信息。
[0031]
现有的基于深度学习的傅里叶叠层成像重建过程中，其本质利用数据驱动，训练深度卷积网络，以此获得输入低分辨图像序列和待重建物体相位信息映射关系，从而得到重建的高分辨率图像的幅度和相位信息。本发明设计了一类无训练卷积神经网络，在不依赖大量数据的情况下，使用较少的采样图像序列，即可得到高质量恢复图像相位和幅度信息。
[0032]
图1所示，对深度卷积神经网络进行训练的过程包括：
[0033]
s1：获取低分辨率图像序列数据，相对所有led采集的低分辨率图像，其图像大小记作(nx，ny)；对低分辨率图像序列进行间隔采样，得到若干低分辨率子图像序列；
[0034]
现有的对卷积神经网络进行训练的低分辨率图像序列数据中的常用数目为225(15*15)，289(17*17)，441(21*21)；本发明中采用较少的低分辨率图像进行训练，例如图1所示，本发明对低分辨率图像进行上采用，得到25张低分辨率子图像，采用25张低分辨率子图像对模型进行训练，使得利用较少的采样图像序列，得到高质量恢复图像的相位和幅度信息。
[0035]
s2：对若干低分辨率子图像序列进行放大操作，将放大操作后的图像叠加随机高斯噪声。
[0036]
s3：将每个叠加随机噪声的低分辨率子图像序列输入到深度卷积神经网络中，得到两张特征图，该特征图分别对应待重建图像的幅度和相位信息；根据待重建图像的幅度和相位信息得到待重建图像的物体信息图。
[0037]
构建的深度卷积神经网络使用u-net相似结构，激活单元选用leaky-relu，最后一
层选用softmax层输出；该神经网络的输入大小为(nx，ny，n)，输出大小为(nx，ny，2)。
[0038]
s4：根据待重建图像的物体信息图重建的低分辨率图像。
[0039]
s5：根据重建后的低分辨率图像和输入的低分辨率图像构建系统损失函数；
[0040]
s6：当深度卷积神经网络的损失函数收敛时，输入低分辨率序列得到重建的高分辨率图像的幅度和相位信息，完成模型的训练。
[0041]
对低分辨率子图像序列进行放大操作包括：获取的低分辨图像序列数据的大小为(nx,ny)；对低分辨率子图像序列进行放大后的图像大小为(nx,ny)，其中nx＝anx，ny＝any，a为尺度系数。
[0042]
根据待重建图像的幅度和相位信息得到待重建图像的物体信息图公式为：
[0043]
v＝aexp(jθ)
[0044]
其中，v表示待重建图像的物体信息图，a表示待重建图像的幅度信息，θ表示待重建图像的相位信息。
[0045]
根据待重建图像的物体信息图重建高分辨率图像包括：获取低分辨率子图像的大小和低分辨率子图像的频域中心原点坐标；对待重建图像的物体信息图进行二维傅里叶正变换；对经过二维傅里叶正变换的图像进行二维fftshift操作处理；根据低分辨率子图像的大小和低分辨率子图像的频域中心原点坐标对经过二维fftshift操作处理的特征图进行裁剪，得到与输入图像大小相同的特征图；对经过裁剪后的特征图再次进行二维fftshift操作，对再次经过二维fftshift操作的特征图进行二维傅里叶逆变换，得到重建后的特征图；采用镜头传递函数对重建后的特征图进行处理，得到重建后的高分辨率图像。
[0046]
根据待重建图像的物体信息图重建高分辨率图像的公式：
[0047][0048]
其中，v表示待重建图像的物体信息图，f和f-1
分别表示二维傅里叶正变换和逆变换，s表示二维fftshift操作，crop表示图像裁剪操作，(kx,ky)表示低分辨率子图像的频域中心原点坐标，(nx,ny)表示低分辨率子图像的大小，表示卷积运算，lf表示镜头传递函数。
[0049]
本发明提出的系统代价函数数据约束项为最小绝对误差，可采用随机梯度下降的算法进行训练，即系统损失函数为：
[0050][0051]
其中，v表示待重建图像的物体信息图，n表示训练深度卷积神经网络所使用低分辨率子图像数目，ii(v)表示重建的高分辨率图像，ji表示输入的图像。
[0052]
为了衡量模型性能，将本发明一种基于神经网络的稀疏采样傅里叶叠层成像图像重建方法与经典的gs重建方法进行对比，使用25张128*128的低分辨率傅里叶叠层成像实验图像，相邻子孔径重合度仅18.1％。图1(a1)和(a2)为全采样441张图片重建结果，图2(b1)和(b2)为传统gs方法，图1(c1)和(c2)为本发明方法重建。由结果可观查，gs方法图像中心部分(数字8，9下方区域)没有正确重建，数字“5，6”及其旁边区域没有分辨，数字“8”模糊，相位无法清晰分辨；本发明无论相位还是振幅均正确重建，且图像清晰。
[0053]
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。