一种基于编码和网络的高灵敏抗散射成像方法与流程

1.本发明属于机器学习与图像重建领域，具体涉及一种基于编码和网络的高灵敏抗散射成像方法。


背景技术：

2.散射介质的存在严重影响了成像质量，传统抗散射成像技术如散斑相关成像技术虽取得了一定的效果，但由于其不适用于弱光环境且依赖高素质成像的器件等局限，对该技术推向实用化产生一定的阻碍。弱光环境下，散射光信号强度有限，高素质成像器件也很难采集到高信噪比、高对比度的散斑图像，现有重建算法如相位恢复算法噪声鲁棒性有限，很难从这样低质量的散斑信号中重建出原始目标，目前可实现高灵敏抗散射成像的方法普遍面临着算法重建能力、噪声鲁棒性有待提高，优化求解耗时较久，重建速度有待提升等问题，均无法实现弱光环境下的灵敏度较高的目标成像。
3.因此，需要一种新的高灵敏抗散射成像方法以解决上述问题。


技术实现要素：

4.本发明的目的在于提供一种基于编码和网络的高灵敏抗散射成像方法，以解决弱光环境下，散射光信号强度有限，成像器件很难采集到高信噪比、高对比度的散斑图像的缺陷。
5.本发明目的的技术解决方案如下：
6.一种基于编码和网络的高灵敏抗散射成像方法，包括以下步骤：
7.1)、建立散斑采集光学系统，所述散斑采集光学系统用于采集隐藏在散射介质后的携带有编码信息的目标散斑图像，利用所述散斑采集光学系统得到携带有编码信息的目标散斑图像；
8.2)、构建基于卷积神经网络的成像目标重建模型；
9.3)、将对应的目标数据集与散斑信号数据集输入步骤2)的所述成像目标重建模型进行训练，得到训练好的成像目标重建模型；
10.4)、将步骤1)采集到的携带有编码信息的目标散斑图像输入步骤3)得到的所述训练好的成像目标重建模型，得到恢复的原始目标。
11.更进一步的，所述散斑采集光学系统包括第一数字微镜阵列、散射介质和第二数字微镜阵列，所述第一数字微镜阵列和第二数字微镜阵列分别位于所述散射介质的两侧。使用两块数字微镜阵列分别呈现目标与编码，经过散射介质调制后，最终在探测器形成携带有编码信息的散斑信号。
12.更进一步的，所述散斑采集光学系统还包括光源和单像素探测器，所述第一数字微镜阵列、散射介质、第二数字微镜阵列依次设置在所述光源和单像素探测器之间的光路上。本发明使用单像素探测器代替面阵相机，采集光学系统输出信号后，直接用于后端算法重建。
13.更进一步的，步骤2)中成像目标重建模型包括编码模块和解码模块，所述编码模块使用卷积层对输入的具有目标光强度幅值的信息进行特征提取，得到高维、低感官辨识度的特征信息；所述解码模块将编码模块得到的所述特征信息投影到低维、高感官辨识度的像素空间中。通过这种全局信息的密集聚类表达实现由局部语义信息到全局像素灰度信息的转换，输出重建得到的原始目标图像。
14.更进一步的，步骤2)中成像目标重建模型通过下式表示：
15.i＝o*s
16.其中，i为目标散斑图像，s为系统点扩散函数，o为目标图像；
[0017][0018][0019]
其中，ii(x,y)为第i个目标散斑图像，fi(x,y)为第i个二维散斑图像，ti(x,y)为随机高斯编码矩阵，e(i)为散斑采集光学系统最终输出信号。
[0020]
本发明将散斑信号进行多次编码，使用探测器分别采集每次编码后的散斑信号总强度，最终形成一维的输出信号，这种方法能够显著提升光学系统灵敏度。
[0021]
更进一步的，步骤2)中所述成像目标重建模型采用跳层连接策略。融合不同维度的特征，增强梯度的流动，以避免在编码阶段梯度消失的问题，实现特征信息的充分融合与高效提取。
[0022]
更进一步的，步骤2)中所述成像目标重建模型采用随机丢弃的策略。利用随机丢弃的策略(dropout)来避免训练过程中的过拟合。
[0023]
更进一步的，步骤3)中对所述成像目标重建模型进行训练，采用均方误差函数作为损失函数。
[0024]
更进一步的，步骤4)中利用两步式重建方法或端到端重建方法进行重建。其中两步式重建方法首先基于压缩感知理论，先恢复出被编码前的散斑图像，后将第一步重建得到的散斑图像作为所构建的成像目标重建模型的输入，求得原始待测目标结构分布。端到端重建方法将各个过程当作一个整体，不需要对采集到的数据进行二次重建，直接将原始信息作为网络的输入，用一个网络实现信息提取与目标重建，即将光学系统输出信号直接作为网络的输入，求得原始待测目标结构分布。本发明重建速度较快，其中端到端重建算法平均重建速度为95帧/秒，为解决弱信号的抗散射成像问题提供了一种有效的技术途径。
[0025]
更进一步的，所述两步式重建方法包括以下步骤：
[0026]
一、基于压缩感知理论，先恢复出编码前的目标散斑图像；
[0027]
二、将步骤一得到的目标散斑图像作为所述成像目标重建模型的输入，得到恢复的原始目标
[0028]
有益效果：
[0029]
本发明提出基于卷积神经网络的高灵敏抗散射成像目标重建模型，能够实现对隐藏在散射介质后原始目标的恢复。将编码引入前端光学系统，结构简单，前端光学系统采集光学系统输出信号后，直接用于后端算法重建，该方法能够显著提升光学系统灵敏度。
附图说明
[0030]
图1是本发明使用的基于面阵探测器的高灵敏抗散射成像光学系统示意图。
[0031]
图2是本发明数据获取与目标重建过程图。
[0032]
图3是本发明hssrnet网络的结构框图。
[0033]
图4是本发明hssrnet重建不同训练集数据量下的效果图。
[0034]
图5是本发明hssrnet网络宽度不同时的重建效果图。
[0035]
图6是本发明hssrnet重建不同数据维度下的效果图。
[0036]
图7是本发明hssrnet重建不同编码矩阵大小下的数据的效果图。
[0037]
图8是本发明hssrnet重建不同噪声数据的效果图。
[0038]
图9是本发明使用的基于单像素探测器的高灵敏抗散射成像光学系统示意图。
[0039]
图10是本发明hssrnet重建基于单像素探测器的数字目标效果图。
具体实施方式
[0040]
一种基于编码和网络的高灵敏抗散射成像方法，包括如下步骤：
[0041]
步骤1、建立散斑采集的光学系统，光学系统采集隐藏在散射介质后的散斑图像，得到若干目标的散斑数据集；
[0042]
如图1所示，本发明使用的散斑采集的光学系统，结构简单。使用两块数字微镜阵列分别呈现目标与编码，经过散射介质调制后，最终在探测器形成携带有编码信息的散斑信号，即为hssrnet的输入信号，图2为数据获取与目标重建过程图。
[0043]
步骤2、构建基于卷积神经网络的高灵敏抗散射成像目标重建模型；
[0044]
构建如图3所示的hssrnet。在编码阶段，使用卷积层对输入网络的具有目标光强度幅值的信息进行特征提取，在解码阶段，将编码阶段得到的高维、低感官辨识度的特征信息投影到低维、高感官辨识度的像素空间中，通过这种全局信息的密集聚类表达实现由局部语义信息到全局像素灰度信息的转换，输出重建得到的原始目标图像，网络中使用了跳层连接策略，融合不同维度的特征，增强梯度的流动，以避免在编码阶段梯度消失的问题，实现特征信息的充分融合与高效提取，网络中使用了随机丢弃的策略(dropout)来避免训练过程中的过拟合，训练中采用均方误差(mse)作为损失函数。
[0045]
步骤3、将对应的目标数据集与携带有编码信息的散斑数据集输入步骤2构建的高灵敏抗散射成像目标重建模型进行训练；
[0046]
已知在光学记忆范围内散斑图像i可以描述为隐藏在散射介质后的物体o与系统点扩散函数s的卷积，可以表示为
[0047]
i＝o*s
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0048]
其中i为散斑图像，s为系统点扩散函数，o为目标图像。散斑信号ii(x,y)经由一系列随机高斯编码矩阵ti(x,y)调制后，得到一系列二维散斑图像fi(x,y)，通过聚焦透镜使其会聚于探测器上，探测器即可采集得到最后的光学系统输出信号e(i)，该过程可表示为
[0049][0050]
[0051]
其中ii(x,y)为散斑信号，fi(x,y)为二维散斑图像，ti(x,y)为随机高斯编码矩阵，e(i)为光学系统最终输出信号。
[0052]
步骤4、将采集到的目标散斑图像输入训练好的两种高灵敏抗散射成像目标重建模型得到恢复的原始目标。
[0053]
使用步骤3中hssrnet保存的最优模型对1874组、1406组、938组训练集数据进行重建，结果如图4所示。当训练集数据量仅为938组时，仍可以较好地完成目标重建。
[0054]
本发明的效果可以通过以下结果进一步说明：
[0055]
首先验证两种重建网络对不同训练集数据量下的重建能力，对训练集数据量分别为1874组、1406组、938组时进行重建，用来测试网络在数据量降低时的重建能力，一般情况下，在进行网络训练时，提供给网络学习的数据量越大，能提取到的信息就越丰富，越有利于原始目标的恢复，本文提出的两种重建算法可以实现训练集数据量仅为938组时的原始目标重建。为了对不同宽度下的网络进行重建能力测试，设原始hssrnet网络宽度系数为1.0，在此基础上，调整每层的特征通道数，分别形成宽度系数为2.0和0.5的网络，探究不同网络宽度对重建算法的影响。网络宽度即特征通道的数量，足够的网络宽度可以使特征提取过程中的每一层都能获得有效的特征，宽度太窄会使特征提取不够充分，网络模型的性能也会受限，但是盲目增加网络宽度也会造成提取特征重复以及加大计算负担等问题，宽度到达一定量级后，算法性能可能会出现下降的趋势。测试集的重建效果如图5所示。可以看出：适当地提升网络宽度对提高算法的重建能力有一定的效果，但随着网络的变宽，重建效果不一定随之变好。
[0056]
为了探究不同输入数据维度对算法重建性能的影响，对比维度参数分别为32
×
32，28
×
28，24
×
24和20
×
20时的算法重建效果，测试集的重建效果如图6所示，可以得出结论：增大输入的数据维度，即增大对目标所形成散斑光信号的采样数，有利于目标恢复。增大编码矩阵，此时被编码的原始散斑更多，对散斑场的表征就越接近系统平均，以不同编码矩阵的大小这一参数作为变量，探究编码矩阵大小不同时，原始目标的重建效果，分别采集编码矩阵大小为32
×
32、64
×
64与80
×
80的实验数据，测试集的重建效果如图7所示，增大编码矩阵大小对重建结果是有益的。为了探究重建算法的抗噪能力，本小节在对数据进行处理时，加入呈正态分布的高斯噪声，用来对图像进行干扰。在实验过程中分别对两步式与端到端的数据加入标准差分别为0.01、0.03、0.05、0.07的高斯噪声，模拟实际实验过程中的噪声干扰，以探究在实验环境中存在噪声时，两种重建算法的重建结果。测试集的重建效果如图8所示，可以看出，与无噪声的数据相比，随着噪声标准差的增大，重建质量下降明显。
[0057]
由上述几组对比实验可以看出，端到端重建方法的重建能力强于两步式重建方法，带来这种能力上差异的，是两步式中第一步压缩感知算法重建过程。由于压缩感知重建过程并不是完全无损的过程，在此过程中不排除会丢失用于散斑重建的有效信息，这使得输入后续网络的数据相较于原始数据，会有一部分信息丢失，而输入端到端网络的数据则包含了原始输入数据中的全部信息，能够供网络最大限度地挖掘原始信息，得到全局最优解。通过实验证明了两种方法，均能完成从弱散射信号中重建隐藏目标的任务，但端到端方法的重建能力优于两步式重建方法。
[0058]
基于单像素探测器的高灵敏抗散射成像光学系统结构图如图9所示。其中所用光
源、散射介质、dmd器件与图1一致，不同的是将面阵探测器替换为单像素探测器，并使用数据采集卡输出采集信号强度，即为光学系统的最终输出信号。在数据采集过程中，将数据采集卡的采样率设为1000，采样数设为100。对于采集到的数据，采用性能相对较好的hssrnet-e网络进行重建，直接将大小为1024
×
1信号作为网络的输入，与其对应的目标真实分布一起构成包含1800组数据的训练集，剩余未经训练的50组数据用于评估训练所得模型对隐藏目标的重建能力，图10所示为重建测试集的结果图。端到端重建网络hssrnet-e所得测试集重建结果的平均mse为36.2986，平均ssim为0.4111，平均psnr为16.9337db，说明当数据量大小为1800组时，本文提出的端到端重建网络hssrnet-e可以较好的对基于单像素探测器所采集得到的数据进行目标重建。重建结果图与目标真实图像在形态与结构上均相似程度较高，对于每一个数字目标均能得到较好的重建结果，说明端到端重建算法在弱光环境下的重建能力较强，可以实现弱光环境下目标的高质量重建，并且能够很好的应用于基于单像素探测器的高灵敏抗散射成像任务，重建隐藏在散射介质后的目标。