一种基于物理驱动深度学习的合成孔径定量相位成像方法及系统

本发明属于图像处理和计算光学成像，尤其涉及合成孔径超分辨成像和深度学习技术在显微成像领域，特别是一种基于物理驱动深度学习的合成孔径定量相位成像方法及系统。

背景技术：

1、传统光学成像系统的空间分辨率受到物镜数值孔径（）限制，通常由夫琅禾费衍射极限决定，而提高通常意味着较小视场或复杂光学结构。传统差分相衬（dpc）定量相位成像技术由于受到物镜数值孔径的限制，只能达到的成像分辨率。若需进一步提高分辨率，一种方式是采用合成孔径成像技术，通过合成多角度采集的频谱信息可以实现超越单镜头的分辨率提升，即通过多个子孔径或多视角采集目标光场并进行信号处理，实现比单一孔径更大的等效孔径。早期的合成孔径成像应用于天文和合成孔径雷达（sar），通过多幅子孔径接收信号在探测平面干涉合成，实现超分辨成像。例如，傅里叶叠层显微成像（fpm），通过多个角度变光源照明获取图像，并在计算中合成大孔径，实现了远场透明样品的高分辨成像，并获得比原有显著更高的分辨率。然而，传统合成孔径方法需要采集大量图像并进行精密对齐，数据冗余大、处理复杂度高，且易受光源或系统误差影响，难以快速成像和实时成像。已有专利公开了基于非相干光源的合成孔径望远镜系统，通过多通道滤光片、移动平台等实现高分辨率成像，但依然面临数据量大、成像速度慢的问题。

2、近年来，深度学习方法逐渐应用于计算成像领域，为超分辨成像提供了新的技术路径。其中，基于监督学习的深度神经网络通常需要构建大量高质量的成对训练数据，通过学习低分辨率图像与高分辨率图像之间的映射关系实现图像重建。然而，该类方法的重建性能通常受到训练数据规模、数据分布以及样本获取方式的影响，当实际成像条件与训练数据存在差异时，网络模型的适应能力受到限制。

3、针对上述问题，基于无监督学习的深度神经网络重建方法逐渐受到关注。该类方法利用神经网络结构中包含的图像统计特征作为先验约束，在无需依赖预先采集的大规模标注数据的情况下，通过结合成像物理过程和实际观测数据完成图像恢复。相关研究表明，将未经训练的深度网络结构与光学成像模型相结合，可以利用观测数据与物理模型之间的约束关系，实现图像去噪、去模糊、相位恢复以及超分辨重建等任务。例如，部分研究将未经过训练的神经网络嵌入衍射传播模型中，通过优化网络参数使模型输出与实际光学测量结果保持一致，实现了基于物理约束的相位恢复和图像重建。此外，已有技术提出基于无监督生成网络的图像去噪方法，通过网络结构先验与噪声建模相结合，实现对实际噪声条件下图像信息的恢复。

4、由此可知，将无监督深度网络方法与成像物理模型相结合，为降低传统超分辨成像方法对大量训练数据的依赖提供了一种可行技术路线。然而，现有方法主要应用于一般图像恢复任务，在合成孔径超分辨成像领域中，尚缺少结合多角度照明信息、部分相干成像模型以及无监督网络优化机制的成像方法，难以在减少数据采集需求的同时实现有效的频谱扩展和高分辨率重建。

5、综上所述，如何充分利用轴向衍射信息在空间频域中的分布特性，突破传统光学成像系统的空间分辨率的限制，在显著减少数据采集量的同时保持重建精度，仍然是计算光学成像领域亟待解决的关键技术问题。

6、现有技术中仍缺乏一种数据高效、无需训练数据、能显著提高成像分辨率的合成孔径超分辨成像方法。

技术实现思路

1、本发明的目的在于针对上述现有技术存在的问题，提供一种基于物理驱动深度学习的合成孔径定量相位成像方法，用于在仅需少量多视角采集数据的情况下，实现高保真度的超分辨图像重建。本发明基于深度图像先验的框架，将部分相干物理模型与神经网络结构结合，以最少的图像采集实现等效更大孔径成像，解决了传统方法分辨率与采集效率之间的矛盾。

2、实现本发明目的的技术解决方案为：一种基于物理驱动深度学习的合成孔径定量相位成像方法，所述方法包括：

3、步骤1，利用多角度照明模块对样品进行多视角照明，采集包含明场分量和暗场分量的多幅多视角低分辨率强度图像；

4、步骤2，将采集得到的所述多幅多视角低分辨率强度图像输入未经过训练的无监督深度卷积神经网络，由神经网络输出估计的相位重建图像；

5、步骤3，基于估计的相位重建图像构造样品的复透射函数，并根据成像系统的实际光学参数，利用部分相干物理前向模型生成对应的预测多视角强度图像；

6、步骤4，利用采集得到的所述多幅多视角低分辨率强度图像与生成的所述预测多视角强度图像求解构建的强度损失函数，将所述强度损失函数的误差反向传播至所述神经网络以更新其网络参数，并在所述神经网络更新后继续输出新的估计相位重建图像；

7、步骤5，循环迭代执行步骤3和步骤4，直到所述强度损失函数的误差收敛至预设稳定状态，结束循环并输出最终的高分辨率重建相位图像。

8、进一步地，步骤1具体包括：利用可编程照明模块，对样品依次进行两个与物镜数值孔径匹配的正交半环形差分相衬照明以及一个照明范围扩展至两倍物镜数值孔径的高角度环形暗场照明，从而同步采集两帧dpc强度图和一帧环形暗场强度图作为所述多幅多视角低分辨率强度图像；其中，所述正交半环形差分相衬照明记为正交半环形dpc照明，包括正交分布的第一半环形dpc照明和第二半环形dpc照明。

9、进一步地，所述正交半环形dpc照明和高角度环形暗场照明的半径通过测量照明源至样品载物台的垂直距离自适应计算，其计算公式分别表示为：

10、

11、

12、式中，是dpc照明数值孔径，是暗场照明数值孔径，为物镜数值孔径，是照明光源与样品载物台的距离，是照明光源到成像系统光轴中心位置的距离；

13、对应采集的两帧正交半环形dpc强度图和一帧环形暗场强度图的照明函数分别表示为：

14、

15、

16、

17、其中，是照明环的径向宽度，和参数用来控制照明的环宽度，且0<<1<<2，,分别表示用于获取两帧正交半环形dpc强度图的照明函数，表示用于获取一帧环形暗场强度图的照明函数；表示光源平面的二维空间频率坐标，其中和分别表示x轴方向和y轴方向的空间频率分量。

18、进一步地，步骤1中，采用可编程led光源阵列作为所述照明源，通过预设控制时序自适应控制所述可编程led光源阵列依次切换打开对应的正交半环形照明区域与环形暗场照明区域，并同步发送触发信号给相机，以稳定采集对样品不同角度照明下的图像。

19、进一步地，步骤2中，所述无监督深度卷积神经网络采用带有跳跃连接的编码器-解码器架构，其中编码器用于提取输入图像的多尺度空间特征信息，解码器用于逐层恢复空间分布并输出估计的相位重建图像，所述跳跃连接用于保留并传递不同特征尺度上的精细结构信息。

20、进一步地，步骤2在图像输入前还包括：

21、设置网络优化超参数，所述超参数至少包括学习率、最大迭代次数、损失函数权重系数、正则化系数以及网络输入通道数；

22、将步骤1采集得到的多幅强度图像分别作为所述无监督深度卷积神经网络中不同输入通道的数据并行输入。

23、进一步地，步骤3中的部分相干物理前向模型基于相干图像的非相干叠加框架构建，其针对每种照明模式生成的预测强度图像计算公式表示为：

24、

25、式中，是样品的复透射函数，为样品的吸收，为样品的相位，是照明光源，是截止频率为的光瞳函数，表示相机平面上的坐标，表示光源平面上的频域坐标，表示瞳孔平面处的频域坐标，表征样品的吸收，是空间坐标；表示相机处获得的强度图；

26、其中，正交半环形dpc照明、环形暗场照明对应的照明光源分别表示为：

27、

28、

29、

30、式中，、分别为第一正交半环形dpc照明、第二正交半环形dpc照明对应的照明光源，为环形暗场照明对应的照明光源；,分别表示获取两帧正交半环形dpc强度图的照明函数，表示获取一帧环形暗场强度图的照明函数。

31、进一步地，步骤4中构建的强度损失函数为正交半环dpc照明分量和暗场照明分量的归一化加权组合，表示为：

32、

33、式中，表示在第一半环形dpc照明条件下，采集的强度图像与预测的强度图像之间的损失函数，表示第一次迭代过程中计算得到的第一半环形dpc照明强度损失函数，表示在第二半环形dpc照明条件下，采集的强度图像与预测的强度图像之间的损失函数，表示第一次迭代过程中计算得到的第二半环形dpc照明强度损失函数，表示在暗场照明条件下，采集的强度图像与预测的强度图像之间的损失函数，表示第一次迭代过程中计算得到的暗场照明强度损失函数，、和参数用于控制dpc照明强度损失函数和暗场照明强度损失函数之间的权重，权重满足，且、、，表示正则化项，用于抑制不稳定的高频振荡。

34、进一步地，所述、、均采用l1重建损失，具体表示为：

35、

36、式中，为张量中像素总数量，为l1重建损失函数，为实际采集的强度图，为预测的强度图，i表示张量中第i个像素点；

37、所述正则化项表示为：

38、

39、其中，为正则化系数，为输出相位第i行第j+1列的像素值，为输出相位第i行第j列的像素值，为输出相位第i+1行第j列的像素值。

40、进一步地，步骤5中，在每一轮迭代循环中，利用gpu并行计算架构对所述部分相干物理前向模型的频域重叠积分计算以及神经网络的梯度反向传播过程进行并行加速，以提高网络参数自适应更新的收敛速率。

41、另一方面，提供了一种基于物理驱动深度学习的合成孔径定量相位成像系统，基于所述基于物理驱动深度学习的合成孔径定量相位成像方法实现，所述系统包括顺次执行的：

42、第一模块，用于实现：利用多角度照明模块对样品进行多视角照明，采集包含明场分量和暗场分量的多幅多视角低分辨率强度图像；

43、第二模块，用于实现：将采集得到的所述多幅多视角低分辨率强度图像输入未经过训练的无监督深度卷积神经网络，由神经网络输出估计的相位重建图像；

44、第三模块，用于实现：基于估计的相位重建图像构造样品的复透射函数，并根据成像系统的实际光学参数，利用部分相干物理前向模型生成对应的预测多视角强度图像；

45、第四模块，用于实现：利用采集得到的所述多幅多视角低分辨率强度图像与生成的所述预测多视角强度图像求解构建的强度损失函数，将所述强度损失函数的误差反向传播至所述神经网络以更新其网络参数，并在所述神经网络更新后继续输出新的估计相位重建图像；

46、第五模块，用于实现：循环迭代执行第三模块和第四模块，直到所述强度损失函数的误差收敛至预设稳定状态，结束循环并输出最终的高分辨率重建相位图像。

47、本发明与现有技术相比，其显著优点为：

48、（1）该方法有效融合物理成像模型和未训练的深度网络先验，克服了传统合成孔径成像的数据和速度瓶颈，提高了成像效率和图像质量。

49、（2）该方法利用与物镜数值孔径（）匹配的正交半环形照明和两倍物镜数值孔径的环形高角度暗场照明，通过合成多个角度的信息来扩展空间频谱覆盖，相当于拥有更大数值孔径（可达），显著突破传统部分相干衍射极限，实现高分辨定量相位重建。在usaf分辨率靶模拟中，实验结果表明，仅使用3幅图像即可将可分辨空间频率显著提高，超越了传统差分相衬（dpc）方法。

50、（3）与需要采集数十张乃至大量图像的傅里叶叠层显微成像（fpm）方法相比，本方法仅需采集少量图像（2张dpc强度图及1张暗场强度图），数据采集量显著降低。因此，本方法适用于数据量有限、分辨率要求较高、动态场景或弱信号场景下的无标记生物显微成像。

51、（4）本方法采用无监督学习机制，以深度网络结构所隐含的图像统计特征作为先验约束。网络参数不依赖于大规模成对训练数据，而是通过拟合实际测量值与物理模型预测值之间的差异逐步自适应更新，解决了传统监督式深度学习需依赖海量训练样本的问题，适用范围更广。

52、（5）通过将无监督神经网络优化过程与部分相干成像物理模型紧密结合，使网络输出的相位受到前向模型的物理精确模拟与约束。这种基于物理模型约束的优化过程可确保高度的鲁棒性与稳定性，能够更准确地恢复目标细节，减少由噪声、测量误差及有限频谱覆盖所导致的相位恢复偏差。

53、（6）得益于深度网络先验对自然图像的良好适应性，在相位恢复的迭代过程中，网络的隐式正则化可有效抑制不稳定的高频振荡、局部噪声及伪影，从而使恢复得到的高分辨率相位图像保留更丰富的细节与完整的相位信息。

54、（7）尽管本方法包含迭代优化过程，但其前向模型计算与网络参数的迭代更新过程可充分利用gpu并行计算实现加速，从而在显著提升计算速度的同时，确保损失函数误差在可接受时间内趋于稳定并快速收敛。

55、下面结合附图对本发明作进一步详细描述。