一种面向纯相位全息图生成的多参数输入的神经网络系统

摘要: 本发明属于信息光学,尤其涉及一种面向纯相位全息图生成的多参数输入的神经网络系统。背景技术:1、全息术在三维显示、近眼增强现实及超快三维纳米加工等领域具有重要应用...
一种面向纯相位全息图生成的多参数输入的神经网络系统

本发明属于信息光学,尤其涉及一种面向纯相位全息图生成的多参数输入的神经网络系统。

背景技术:

1、全息术在三维显示、近眼增强现实及超快三维纳米加工等领域具有重要应用。传统的计算机生成全息方法能够精确计算目标光场的理想复振幅,但由于多数商用空间光调制器为纯相位型器件,必须将复振幅编码转换为纯相位全息图。现有大多采用gerchberg-saxton算法及其变体、随机梯度下降算法等经典迭代算法进行处理,虽能获得较高的重建质量,但每张全息图均需独立迭代优化,计算速度慢,难以满足实时动态显示需求。

2、近年来,卷积神经网络等深度学习技术的引入加速了全息图生成过程。然而,现有基于深度学习的全息图生成网络仍存在以下不足:大多数的神经网络架构为固定物理参数下的图到图映射,当全息图显示的波长、传播距离等物理参数变化时需要重新进行训练,缺乏灵活性;虽有改进方案通过离散深度层预设或多通道拼接输入参数,通过单次训练来完成复数编码过程,但面对连续变化的物理参数时缺乏灵活性和适应性,且通道拼接难以充分挖掘物理参数的深层调制规律,导致全息图生成质量不佳;常规下采样卷积将空间特征提取与通道融合强行耦合,易在降采样过程中模糊精细的高频干涉条纹,导致相位信息丢失。

3、现有全息图生成技术在动态多物理参量场景中,无法兼顾生成速度与重建质量,难以满足动态变化的实时调节需求。

技术实现思路

1、针对现有技术中的上述不足,本发明提供的一种面向纯相位全息图生成的多参数输入的神经网络系统,解决了现有全息图生成网络在波长、传播距离等物理参数变化时需重新训练、无法自适应连续参数调节且高频相位信息易丢失的技术问题。

2、为了达到以上目的,本发明采用的技术方案为:一种面向纯相位全息图生成的多参数输入的神经网络系统,包括:

3、输入模块,用于获取目标图像以及全息图物理参数;

4、下采样模块,用于通过深度可分离卷积对目标图像进行下采样,得到下采样特征图;

5、全连接映射模块,用于通过两层全连接网络对全息图物理参数进行一维映射和重构,得到二维矩阵,将二维矩阵旋转映射为三维圆环滤波器,并按实部与虚部平分改造为三维复数圆环滤波器;

6、频域融合模块,用于将下采样特征图变换至频域后与三维复数圆环滤波器逐元素相乘,再逆变换回空域,得到频域融合特征图;

7、多尺度复值卷积模块,用于对频域融合特征图进行多尺度复值卷积处理,得到多尺度融合特征图;

8、上采样模块,用于通过亚像素卷积对多尺度融合特征图进行上采样处理,得到并输出纯相位全息图。

9、进一步地:所述下采样模块包括依次连接的第一下采样单元、第二下采样单元和第三下采样单元;所述第一下采样单元、第二下采样单元和第三下采样单元均包括深度卷积单元和点卷积单元;

10、所述深度卷积单元,用于通过若干个3×3的复数卷积核对输入下采样单元的特征图进行深度卷积处理,将输入下采样单元的特征图的通道进行扩展,并减少空间尺寸,提取得到空间特征图;

11、所述点卷积单元,用于通过若干个1×1的复数卷积核对空间特征图进行通道融合,得到该下采样单元输出的融合特征图;

12、所述第一下采样单元的输入为目标图像,所述第三下采样单元输出的融合特征图作为下采样模块输出的下采样特征图。

13、上述进一步的有益效果为:本发明通过三个下采样单元的级联结构,实现逐级渐进式的特征提取与压缩,避免信息断层;同时采用深度卷积与点卷积的构成下采样,深度卷积独立提取空间特征,点卷积进行通道融合,解决了常规下采样将空间提取与通道融合耦合导致计算量增加和相位信息丢失的问题,提高了下采样过程的相位保真度。

14、进一步地:所述全连接映射模块包括参数处理单元和重构单元;

15、所述参数处理单元,用于将全息图物理参数经两层全连接网络映射为一维参数向量;

16、所述重构单元,用于对一维参数向量进行截取拼凑,重构得到二维矩阵,将二维矩阵以被拼凑边为轴旋转映射为对应全息图物理参数的三维圆环滤波器,并按实部与虚部,将三维圆环滤波器平分改造为三维复数圆环滤波器。

17、上述进一步的有益效果为:本发明通过两层全连接网络将波长和传播距离等标量形式的物理参数映射为一维参数向量,再重构为三维圆环滤波器并拆分至复数域;圆环滤波器在几何上严格对应光学传递函数的径向对称特征,相比现有技术简单地将物理参数作为额外通道拼接至图像,本发明能够从结构上精准模拟不同空间频率下的衍射相位偏转,解决常规卷积难以从常量通道中提取非线性物理映射的问题,提高了网络对连续变化物理参量的泛化能力。

18、进一步地:所述频域融合模块的具体流程包括:

19、将下采样特征图按通道维度逐一变换至频域,得到频域下采样特征图;

20、将频域下采样特征图与三维复数圆环滤波器的各通道按对应位置逐元素相乘,得到频域相乘特征图;

21、将频域相乘特征图按通道逆变换回空域,得到频域融合特征图。

22、上述进一步的有益效果为:本发明的频域融合模块使物理参数能够在频域中直接作用于全息图的各空间频率分量;相比常规卷积在空域中依赖局部感受野间接学习衍射规律,本发明在频域中精准模拟不同空间频率下的衍射相位偏转,增强了网络对多物理参数的泛化能力和全息图重建质量。

23、进一步地:所述多尺度复值卷积模块包括第一复数卷积单元、第二复数卷积单元、第三复数卷积单元、第四复数卷积单元和特征融合单元;

24、所述第一复数卷积单元,用于对频域融合特征图进行一次连续的复数卷积,得到第一特征图;

25、所述第二复数卷积单元,用于对频域融合特征图进行二次连续的复数卷积,得到第二特征图;

26、所述第三复数卷积单元,用于对频域融合特征图进行三次连续的复数卷积,得到第三特征图;

27、所述第四复数卷积单元,用于对频域融合特征图进行四次连续的复数卷积,得到第四特征图;

28、所述特征融合单元,用于将第一特征图、第二特征图、第三特征图和第四特征图沿通道维度进行拼接,得到多尺度融合特征图。

29、上述进一步的有益效果为:本发明通过设置一次、两次、三次和四次连续复数卷积,使网络能够在不同感受野尺度下分别提取全息图中不同的全息条纹特征;由浅层分支保留细节纹理,深层分支捕获全局结构,增强了对复杂全息条纹的空间信息编码能力,提高了全息图重建的保真度。

30、进一步地:所述上采样模块包括依次连接的第一上采样单元、第二上采样单元和第三上采样单元;所述第一上采样单元、第二上采样单元和第三上采样单元均包括依次连接的亚像素卷积单元、残差单元和复数注意力单元;

31、所述亚像素卷积单元,用于通过复数卷积将输入该上采样单元的特征图的通道数扩充至目标通道数的倍,并对实部和虚部分别进行空间像素重排,得到上采样特征图;其中为上采样时图像分辨率放大倍数;

32、所述残差单元,包括依次连接的第一3×3复数卷积层、第二3×3复数卷积层和跳跃连接层,用于通过第一3×3复数卷积层和第二3×3复数卷积层对上采样特征图的局部相位畸变进行微调和修补,通过跳跃连接层对上采样特征图进行修补,得到修补上采样特征图;

33、所述复数注意力单元,包括由两层1×1复数卷积构成的瓶颈结构,用于对修补上采样特征图进行跨通道维度的压缩与还原,得到复数特征,通过复数sigmoid函数计算复数特征的权重掩膜并与修补上采样特征图逐元素相乘,输出该上采样单元处理后的特征图;

34、所述第一上采样单元的输入为多尺度融合特征图,所述第三上采样单元的输出为纯相位全息图。

35、进一步地:所述复数sigmoid函数计算权重掩膜的表达式如下:

36、

37、其中,为复数特征,为自然指数函数,为虚数单位。

38、上述进一步的有益效果为:本发明通过三个上采样单元的级联结构逐级恢复分辨率,每一单元均采用亚像素卷积替代传统转置卷积,能够避免因棋盘效应和零填充导致的相位不连续性;且残差单元通过跳跃连接微调局部相位畸变,复数注意力单元通过瓶颈结构与复数sigmoid函数聚焦核心相位通道,通过协同作用提高了高频干涉条纹的恢复质量,提升了重建光场的信噪比和全息图质量。

39、本发明的有益效果:本发明通过构建包含下采样模块、全连接映射模块、频域融合模块、多尺度复值卷积模块和上采样模块的完整神经网络架构,将目标图像与波长、传播距离等全息图物理参数共同输入,实现了单次训练后即可适应任意连续变化物理参数的高质量纯相位全息图生成,相比现有技术具有更强的物理参数泛化性与调节灵活性。本发明通过三个下采样单元的级联结构及深度卷积与点卷积的设计,避免了全息图高频相位信息的丢失;通过全连接映射模块将物理参数重构为三维圆环滤波器,精准模拟了光学传递函数的径向对称规律,克服常规卷积难以提取非线性物理映射的缺陷;通过频域融合模块模拟角谱理论的全局衍射传播过程,使物理参数的调制作用直接作用于各空间频率分量;通过四个不同深度的复数卷积分支实现多尺度特征互补,增强对复杂高频条纹的表征能力;通过三个上采样单元的亚像素卷积、残差单元与复数注意力单元的协同作用,避免因棋盘效应和相位不连续性导致的低质量全息图,提升了重建光场的信噪比和图像质量。