一种基于CCANet网络的纯相位全息图生成方法及系统

本发明涉及计算全息与全息显示，特别是涉及一种基于ccanet网络的纯相位全息图生成方法及系统。

背景技术：

1、纯相位全息图(phase-only holograms, pohs)凭借高衍射效率、无共轭像干扰、光利用率高等核心优势，成为全息近眼显示、增强现实(ar)、虚拟现实(vr)、全息投影等领域的关键核心技术，能够为沉浸式光学系统提供高保真的三维成像能力。

2、传统的纯相位全息图生成方法主要分为迭代类与非迭代类算法，以gerchberg-saxton (gs)算法为代表的迭代算法，虽能生成一定质量的全息图，但需要数十次甚至上百次的正逆向衍射迭代计算，计算耗时长，无法满足实时生成的应用需求；以随机相位法、二次相位法为代表的非迭代算法，虽无需迭代、计算速度快，但生成的全息图重建质量差，存在严重的细节丢失、伪影与噪声干扰，无法满足高保真成像需求。综上，传统算法始终无法突破计算效率与重建质量相互制约的技术瓶颈。

3、深度学习技术的发展为解决上述问题提供了新的技术路径。基于卷积神经网络(cnns)的全息图生成方法，凭借强大的局部特征提取能力，能够较好地保留重建图像的细节信息，但受限于卷积核的感受野范围，无法有效捕捉图像的长距离依赖特征，全局一致性差；基于transformer的方法虽能实现全局特征建模，但直接处理 2k 高分辨率图像时会产生极高的计算开销，硬件要求严苛，无法实现实时生成，难以落地实际应用场景。

技术实现思路

1、鉴于以上所述现有技术的缺点，本发明的目的在于提供了一种基于ccanet网络的纯相位全息图生成方法及系统，用于解决现有技术中纯相位全息图生成无法兼顾计算效率与重建质量、高分辨率图像全局特征建模计算开销大、局部细节与全局特征无法有效融合的问题。

2、为实现上述目的及其他相关目的，本发明提供一种基于ccanet网络的纯相位全息图生成方法，包括：

3、s1、获取输入图像，并对所述输入图像进行预处理，得到标准化输入图像；

4、s2、构建ccanet模型，通过反向角谱传播模型得到各分支的输入，分支包括卷积神经网络分支和transformer窗口注意力模块分支；

5、s3、通过所述卷积神经网络分支，得到所述标准化输入图像的局部特征图；通过所述transformer窗口注意力模块分支，得到所述标准化输入图像的全局特征图；将所述局部特征图与全局特征图进行自适应加权残差融合，生成预测的纯相位全息图；

6、s4、将所述预测的纯相位全息图通过反向角谱传播模型重构图像，利用重构图像和输入图像构建损失函数，用于训练所述ccanet模型参数，得到最优权重；

7、s5、将目标图像输入训练完成的ccanet模型，得到最优纯相位全息图；

8、s6、将所述最优纯相位全息图输入相位型空间光调制器，得到可视化图像。

9、在本发明的一实施例中，步骤s1中所述对所述输入图像进行预处理包括对所述输入图像的分辨率归一化、灰度化、数值区间标准化处理。

10、在本发明的一实施例中，步骤s2中的所述反向角谱传播模型将全息平面的初始输入复振幅传播至像平面，得到像平面复振幅，公式为：，其中，表示傅里叶变换，表示逆傅里叶变换，表示全息平面的初始输入复振幅，表示像平面复振幅；表示与传播距离相关的传递函数，表示为：

11、，

12、其中，表示照明波长，和分别表示沿轴与轴方向的空间频率，提取所述像平面复振幅的相位，利用反向角谱传播模型，得到所述全息平面的复振幅分布：

13、所述卷积神经网络分支采用编码器-解码器结构，由四个级联的下采样块和四个级联的上采样块构成，所述下采样块与上采样块之间设置跳跃连接；所述下采样块由复值卷积层、批归一化层和复值relu激活函数依次连接构成，所述上采样块由复值转置卷积层、批归一化层和crelu激活函数依次连接构成，所述transformer窗口注意力模块分支由窗口注意力模块构成；所述窗口注意力模块基于transformer的非重叠窗口自注意力机制构建。

14、在本发明的一实施例中，步骤s3中的所述卷积神经网络分支公式为：

15、，

16、其中，表示输入的复数矩阵，表示复数矩阵的实部，表示复数矩阵的虚部，表示卷积核，表示复数矩阵的实部，表示复数矩阵的虚部；

17、所述transformer窗口注意力模块分支的窗口自注意力机制的公式为：

18、，

19、，

20、，

21、其中，、和分别表示查询、键、值，、和表示按头分割并将空间展平，softmax（·）表示实数权重转化，concat(·)表示合并头；

22、通过所述卷积神经网络分支得到的细节特征和窗口注意力模块分支得到的全局特征进行融合，得到具备细节和全局信息的特征，其公式为：

23、，

24、其中表示融合后特征，表示卷积神经网络分支得到的细节特征,表示窗口注意力模块分支得到的全局特征，α表示卷积神经网络分支权重，β表示窗口注意力模块分支权重。

25、在本发明的一实施例中，所述反向角谱传播模型公式为：

26、，

27、其中，表示提取相位，表示像平面上受到约束的振幅，表示与传播距离相关的逆向传递函数，表示经逆向传播获取的全息平面的复振幅；

28、将所述预测的纯相位全息图作为空间光调制器slm平面的相位分布，结合单位振幅构建slm平面复振幅，通过所述反向角谱传播模型得到像平面的复振幅分布，提取像平面振幅得到重建图像；以所述重建图像与输入图像的均方误差构建损失函数，公式为：

29、，

30、其中，为图像像素总数，为重建图像，为标准化输入图像。

31、在本发明的一实施例中，步骤s6中的所述相位型空间光调制器包括：依次摆放的激光光源、衰减片、空间滤波器、准直透镜、偏振片、分束镜、空间光调制器。

32、在本发明的一实施例中，所述激光光源、衰减片、空间滤波器、准直透镜、偏振片、分束镜、空间光调制器的轴线在一条直线上。

33、本发明还提供一种基于ccanet网络的纯相位全息图生成系统，包括：

34、图像预处理模块，用于获取输入图像，并对所述输入图像进行预处理，得到标准化输入图像；

35、模型构建模块，用于构建ccanet模型，通过反向角谱传播模型得到各分支的输入，分支包括卷积神经网络分支和transformer窗口注意力模块分支；

36、特征提取模块，用于通过所述卷积神经网络分支，得到所述标准化输入图像的局部特征图；通过所述transformer窗口注意力模块分支，得到所述标准化输入图像的全局特征图；将所述局部特征图与全局特征图进行自适应加权残差融合，生成预测的纯相位全息图；

37、模型训练模块，用于将所述预测的纯相位全息图通过反向角谱传播模型重构图像，利用重构图像和输入图像构建损失函数，用于训练所述ccanet模型参数，得到最优权重；

38、全息图生成模块，用于将目标图像输入训练完成的ccanet模型，得到最优纯相位全息图；

39、全息图可视化模块，用于将所述最优纯相位全息图输入相位型空间光调制器，得到可视化图像。

40、如上所述，本发明的一种基于ccanet网络的纯相位全息图生成方法及系统，具有以下有益效果：

41、（1）、本发明的一种基于ccanet网络的纯相位全息图生成方法，通过构建双分支ccanet网络，融合卷积神经网络与transformer的核心优势，通过卷积分支精准提取图像局部细节特征，通过transformer窗口注意力分支有效建模全局特征与长距离依赖，解决了传统方法局部细节丢失、全局一致性差的问题。

42、（2）、本发明的一种基于ccanet网络的纯相位全息图生成方法，嵌入了带限角谱衍射物理模，实现了网络的自监督训练，大幅降低了训练数据的获取成本，同时保证了生成的全息图严格符合物理衍射规律，重建图像无明显伪影与噪声，成像保真度高。