基于深度学习的大尺寸二维计算全息图实时生成方法

1.本发明涉及计算机全息技术领域，具体涉及一种深度学习的大尺寸二维计算全息图实时生成方法。


背景技术：

2.计算机生成全息图(computer-generated hologram，cgh)所呈现具有连续深度感觉的三维(3d)场景的能力对虚拟和增强现实、人机交互、医学成像等方面产生了深远的影响，因而cgh的应用被认为是最有前途的3d显示候选技术。
3.传统的计算全息技术可以在相对较宽的观察范围内捕获干涉图案，这通常是利用光调制设备改变光的振幅或相位，以逐像素获取的方式得以实现。在相同尺寸下，人眼的3d双目视场的灵敏度为147亿像素，因此，cgh计算需要在物体和全息图平面上至少处理十亿像素大小的数据。此外，针对大尺寸的数据，全息显示器需要巨大的空间带宽以满足视场角度和奈奎斯特采样的要求，逐个扫描的方式在这种数据量大的全息图的实时生成中很难适用，并且这种情况下，如果通过常规迭代的方法处理会出现消耗内存、速率低下等问题。
4.在对cgh计算的实现中，由于计算纯相位的cgh的问题是一个不适定问题，即：解决方案的数量是多种的或者不确定的，在这里常见的解决方式有迭代投影算法或非凸的优化方法等，但采用这些方法都会面临着计算量大、消耗时间长以及对硬件要求高等挑战。这里已经提出了几种非迭代方法来实现快速计算cgh，比如空间复用和相位编码等。然而，这些方法涉及到的复杂调制以及对分辨率的牺牲依然会导致较大的误差，难以十分准确的测量。所有这些处理cgh方法主要依赖于耗时的迭代算法，这些算法必须执行多次循环迭代才能得到可行的解决方案，并且最终生成的图像质量也不高。
5.深度学习技术解决了许多过去计算成像领域难以解决的难题，还在信息获取能力、成像的功能、核心性能指标(如成像空间分辨率、时间分辨率、灵敏度等)上获得了显著提升。将深度学习应用到处理cgh计算中，不仅可以保证生成质量，同时也可以实现实时生成。
6.但是，如果直接使用深度学习训练大尺寸的数据，会面临着对内存要求太高，训练时间过长等瓶颈，这些限制都会对实时捕获二维全息图产生一些不良影响。因此考虑可以对原先大尺寸的数据进行分解处理，将分解后的子对象采用深度学习方法分别生成对应的子全息图最后再进行合成与叠加以获得原始数据的全息图。


技术实现要素：

7.本发明提出的一种深度学习的大尺寸二维计算全息图实时生成方法，可解决上述技术背景中的问题。
8.为实现上述目的，本发明采用了以下技术方案：
9.一种深度学习的大尺寸二维计算全息图实时生成方法，包括以下步骤，
10.利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子
目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；
11.在消除了图像块之间的数据依赖性后，利用深度学习中u-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；
12.最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。
13.进一步的，利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射，具体包括：
14.设计算n
×
n大小的二维大尺寸数据的cgh，需要对一个n
×
n大小的二维目标进行fft操作，对于二维离散傅里叶变化，其中n个数据点相互依赖；
15.将对象分解为k个子对象，针对每个子对象进行二维傅里叶变换，通过以k为周期，划分成k个子周期，使其仅在δfs区间有数据，而δk子区间所需的数据通过傅里叶变换的移位特性生成，最终生成k个大小为n
×
n的子全息图，每个子全息图对应一个子对象，若成功地以原始分辨率重建子对象，则数据依赖性被打破；
[0016][0017][0018]
p
bc
＝e-i(kδkpδx jδjqδy)
[0019]
其中，f(nδfs kδk,mδgs jδj)表示插值运算，(nδfs kδk,mδgs jδj)表示进行插值运算傅里叶平面的坐标，δfs和δgs分别表示傅里叶平面横向采样间隔和纵向采样间隔，δx和δy分别表示空间平面横向采样间隔和纵向采样间隔，o(pδx,qδy)表示空间平面的数据点，用于表示傅里叶平面数据点的位置；k表示待处理大尺寸目标图像横纵方向分解的份数；δk表示将δfs分成k份，δj表示将δgs分成k份，k＝1,2,
…
,k；j＝1,2,
…
,k；kδk、jδj表示进行插值运算的横纵最小间隔，p
bc
表示插值运算的傅里叶展开形式；
[0020]
所有δk个子对象都在中心被重建，为了将它们移回原来的位置，针对这里存在的差值项，采用使其与相位补偿项数之间相乘，如下所示；
[0021][0022]
lp1＝exp[-i(kδkpδx jδjqδy)]
[0023]
lp2＝exp[-i(s1nδfspδx s2mδgsqδy)]
[0024][0025]
其中，f(nδfs kδk,mδgs jδj)f(s1nδfs,s2mδgs)表示移位运算，s1、s2为中间变量，s1nδf和s2mδgs分别表示移位运算的横向间隔和纵向间隔，相位补偿中划分为带宽补偿lp1与位置补偿lp2。
[0026]
进一步的，在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中u-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，具体包括：
[0027]
全息编码器的编码器部分采用u-net结构实现，u-net网络包括卷积层、最大池化层即下采样区、反卷积层上采样区以及relu非线性激活函数，整个网络分为若干层，利用端到端的映射，每一层都有对应的上采样以及下采样区，每一层的输入对应的输出都作为下一层的输入，在上采样过程中用到了下采样的结果；
[0028]
首先将目标图像输入u-net，后来通过u-net结构输出预测相位获取子子全息图，最终通过合成与叠加获取原大尺寸数据的实时全息图。
[0029]
由上述技术方案可知，本发明的深度学习的大尺寸二维计算全息图实时生成方法，采用对大规模的二维全息图首先利用分解法消除大尺寸图像的不同图像块之间的数据依赖性，之后利用带宽补偿和空间位移补偿来确保不同图像块在全息平面中的正确映射，在消除了图像块之间的数据依赖性后，利用深度学习中u-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。
[0030]
综上所述，传统的计算机生成全息图的生成方法都依赖于耗时的迭代算法，这种执行多次迭代寻找不适定方程最优解的过程中无法保证计算全息图的实时生成并且当原始数据尺寸过大还会消耗内存。本发明提出的基于深度学习的大尺寸二维计算全息图实时生成方法，先利用快速傅里叶变换中的移位特性打破原始输入的数据依赖性，将其分解成子对象，再将一系列子对象输入进u-net网络进行训练，最后合成出计算全息图。这里利用到的分解方法与深度学习训练网络不再遵循对原始大尺寸数据直接处理的方式，而是转而处理子数据，大大提高了全息图的生成速度与生成质量，实现了大尺寸二维计算全息图的实时生成。
附图说明
[0031]
图1是本发明的总流程图；
[0032]
图2是本发明的分解模块示意图；
[0033]
图3是本发明的相位补偿模块示意图；
[0034]
图4是本发明的u-net网络架构示意图；
[0035]
图5是本发明的合成与叠加模块示意图。
具体实施方式
[0036]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
[0037]
计算机生成全息图技术将计算机技术与全息技术结合在一起，被认为是最有前途的3d显示候选技术。针对大尺寸的全息图，计算机生成全息图的通过常规迭代的方法会出现消耗内存、速率低下等问题，现有的这些生成方法都依赖于耗时的算法，必须执行多次迭代才能确定可行的解决方案，并且这种利用迭代寻找不适定方程最优解的方式无法保证计算全息图的实时生成。本发明实施例提出基于深度学习的大尺寸二维计算全息图实时生成方法，先利用快速傅里叶变换中的移位特性打破原始输入的数据依赖性，将其分解成子对象，再将一系列子对象输入进u-net网络进行训练，最后合成出计算全息图。该方法利用到的分解方法与深度学习训练网络大大提高了全息图的生成速度与生成质量，实现了大尺寸二维计算全息图的实时生成。
[0038]
具体的说，如图1所示，本实施例所述的深度学习的大尺寸二维计算全息图实时生成方法，包括首先如图2所示，采用对大规模的二维全息图利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后如图3所示，利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射，在消除了图像块之间的数据依赖性后，利用图4所示的深度学习中的u-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图，最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图，如图5所示。
[0039]
具体的说：
[0040]
利用分解法将待处理大尺寸目标图像沿横向和纵向等分成若干份，得到若干个子目标图像；之后利用带宽补偿和空间位移补偿来确保子图像块在全息平面中的正确映射；
[0041]
在消除了图像块之间的数据依赖性后，对每个子目标图像块进行处理；利用深度学习中u-net架构通过非迭代生成经过补偿后得到图像块对应的子子全息图，再利用空间移位将同一图像块在不同空间位置生成的子子全息图合成为一幅子全息图；
[0042]
最后将不同图像块对应的子全息图进行复振幅叠加并提取相位得到最终全息图。
[0043]
以下分别说明：
[0044]
分解与相位补偿基本原理
[0045]
分解的目的是将原大尺寸数据划分为便于处理的子对象，这可以使得计算步骤之间的通信时间进行缩短，并且加快后期进入深度学习网络的计算时间，使大尺寸全息图的实时生成成为可能。
[0046]
第一步，设计算n
×
n大小的二维大尺寸数据的cgh，需要对一个n
×
n大小的二维目标进行fft操作，对于二维离散傅里叶变化，但其中n个数据点相互依赖；
[0047]
将对象分解为k个子对象，针对每个子对象进行二维傅里叶变换，通过以k为周期，划分成k个子周期，使其仅在δfs区间有数据，而δk子区间所需的数据通过傅里叶变换的
移位特性生成，最终生成k个大小为n
×
n的子全息图，每个子全息图对应一个子对象，若成功地以原始分辨率重建子对象，则数据依赖性被打破；
[0048][0049][0050]
p
bc
＝e-i(kδkpδx jδjqδy)
[0051]
其中，f(nδfs kδk,mδgs jδj)表示插值运算，(nδfs kδk,mδgs jδj)表示进行插值运算傅里叶平面的坐标，δfs和δgs分别表示傅里叶平面横向采样间隔和纵向采样间隔，δx和δy分别表示空间平面横向采样间隔和纵向采样间隔，o(pδx,qδy)表示空间平面的数据点，用于表示傅里叶平面数据点的位置；k表示待处理大尺寸目标图像横纵方向分解的份数；δk表示将δfs分成k份，δj表示将δgs分成k份，k＝1,2,
…
,k；j＝1,2,
…
,k；kδk、jδj表示进行插值运算的横纵最小间隔，p
bc
表示插值运算的傅里叶展开形式；
[0052]
第二步，利用相位补偿对原始数据进行搬移，使其以原始分辨率重建子对象。所有δk个子对象都在中心被重建，为了将它们移回原来的位置，针对这里存在的差值项，采用使其与相位补偿项数之间相乘，如下所示；
[0053][0054]
lp1＝exp[-i(kδkpδx jδjqδy)]
[0055]
lp2＝exp[-i(s1nδfspδx s2mδgsqδy)]
[0056][0057]
其中，f(nδfs kδk,mδgs jδj)f(s1nδfs,s2mδgs)表示移位运算，s1、s2为中间变量，s1nδf和s2mδgs分别表示移位运算的横向间隔和纵向间隔，相位补偿中划分为带宽补偿lp1与位置补偿lp2。
[0058]
其中深度学习网络说明如下：
[0059]
全息编码器的编码器部分采用u-net结构实现，u-net网络是一个基本的dan神经网络，主要由卷积层、最大池化层(下采样)、反卷积层(上采样)以及relu非线性激活函数组成。整个网络分为若干层，利用端到端的映射，每一层都有对应的上采样以及下采样区，每一层的输入对应的输出都作为下一层的输入，在上采样过程中用到了下采样的结果，使得
在深层的卷积中能够有浅层的简单特征，使得卷积的输入更加丰富，自然得到的结果也更加能够反映图像的原始信息。
[0060]
首先将目标图像输入u-net，后来通过u-net结构输出预测相位获取子子全息图，最终通过合成与叠加获取原大尺寸数据的实时全息图。
[0061]
综上所述，传统的计算机生成全息图的生成方法都依赖于耗时的迭代算法，这种执行多次迭代寻找不适定方程最优解的过程中无法保证计算全息图的实时生成并且当原始数据尺寸过大还会消耗内存。本发明提出的基于深度学习的大尺寸二维计算全息图实时生成方法，先利用快速傅里叶变换中的移位特性打破原始输入的数据依赖性，将其分解成子对象，再将一系列子对象输入进u-net网络进行训练，最后合成出计算全息图。这里利用到的分解方法与深度学习训练网络不再遵循对原始大尺寸数据直接处理的方式，而是转而处理子数据，大大提高了全息图的生成速度与生成质量，实现了大尺寸二维计算全息图的实时生成。
[0062]
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0063]
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0064]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
[0065]
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
[0066]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0067]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0068]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。