一种低采样率下的深度学习图像恢复方法

1.本发明涉及图像处理技术领域，尤其涉及一种低采样率下的深度学习 图像恢复方法。


背景技术：

2.图像恢复算法主要可以分为两类：基于优化的图像恢复算法和基于网 络的图像恢复算法。许多传统算法用来解决优化问题从而进行图像恢复， 例如基础追踪算法(bp)、正交匹配追踪算法(omp)、全差分算法(tval3)、 快速迭代收缩阈值算法(fista)和近似消息传递算法(amp)等。
3.然而，这些传统方法产生了较高的计算成本，限制了cs在有限资源限 制情况下的应用。因此，很多基于网络的算法被用于图像恢复。其中有shiw等人设计了由不同子网络组成的深度网络来执行压缩感知过程、canh t n等人提出了一种多尺度离散余弦卷积神经网络、yao h等人进一步提出 了一种新的深度残差重构网络。
4.这些方法虽然大大降低了图像恢复的时间开销，然而缺乏结构多样性， 因此考虑将两种方法相结合，其中现有技术中，amp算法以去噪视角展开 映射到深度神经网络中，称为amp-net，此外采样矩阵与网络参数联合训 练，提高了图像恢复速度和精度，且优于其他现有方法。然而，由于amp-net 中应用了单一尺度的采样，恢复后的图像会丢失一些高频部分内容，需要 对其方法做出进一步优化。


技术实现要素：

5.本发明针对上述技术问题，提供一种低采样率下的深度学习图像恢复 方法。
6.为了实现上述目的，本发明提供如下技术方案：
7.本发明提供一种低采样率下的深度学习图像恢复方法，包括采样步骤 和重建步骤，其中，将近似消息传递算法展开到卷积神经网络上，采样步 骤引入离散小波变换，同时采样矩阵使用半张量积进行处理，将原始图像 分解为多尺度，对所有尺度的图像进行分块采样，并重建原始图像。
8.进一步地，采样步骤由离散小波变换和分块采样组成。
9.进一步地，离散小波变换过程为：利用dwt将原始图像转换为4个 不同频带的图像，分别是低频分量、水平方向高频分量、垂直平方向高频 分量和对角线方向高频分量。
10.进一步地，分块采样过程为：利用逐块采样方法独立采样每个尺度图 像。
11.进一步地，恢复步骤由一个初始步骤和多个迭代恢复步骤组成。。
12.进一步地，初始步骤用于生成一个初始恢复图像，初始恢复由测量值 线性恢复得到。
13.进一步地，迭代恢复步骤包括去噪过程和去块过程。
14.进一步地，去噪过程是把去噪视角下的amp算法展开到深度神经网络 上，对初始恢复图像进行逐块处理，将处理后的图像块进行整形和连结， 最后得到一个完整恢复图
像。
15.进一步地，去块过程利用卷积神经网络来进行去块操作。
16.进一步地，上述的低采样率下的深度学习图像恢复方法，采用均方误 差作为损失函数描述原始图像和重建后图像的差异。
17.与现有技术相比，本发明的有益效果为：
18.本发明提供的低采样率下的深度学习图像恢复方法，采样部分引入离 散小波变换，减少了由于应用单一尺度采样方法所丢失的高频部分内容， 提高了方法的图像重建质量。将采样部分的矩阵乘法转换为半张量积的形 式，显著减小了采样矩阵的大小，减少了矩阵的存储空间，节约了大量的 计算资源。将amp算法以去噪视角展开到深度卷积网络中，提高了图像的 视觉效果和重建速度。在低采样率的条件下，通过实验证明，与其他方法 相比，本发明方法有着更好的量化指标和重建效果。在存储空间占用和运 行时间方面有着优势，在采样率为1％、4％、10％时，本发明的amp-net 获得了更好的psnr和ssim，获得了更好的视觉效果。
附图说明
19.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对 实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附 图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可 以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的近似消息传递增强型网络(amp-net )。
21.图2为本发明实施例提供的采样过程流程图。
22.图3为本发明实施例提供的amp-net 的第k个重构模块。
具体实施方式
23.本发明提供了一种低采样率下的深度学习图像恢复方法，在amp-net 的基础上，引入离散小波变换，同时其中的采样矩阵使用半张量积进行处 理，将原始图像分解为多尺度，然后对所有尺度的图像进行分块采样，并 重建原始图像，最后得到一个比之前提出的恢复算法重建质量好的图像。 此时将网络称作amp-net ，将网络模型应用于图像重建过程中，提高了 图像重建质量，同时运行速度有着显著提升。
24.为了使本领域的技术人员更好地理解本发明的技术方案，下面将结合附图 和实施例对本发明作进一步的详细介绍。
25.首先，关于半张量压缩感知、近似消息传递算法，介绍如下。
26.1、半张量压缩感知
27.压缩感知是以低于奈奎斯特采样率条件下，对原信号或图像进行随机 稀疏采样，以采集到的比较少的测量样本来恢复原始信号或图像。压缩感 知的信号采样过程可以表示为：
28.y＝φx＝φψs＝φs
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
29.其中φ∈r
m*n
为测量矩阵，由于m＜n，原始信号x∈r
n*1
通过与φ矩阵 相乘可以达到维数减小的目的。由于只有在信号稀疏或可压缩的情况下才 可以进行压缩感知操作，因此引入稀疏基ψ∈r
n*n
，使原始信号x在稀疏基 ψ下是稀疏的，s称为稀疏系数，其中只有k个
大系数，k＜m＜n，剩 下的都是零项或趋近于零项。将φ
ψ
合并成一个传感矩阵φ∈r
m*n
。而对 于采样后的原始信号或图像恢复过程，就是已知y和φ，求解s。
30.由于在压缩感知中主要使用了矩阵乘法，传统的矩阵乘法有维数限制， 因此提出了将半张量积用于压缩感知中，打破了传统矩阵乘法中的维数匹 配条件。因此定义两个矩阵d∈r
m*n
，g∈r
q*p
，n是p的因数或p是n的 因数，其间的半张量积为：
[0031][0032]
其中di表示d的第i行，gj表示g的第j列。
[0033]
半张量积还可以用kronecker积进行定义，两个矩阵d∈r
m*n
，g∈r
q*p
的kronecker积定义为：
[0034][0035]
其中，半张量积表示为：
[0036][0037]
其中t＝lcm(n,p)，i
t/n
代表(t/n)*(t/n)的单位阵。
[0038]
而半张量压缩感知是将半张量积应用于压缩感知中，则将公式(4)应用 于公式(1)中，可以表示为：
[0039][0040]
其中φ∈r
m*n
，x∈r
p
，为了测量矩阵φ尽可能的小，选择尽量小的n， 选择n为p的因数，表示为n|p，此时lcm(n,p)＝p，即可得到公式(5)中所 表示内容，此时的y∈r
mp/n
。
[0041]
因此半张量压缩感知可以显著减小传统压缩感知中的采样矩阵的大 小，减少了矩阵的存储空间，节约了大量的计算资源，可以用于物联网、 边缘云网络等资源受限的网络中。
[0042]
2、近似消息传递(amp)算法
[0043]
amp算法是一种用于压缩感知图像恢复的迭代阈值算法。omp、ista、 amp等迭代算法都可以总结为下式：
[0044]
x
t 1
＝η
t
(a
tzt
x
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0045]zt
＝y-ax
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0046]
η
t
(
·
)指标量阈值函数，x
t
为原始信号在此刻的估计值，z
t
指当前时刻 对应的残差，a
t
是a的转置矩阵。
[0047]
相比一般的迭代阈值算法，amp算法在公式(7)中加入 项，可以从图像模型中的信念传播理论推导得到：加 入这项可以改善稀疏性和下采样性的平衡，修正迭代路径，从而在迭代过 程中使算法收敛于最优结果。
[0048]
我们将用b
t
表示，则公式(7)可表示为：
[0049]zt
＝y-ax
t
b
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0050]
若使用x0表示初始输入，表示原始信号，则我们可以推导出：
[0051][0052]
修正项的加入将噪声约束为近似加性高斯白噪声，为更好地将amp算 法应用于去噪视角提供了自然的融合。i指n*n的单位矩阵，为了更好地 理解算法的迭代过程，将公式(9)扩展为k次迭代的形式
[0053][0054]
由于采样矩阵a是满足独立同分布的，在这个条件下可以得到 是一个与a具有相同分布的变量，因此可以使用 表示噪声项，这样公式(10)可以表示为
[0055][0056]
以上为amp算法去噪视角的简单分析，amp算法将非线性函数η
t
(
·
)看为 去噪函数，这是与其他迭代阈值算法最大的一点不同。本发明将amp算法 映射到深度神经网络中，用简单的卷积网来代替这一个噪声项中的 迭代过程，使算法的迭代过程更快速高效，从而获得在图像重建过程中所 需得到的高质量图像。
[0057]
本发明提出的近似消息传递增强型网络(amp-net )如图1所示， amp-net 由采样模块和恢复模块组成。采样模块由离散小波变换和分块采 样组成。恢复模块由一个初始模块和多个迭代恢复模块组成。下面分别介 绍一下各模块。
[0058]
采样模块：采样模块结合了dwt和逐块采样方法。首先利用dwt将原 始图像转换为4个不同频带的图像，分别是低频分量、水平方向高频分量、 垂直平方向高频分量和对角线方向高频分量。而后再利用逐块采样方法独 立采样每个尺度图像。
[0059]
为了用公式表示采样过程，我们用表示原始图像，dwt(
·
)表示 离散小波变换过程，每个尺度的图像表示为其中xi＝dwt(x)，这 里i∈{1,2,3,4}；在逐块采样过程中，我们用ξ(
·
)表示图像分块过程，分割后 的图像块表示为其中j∈{1,
…
,i}，l*p＝i*n2,然后用vec(
·
)函数将图 像块矢量化表示，最后将转换后的矢量与采样矩阵a相乘得到图像的测量 值。可以表示为公式(12)：
[0060][0061]
其中表示图像的测量值，其中每一列都对应一个图像块的测量 值，为图像块对应的采样矩阵，通过引入半张量积理论，a的列 数不一定要与矢量处理后的x
ij
一致，因此减小了采样矩阵a的维数。整个 采样过程如图2所示。另外为了增强amp-net 的恢复性能，将a与整个网 络中所需要的其他参数进行共同训练。
[0062]
恢复模块：恢复模块由一个初始模块和k个迭代恢复模块组成。迭代 恢复模块又
可以分为去噪模块和去块模块。
[0063]
初始模块用于生成一个初始恢复图像，初始恢复由测量值y线性恢复得 到，初始恢复过程可以表示为公式(13):
[0064]
x0＝ξ-1
(vec-1
(ηy),n)
ꢀꢀꢀꢀꢀꢀ
(13)
[0065]
其中表示用于初始恢复的可训练矩阵，vec-1
(
·
)表示vec(
·
)的逆 过程，将矢量整形成图像块，ξ-1
(
·
)是ξ(
·
)的逆过程，把图像块连结成完整图 像，为初始恢复图像。
[0066]
去噪模块：去噪模块是把去噪视角下的amp算法展开到深度神经网络 上，对初始恢复图像进行逐块处理，由公式(10)得，原始图像可由公式(14) 得到：
[0067][0068]
若已知，则原始图像计算过程可以看作线性处理过程，用非线 性可训练函数θk(
·
)来代替同时将公式(14)扩展为迭代形式，得到 公式(15)：
[0069][0070]
为了增强恢复过程的灵活性，公式(15)中引入了一个可学习控制参数 εk。我们用一个4层的卷积神经网络来代替θk(
·
)，每一层的过滤器大小都是 3*3，前3层卷积层后都添加了relu层，同时输出通道数均为32，最后一层 通道数为1。
[0071]
对初始恢复图像逐块处理后，将处理后的图像块进行整形和连结，最 后得到一个完整恢复图像。
[0072]
去块模块：去块模块是为了去除去噪模块逐块处理所引入的块伪影， 之前的方法采用手工去噪器来去除块伪影，有时会忽略原图像中包含的一 些信息，所以我们利用卷积神经网络来进行去块操作。去块模块可以用公 式(16)表示：
[0073][0074]
其中τk(
·
)是一个非线性可训练函数，通过拟合块伪影从而提高网络的 恢复性能，这里τk(
·
)选用与θk(
·
)网络结构一致，省去了训练一个新的网络的 时间，和分别表示第k次迭代中去块模块的输入和输出。
[0075]
去噪模块和去块模块组合构成了重建模块，通过重建模块的多次迭代 可以提高图像的恢复性能，为了更清楚的展示模型结构，图3中提供了第k 个重建模块的图形说明。
[0076]
损失函数：整个amp-net 模型中的可学习参数包括：采样矩阵a、初 始恢复的可训练矩阵η、可学习控制参数s
ε
＝{ε1,ε2,
…
,εk}、θk(
·
)网络中所有 的可训练参数s
ξ
＝{ξ1,ξ2,
…
,ξk}、τk(
·
)网络中的所有可训练参数 s
ω
＝{ω1,ω2,
…
,ωk}，本发明中选用均方误差(mse)来作为损失函数，来描述原 始图像和重建后图像的差异，针对amp-net 模型的损失函数可以表示为：
[0077]
[0078]
其中n
x
代表原始图像的尺寸大小，nd代表训练数据集的大小，xm代表 训练数据集中m维的原始图像，代表k轮迭代后的重建图像。
[0079]
本发明的方法，在低采样率的条件下，与其他方法相比，本方法有着 更好的量化指标和重建效果。如将amp-net 应用于图像重建过程中，显 著提高了图像的重建质量和视觉效果，在存储空间占用和运行时间方面有 着优势，在采样率为1％、4％、10％时，amp-net 获得了更好的psnr和 ssim，获得了更好的视觉效果。六种对比方法以及不同采样率下amp-ne t _6和amp-net _9的测试结果如表1所示。
[0080]
表1六种对比方法以及不同采样率下amp-net _6和amp-net _9的测 试结果
[0081][0082]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照 前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解： 其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分 技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本 质脱离本发明各实施例技术方案的精神和范围。