一种基于压缩感知网络的图像重构方法和装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种基于压缩感知网络的图像重构方法和装置。


背景技术：

2.压缩感知(compressed sensing，cs)旨在通过利用信号稀疏性和结构先验，从少量测量值中精确重建高维信号。为了进一步提高重构性能，现有技术采用循环神经网络对重构信号进行加权，但该方法对加权矩阵有很大的限制，必须为正交矩阵或对角矩阵；并且，基于循环神经网络的重构方法，利用重构信号中每列信号的相似性来设计模型，这种相似性是不稳定的，当图片内容单调时，例如只有一个杯子，每列信号之间的相似性较强，当图片内容复杂时，每列信号之间的相似性较弱，导致得到的重构结果的稳定性较差。


技术实现要素：

3.本技术提供了一种基于压缩感知网络的图像重构方法和装置，用于改善现有技术采用循环神经网络对重构信号进行加权，对加权矩阵有很大的限制，以及利用重构信号中每列信号的相似性来设计模型，由于每列信号的相似性的稳定性较差，导致重构结果稳定性较差的技术问题。
4.有鉴于此，本技术第一方面提供了一种基于压缩感知网络的图像重构方法，包括：对原始图像信号进行采样，得到采样图像信号；基于所述采样图像信号初始化重构图像信号，得到初始重构图像信号；将所述采样图像信号和所述初始重构图像信号输入到压缩感知网络中，通过所述压缩感知网络中的多层卷积加权模块进行信号加权，得到多层重构图像信号，并根据相邻两层重构图像信号之间的相关性来优化重构图像信号，得到最终重构图像信号；根据所述最终重构图像信号和原始图像信号计算损失值，通过所述损失值更新所述压缩感知网络的网络参数，得到训练好的压缩感知网络；通过所述训练好的压缩感知网络对待重构图像信号进行图像重构，得到重构图像信号。
5.可选的，所述对原始图像信号进行采样，得到采样图像信号，包括：通过测量矩阵对所述原始图像信号进行采样，得到采样图像信号。
6.可选的，所述基于所述采样图像信号初始化重构图像信号，得到初始重构图像信号，包括：基于所述采样图像信号、稀疏字典和测量矩阵初始化重构图像信号，得到初始重构图像信号。
7.可选的，所述压缩感知网络为多层迭代模型，每一层对应的目标函数为：；
式中，x
(k)
为第k层重构图像信号，y为采样图像信号，a为测量矩阵，d为稀疏字典，为第一非负正则化参数，为第二非负正则化参数，为卷积加权模块，b、c为卷积核大小为3*3的滤波器，relu( )为修正线性单元激活函数，f为预测矩阵，是压缩感知网络的可学习参数，x
(k-1)
为第k-1层重构图像信号。
8.可选的，所述压缩感知网络的损失函数为：；式中，nb为采样图像信号的总数，n
p
为压缩感知网络层数，n为采样图像信号的大小，为第i个采样图像对应的最终重构图像信号，si为第i个原始图像信号，w
(k)
为第k层卷积加权模块，为第k层与w
(k)
形成对称关系的卷积加权模块，为第i个重构图像信号在第k层的稀疏信号，为第三正则化参数。
9.本技术第二方面提供了一种基于压缩感知网络的图像重构装置，其特征在于，包括：采样单元，用于对原始图像信号进行采样，得到采样图像信号；初始化单元，用于基于所述采样图像信号初始化重构图像信号，得到初始重构图像信号；重构优化单元，用于将所述采样图像信号和所述初始重构图像信号输入到压缩感知网络中，通过所述压缩感知网络中的多层卷积加权模块进行信号加权，得到多层重构图像信号，并根据相邻两层重构图像信号之间的相关性来优化重构图像信号，得到最终重构图像信号；训练单元，用于根据所述最终重构图像信号和原始图像信号计算损失值，通过所述损失值更新所述压缩感知网络的网络参数，得到训练好的压缩感知网络；重构单元，用于通过所述训练好的压缩感知网络对待重构图像信号进行图像重构，得到重构图像信号。
10.可选的，所述采样单元，具体用于：通过测量矩阵对所述原始图像信号进行采样，得到采样图像信号。
11.可选的，所述初始化单元，具体用于：基于所述采样图像信号、稀疏字典和测量矩阵初始化重构图像信号，得到初始重构图像信号。
12.可选的，所述压缩感知网络为多层迭代模型，每一层对应的目标函数为：；式中，x
(k)
为第k层重构图像信号，y为采样图像信号，a为测量矩阵，d为稀疏字典，为第一非负正则化参数，为第二非负正则化参数，为卷积加
权模块，b、c为卷积核大小为3*3的滤波器，relu( )为修正线性单元激活函数，f为预测矩阵，是压缩感知网络的可学习参数，x
(k-1)
为第k-1层重构图像信号。
13.可选的，所述压缩感知网络的损失函数为：；式中，nb为采样图像信号的总数，n
p
为压缩感知网络层数，n为采样图像信号的大小，为第i个采样图像对应的最终重构图像信号，si为第i个原始图像信号，w
(k)
为第k层卷积加权模块，为第k层与w
(k)
形成对称关系的卷积加权模块，为第i个重构图像信号在第k层的稀疏信号，为第三正则化参数。
14.从以上技术方案可以看出，本技术具有以下优点：本技术提供了一种基于压缩感知网络的图像重构方法，包括：对原始图像信号进行采样，得到采样图像信号；基于采样图像信号初始化重构图像信号，得到初始重构图像信号；将采样图像信号和初始重构图像信号输入到压缩感知网络中，通过压缩感知网络中的多层卷积加权模块进行信号加权，得到多层重构图像信号，并根据相邻两层重构图像信号之间的相关性来优化重构图像信号，得到最终重构图像信号；根据最终重构图像信号和原始图像信号计算损失值，通过损失值更新压缩感知网络的网络参数，得到训练好的压缩感知网络；通过训练好的压缩感知网络对待重构图像信号进行图像重构，得到重构图像信号。
15.本技术中，通过原始图像信号获取到采样图像信号和初始重构图像信号后，将其输入到压缩感知网络中进行图像重构，通过多层卷积加权模块对网络输入信号进行加权，获取多层重构图像信号，以解决现有技术对信号进行加权时要求加权矩阵必须为正交矩阵或对角矩阵的限制，本技术通过卷积提取信号的高维特征，结合卷积加权模块对信号进行加权，提高压缩感知网络重构性能；并通过相邻两层重构图像信号之间的相似性来优化重构图像信号，相邻两层重构图像信号之间的相关性比相邻列信号之间的相关性更稳定，从而提高压缩感知网络的稳定性，进而保障重构结果的稳定性，以提高重构效果，改善了现有技术采用循环神经网络对重构信号进行加权，对加权矩阵有很大的限制，以及利用重构信号中每列信号的相似性来设计模型，由于每列信号的相似性的稳定性较差，导致重构效果较差的技术问题。
附图说明
16.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
17.图1为本技术实施例提供的一种基于压缩感知网络的图像重构方法的一个流程示意图；
图2为本技术实施例提供的一种基于压缩感知的信号处理过程示意图；图3为本技术实施例提供的一种压缩感知网络的网络模型示意图；图4为本技术实施例提供的一种基于压缩感知网络的图像重构装置的一个结构示意图。
具体实施方式
18.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.压缩感知是一种新兴的信息获取和处理理论。压缩感知背后的理念是，倾向于找出直接从压缩格式中感知数据的方法，即使用更低的采样率，而不是先用一个高采样然后压缩数据。
20.请参考图2，对于一个n维的k稀疏信号，将高维信号通过感知矩阵投影到m维空间上，m《《n，即，其中为测量矩阵。整个过程将高维信号（n维）压缩成低维信号（m维），y作为观测信号进行传输，当其到达观测端时，可以从y中精确恢复稀疏信号s。
21.现有的方法主要可以分为两类。第一类是压缩感知算法，它利用稀疏系数x的稀疏性和结构先验来从无限的可行解集中识别真实解。例如，由于自然信号s(例如图像信号)在小波域中通常是稀疏的，即s=dx，这个稀疏先验可以公式化为准则。然而，重建算法中信号先验的手工设计仅限于通用先验，如稀疏性和部分已知支持，因此只能获得有限的识别能力。
22.第二类借助大量的训练数据集和深度神经网络学习从y到x的直接映射。与cs算法相比，在训练数据足够多的情况下，这些方法在许多情况下通常可以获得更好的性能。现有技术通常采用循环神经网络进行信号重构，通过循环神经网络对重构信号进行加权，但该方法对加权矩阵有很大的限制，必须为正交矩阵或对角矩阵，这极大地限制了加权性能；并且利用重构信号中每列信号的相似性来设计网络模型，这种每列信号的相似性是不稳定的，当图片内容单调时，例如只有一个杯子，每列信号之间的相似性较强，当图片内容复杂时，每列信号之间的相似性较弱，导致得到的重构结果的稳定性较差。为了改善该问题，请参阅图1，本技术实施例提供了一种基于压缩感知网络的图像重构方法，包括：步骤101、对原始图像信号进行采样，得到采样图像信号。
23.原始图像信号可以表示为s=dx，d为稀疏字典，x为稀疏信号。通过测量矩阵a对原始图像信号s进行采样，得到采样图像信号y，即y=as。
24.步骤102、基于采样图像信号初始化重构图像信号，得到初始重构图像信号。
25.基于采样图像信号y、稀疏字典d和测量矩阵a初始化重构图像信号，得到初始重构图像信号x
(0)
，即x
(0)
=d
tat
y，t为矩阵转置。
26.需要说明的是，在对原始图像信号s进行采样时的测量矩阵a，初始化重构图像信号的稀疏字典d、测量矩阵a为初始的稀疏字典、初始的测量矩阵，是已知参数，在压缩感知网络中进行图像重构时，稀疏字典d、测量矩阵a在迭代重构过程中会进行更新，属于压缩感
知网络的网络参数。
27.步骤103、将采样图像信号和初始重构图像信号输入到压缩感知网络中，通过压缩感知网络中的多层卷积加权模块进行信号加权，得到多层重构图像信号，并根据相邻两层重构图像信号之间的相关性来优化重构图像信号，得到最终重构图像信号。
28.本技术实施例中的压缩感知网络的网络模型可以参考图3，压缩感知网络包括卷积加权模块w
(k)
、和软阈值模块（由软阈值函数soft( )组成），其中，卷积加权模块由卷积层conv、激活层relu、卷积层conv堆叠构成。假设信号x
(k)
有以下动态模型：；式中，f为预测矩阵，其初始值为单位矩阵，在压缩感知网络训练过程中通过数据驱动进行矩阵学习，u
(k-1)
为误差矩阵。
29.基于上述假设，构建本技术实施例中的压缩感知网络模型为多层迭代模型，每一层对应的目标函数为：（1）式中，x
(k)
为第k层重构图像信号，y为采样图像信号，a为测量矩阵，d为稀疏字典，为第一非负正则化参数，为第二非负正则化参数，为卷积加权模块，b、c为卷积核大小为3*3的滤波器，relu( )为修正线性单元激活函数，f为预测矩阵，是压缩感知网络的可学习参数，x
(k-1)
为第k-1层重构图像信号。
30.将公式(1)中的二范数项合并，可得变量，，为中间参数，进而可以将公式(1)中的目标函数转换为：
ꢀꢀ
（2）压缩感知网络的重构过程可以表示为：
ꢀꢀ
（3）
ꢀꢀ
（4）式中，r
(k)
为第k层卷积加权模块的输入，为步长。
31.对公式(3)进行转换，即，将展开运算，得到：（5）
式中，i为单位矩阵；令，，即。
32.本技术实施例中，结合第k层的卷积加权模块进行提取特征，相对于普通加权矩阵，使用卷积加权模块加权可以提取信号的高维特征，通过训练改变卷积核参数，来提高网络重构能力，relu( )激活函数会使一部输出为0，这样就造成了输出的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。
33.通过卷积加权模块可得，是与w
(k)
相关的标量，w
(k)
为第k层卷积加权模块。公式(4)可以转换为：
ꢀꢀ
（6）其中，参数，通过求解可以得到：
ꢀꢀ
（7）受小波变换可逆性的启发，可以将设置为与成对称结构，与都是可学习的，在压缩感知网络训练期间将其纳入损失函数来强制执行对称约束，可解得：
ꢀꢀ
（8）为了增加压缩感知网络的容量，不要求，和在压缩感知网络中每一层都相同，即输出x
(k)
为：
ꢀꢀ
（9）由x
(k-1)
可以得到的梯度项，从而得到x
(k)
的逼近项。
34.压缩感知网络根据输入的采样图像信号y和初始重构图像信号x
(0)
计算得到中间参数r
(0)
，然后将r
(0)
输入到第一层卷积加权模块进行信号加权，得到第一层重构图像信号x
(1)
，通过第一层重构图像信号x
(1)
可以计算得到第二层卷积加权模块的输入信号r
(2)
，通过第二层卷积加权模块进行信号加权，得到第二层重构图像信号x
(2)
，以此类推，当得到第k层卷积加权模块的输入信号r
(k)
时，通过第k层卷积加权模块进行信号加权，得到第k层重构图像信号x
(k)
，直至得到最后一层卷积加权模块输出的重构图像信号x
(np)
，n
p
为压缩感知网络层数，通过稀疏字典d和重构图像信号x
(np)
即可重构得到最终重构图像信号。
35.基于压缩感知的图像重构过程可以表示为：输入x
(0) 、y，网络层数n
p
，参数
输出：for k=1: n dodoreturn 本技术实施例中，通过压缩感知网络的卷积加权模块对信号进行加权，卷积了现有技术采用循环神经网络进行信号加权存在的加权矩阵必须为正交矩阵或对角矩阵的限制，本技术通过卷积提取信号的高维特征，结合卷积加权模块对信号进行加权，提高压缩感知网络重构性能；利用相邻两层重构图像信号（如第k-1层与第k层重构图像信号）之间的相关性优化重构图像信号，相比于采用相邻列信号之间的相关性更加稳定，有助于提高重构效果。
36.步骤104、根据最终重构图像信号和原始图像信号计算损失值，通过损失值更新压缩感知网络的网络参数，得到训练好的压缩感知网络。
37.本技术实施例中的压缩感知网络的损失函数为：（10）式中，nb为采样图像信号的总数，n
p
为压缩感知网络层数，n为采样图像信号的大小，为第i个采样图像对应的最终重构图像信号，si为第i个原始图像信号，w
(k)
为第k层卷积加权模块，为第k层与w
(k)
形成对称关系的卷积加权模块，为第i个重构图像信号在第k层的稀疏信号，为第三正则化参数，可以设置为0.01。
38.本技术中的损失函数由和两部分构成，本技术实施例中的损失函数之所以考虑l
constraint
是为了保证卷积结构对称，以便求解重构图像信号。
39.通过上述损失函数求解得到的损失值更新网络参数，直至网络收敛，得到训练好的压缩感知网络。可以理解的是，训练压缩感知网络时，可以从caltech-256、bsds500或set11等公开的图像数据集中获取原始图像信号。
40.步骤105、通过训练好的压缩感知网络对待重构图像信号进行图像重构，得到重构图像信号。
41.当接收到待重构图像信号时，将待重构图像信号输入到训练好的压缩感知网络中进行图像重构，得到重构图像信号。例如，观测端接收到观测信号y，通过训练好的压缩感知
网络对观测信号y进行图像重构，以从观测信号y中精确恢复稀疏信号s。
42.本技术实施例中，通过原始图像信号获取到采样图像信号和初始重构图像信号后，将其输入到压缩感知网络中进行图像重构，通过多层卷积加权模块对网络输入信号进行加权，获取多层重构图像信号，以解决现有技术对信号进行加权时要求加权矩阵必须为正交矩阵或对角矩阵的限制，本技术通过卷积提取信号的高维特征，结合卷积加权模块对信号进行加权，提高压缩感知网络重构性能；并通过相邻两层重构图像信号之间的相似性来优化重构图像信号，相邻两层重构图像信号之间的相关性比相邻列信号之间的相关性更稳定，从而提高压缩感知网络的稳定性，进而保障重构结果的稳定性，以提高重构效果，改善了现有技术采用循环神经网络对重构信号进行加权，对加权矩阵有很大的限制，以及利用重构信号中每列信号的相似性来设计模型，由于每列信号的相似性的稳定性较差，导致重构效果较差的技术问题。
43.以上为本技术提供的一种基于压缩感知网络的图像重构方法的一个实施例，以下为本技术提供的一种基于压缩感知网络的图像重构装置的一个实施例。
44.请参考图4，本技术实施例照片的一种基于压缩感知网络的图像重构装置，包括：采样单元401，用于对原始图像信号进行采样，得到采样图像信号；初始化单元402，用于基于采样图像信号初始化重构图像信号，得到初始重构图像信号；重构优化单元403，用于将采样图像信号和初始重构图像信号输入到压缩感知网络中，通过压缩感知网络中的多层卷积加权模块进行信号加权，得到多层重构图像信号，并根据相邻两层重构图像信号之间的相关性来优化重构图像信号，得到最终重构图像信号；训练单元404，用于根据最终重构图像信号和原始图像信号计算损失值，通过损失值更新压缩感知网络的网络参数，得到训练好的压缩感知网络；重构单元405，用于通过训练好的压缩感知网络对待重构图像信号进行图像重构，得到重构图像信号。
45.作为进一步地改进，采样单元401，具体用于：通过测量矩阵对原始图像信号进行采样，得到采样图像信号。
46.作为进一步地改进，初始化单元402，具体用于：基于采样图像信号、稀疏字典和测量矩阵初始化重构图像信号，得到初始重构图像信号。
47.作为进一步地改进，压缩感知网络为多层迭代模型，每一层对应的目标函数为：；式中，x
(k)
为第k层重构图像信号，y为采样图像信号，a为测量矩阵，d为稀疏字典，为第一非负正则化参数，为第二非负正则化参数，为卷积加权模块，b、c为卷积核大小为3*3的滤波器，relu( )为修正线性单元激活函数，f为预测矩阵，是压缩感知网络的可学习参数，x
(k-1)
为第k-1层重构图像信号。
48.作为进一步地改进，压缩感知网络的损失函数为：
；式中，nb为采样图像信号的总数，n
p
为压缩感知网络层数，n为采样图像信号的大小，为第i个采样图像对应的最终重构图像信号，si为第i个原始图像信号，w
(k)
为第k层卷积加权模块，为第k层与w
(k)
形成对称关系的卷积加权模块，为第i个重构图像信号在第k层的稀疏信号，为第三正则化参数。
49.本技术实施例中，通过原始图像信号获取到采样图像信号和初始重构图像信号后，将其输入到压缩感知网络中进行图像重构，通过多层卷积加权模块对网络输入信号进行加权，获取多层重构图像信号，以解决现有技术对信号进行加权时要求加权矩阵必须为正交矩阵或对角矩阵的限制，本技术通过卷积提取信号的高维特征，结合卷积加权模块对信号进行加权，提高压缩感知网络重构性能；并通过相邻两层重构图像信号之间的相似性来优化重构图像信号，相邻两层重构图像信号之间的相关性比相邻列信号之间的相关性更稳定，从而提高压缩感知网络的稳定性，进而保障重构结果的稳定性，以提高重构效果，改善了现有技术采用循环神经网络对重构信号进行加权，对加权矩阵有很大的限制，以及利用重构信号中每列信号的相似性来设计模型，由于每列信号的相似性的稳定性较差，导致重构效果较差的技术问题。
50.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
51.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
52.应当理解，在本技术中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
53.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结
合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
54.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
55.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
56.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（英文全称：read-only memory，英文缩写：rom）、随机存取存储器（英文全称：random access memory，英文缩写：ram）、磁碟或者光盘等各种可以存储程序代码的介质。
57.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。