基于卷积神经网络的任意尺度自适应压缩感知重建方法

1.本发明属于图像处理领域，尤其涉及针对任意尺度输入图像的自适应压缩感知重建领域。


背景技术：

2.压缩感知(compressive sensing)理论是21世纪提出的新采样理论，其能够在原始信号满足稀疏性的条件下，以远低于奈奎斯特采样率对原始信号进行采样，并精确地恢复原始信号，有效地降低了采集端的数据量，将计算负荷转移到了后端。其数学模型为：y＝ψx，其中x∈rn，为n维原始信号，ψ∈rm×n为m
×
n维测量矩阵，y∈rm为m维测量结果，其中m＜＜n。
3.通常独立同分布的高斯随机测量矩阵可以成为普适的压缩感知测量矩阵，但是如果原始信号x的维度比较高，会导致测量矩阵过大，带来存储压力。因此，在实践中通常会对输入图像进行分块处理，来减少存储压力，但是会带来明显的块状效应。由于卷积可以展开表示为传统乘法的形式，因此近些年随着深度学习的发展，有科研人员尝试用线性全卷积神经网络来代替传统的测量矩阵，使用全卷积网络作为测量矩阵的好处是可以针对任意尺度的输入进行处理，不用再对图像进行分块。
4.自适应压缩感知是提高采样效率的一个途径，传统的自适应压缩感知使用人工设计的不同的掩膜对输入图像进行调制，其本质依然是一种固定模式测量的方法。在深度学习中，注意力机制最先在自然语言处理中被提出，后来科研人员将其引入到图像处理的领域，并取得了不错的结果。但目前还没有将注意力机制引入到压缩感知这个领域的方法。。
5.对图像压缩测量后，需要对测量的结果进行重建。传统的重建算法面临着计算开销大、复杂度高和重建速度慢等问题。深度学习的出现大大提升了重建效率和质量，而现有的基于卷积神经网络的重建方法需要针对不同的采样率训练不同的网络，大大增加了算法的复杂性，降低了算法的可实用性。


技术实现要素：

6.针对以上现有的压缩感知重建方法存在的问题，本发明的目的在于提出一种针对任意尺度输入图像的自适应压缩感知重建方法。
7.为达到上述目的，本发明采用的计算方案如下：
8.基于卷积神经网络的任意尺度自适应压缩感知重建方法，包括以下步骤：
9.步骤1，使用基于线性全卷积神经网络ψ1对输入图像i进行压缩测量，得到测量结果y1；
10.步骤2，使用全卷积神经网络f1对测量结果y1进行重建，得到初始的重建结果r1；
11.步骤3，将重建结果r1输入到基于卷积神经网络的注意力模块t1，得到注意力图a1；
12.步骤4，将注意力图a1与输入图像i进行点乘，得到调制后的输入图像i1；
13.步骤5，使用线性全卷积神经网络ψ2对调制后的输入图像i1进行压缩测量，得到测
量结果y2；
14.步骤6，使用全卷积神经网络f2对测量结果y2进行重建，得到的结果与步骤2的重建结果r1相加，得到重建结果r2；
15.步骤7，重复步骤3～6，直到得到目标压缩率下的重建结果ri，其中i代表迭代的次数。
16.进一步地，步骤1中线性全卷积神经网络ψ1具体结构为：
17.输入为m*n*1的图像，输出的压缩测量结果，其第一层卷积层共1个卷积核，卷积核大小为k*k，步长为1，pad为第二层和第三层卷积层各s个卷积核，卷积核大小为k*k，步长为1，pad为第四层和第五层卷积层共s个卷积核，卷积核大小为k*k，步长为2，pad为第六层共1个卷积核，卷积核大小为k*k，步长为2，pad为其中，[
·
]表示向下取整。
[0018]
进一步地，步骤2中全卷积神经网络f1具体结构为：
[0019]
输入为的压缩测量结果，输出的重建结果，其第一部分为1个卷积层，卷积层共s个卷积核，卷积核大小为k*k，步长为1，pad为第二部分为1个残差密集块，其中卷积核大小为k*k，步长为1，pad为第三部分为串联的3个上采样模块，每个上采样模块的结构为：第一层为卷积层，共s个卷积核，卷积核大小为k*k，步长为1，pad为第二层使用亚像素卷积作为上采样层，上采样因子设为2，第三层为激活层，使用leaky relu作为激活函数；第四部分为1个卷积层，共1个卷积核，卷积核大小为k*k，步长为1，pad为
[0020]
进一步地，步骤3中基于卷积神经网络的注意力模块t1具体结构为：
[0021]
前两层为卷积层，每层各1个卷积核，卷积核大小为k*k，步长为1，pad为第三层为激活层，使用sigmoid函数作为激活函数。
[0022]
本发明为了实现自适应的压缩感知重建，使用了线性全卷积网络代替传统测量矩阵，并引入注意力模块对输入图像进行调制，实现随输入变化而变化的自适应压缩感知重建。本发明方法的有益效果在于：(1)由于整个网络为全卷积网络，因此可以针对任意尺度的输入进行压缩重建，不会造成块状效应；(2)通过引入注意力机制分多次进行采样重建，可以实现用一个网络完成不同采样率下的压缩感知重建，并且自适应压缩采样能够提高压缩测量的效率。
附图说明
[0023]
图1为本发明的方法流程图。
[0024]
图2为本发明实施例中压缩采样网络的具体结构示意图。
[0025]
图3为本发明实施例中重建网络的具体结构示意图
具体实施方式
[0026]
下面将结合附图及具体实施例对本发明进行详细描述。
[0027]
参照图1，本实施例的一种基于卷积神经网络的任意尺度自适应压缩感知重建方法，具体包括如下步骤：
[0028]
步骤1，压缩测量：压缩测量使用线性全卷积神经网络ψ1，其输入为m*n*1的图像i，输出为的压缩测量结果y1，其第一层卷积层共1个卷积核，卷积核大小为k*k，步长为1，pad为第二层和第三层卷积层各s个卷积核，卷积核大小为k*k，步长为1，pad为第四层和第五层卷积层共s个卷积核，卷积核大小为k*k，步长为2，pad为第六层共1个卷积核，卷积核大小为k*k，步长为2，pad为值得注意的是[
·
]表示向下取整，ψ1中卷积层不使用任何的偏置和激活函数，该线性全卷积神经网络可以等效为压缩感知中的测量矩阵。
[0029]
步骤2，重建：重建过程使用全卷积神经网络f1，其输入为的压缩测量结果y1，输出的重建结果r1，其第一部分为1个卷积层，卷积层共s个卷积核，卷积核大小为k*k，步长为1，pad为第二部分为1个残差密集块，其中卷积核大小为k*k，步长为1，pad为第三部分为串联的3个上采样模块，每个上采样模块的结构为：第一层为卷积层，共s个卷积核，卷积核大小为k*k，步长为1，pad为第二层使用亚像素卷积作为上采样层，上采样因子设为2，第三层为激活层，使用leaky relu作为激活函数；第四部分为1个卷积层，共1个卷积核，卷积核大小为k*k，步长为1，pad为
[0030]
步骤3，生成注意力图：使用基于卷积神经网络的注意力模块t1生成注意力图a1，t1输入为的重建结果r1，输出为的注意力图a1，其前两层为卷积层，每层各1个卷积核，卷积核大小为k*k，步长为1，pad为第三层为激活层，使用sigmoid函数作为激活函数。
[0031]
步骤4，调制：将步骤3得到的注意力图a1和输入图像i进行点乘，得到调制后的输入图像i1。
[0032]
步骤5，再次压缩测量：使用线性全卷积神经网络ψ2对调制后的输入图像i1进行压缩测量，得到测量结果y2；其中ψ2与步骤1中ψ1具有相同的结构，但输入对象不同，因此不能共享参数。
[0033]
步骤6，再次重建：使用全卷积神经网络f2对测量结果y2进行重建，并与步骤2的结果r1相加，得到重建结果r2。与步骤2中f1具有相同的结构，但不共享参数。
[0034]
步骤7，重复步骤3～6，直到得到目标压缩率下的重建结果ri，其中，i由目标采样率决定，每次压缩测量的采样率为1/64，目标采样率为1/64的i倍。值得注意的是：重复步骤3～6时用到的网络结构均与步骤3～6中的网络结构相同，但不共享参数。步骤7中，目标压缩率为的整数倍，在训练时，设置总压缩率为0.5，即共需要采样32次，即在上述步骤完成采样2次后，再重复步骤3～6采样30次。在训练过程中，需要训练好每一次迭代中注意力模块、压缩采样模块和重建模块后固定前面所有迭代的参数，继续训练下一次迭代的参数，直到完成整个网络的训练。整个网络训练完成后，每一次迭代的重建结果均对应一个1/64的整数倍采样率，整个网络可完成32个不同的采样率，即为1/64～32/64的采样率。