一种基于聚类的神经网络图像分块重构方法与流程

1.本发明涉及一种基于聚类的神经网络图像分块重构方法，属于图像处理技术领域。


背景技术：

2.压缩感知在图像重构领域有重要应用，该理论打破传统乃奎斯特采样定理的限制,使图像信号在采样的同时完成压缩，并以少量采样点对原始信号进行精确重构。因此，在图像的存储、传输以及分析和处理方面有很大优势，成为近些年的研究热点。
3.在此基础之上，lu gan等人针对图像信号提出分块压缩感知理论，对图像进行分块操作，并单独处理各图像块，降低了所需的存储空间的同时，编码端无需等待整幅图像都完成观测后再进行编码，在图像块投影到观测矩阵后就可以进行编码传输，缩短了数据采样和重构的时间。除此之外，由于分块后的图像对应的观测矩阵尺寸变小，计算复杂度也随之降低。
4.现有的图像分块重构方法是将所有的图像块输入到同一个神经网络之中，没有体现出图像块与块之间的差异性。
5.近年来随着深度学习的快速发展,卷积神经网络成为深度学习的重要组成部分，并在图像处理等视觉领域得到了广泛应用。因此，在传统压缩感知方法的基础之上，结合深度学习框架，将图像重构与卷积神经网络相结合，提高了图像重构的效率以及精度。


技术实现要素：

6.针对现有技术的不足，本发明提供了一种基于聚类的神经网络图像分块重构方法；
7.本发明将图像分块重构技术与聚类方法相结合，能更好的利用图像结构信息和图像块差的差异性实现图像块分类重构。
8.术语解释：
9.分块：将图像划分为m x n个不重叠的子区域，m和n分别为图像横向和纵向分块的个数，每个子区域代表一个图像块。
10.本发明的技术方案为：
11.一种基于聚类的神经网络图像分块重构方法，包括步骤如下：
12.1)图像预处理：对输入的m张图像进行灰度化处理，并将像素大小调整为p1*p1；p1为32的倍数；
13.2)对步骤1)预处理后的m张图像进行简单重构，得到重构后的图像；
14.3)分别对步骤1)预处理后的m张图像和步骤2)得到的重构后的图像进行分块，得到对应位置的成对图像块；
15.每张图像块的像素大小设为p2*p2，p2的取值为32；每张图像产生(p1/p2)^2张图像块，则，m张图像共产生m*(p1/p2)^2张图像块，对步骤1)预处理后的m张图像分块后得到
原图像块，记为c1，对步骤2)得到的重构后的图像分块后得到重构图像块，记为c2；
16.4)对c1中的每一张图像块xi进行k均值聚类，1≤i≤m*(p1/p2)^2，xi∈c1，总类数为k，将每张图像块分配到一个子类中，第i张图像块的聚类结果为ni，1≤ni≤k，1≤i≤m*(p1/p2)^2；
17.5)基于图像块c1所分成的k类，每一类训练一个精细化的卷积神经网络，共得到k个训练后的卷积神经网络；以图像块作为输入，目标输出为(作为xi∈c1的估计值)；
18.6)利用n张图像进行测试：对该n张图像依次经过步骤1)的图像预处理、步骤2)的简单重构及步骤3)的分块处理，将得到的图像块存储在列表中，每一个图像块的索引序号表示为(0，0)、(0，1)、...、(i，j)、...、(n-1，m-1)；
19.7)利用k近邻算法判断步骤6)中列表中的每张图像块属于k类中的哪个类别，将图像块输入对应类别的训练后的卷积神经网络，利用此图像块在列表中的索引序号，将经过训练后的卷积神经网络所生成的图像块拼接回原来的位置，并利用去噪器对图像进行降噪处理，得到合成图像。计算生成的合成图像的平均峰值信噪比psnr，用psnr来评价一幅图像压缩后和原图像相比质量的好坏，psnr越高，压缩后失真越小。
20.根据本发明优选的，步骤2)的具体实现过程如下：
21.a、设矩阵φ的大小为m*n，m《《n，矩阵φ由0、1、-1随机构成；
22.b、对步骤1)预处理后的m张图像中的任一张图像z进行离散余弦变换(discrete cosinetransform
–
dct)为：s＝dct(z)；dct是用于图像处理的一种方法，是一种块变换方式用于图像数据压缩。
23.c、压缩观测，求取观测向量：y＝φ*s＝φ*dct(z)，其中y为观测向量m*1；
24.d、重构得到：
25.e、对进行离散余弦逆变换得到：进行离散余弦逆变换得到：为重构后的图像。
26.根据本发明优选的，步骤4)的实现过程如下：
27.f、在所有的图像块中随机选取k张图像块作为初始的聚类中心；
28.g、计算每张图像块到各聚类中心的欧氏距离，将每张图像块归到欧氏距离最小所对应的类别中；
29.h、在对所有图像块完成一次分类后，对每个类以当前所有图像块的均值作为该类新的聚类中心；
30.i、重复步骤g和步骤h，直至聚类中心不再变化或达到设定的迭代次数。
31.根据本发明优选的，卷积神经网络包括三层卷积层，第一层卷积层包括64个滤波器，每个滤波器包括1个大小为11*11的通道；第二层卷积层包括32个滤波器，每个滤波器包括64个大小为11*11的通道；第三层卷积层包括1个滤波器，该滤波器包括32个大小为11*11的通道；
32.每个卷积层对其输出应用relu函数进行非线性激活；
33.使用均方误差作为损失函数，如式(ⅰ)所示：
[0034][0035]
式(ⅰ)中，l为每类中图像块的个数；
[0036]
利用后向传播算法更新每个神经元的权重和偏置值。
[0037]
将每类中的初始重构图像块输入对应的卷积神经网络，目标输出为计算卷积神经网络对应的损失函数值，利用后向传播算法更新每个神经元的权重和偏置值，重复迭代直至损失函数值小于阈值，训练完成。
[0038]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现基于聚类的神经网络图像分块重构方法的步骤。
[0039]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于聚类的神经网络图像分块重构方法的步骤。
[0040]
本发明的有益效果为：
[0041]
1、本发明针对图像不同位置对应的图像块的结构信息不同，对图像块进行分类分别重构，最后进行拼接去噪，使得重构图像的精确程度更高，能更好的利用图像结构信息和图像块差的差异性实现图像块分类重构。
[0042]
2、本发明共进行了两次重构，一次是对整体图像的初始重构；一次是基于初始重构图像的非线性分块深度重构，进一步细化初始重构图像使得重构图像的精度更高。
[0043]
3、本发明初次重构的采样矩阵为三值矩阵由{-1，0，1}构成，相比传统采样矩阵，运算的复杂程度和存储的成本大大降低，此采样矩阵未来可拓展应用于多种结构的深度重构网络，扩大了应用范围。
附图说明
[0044]
图1是本发明提出的基于聚类的神经网络图像分块重构方法的流程框图；
[0045]
图2是本发明卷积神经网络的结构示意图。
具体实施方式
[0046]
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
[0047]
实施例1
[0048]
一种基于聚类的神经网络图像分块重构方法，如图1所示，包括步骤如下：
[0049]
1)图像预处理：选取100张图像，其中90张作为训练集，10张作为测试集，且将训练集图像全部进行灰度化处理，测试时，如果是彩色图像，可将图像分成r、g、b三个通道，依次单独进行测试。并将图像的像素大小调整为32的倍数；
[0050]
2)对步骤1)预处理后的90张图像进行简单重构，得到重构后的图像；步骤2)的具体实现过程如下：
[0051]
a、设矩阵φ的大小为m*n，m《《n，矩阵φ由0、1、-1随机构成，一般采用的压缩率为0.25，0.10，0.04或0.01；
[0052]
b、对步骤1)预处理后的m张图像中的任一张图像z进行离散余弦变换(discrete cosine transform
–
dct)为：s＝dct(z)；
[0053]
s、dct是用于图像处理的一种方法，是一种块变换方式用于图像数据压缩。
[0054]
c、压缩观测，求取观测向量：y＝φ*s＝φ*dct(z)，其中y为观测向量m*1；
[0055]
d、重构得到：
[0056]
e、对进行离散余弦逆变换得到：进行离散余弦逆变换得到：为重构后的图像。
[0057]
3)分别对步骤1)预处理后的90张图像和步骤2)得到的重构后的90张图像进行分块，得到对应位置的成对图像块；每张图像块的像素大小设为32*32，将所有的原图像块记为c1，将所有的重构图像块记为c2；
[0058]
4)对c1中的每一张图像块xi进行k均值聚类，xi∈c1，总类别数设为3，将每张图像块分配到一个子类中，第i张图像块的聚类结果为ni，1≤ni≤3；步骤4)的实现过程如下：
[0059]
f、在所有的图像块中随机选3张图像块作为初始的聚类中心；
[0060]
g、计算每张图像块到各聚类中心的欧氏距离，将每张图像块归到欧氏距离最小所对应的类别中；
[0061]
h、在对所有图像块完成一次分类后，对每个类以当前所有图像块的均值作为该类新的聚类中心；
[0062]
i、重复步骤g和步骤h，直至聚类中心不再变化或达到设定的迭代次数。
[0063]
5)基于图像块c1所分成的3类，每一类训练一个精细化的卷积神经网络，共得到3个训练后的卷积神经网络；以图像块作为输入，目标输出为(作为xi∈c1的估计值)；
[0064]
6)利用10张图像进行测试：对该10张图像依次经过步骤1)的图像预处理、步骤2)的简单重构及步骤3)的分块处理，将得到的图像块存储在列表中，每一个图像块的索引序号表示为(0，0)、(0，1)、...、(i，j)、...、(n-1，m-1)；
[0065]
7)利用k近邻算法判断步骤6)中列表中的每张图像块属于3类中的哪个类别，将图像块输入对应类别的训练后的卷积神经网络，利用此图像块在列表中的索引序号，将经过训练后的卷积神经网络所生成的图像块拼接回原来的位置，并利用去噪器对图像进行降噪处理，得到合成图像。计算生成的合成图像的平均峰值信噪比psnr，用psnr来评价一幅图像压缩后和原图像相比质量的好坏，psnr越高，压缩后失真越小。
[0066]
如图2所示，卷积神经网络包括三层卷积层具体如下：第一层有64个滤波器，每个滤波器有1个大小为11*11的通道，生成64个大小为32*32的特征图；第二层有32个滤波器，每个滤波器有64个大小为11*11的通道，生成32个大小为32*32的特征图；第三层有1个滤波器，该滤波器有32个大小为11*11的通道，生成大小为32*32的重建图像块。初始化权重分布均服从于均值为0，方差为0.01的高斯分布，偏置初始值均设置为0。
[0067]
每个卷积层对其输出应用relu函数进行非线性激活；
[0068]
使用均方误差作为损失函数，如式(ⅰ)所示：
[0069][0070]
式(ⅰ)中，l为每类中图像块的个数；
[0071]
利用后向传播算法更新每个神经元的权重和偏置值。
[0072]
将每类中的初始重构图像块输入对应的卷积神经网络，目标输出为计算卷积神经网络对应的损失函数值，利用后向传播算法更新每个神经元的权重和偏置值，重复迭代直至损失函数值小于阈值，训练完成。
[0073]
实施例2
[0074]
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计
算机程序时实现实施例1所述的基于聚类的神经网络图像分块重构方法的步骤。
[0075]
实施例3
[0076]
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现实施例1所述的基于聚类的神经网络图像分块重构方法的步骤。