基于超分辨率图像重建和类别一致性约束的图像分类方法

1.本发明属于图像处理技术领域，涉及一种图像分类方法，基于超分辨率图像重建和类别一致性约束的图像分类方法，可用于图像分类等领域。


背景技术：

2.在不同场景下，由于相机设备拍摄位置的影响，相机拍摄的场景图像下的图像存在“近大远小”的问题，同时受到环境的变化和图像传输时的压缩算法的影响，得到的图像分辨率高低不一。而低分辨率的图像会导致图像特征信息丢失，图像分类算法的分类准确率受到严重影响。为了更加准确的分类低分辨率图像，需要提高图像分辨率，减小不同分辨率带来的影响。随着深度学习和图像处理技术的发展，在处理不同低辨率的图像时，一般先对图像进行超分辨率重建，再对重建后的超分辨率图像进行分类。
3.浙江理工大学在其申请的专利文献“一种基于超分辨率重建的模糊图像分类方法”(申请号：202110713780.4，申请公布号：cn113344110a)中，公开了一种基于超分辨率重建的模糊图像分类方法。该方法包括以下步骤：(1)对原始高分辨率图像指定类别标签，然后将原始高分辨率图像进行高斯平滑后再进行下采样，获得带有标签的低分辨率图像；(2)构建融合模型，包括串联的超分辨率重建模型和分类模型，超分辨率重建模型包括串联的生成模型和鉴别模型；(3)分别建立超分辨率重建模型和分类模型的损失函数，利用训练集来训练步骤(2)建立的融合模型，利用测试集测试融合模型获得具有在线生产能力的融合模型。该方法在一定程度上提高分类的准确率，但其存在的不足之处是：融合模型中分类模型训练中仅使用低分辨率图像信息，提取到的低分辨率图像特征的分辨性不足，进而影响图像分类精度的进一步提升。


技术实现要素：

4.本发明的目的在于克服上述现有技术存在的缺陷，提出了一种基于超分辨率图像重建和类别一致性约束的图像分类方法，旨在提高图像的分类精度。
5.为实现上述目的，本发明采取的技术方案包括如下步骤：
6.(1)获取训练样本集和测试样本集：
7.(1a)获取包括m个目标类别且每个类别包含k幅rgb图像的数据集d1，并对每幅图像中的目标进行标注，然后对d1中的每幅图像进行下采样，得到包括mk幅低分辨率图像的数据集d2，其中m≥100，k≥40；
8.(1b)随机选取图像数据集d1中每类别包含的x幅图像，并将所选取的共n＝mx幅rgb图像及其对应的低分辨率图像，以及每幅图像的类别标签组成训练样本集r，同时将剩余的m(k-x)幅低分辨率图像以及每幅图像的类别标签组成测试样本集e，其中，x＞0.5k；
9.(2)构建基于超分辨率重建和类别一致性的图像分类网络模型c：
10.构建包括并行排布的网络参数为的第一特征提取网络h1和网络参数为θ
l
的低分辨率特征提取网络l的图像分类网络模型c，其中低分辨率特征提取网络l由顺次连接的
超分辨图像重建网络s和第二特征提取网络h2组成；第一、第二特征提取网络h1、h2均包括多个卷积层、多个mbconv模块、全连接层和softmax激活函数层；超分辨图像重建网络s包括多个卷积层、多个rbconv残差网络模块和多个子像素卷积层；低分辨率特征提取网络l的损失函数z(θ
l
)由低分辨率图像交叉熵损失函数j(θ
l
)、超分辨率重建像素损失函数f(θ
l
)和类别一致性损失函数b(θ
l
)组成；
11.(3)对图像分类网络模型c进行迭代训练；
12.(3a)初始化迭代次数为t，最大迭代次数为t,t≥100，并令t＝0；
13.(3b)将训练样本集r作为图像分类网络模型c的输入，第一特征提取网络h1对r中的每幅rgb图像进行特征提取，得到每幅rgb图像的特征，softmax激活函数层通过每幅rgb图像的特征计算每幅rgb图像的类别概率；同时低分辨率特征提取网络l中的超分辨图像重建网络s对r中每幅rgb图像对应的低分辨率图像进行图像重建，得到重建图像，第二特征提取网络h2对s输出的每幅重建图像进行特征提取，得到每幅重建图像的特征，softmax激活函数层通过每幅重建图像的特征计算每幅低分辨率图像的类别概率；
14.(3c)计算第一特征提取网络h1的损失值和低分辨率特征提取网络l的损失值z(θ
l
)，并通过和z(θ
l
)分别对θ
l
进行更新，得到本次迭代的图像分类网络模型c
t
；
15.(3d)判断t≥t是否成立，若是，得到训练好的图像分类网络模型c'，否则，令t＝t 1，并执行步骤(3b)；
16.(4)获取低分辨率图像分类结果：
17.将测试样本集e作为低分辨率特征提取网络l的输入进行前向传播，得到每幅低分辨率图像的属于每个类别的概率，并将每幅图像概率最大的类别作为该幅图像的分类结果。
18.本发明与现有技术相比，具有如下优点：
19.本发明所构建的图像分类网络模型包含有并行排布的第一特征提取网络和顺次连接的超分辨图像重建网络和第二特征提取网络组成的低分辨率特征提取网络，在对该模型进行训练的过程中，第一特征提取网络对每幅rgb图像进行特征提取，超分辨图像重建网络对每幅低分辨率图像进行图像重建，第二特征提取网络对每幅重建图像进行特征提取，超分辨重建图像不同rbconv模块之间短路连接，可以有效恢复图像细节信息，进而提升了网络的分类精度；同时利用类别一致性损失函数约束低分辨率图像的类别概率分布和rgb图像的类别概率分布之间的差异，通过学习使低分辨率图像特征拟合高分辨率图像特征，能够避免低分辨率图像特征缺乏分辨性的缺陷，进一步提升网络的分类精度。
附图说明
20.图1为本发明的实现流程图；
21.图2为本发明实施例中超分辨图像重建网络的结构示意图；
22.图3为本发明中rbconv残差网络模块的结构示意图；
23.图4为本发明图像分类网络训练过程的原理图。
具体实施方式
24.以下结合附图和具体实施例，对本发明作进一步详细描述。
25.参照图1，本发明包括如下步骤：
26.步骤1)获取训练样本集和测试样本集：
27.(1a)获取包括m个目标类别且每个类别包含k幅rgb图像的数据集d1，并对每幅图像中的目标进行标注，为了获取低分辨率图像，然后对d1中的每幅图像进行下采样，得到包括mk幅低分辨率图像的数据集d2，其中m≥100，k≥40；本实例中采用类别数为101且每个类别包含40幅图像的101flowers数据集，对数据集进行4倍下采样，得到包含4040幅图像的低分辨率数据集；
28.(1b)随机选取图像数据集d1中每类别包含的x幅图像，并将所选取的共n＝mx幅rgb图像及其对应的低分辨率图像，以及每幅图像的类别标签组成训练样本集r，同时将剩余的m(k-x)幅低分辨率图像以及每幅图像的类别标签组成测试样本集e，其中，x＞0.5k；本实例中从101flowers数据集中每类随机选取24幅图像及其对应的低分辨率图像，以及每幅图像的类别标签组成共4848幅图像的训练样本集，同时将剩余的1616幅低分辨率图像以及每幅图像的类别标签组成测试样本集；
29.步骤2)搭建生成对抗网络模型：
30.构建包括并行排布且类别概率一致的第一特征提取网络h1和低分辨率特征提取网络l的图像分类网络模型c，低分辨率特征提取网络l由顺次连接的超分辨图像重建网络s和第二特征提取网络h2组成，其中，第一、第二特征提取网络h1、h2均包括多个卷积层、多个mbconv模块、全连接层和softmax激活函数层；超分辨图像重建网络s包括多个卷积层、多个rbconv残差网络模块和多个子像素卷积层；
31.本实例中第一、第二特征提取网络h1、h2具体结构和参数如下：
32.第一卷积层conv1
→
16个mbconv模块
→
第二卷积层conv2
→
全连接层
→
softmax激活函数层
33.mbconv模块包括顺次连接的卷积mbconv_1、深度可分离卷积mbconv_2，深度可分离卷积mbconv_2包括顺次连接的逐通道卷积和逐点卷积；
34.第一卷积层conv1的卷积核大小为3
×
3，卷积步长为1，卷积核个数为32，卷积层后采用批归一化bn层；
35.第1个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为16，mbconv_2中逐通道卷积的卷积核大小为3
×
3，卷积步长为1，卷积核个数为16，逐点卷积的卷积核大小为1
×
1，卷积步长为1，卷积核个数为16，每个卷积层后采用批归一化bn层；
36.第2-3个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为24，mbconv_2中逐通道卷积的卷积核大小为3
×
3，卷积步长为1，卷积核个数为24，逐点卷积的卷积核大小为1
×
1，卷积步长为1，卷积核个数为24，每个卷积层后采用批归一化bn层；；
37.第3-4个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为40，mbconv_2中逐通道卷积的卷积核大小为5
×
5，卷积步长为1，卷积核个数为40，逐点卷积的卷积核大小为1
×
1，卷积步长为1，卷积核个数为40，每个卷积层后采用批归一化bn层；；
38.第4-5个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为40，mbconv_2中逐通道卷积的卷积核大小为5
×
5，卷积步长为1，卷积核个数为40，逐点卷积的
卷积核大小为1
×
1，卷积步长为1，卷积核个数为40，每个卷积层后采用批归一化bn层；；
39.第6-8个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为80，mbconv_2中逐通道卷积的卷积核大小为3
×
3，卷积步长为1，卷积核个数为80，逐点卷积的卷积核大小为1
×
1，卷积步长为1，卷积核个数为80，每个卷积层后采用批归一化bn层；；
40.第9-11个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为112，mbconv_2中逐通道卷积的卷积核大小为5
×
5，卷积步长为1，卷积核个数为112，逐点卷积的卷积核大小为1
×
1，卷积步长为1，卷积核个数为112，每个卷积层后采用批归一化bn层；；
41.第12-15个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为192，mbconv_2中逐通道卷积的卷积核大小为5
×
5，卷积步长为1，卷积核个数为192，逐点卷积的卷积核大小为1
×
1，卷积步长为1，卷积核个数为192，每个卷积层后采用批归一化bn层；；
42.第16个mbconv中mbconv_1的卷积核大小为1
×
1，卷积步长为1，卷积核个数为320，mbconv_2中逐通道卷积的卷积核大小为3
×
3，卷积步长为1，卷积核个数为320，逐点卷积的卷积核大小为1
×
1，卷积步长为1，卷积核个数为320，每个卷积层后采用批归一化bn层；；
43.卷积层conv2的卷积核大小为1
×
1，卷积步长为1，卷积核个数为1280，卷积层后采用批归一化bn层；全连接层的节点个数为101；
44.参照图2，本实例中超分辨图像重建网络s具体结构和参数如下：
45.超分辨图像重建网络s包括3个卷积层、12个rbconv残差网络模块和2个子像素卷积层；其具体结构为：第一卷积层conv2_1
→
12个rbconv残差网络模块
→
第二卷积层conv2_2
→
第一子像素卷积层subconv2_1
→
第二子像素卷积层subconv2_2
→
第三卷积层conv2_3
46.12个rbconv模块残差网络中第7、8、9、10、11、12个rbconv模块的输出分别于与第6、5、4、3、2、1个模块的输出短路连接。
47.参照图3，rbconv残差网络模块包括顺次连接的rbconv_1和rbconv_2；
48.第一卷积层conv2_1的卷积核大小为7
×
7，卷积步长为1，卷积核个数为64，卷积层后采用leakyrelu激活函数和批归一化bn层；
49.12个rbconv残差网络模块中rbconv_1和rbconv_2的卷积核大小均为3
×
3，步长均为1，卷积核个数均为64，rbconv_1卷积层后采用leakyrelu激活函数；
50.第一、第二子像素卷积层subconv2_1、subconv2_2中卷积核大小均为3
×
3，步长均为1，卷积核数量均为256，subconv2_1和subconv2_2卷积层后采用像素重组pixelshuffle操作和leakyrelu激活函数；
51.第三卷积层conv2_3的卷积核大小为7
×
7，步长为1，卷积核数量为3；
52.步骤3)对图像分类网络模型c进行迭代训练，其中步骤3b)和步骤3c)的原理如图4所示；
53.步骤3a)初始化迭代次数为t，最大迭代次数为t,t≥100，第一特征提取网络h1的网络参数为低分辨率特征提取网络l的网络参数为θ
l
，并令t＝0；本实例中t＝100；
54.步骤3b)将训练样本集r作为图像分类网络模型c的输入，第一特征提取网络h1中conv1提取r中的每幅rgb图像的低级特征，16个mbconv和conv2对每幅rgb图像的低级特征提取得到每幅rgb图像的高级特征，softmax激活函数层通过每幅rgb图像的高级特征计算
每幅rgb图像的类别概率；同时低分辨率特征提取网络l中的超分辨图像重建网络s对r中每幅rgb图像对应的低分辨率图像进行图像重建，conv2_1、12个rbconv和conv2_2提取每幅低分辨率图像的特征，其中，rbconv残差网络模块的输出为输入与rbconv_2输出求和得到，并且超分辨重建网络的不同rbconv残差网络模块之间短路相连，达到不同层特征之间的融合的目的，可以有效恢复图像细节信息，subconv2_1和subconv2_2进行两次上采样，conv2_3通过上采样后的特征得到重建图像；第二特征提取网络h2对s输出的每幅重建图像进行特征提取，得到每幅低分辨率图像的特征，softmax激活函数层通过每幅低分辨率图像的特征计算每幅低分辨率图像的类别概率；
55.每幅rgb图像的类别概率和每幅低分辨率图像的类别概率的的计算公式分别为：
[0056][0057][0058]
p
nm
表示第n幅rgb图像属于类别m的概率，e表示自然常数，v
nm
表示第n幅rgb图像的特征的第m个特征值，q
nm
表示第n幅低分辨率图像属于类别m的概率，u
nm
表示第n幅低分辨率图像的特征的第m个特征值；
[0059]
步骤3c)计算第一特征提取网络h1的损失值和低分辨率特征提取网络l的损失值z(θ
l
)，并通过和z(θ
l
)分别对θ
l
进行更新，得到本次迭代的图像分类网络模型c
t
；
[0060]
步骤3c1)计算第一特征提取网络h1的交叉熵损失值
[0061][0062]
其中，y
nm
表示第n幅rgb图像的类别标签是否为m，若是，y
nm
＝1，否则y
nm
＝0，log表示以e为底的对数操作
[0063]
步骤3c2)计算由低分辨率图像交叉熵损失函数j(θ
l
)、超分辨率重建像素损失函数f(θ
l
)、类别一致性损失函数b(θ
l
)组成的低分辨率特征提取网络l的损失函数z(θ
l
)：
[0064]
z(θ
l
)＝w1j(θ
l
) w2b(θ
l
) w3x(θ
l
)
[0065][0066][0067][0068]
其中，w1、w2和w3分别表示权重系数，u
nm
表示第n幅rgb图像的类别标签是否为m，若是u
nm
＝1，否则u
nm
＝0，sn表示第n幅rgb图像像素点的个数，i
ns
表示第n幅rgb图像的第s个像
素点的数值，r
ns
表示第n幅重建图像的第s个像素点的数值。
[0069]
b(θ
l
)约束使低分辨率图像的类别概率与rgb图像的类别概率的差异最小，则低分辨率图像的特征拟合分辨性更高的rgb图像的特征，也即低分辨率特征提取网络可以提取到分辨性更好的特征信息。
[0070]
步骤3c3)通过第一特征提取网络h1的交叉熵损失值对h1的网络参数进行更新，同时通过低分辨率特征提取网络l的损失值z(θ
l
)对l的网络参数θ
l
进行更新，得到θ
l
的更新结果θ'
l
：
[0071][0072][0073]
其中，α表示图像分类网络模型c的学习速率，表示求偏导操作。
[0074]
步骤4)获取低分辨率图像分类结果：
[0075]
将测试样本集e为低分辨率特征提取网络l的输入进行前向传播，得到每幅低分辨率图像的属于每个类别的概率，并将每幅图像概率最大的类别作为该幅图像的分类结果；本实例中只使用低分辨率图像来表示真实应用场景中只有低分辨率图像的情况，将1616幅低分辨率图像输入到训练好的低分辨率特征提取网络模型l中，得到低分辨率图像的分类结果。