基于超分辨率图像重建和类别一致性约束的图像分类方法

技术特征：
1.一种基于超分辨率图像重建和类别一致性约束的图像分类方法，其特征在于，包括如下步骤：(1)获取训练样本集和测试样本集：(1a)获取包括m个目标类别且每个类别包含k幅rgb图像的数据集d1，并对每幅图像中的目标进行标注，然后对d1中的每幅图像进行下采样，得到包括mk幅低分辨率图像的数据集d2，其中m≥100，k≥40；(1b)随机选取图像数据集d1中每类别包含的x幅图像，并将所选取的共n＝mx幅rgb图像及其对应的低分辨率图像，以及每幅图像的类别标签组成训练样本集r，同时将剩余的m(k-x)幅低分辨率图像以及每幅图像的类别标签组成测试样本集e，其中，x＞0.5k；(2)构建基于超分辨率重建和类别一致性的图像分类网络模型c：构建包括并行排布的网络参数为的第一特征提取网络h1和网络参数为θ
l
的低分辨率特征提取网络l的图像分类网络模型c，其中低分辨率特征提取网络l由顺次连接的超分辨图像重建网络s和第二特征提取网络h2组成；第一、第二特征提取网络h1、h2均包括多个卷积层、多个mbconv模块、全连接层和softmax激活函数层；超分辨图像重建网络s包括多个卷积层、多个rbconv残差网络模块和多个子像素卷积层；低分辨率特征提取网络l的损失函数z(θ
l
)由低分辨率图像交叉熵损失函数j(θ
l
)、超分辨率重建像素损失函数f(θ
l
)和类别一致性损失函数b(θ
l
)组成；(3)对图像分类网络模型c进行迭代训练；(3a)初始化迭代次数为t，最大迭代次数为t,t≥100，并令t＝0；(3b)将训练样本集r作为图像分类网络模型c的输入，第一特征提取网络h1对r中的每幅rgb图像进行特征提取，得到每幅rgb图像的特征，softmax激活函数层通过每幅rgb图像的特征计算每幅rgb图像的类别概率；同时低分辨率特征提取网络l中的超分辨图像重建网络s对r中每幅rgb图像对应的低分辨率图像进行图像重建，得到重建图像，第二特征提取网络h2对s输出的每幅重建图像进行特征提取，得到每幅重建图像的特征，softmax激活函数层通过每幅重建图像的特征计算每幅低分辨率图像的类别概率；(3c)计算第一特征提取网络h1的损失值和低分辨率特征提取网络l的损失值z(θ
l
)，并通过和z(θ
l
)分别对θ
l
进行更新，得到本次迭代的图像分类网络模型c
t
；(3d)判断t≥t是否成立，若是，得到训练好的图像分类网络模型c'，否则，令t＝t 1，并执行步骤(3b)；(4)获取低分辨率图像分类结果：将测试样本集e作为低分辨率特征提取网络l的输入进行前向传播，得到每幅低分辨率图像的属于每个类别的概率，并将每幅图像概率最大的类别作为该幅图像的分类结果。2.根据权利要求1所述的基于超分辨率图像重建和类别一致性约束的图像分类方法，其特征在于，步骤(2)中所述的图像分类网络模型c，其中：第一、第二特征提取网络h1、h2所包括的卷积层个数为2，mbconv模块的个数为16，全连接层个数为1；mbconv模块包括顺次连接的卷积mbconv_1、深度可分离卷积mbconv_2；超分辨图像重建网络s所包括的卷积层、rbconv残差网络模块和子像素卷积层的个数分别为3、12和2；rbconv残差网络模块包括顺次连接的卷积rbconv_1和卷积rbconv_2。
3.根据权利要求1所述的基于超分辨率图像重建和类别一致性约束的图像分类方法，其特征在于，步骤(3b)中所述的softmax激活函数层通过每幅rgb图像的特征计算每幅rgb图像的类别概率，以及softmax激活函数层通过每幅重建图像的特征计算每幅低分辨率图像的类别概率，计算公式分别为：率，计算公式分别为：p
nm
表示第n幅rgb图像属于类别m的概率，e表示自然常数，v
nm
表示第n幅rgb图像的第m个特征值，q
nm
表示第n幅低分辨率图像属于类别m的概率，u
nm
表示第n幅重建图像的第m个特征值。4.根据权利要求1所述的基于超分辨率图像重建和类别一致性约束的图像分类方法，其特征在于，步骤(3c)中所述的通过第一特征提取网络h1的损失值低分辨率特征提取网络l的损失值z(θ
l
)分别对θ
l
进行更新，实现步骤为：(3c1)计算第一特征提取网络h1的交叉熵损失值的交叉熵损失值其中，y
nm
表示第n幅rgb图像的类别标签是否为m，若是，y
nm
＝1，否则y
nm
＝0，log表示以e为底的对数操作；(3c2)计算低分辨率特征提取网络l的损失值z(θ
l
)：z(θ
l
)＝w1j(θ
l
) w2b(θ
l
) w3x(θ
l
)))其中，w1、w2和w3分别表示权重系数，u
nm
表示第n幅低分辨率图像的类别标签是否为m，若是u
nm
＝1，否则u
nm
＝0，s
n
表示第n幅rgb图像像素点的个数，i
ns
表示第n幅rgb图像的第s个像素点的数值，r
ns
表示第n幅重建图像的第s个像素点的数值；(3c3)通过第一特征提取网络h1的交叉熵损失值对h1的网络参数进行更新，同时通过低分辨率特征提取网络l的损失值z(θ
l
)对l的网络参数θ
l
进行更新，得到θ
l
的更新结果θ'
l
：
其中，α表示图像分类网络模型c的学习速率，表示求偏导操作。

技术总结
本发明公开了一种基于超分辨率图像重建和类别一致性约束的图像分类方法，实现步骤为：获取训练样本集和测试样本集；构建基于超分辨率重建和类别一致性的图像分类网络模型；对图像分类网络模型进行迭代训练；获取低分辨率图像分类结果。本发明利用超分辨率重建网络模块间短路连接提升低分辨率图像质量，丰富图像的细节信息，提升网络的分类精度，通过约束网络之间的类别概率一致，增加低分辨率特征提取网络提取到特征的分辨性，进一步提高了图像分类精度，可用于低分辨率图像分类。可用于低分辨率图像分类。可用于低分辨率图像分类。


技术研发人员：王晓甜 冯继凡 崔鑫语 党敏
受保护的技术使用者：西安电子科技大学
技术研发日：2022.09.29
技术公布日：2023/1/31