一种基于特征融合与注意力机制的单帧图像超分辨率方法与流程

技术特征：
1.一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：具体包括以下步骤：步骤一、制作数据集与标签；步骤二、构建基于多尺度特征融合的单帧图像超分辨率网络；步骤三、将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络，得到基于特征融合与注意力机制的超分辨率网络；步骤四、使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，获得网络输出的高分辨率图像；步骤二中所述基于多尺度特征融合的单帧图像超分辨率网络由3个卷积层、深度特征提取模块和基于亚像素卷积的上采样模块组成，所述深度特征提取模块中包含多尺度特征融合模块；所述深度特征提取模块还包括4个resnet中的基本残差块与1个卷积层，其中所述基本残差块中的所有归一化操作被移除；所述多尺度特征融合模块通过多种不同感受野的卷积核、relu激活操作及concat操作，得到拥有多尺度信息的特征图；所述通过多种不同感受野的卷积核、relu激活操作及concat操作，由三个不同感受野的特征提取单元并联组成，分别为第一特征提取单元、第二特征提取单元、第三特征提取单元；其中，每个特征提取单元由两组conv relu单元组成，第一特征提取单元中conv卷积核大小为1*1，第二特征提取单元中conv卷积核大小为3*3，第三特征提取单元中conv卷积核大小为5*5；且三个特征提取单元的卷积核的数量均为64个；在每个提取单元中，第1组conv relu单元提取的特征会被输入到所有特征提取单元的第2组conv relu单元，使得不同特征提取单元的特征信息共享互通；输入第2组conv relu单元的特征信息的初始通道数为192，经过concat操作后，该特征信息通道数调整为64；所述多尺度特征融合模块还包括特征融合单元，且特征融合单元由一个concat层、1个卷积核大小为1*1的conv层构成、1个残差连接操作；具体步骤为：获取由三种不同感受野的特征提取单元分别提取后的三种不同尺度的特征，将三种不同尺度的特征输入concat层，进行不同尺度信息的特征融合，再经过一个1*1的conv层，增强特征信息，最后利用残差连接操作，与初始特征信息求和，得到多尺度特征融合模块的输出特征信息。2.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：步骤一中所述制作数据集与标签，具体步骤包括：s1、从经典的div2k数据集中得到800张高分辨率图像用于训练网络，并选择公开的set5、set14、b100和urban100数据集用于测试网络的性能；s2、取上述数据集中的图像进行下采样操作，得到其指定缩小倍数的低分辨率图像；s3、将低分辨率图像裁剪成48*48大小的lr图像块，将其作为模型输入，并且将lr图像块对应的hr图像裁剪为（48*scale）*（48*scale）大小，将其作为输入对应的标签；其中scale表示指定的放大倍数；
s4、对训练图像进行随机进行旋转90
º
、180
º
、270
º
和水平翻转中一项操作，增加训练集的图像数量，再重复s2、s3以得到充足的训练图像与对应标签。3.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：步骤三中所述混合注意力机制，具体为：将通道注意力机制与空间注意力机制并联使用，并组合两个注意力机制中前期处理所得的特征信息权重，再进行sigmoid操作，最终与初始信息求和，得到输出结果。4.根据权利要求3所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：所述通道注意力机制与空间注意力机制并联使用，具体为：通道注意力机制依次由一个全局池化层、一个conv层、一个relu激活层、一个conv层串联组成，且上述conv层均使用1*1的卷积核，其数量为64；空间注意力机制依次由一个conv层、一个relu激活层、一个conv层串联组成，且上述conv层均使用3*3的卷积核，其数量为64。5.根据权利要求1所述的一种基于特征融合与注意力机制的单帧图像超分辨率方法，其特征在于：步骤四中所述使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，具体步骤包括：将48*48*3维度的低分辨率图像作为输入，经过基于特征融合与注意力机制的超分辨率网络的处理后其输出是一幅（48*scale）*（48*scale）*3维度的高分辨率图像；其中，scale表示指定的放大倍数。

技术总结
本发明属于图像处理技术领域，具体涉及一种基于特征融合与注意力机制的单帧图像超分辨率方法，具体包括以下步骤：步骤一、制作数据集与标签；步骤二、构建基于多尺度特征融合的单帧图像超分辨率网络；步骤三、将混合注意力机制引入基于多尺度特征融合单帧图像超分辨率网络，得到基于特征融合与注意力机制的超分辨率网络；步骤四、使用所述基于特征融合与注意力机制的超分辨率网络对待重建的低分辨率图像进行重建，获得网络输出的高分辨率图像。克服了现有技术的不足，在经典超分辨率方法的基础上，引入多尺度特征融合与混合注意力机制，提供多尺度的特征信息，并且剔除冗余特征，以增强模型的深度特征提取能力。以增强模型的深度特征提取能力。以增强模型的深度特征提取能力。


技术研发人员：黄德天 陈菲杨 黄诚惕 许少健 徐正军 黄小茜
受保护的技术使用者：泉州市蓝领物联科技有限公司
技术研发日：2022.12.01
技术公布日：2022/12/30