一种基于对抗学习的灰度图像同时上色超分方法与流程

1.本发明涉及上色超分方法技术领域，具体涉及的是一种基于对抗学习的灰度图像同时上色超分方法。


背景技术：

2.随着深度学习的发展及算力的提高，许多基于深度学习的灰度图像上色技术和图像超分辨率方法都取得了不错的效果。
3.图像上色的目的是对灰度图像进行上色，以获得更吸引人的彩色图像，可以应用于影视制作和老照片修复等场景；图像超分则是学习一种非线性映射，从低分辨率输入图像中重构高分辨率图像，可用于图像/视频增强以具有更好的感官效果，具有极大的应用潜力。
4.已有的方法对灰度图像进行增强时一般先进行上色操作，然后使用超分技术对上色后的图像进一步增加分辨率。这种分离的模式需要两个模型对图像进行串行处理，不能复用提取的图像特征而造成计算资源的浪费，且流程繁琐不能实现端到端的训练。
5.针对这一问题，亟待一种端到端的网络实现对输入灰度图像同时上色超分，即在应用时给定任意一张低分辨率的灰度图像，网络输出一张高分辨率的彩色图像。


技术实现要素：

6.本发明的目的在于针对目前灰度图像上色技术和图像超分辨率方法所存在的不足，提供一种基于对抗学习的灰度图像同时上色超分方法，该方法基于端到端的网络实现对输入灰度图像同时上色超分，在应用时给定任意一张低分辨率的灰度图像，网络输出一张高分辨率的彩色图像。
7.本发明解决其技术问题所采用的技术方案是：一种基于对抗学习的灰度图像同时上色超分方法，包括以下步骤：上色模块包含两个特征提取分支和两个特征提取分支分别对源图像和参考图像进行特征提取得到特征f
s
和f
r
；特征f
s
和f
r
通过提出的valvecrossattention(vcattn)模块进行融合得到融合特征f
int
；融合特征f
int
经由φ
d
恢复到与源图像相同的分辨率，特征表示为色彩特征f
color
；经过一个block进行特征提取得到f
sinit
，其作为超分模块的初始输入，经由ψ
e
输出纹理特征f
tex
；色彩特征f
color
和纹理特征f
tex
在通道层面连接后经ψ
d
得到处理后的特征f
cs
，其根据不同的输出分辨率参数上采样得到最后经函数得到目标彩色图像。
8.优选的，两个特征提取分支和采用相同的网络结构设计，每个特征提取分支均由9个block组成，第4和第7个block中的conv进行空间下采样及通道上采样，以更高效地
进行特征提取。
9.优选的，block由核大小为3的卷积层、实例归一化层、参数整流线性单元激活函数串接组成。
10.优选的，关于vcattn模块结构，对于输入的源图像特征f
s
，其经过1层卷积变化得到q
s
；对于输入的参考图像特征f
r
，其经过两个1层卷积变化得到k
r
和v
r
；q
s
和k
r
计算相关性矩阵cmat并与v
r
进行矩阵相乘操作得到f
r
→
s
；之后该特征f
r
→
s
与f
s
在通道层面拼接后通过1层卷积得到两个分支的阀门通过量v1和v2，其与f
s
和f
r
→
s
分别相乘对特征实现流量控制，并与f
s
相加后输出最终特征f
t
。
11.优选的，φ
d
由7个block组成，第3个block后添加一个self
‑
attention层，第5和第7个block提升空间分辨率并进行通道降维。
12.优选的，ψ
e
由16层resblock组成，每个resblock由2个conv与1个跳接组成。
13.优选的，由4层卷积核大小为1的conv组成。
14.本发明针对当前的方法不能端到端实现低分辨率灰度图像同时上色超分这一问题，提出了一种基于对抗学习的灰度图像同时上色超分方法，即simultaneously image colorization and super
‑
resolution(scsnet)。
15.该方法采用端到端的设计理念，使用统一的模型对低分辨率灰度图像同时进行上色和超分两种处理，相比于传统的两阶段模型具有更高的效率和更好的效果。
16.具体地，我们提出的方法包含图像上色模块和图像超分模块。图像上色模块包含两个特征提取分支分别对源图像(低分辨率灰度图像)和参考图像(彩色图像)进行特征提取，然后通过提出的valve cross attention(vcattn)子模块将参考图像的色彩信息融合到源图像中，融合后的特征通过基于卷积的特征变换后送入到超分模块。超分模块对输入的源图像提取纹理特征后融合上色模块输出的色彩特征，再由我们提出的continuous pixel mapping(cpm)模块将融合特征映射到目标高分辨率彩色图像。训练过程中，我们除了采用像素级损失函数，还额外使用了感知损失和对抗损失进一步提升生成图像的效果。
17.本发明与现有技术相比，有益效果是：本发明的方法采用端到端的设计理念，使用统一的模型对低分辨率灰度图像同时进行上色和超分两种处理，相比于传统的两阶段模型具有更高的效率和更好的效果。基于本发明的端到端的网络实现对输入灰度图像同时上色超分，在应用时给定任意一张低分辨率的灰度图像，网络输出一张高分辨率的彩色图像。
附图说明
18.图1为本发明的总体结构图。
19.图2为本发明的block结构图。
20.图3为本发明的vcattn模块结构图。
21.图4为本发明的resblock结构图。
22.图5为实施例中imagenet上色超分结果图。
具体实施方式
23.现在将进一步细化基于附图所示的代表性实施方案。应当理解，以下描述并非旨
在将实施方案限制于一个优选实施方案。相反，其旨在涵盖可被包括在由所附权利要求限定的所述实施方案的实质和范围内的替代形式、修改形式和等同形式。
24.一种基于对抗学习的灰度图像同时上色超分方法，该方法采用上色模块(vcattn
‑
basedcolorization)和超分模块(cpm
‑
basedsuper
‑
resolution)，每个模块由卷积层(conv)、实例归一化层(in)、参数整流线性单元激活函数(prelu)、泄露整流线性单元激活函数(lrelu)、上采样层(us)中的几种组合而成。cat代表在通道维度进行特征拼接，add代表在像素维度进行相加，具体包括以下步骤：参考图1，上色模块包含两个特征提取分支和两个特征提取分支分别对源图像和参考图像进行特征提取得到特征f
s
和f
r
；特征f
s
和f
r
通过提出的valvecrossattention(vcattn)模块进行融合得到融合特征f
int
；融合特征f
int
经由φ
d
恢复到与源图像相同的分辨率，特征表示为色彩特征f
color
；φ
d
由7个block组成，第3个block后添加一个self
‑
attention层，第5和第7个block提升空间分辨率并进行通道降维；经过一个block进行特征提取得到其作为超分模块的初始输入，经由ψ
e
输出纹理特征f
tex
；ψ
e
由16层resblock组成，每个resblock由2个conv与1个跳接组成；resblock的结构图如图4所示；色彩特征f
color
和纹理特征f
tex
在通道层面连接后经ψ
d
得到处理后的特征f
cs
，其根据不同的输出分辨率参数上采样得到最后经函数得到目标彩色图像，由4层卷积核大小为1的conv组成。。
25.在上述的方法中，具体的如下。
26.首先，两个特征提取分支和采用相同的网络结构设计，每个特征提取分支均由9个block组成，第4和第7个block中的conv进行空间下采样及通道上采样，以更高效地进行特征提取。如图2所示，block由核大小为3的卷积层、实例归一化层、参数整流线性单元激活函数串接组成。
27.关于vcattn模块结构，如图3所示，对于输入的两路特征f
s
和f
r
，其经过self
‑
attention操作(q
s
、k
r
、v
r
变换及矩阵相乘)得到特征f
r
→
s
。之后该特征与f
s
在通道层面拼接后输出两个分支的阀门通过量v1和v2，其与f
s
和f
r
→
s
分别相乘对特征实现流量控制，并与f
s
相加后输出最终特征f
t
。cat代表在通道维度进行特征拼接，mul代表在像素维度进行相乘，add代表在像素维度进行相加。
28.更具体的是：对于输入的源图像特征f
s
，其经过1层卷积变化得到q
s
；对于输入的参考图像特征f
r
，其经过两个1层卷积变化得到k
r
和v
r
；q
s
和k
r
计算相关性矩阵cmat并与v
r
进行矩阵相乘操作得到f
r
→
s
；之后该特征f
r
→
s
与f
s
在通道层面拼接后通过1层卷积得到两个分支的阀门通过量v1和v2，其与f
s
和f
r
→
s
分别相乘对特征实现流量控制，并与f
s
相加后输出最终特征f
t
。
29.训练时，每批数据中的源图像随机从训练集中取样，参考图像选取方式有两
种。第一种为与具有相同内容的彩色图像，此时我们使用像素级损失函数、感知损失函数和对抗损失进行约束；第二种为随机取样的图像，此时我们仅使用对抗损失进行约束。
30.11.测试时，给定任意一张低分辨率灰度图像与一张彩色参考图像我们的方法能够直接输出一张高分辨率彩色图像
31.我们在imagenet上进行实验，如图5所示，第1列为低分辨率灰度图输入，第2列和第3列为根据不同彩色参考图像生成的目标彩色图像。其中彩色参考图像由红色虚线框标识。
32.上述实施例用来解释说明本发明，而不是对本发明的限制，在本发明的精神和权利要求的保护范围内，对本发明的任何修改和改变，都落入本发明的保护范围。