一种多尺度特征融合的人脸超分辨率重构方法及系统

1.本公开涉及计算机视觉技术领域，具体涉及一种多尺度特征融合的人脸超分辨率重构方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.超分辨率，是将输入的低分辨率的图像，也即小尺寸、像素数量相对较少因而视觉效果较差的图像，重新构建成像素数量相对较多，有着良好的视觉效果的清晰的图片。人脸超分辨率重构是图像超分辨率重构的子任务，它与普通的图像超分辨率任务有所相似却又侧重不同，顾名思义，人脸超分辨率的重点在于人脸的五官以及人脸轮廓的重建，因而全局与局部细节有着不同程度的重建。人脸超分辨率重构应用广泛，由于公共监控平台设备性能受限，采集到的人脸往往是退化严重的低分辨率的人脸图像，因此需要对其进行预处理操作，也就是进行人脸超分辨率重构，经过重构的人脸图片分辨率大幅提高，五官清晰可辨，这对后续的人脸解析，人脸对齐以及人脸识别等任务上都起到了极大的作用。早期的人脸超分辨率重建的传统方法主要有两种：基于图像插值的方法，例如双三次插值、最邻近插值法等，但是此种方法重建出的图像会有细节丢失的问题；基于图像重建的方法，例如迭代反投影和最大后验法，算法模型小且计算速度快，但是重建性能有所限制。随着深度学习时代的到来，在卷积神经网络在超分辨率重构上的应用取得突破性进展后，图像超分辩率重构领域掀起了神经网络的热潮。
4.发明人发现，目前人脸超分辨率重构多倾向于引入人脸先验信息来提高重构的精度，但是却会导致网络复杂度增加，并且在分辨率很低的人脸图像上提取人脸信息也比较困难；并且，相关的卷积模型在取得高精度的同时，前期训练模型需要耗费大量时间，并且后期单张图片重构速率也需要提高；此外，大部分的人脸超分辨率模型重构出的图像都存在图像过于平滑，五官不够清晰等问题。


技术实现要素：

5.本公开为了解决上述问题，提出了一种多尺度特征融合的人脸超分辨率重构方法及系统，利用改进后的u-net网络结构提取人脸图像的多尺度特征，充分利用了人脸的高频信息以及减少了冗余的特征提取；并且提出一个新的残差注意力融合模型，将网络任务的重点集中在人脸的五官上，使重建的五官更加清晰明朗。
6.根据一些实施例，本公开采用如下技术方案：一种多尺度特征融合的人脸超分辨率重构方法，包括：采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；对所述低分辨率人脸图像进行预处理；对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取
不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
7.根据一些实施例，本公开采用如下技术方案：一种多尺度特征融合的人脸超分辨率重构系统，包括：图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；图像处理模块，用于对所述低分辨率人脸图像进行预处理；图像特征提取模块，用于对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；图像重建模块，用于将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
8.根据一些实施例，本公开采用如下技术方案：一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
9.根据一些实施例，本公开采用如下技术方案：一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
10.与现有技术相比，本公开的有益效果为：本公开利用改进的u-net网络结构提取人脸图片的多尺度特征，利用unet的结构来取代传统的反馈，提取不同尺度的高维信息返回到预处理图片再进行超分辨率重构任务，将图片的浅层特征与高层特征信息融合在一起，避免了图片的信息浪费；本公开提出的残差注意力融合模块，通过对通道注意力、像素注意力、空间注意力三者的融合，给予五官更高的权重，使网络将重点放在面部五官的细节优化上；本公开提出的多尺度特征融合人脸超分辨率重构方法可以有效为人脸识别等提供帮助，能够解决依赖人脸先验信息而导致网络复杂度高，重构速率低，重构图片过于平滑等问题。
附图说明
11.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
12.图1是本公开实施例中多尺度特征融合人脸超分辨率重构方法流程图；图2是本公开实施例中多尺度特征融合人脸超分辨率重构方法示意图；图3是本公开实施例中srn模块示意图；图4是本公开实施例中残差注意力融合模块示意图。
具体实施方式
13.下面结合附图与实施例对本公开作进一步说明。
14.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
15.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
16.术语解释：srn模块：添加了预处理与残差注意力融合模块的卷积循环反馈模块，卷积循环反馈模块详见srfbn（li z, yang j, liu z, et al. "feedback network for image super-resolution," in 2019 ieee/cvf conference on computer vision and pattern recognition (cvpr), 2019, pp. 3862-3871.），是一种参数少，运行速度快的神经网络。
17.特征图：具有宽度、高度、通道数三维信息的特征图，(w
×h×
c)。
18.实施例1本公开的一种实施例中提供了一种多尺度特征融合的人脸超分辨率重构方法，应用于人脸识别、人脸解析等实际领域，如图1所示，包括：步骤1：采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；步骤2：对所述低分辨率人脸图像进行预处理；步骤3：对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；步骤4：将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
19.作为一种实施例，获取待检测的视频，从视频中提取行人的低分辨率人脸图像；利用多尺度特征融合人脸超分辨重构方法对监控视频中的低分辨率人脸图像进行超分辨率重构，为下一阶段人脸识别、人脸解析等操作做准备；其中，人脸超分辨率重构时所述多尺度特征融合网络被配置为：将监控视频中的低分辨率人脸图像首先进行预处理获得16
×
16像素大小的输入图片，输入图片通过srn模块得到不同尺寸大小的特征图，再通过最大池化和级联操作得到多尺度特征融合特征图，再经由带有残差注意力融合模块的循环超分辨率反馈模块得到精细超分辨率重构图像，上述过程描述了改进的u-net网络的框架，最后将其和通过上采样至输出图像大小的输入图像逐像素相加得到最后的超分辨率重构图像。
20.其中，多尺度特征融合人脸超分辨重构网络的训练过程为：对训练集中的图片首先进行裁剪操作，随后再随机旋转90
°
，180
°
，270
°
和水平翻转以进行数据增强，最后输入网络中。
21.该网络由四个srn模块以近似u-net网络结构堆叠起来，跳跃连接采用mp模块。
22.输入的16
×
16低分辨率图像经过前三个srn模块后得到不同尺寸的超分辨率图像，再分别对其进行高频信息提取，依次进行两两融合，进入最后一个srn模块进行最后的超分辨率重建，并将其与通过双三次插值上采样的输入图片逐像素相加得到最后的超分辨率图像。
23.在最后一个srn模块中包含残差注意力融合模块，用来提取特征图三维信息，特征通道信息以及空间特征信息，以优化超分辨率结果。
24.通过监督超分辨率图像与高分辨率图像之间的像素损失值，优化网络中各个卷积层的参数。
25.下面以监控视频场景为例来详细说明，多尺度特征融合人脸超分辨重构网络的训练过程为：具体地，s1：收集监控视频，从视频中提取行人低分辨率人脸图像，图像大小为任意尺度，对图像进行命名，进而形成低分辨率图像的训练集和测试集。同时获取行人高分辨率图像，按相应的低分辨率图像进行命名，进而形成高分辨率图像的训练集和测试集。
26.步骤s1的具体过程为：s1.1：视频由一系列快速变化的帧形成，同一行人可能出现在数十帧，采用过线采集的办法，当行人经过视频中划定的线时采集其低分辨率图像；s1.2：利用双三次插值方法将低分辨率图像统一大小为16
×
16，同样利用双三次插值方法将高分辨率图像统一大小为128
×
128。
27.s1.3：同一行人的高低分辨率图像以相同名字命名，分别存入高低分辨率图像训练集中，低分辨率图像训练集输入网络中进行重构，高分辨率图像训练集用来计算其与超分辨率图像的像素损失值以对各层卷积层参数进行优化。
28.s2：将预处理之后的高低分辨率图像训练集输入到如图2所示的多尺度特征融合人脸超分辨率重构网络中进行训练，训练过程中用不同规模的srn模块学习得到不同尺度的特征图，将这些特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合，再输入进一个srn模块进行最后的更加精细化的重构，并加入了残差注意力融合模块对特征图进行各个维度特征信息提取，提高精度与网络性能，最后和通过上采样至128
×
128尺寸的输入图像逐像素相加得到最终的超分辨率人脸图像，具体为：步骤s2的具体过程为：s2.1：在整个网络框架中，输入的16
×
16低分辨率图像经过前三个srn模块后得到不同尺寸的超分辨率图像，经过sr1会得到32
×
32的图像，经过sr2会得到64
×
64的图像，经过sr3会得到128
×
128的图像，再分别对其进行高频信息提取，依次进行两两融合，进入最后一个srn模块进行最后的超分辨率重建，并将其与通过双三次插值上采样的输入图片逐像素相加得到最后的超分辨率图像。
29.s2.2：srn模块中使用了srfbn中的卷积循环反馈模块，将groups设置为6。特征图每次进入srn模块时的特征通道数依次是48、96、192、192。
30.s2.3：在srn模块中，如图3所示，首先利用3
×
3卷积和pixelshuffle串联结构进行一个浅层特征提取操作，该操作只能提取一些简单的特征，例如人脸轮廓等。接着进入srfbn中的卷积循环反馈模块，这一步是为了进行更精细的特征提取与图像超分恢复，只在sr4模块中使用残差注意力融合模块，将网络的超分重点放在五官的重建上，并使用了残差
结构，连接了卷积循环反馈模块的结构与经过注意力机制后的结果，最后通过1
×
1卷积压缩特征通道输出。
31.s2.4：在残差注意力融合模块中，将通道注意力模块、空间注意力模块、像素注意力模块以图4示方法融合起来。特征图进入残差注意力融合模块后首先利用2个3
×
3的卷积核进行特征提取，加强了特征复用，并增加relu层增强非线性表达能力，随后分为两路，一路分别进入像素注意力模块与空间注意力模块提取三维信息与空间特征信息，级联两个特征通道后进入通道注意力模块提取特征通道信息，再与没经过任何操作的另一路进行特征通道上的级联，输出结果。
32.s2.5：跳跃连接中使用的最大池化层卷积核设置为2，步长为2。
33.s2.6：多尺度特征融合人脸超分辨重构网络通过l1损失公式计算超分辨率图像以及高分辨率图像之间的像素损失来优化网络，损失计算公式为：其中，lpixel表示网络总损失，ihr和isr分别表示高分辨率图像和超分辨率图像。
34.本实施例利用多尺度特征融合人脸超分辨重构网络解决监控视频中的人脸超分辨率重构问题。从监控视频中提取图像，对图像统一缩放并命名，随机水平翻转，扩大训练集；此模型将输入的人脸进行预处理后再进行不同的尺度的超分重建，同时利用改进的u-net结构采集不同尺度人脸图像的高维信息，返回到预处理图像再进行超分重建，可以高效的将高频信息与低频信息利用起来，并采用一个残差注意力融合模块，将超分的重点放在人的五官上。本公开提出的多尺度特征融合人脸超分辨重构网络所构建的超分辨率人脸脸部清晰度大大提高，五官也更加明朗清晰，细节信息更丰富，对后续人脸的其他操作，例如人脸识别，人脸解析等有着极大的助益，在与其他重建效果相近的模型的比较中，该网络计算更加迅速。
35.实施例2本公开的一种实施例中提供了一种多尺度特征融合的人脸超分辨率重构系统，包括：图像采集模块，用于采集待检测的监控视频，从所述监控视频中提取行人的低分辨率人脸图像；图像处理模块，用于对所述低分辨率人脸图像进行预处理；图像特征提取模块，用于对处理后的低分辨率图像输入至多尺度特征融合人脸超分辨率重构网络中提取不同尺度的特征图，将所述特征图通过由最大池化层组成的跳跃连接提取高频信息后再进行特征通道的级联融合；图像重建模块，用于将级联融合后的图像进行超分辨率重建，将其与通过双三次插值上采样的输入图片逐像素相加输出最后的超分辨率图像。
36.实施例3本公开的一种实施例中提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
37.实施例4本公开的一种实施例中提供了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理
器加载并执行所述的一种多尺度特征融合的人脸超分辨率重构方法。
38.以上实施例2、3、4的系统以及设备中涉及的各步骤与方法实施例1相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
39.本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
40.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
41.上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。