一种基于超分辨率的人脸图像重建方法及系统
本发明涉及人脸图像处理,具体来说,涉及一种基于超分辨率的人脸图像重建方法及系统。
背景技术:
1、随着4k/8k超高清显示技术与5g通信技术的普及,高保真人脸超分辨率技术在安防监控、老旧人脸影像修复、低带宽视频会议、人脸识别前置增强等领域具备极高的应用价值,核心目标是从低分辨率人脸图像中恢复出兼具全局几何结构一致性与丰富高频细节的高质量人脸图像,兼顾人脸结构的准确性与纹理细节的真实感。
2、目前深度学习已成为人脸超分辨率技术的主流实现路径,早期方案多以卷积神经网络为基础架构,通过端到端学习低分辨率到高分辨率的非线性映射实现重建,但受限于卷积运算的局部感受野特性,难以有效捕获长程空间依赖关系,在高倍率下采样、大姿态人脸等场景下易出现人脸拓扑结构畸变、五官比例失调等问题,重建精度存在明显瓶颈。为突破局部建模的局限,基于自注意力机制的transformer架构被引入人脸超分任务,通过全局上下文建模提升结构重建精度,但自注意力机制的计算复杂度与特征图分辨率呈二次方关系,会带来极高的内存占用与推理延迟,难以在移动端、边缘设备等资源受限场景下落地。部分研究引入离散小波变换(wavelet transform,wt)作为特征增强手段,通过多频带特征提取辅助重建,但现有小波超分方案仅将小波变换作为独立的特征提取模块,编码端下采样与解码端上采样仍依赖传统步长卷积、池化、插值等不可逆算子,并未形成覆盖全链路的小波尺度变换体系,无法从根本上解决传统尺度变换导致的高频信息不可逆丢失问题,且对所有小波子带采用统一的重建策略,未适配低频结构与高频纹理的差异化语义特性,难以兼顾结构保真与纹理精细的双重需求。
3、近年来,状态空间模型因兼具全局建模能力与线性计算复杂度成为新兴技术方向,可在更低计算开销下实现与transformer相当的全局感受野,但其标准空域模型直接应用于人脸超分任务仍存在明显缺陷:配套的传统尺度变换仍存在不可逆的高频信息退化,且统一的状态传播机制无法适配不同频率子带的空间依赖特性,高频子带的噪声易随状态传播扩散,导致重建图像过度平滑或纹理失真,无法充分发挥状态空间模型的性能潜力。
技术实现思路
1、针对现有技术中人脸超分辨率重建方案存在的传统尺度变换高频信息不可逆丢失、全局建模方案计算开销高、高低频特征无法差异化适配的技术问题,本发明的目的在于提供一种基于超分辨率的人脸图像重建方法及系统,构建全程可逆的小波尺度变换体系与频带感知二维状态空间模型,在保持线性计算复杂度的前提下,实现人脸结构保真与纹理细节的协同提升,生成结构准确、纹理真实的高分辨率人脸图像。
2、本发明技术方案如下:
3、一种基于超分辨率的人脸图像重建方法,包括以下步骤:
4、s1、对输入的低分辨率人脸图像进行预处理,并提取其浅层图像特征;
5、s2、将浅层图像特征输入多层级编码器,以离散小波变换作为下采样算子进行频带分解,得到低频子带与高频子带;对低频子带与高频子带进行差异化特征增强,得到增强特征图;
6、s3、在编码-解码的特征传递过程中,将增强特征图输入频带感知二维状态空间模型,针对不同频率子带进行自适应状态空间建模,完成空间域特征变换,得到结构增强特征图;
7、s4、将结构增强特征图输入多层级解码器,以离散小波变换与逆离散小波变换(inverse wavelet transform,iwt)构成的可逆尺度变换体系执行多尺度上采样重构,输出高分辨率人脸图像。
8、进一步的,步骤s1具体包括:
9、利用人脸关键点检测算法获取原始人脸图像中眼角、鼻尖、嘴角的关键点坐标,基于所述关键点坐标计算人脸姿态偏转角度并进行旋转校正,根据人脸中心确定裁剪框,裁剪得到目标人脸区域图像;
10、将目标人脸区域图像缩放至预设高分辨率尺寸作为高分辨率真值图像,通过双三次插值按照预设放大倍率进行下采样,得到低分辨率人脸图像;
11、将低分辨率人脸图像输入浅层卷积神经网络进行特征提取,得到包含人脸边缘、轮廓与局部纹理信息的浅层图像特征。
12、进一步的,步骤s2具体包括:
13、将离散小波变换分解得到的子带作为低频结构子带,将、子带沿通道维度拼接后作为高频纹理子带;
14、对低频结构子带执行全局结构保真增强,对高频纹理子带执行局部细节增强;
15、将增强后的低频结构子带与高频纹理子带进行特征融合,经卷积通道压缩后得到增强特征图。
16、进一步的,步骤s3中频带感知二维状态空间模型对单个小波子带输入特征的处理过程,具体包括:
17、对输入特征进行层归一化处理,经线性投影扩展通道维度后,沿通道维度均分为特征处理分支与门控分支;
18、在特征处理分支中,依次经深度可分离卷积、非线性激活后,输入当前子带专属的二维选择性扫描模块进行状态空间建模,得到扫描输出特征;
19、在门控分支中,经非线性激活得到频域调制门控信号;
20、将扫描输出特征与所述频域调制门控信号逐元素相乘,经线性投影后与原始输入特征进行残差相加,得到当前子带的输出特征。
21、进一步的,二维选择性扫描模块的处理过程包括:
22、将二维特征图沿左上到右下、右下到左上、右上到左下、左下到右上四个方向分别展平为一维序列,通过状态空间块执行选择性状态空间建模;
23、将四个方向的输出序列重构为二维特征图并取平均,得到扫描输出特征。
24、进一步的,频带感知二维状态空间模型的数学表达式为:
25、
26、其中,为逐元素相乘;为激活函数;为第k个子带最终输出特征;为线性投影层;为层归一化;为扫描输出特征;为频域调制门控信号;为第个子带输入特征。
27、进一步的,步骤s4具体包括:
28、对当前层级的结构增强特征图进行离散小波变换分解,得到当前层级的低频结构子带与高频纹理子带;
29、将当前层级的低频结构子带与编码器中对应层级的低频结构子带进行跳跃连接融合,得到增强低频表示;
30、对当前层级的高频纹理子带进行独立的纹理细节增强,得到增强高频表示;
31、将增强低频表示与增强高频表示输入逆离散小波变换进行特征重构,完成单层级上采样;
32、经多层级解码器重复上述处理过程,直至恢复至目标分辨率,输出高分辨率人脸图像。
33、进一步的,超分辨率的人脸图像重建方法,其编码器与解码器具体工作原理如下:
34、(1)编码器由浅至深包含多层级编码模块,各层级的频带感知二维状态空间模型配置差异化的建模参数与扫描策略:
35、浅层编码模块适配高分辨率特征,用于捕捉五官边缘与精细纹理细节;
36、中层编码模块适配中分辨率特征,用于建模人脸器官间的相对位置与局部结构关系;
37、深层编码模块适配低分辨率特征,用于建模全局人脸结构布局与身份一致性特征;
38、(2)解码器包含与编码器一一对应的多层级解码模块,解码模块的频带感知二维状态空间模型用于融合跳跃连接特征与上采样特征,恢复高频纹理细节;
39、(3)所述频带感知二维状态空间模型还包括设置于编码器与解码器之间的瓶颈层状态空间模块,所述瓶颈层状态空间模块在纯空间域执行全局特征变换,用于融合多尺度频域特征并为解码重构提供结构先验。
40、进一步的,训练采用的总损失函数由像素级重建损失、感知损失与小波域损失加权求和构成:
41、
42、其中,为总损失函数;为像素级重建损失;为感知损失;为小波域损失;为像素级重建损失的权重系数;为感知损失的权重系数;为小波域损失的权重系数。
43、相应的,本发明提供一种基于超分辨率的人脸图像重建系统,包括:
44、浅层特征提取模块,用于对原始人脸图像进行预处理,得到低分辨率人脸图像并提取其浅层图像特征;
45、小波下采样增强模块,用于以离散小波变换作为可逆下采样算子对浅层图像特征进行频带分解,得到低频子带与高频子带,并对两类子带进行差异化特征增强,得到增强特征图;
46、空间特征变换模块,用于通过为不同频率子带配置专属参数的频带感知二维状态空间模型,对增强特征图进行空间域特征变换,得到结构增强特征图;
47、小波上采样增强模块,用于以与编码器离散小波变换配对的逆离散小波变换作为可逆上采样算子,对结构增强特征图进行多尺度上采样重构,输出高分辨率人脸图像。
48、本发明的有益效果为:
49、以离散小波变换与逆离散小波变换构建覆盖编码端到解码端的全程可逆尺度变换体系,替代传统步长卷积、池化、插值等不可逆尺度算子,在分辨率降维与升维过程中显式解耦低频结构信息与高频纹理信息,完整保留人脸边缘轮廓、发丝质感等精细特征,解决了传统尺度变换导致的纹理退化、人脸轮廓模糊的技术问题。
50、将二维状态空间模型拓展至小波频域空间,为不同频率子带配置专属的动态参数与自适应门控机制,适配低频结构长程保持、高频细节精准增强的差异化需求;同时依托状态空间模型的线性计算复杂度,在获得与transformer相当的全局建模能力的同时,大幅降低内存占用与推理延迟,突破了现有全局建模方案资源消耗高、难以在边缘设备部署的瓶颈。
51、采用高低频双分支差异化增强、选择性跳跃连接、多层级差异化扫描策略的协同设计,低频通路保障人脸拓扑结构稳定性与身份一致性,高频通路抑制噪声扩散并还原纹理细节,二者协同输出结构准确、纹理真实的高分辨率人脸图像,在峰值信噪比、结构相似性、身份一致性等多项指标上优于现有方案,可广泛适配人脸图像增强、安防监控、老旧影像修复等多类应用场景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com