基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其系统

1.本发明涉及图像处理和图像恢复技术领域，尤其涉及基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其系统。


背景技术：

2.人脸超分辨率技术是通过学习制备好的高低分辨率图像库中训练对之间的高低分辨率对应关系，为低分辨率到高分辨率的过程提供有效的约束和指导，估计出高分辨率人脸图像用以机器或人眼的辨识。该技术广泛引用于各个视觉处理技术，如人脸识别的前后处理、监控录像中的人脸图像增强等等。然而，由于成像环境复杂多变，成像的降质条件更是繁杂多样，难以统一。导致人脸图像增强难度系数大大增加，因此需采用人脸超分辨率技术提升图像有效尺寸和有效分辨率，达到从低分辨率图像恢复到高分辨率图像的目的。然而现有的算法往往针对单一降质而设计，面对复杂繁多的降质条件下生成的多种低质量人脸图像，难以有效的恢复出可供辨识的人脸图像。
3.为解决对多种繁杂降质的低质量人脸图像的恢复问题，传统算法往往采用各种先验信息辅助从单一种类的降质数据库中分析、挑选或者改进算法，具体做法即引入有效计算工具和数据利用形式。这种做法中，对后验知识的忽略，导致了算法有效性和普适性的缺陷，即遭遇复杂降质过程时，算法的鲁棒性较低，难以有效增强人脸图像，进而造成算法的易用性和有效性较低。一个经典的算法类别就是基于流形学习的类别。
4.流形学习作为人脸超分辨率的经典算法之一，核心思想在于，采用流形表达作为工具，解释低分辨率到高分辨率的质量上升过程，具体为：对高低分辨率两个样本空间，寻找出每个低分辨率图像数据点周围的局部性质，然后将低分辨率图像的流形局部性质非线性地映射到高分辨率图像的流形空间中，在高分辨率对应空间上做投影，从而合成高分辨图像。具有代表性的有以下几种方法：2004年，chang[1]等首次将流形学习法引入图像超分辨率重构中，提出了一种邻域嵌入的图像超分辨率重构法。sung won park[2]提出一种基于局部保持投影的自适应流形学习方法，从局部子流形分析人脸的内在特征，重构出低分辨率图像缺失的高频成分。2010年，huang[4]提出基于cca(canonical correlation analysis，cca)的方法，通过将pca(principal component analysis，pca)空间延伸至cca空间，进一步解决了这个问题。同年，lan[5]针对监控环境下严重的模糊和噪声导致的图像像素损毁严重的问题，提出一种基于形状约束的人脸超分辨率方法，在传统pca架构中添加形状约束作为相似度度量准则，利用人眼睛识别形状时对干扰的鲁棒性来人工添加形状特征点作为约束，优化低质量图像的重建结果。
[0005]
现有的这些方法大多仅按照传统的技术思路，关注先验知识的提取，关注降质种类固定且单一的高低分辨率图像库的制备和先验知识利用，忽略了输入图像可能存在与图像库异质的复杂降质过程的事实，导致算法对于含有不同降质过程的异质图像的重建效果不理想，尤其在监控等包含多种光照、距离的复杂多样的降质环境下，由于无法严格控制真实降质条件与在库单一降质条件的统一性，导致捕获到的低质量人脸图像与样本库中的人
脸图像存在着较大的降质过程差异，而且这种差异存在明显的多样性。巨大的差异和差异多样性造成的重建误差复杂多样，无法用现有的针对单一降质的先验知识和模型工具统一处理，造成鲁棒性不足，效果令人不满意的后果。


技术实现要素：

[0006]
本发明的目的在于提供基于经验关系偏差纠正的鲁棒人脸超分辨处理方法及其系统。
[0007]
本发明采用的技术方案是：
[0008]
一种基于经验关系偏差纠正的鲁棒人脸超分辨处理方法，其包括以下步骤：
[0009]
s1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的原始训练库，以及两种极低降质的增广库，
[0010]
s2：基于增广库中的备用训练库x1,x2,...,xn和输入的待处理人脸图像x
in
，采用局部分块打分的形式构建新的增广库；
[0011]
s3：在分块基础上分别为高分辨率人脸图像库和低分辨率人脸图像库做预处理，在高分辨率图像库和低分辨输入图像两个层面上分别求取每一个位置与其他位置块的经验关联度和输入图像的待测关联度，为后续基于关联度计算出个体偏差做数据准备；
[0012]
s4：基于上一步中计算的和id，为输入图像块的每一个近邻块计算出偏移量的向量，为后续基于个体偏差指导的重建过程做数据准备。
[0013]
s5：基于个体偏差为指导，将输入待处理低分辨率图像x
in
投影至分类特征空间中，计算每一个块位置的超分辨率表达系数。
[0014]
s6：将超分辨率表达系数和权重向量投影回到高分辨率空间得到高分辨率空间重表达结果，公式记作按照位置变量i拼接高分辨率人脸图像块得高分辨率人脸图像y
out
。
[0015]
进一步地，步骤s1中将高分辨率人脸图像库中高分辨率人脸图像位置对齐，并进行几种不同的降质处理得对应的低分辨率人脸图像库，高分辨率人脸图像库和三种低分辨率人脸图像库构成三种训练库。
[0016]
进一步地，步骤s1中同时使待处理低分辨率人脸图像与训练库中图像大小相同且位置对齐，位置对齐采用仿射变换法将进行位置对齐。
[0017]
进一步地，s1中由高分辨率人脸图像库下降质量生成低分辨率人脸图像库的具体方法为：设n对良好对齐的高低分辨率人脸样本对y和x，低分辨率人脸样本x由高分辨率人脸样本y以常规降质过程d生成，其中x＝{x1,x2,...,xn}，y＝{y1,y2,...,yn}，那么x和y即构成原始训练库；另选取n种不同的降质过程d1,d2,...,dn，构建n种极低降质的备用训练库x1,x2,...,xn。
[0018]
进一步地，s2中在为低分辨率输入待处理图像x
in
重建高分辨率块时，取出位置i对应的待处理图像块以及位置i对应的低分辨率备用训练库块集合具体地分块步骤如下：
[0019]
s2-1，对x
in
中的每一张人脸图像进行无差别的均匀分块，分块窗口大小(块大小)
记为bb，交叠像素尺寸个数为dd，因此窗口滑动步长为bb-dd，
[0020]
s2-2，假设每张人脸图像长度和宽度分别为imrow和imcol个像素，计算得出每张图像分块m＝u
×
v，计算公式如下：
[0021]
u＝ceil((imrow-dd)/(bb-dd))
[0022]
v＝ceil((imcol-dd)/(bb-dd))
[0023]
其中，u表示长度方向上分成的块数，v表示宽度方向上分成的块数，
[0024]
s2-3，设i表示位置标号，i＝1,2,3,...,m分别从低分辨率备用训练库x1,x2,...,xn获得的分块。
[0025]
s2-4，在特征空间上计算位置i上的块的降质种类标签label，即根据计算其到的最近距离敲定其对应的降质种类作位置i的标签，表示的梯度方向特征值；分别表示的判别特征f
dis
。
[0026]
进一步地，步骤s2-4中在新的特征空间中构建用于降质类别判定的特征库，特征提取方式如下：将和低分辨率备用训练库块集合中的每一张图像块都提取其基于判别的特征，以构成新的特征库其中具体地步骤如下：
[0027]
以为例，j＝1,2,...n，提取公式为：其中degradationdis(
·
)代表针对提取特征的操作。其具体的操作包含三步：
[0028]
s2-4-1，高斯差分迭代处理：通过循环m_i次高斯差分提取出轮廓强化信息并加和获得强化高斯差分信息其中fg(
·
)表示高斯滤波器，m1,...,m
m_i
和n1,...,n
m_i
表示高斯滤波的强度，且当下标相同时，m≤n，为高斯差分的结果，p＝1,2,...,m_i。
[0029]
具体地，以为例子，获得强化的高斯差分迭代特征的过程如下：
[0030][0031][0032]
…
[0033][0034]
将上述内容加和，获得强化高斯差分信息
[0035]
s2-4-2，对待处理图像采用以下公式进行伽马校正，
[0036][0037]
其中，表示经过伽马处理之后的第i行第j列的像素，表示待处理图
像第i行第j列的像素，gama表示伽马处理的强度；
[0038]
s2-4-3，将伽马校正的结果送入s2-4-1中再次高斯差分迭代处理得到强化高斯差分信息更新为加和上之后的结果；
[0039]
s2-4-4，将提取梯度方向特征值获得
[0040]
s2-4-5，分别从中获取
[0041]
标签敲定的具体步骤如下：
[0042]
s2-4-6，计算到中位置i的每一个特征的距离之和。
[0043][0044]
…
[0045][0046]
s2-4-7，通过比较选择其中最小值所代表的降质标签作为对应位置的降质种类标签；
[0047]
s2-4-8，遍历i值计算出所有位置对应的降质标号得到一个n维向量l
in
；
[0048]
统计l
in
中每一种降质出现的频率，计算对应降质在后续生成增广矩阵的过程中所占的比重，计算方法为：
[0049][0050]
其中，sh表示对应第h种降质的权重，h＝1,2,...,n。
[0051]
例如，第二种降质d2在l
in
中出现的频率s2的计算公式为：
[0052][0053]
s2-4-9，基于权重sh生成增广矩阵x
aug
，计算公式如下
[0054][0055]
其中，x
aug
表示增广矩阵，sh表示对应第h种降质的权重，xh表示第h种降质的备用训练库。
[0056]
进一步地，s2-4-7中选择位置i上的最小距离值finaldisi：
[0057][0058]
例如，假定则位置i的降质种类为d2，将代表位置i选择了标号d2的标号存储进向量l
in
。
[0059]
进一步地，s3中第i个位置的图像块与其他所有位置的关联度的计算步骤如下：
[0060]
s3-1，设i表示位置标号，i＝1,2,3,...,m，则在位置i上有n个高分辨率样本块，即1，设i表示位置标号，i＝1,2,3,...,m，则在位置i上有n个高分辨率样本块，即j代表样本数目；
[0061]
s3-2，对于任意一个j＝1,2,3,...,n，计算在第j张人脸样本图像与其他所有
块的距离向量计算公式如下：
[0062][0063]
其中，r＝1,2,3,...,m；表示取块的纹理特征，表示取纹理特征操作。
[0064]
s3-3，遍历完位置i上的n个图像块得n个与同规格的向量，并平均得到位置i到其余所有位置的平均距离记作m维向量ri，即：
[0065]
s3-4，遍历i的所有位置取值后得到位置之间的一个全连接网络，该全连接网络网络中的关联度表示为向量集合
[0066]
s3-5，将关联度向量中弱关联度的连接全部去掉，留下关联度高的指定数目的连接。
[0067]
进一步地，s3-5的具体步骤为：
[0068]
s3-5-1，对每一个ri只保留最小的k个值，通过筛选只保留小于阈值t的值，表示为取出中的索引(位置编号)记为idi；
[0069]
s3-5-2，遍历所有i值后得到精简后的网络关联度向量集合记为：对应的索引向量集合记为
[0070]
s3-5-3，根据关联度网络计算出低质量训练样本库x对应的位置i上的图像块集合xi中的每一个图像块与其所在的人脸块的关联度
[0071]
具体地，以图像x
in
的关联度为例，解释计算过程如下：
[0072]
计算在低分辨率输入的人脸样本图像x
in
上，计算与其他所有块的距离向量与其他所有块的距离向量其中r＝1,2,3,...,m。例如，当r＝m时，其中表示取块的纹理特征。表示取纹理特征操作。如此为位置i上的块遍历完其m个位置之后得到距离向量与其对应的标签集合，将标签集合根据取距离最小的前k个标签，组合记为k维向量
[0073]
遍历所有人脸位置为输入图像x
in
计算出一个向量矩阵(m
×
k维的)记录其块与块的关联关系。
[0074]
进一步地，s4中通过计算输入图像块同位置近邻块的个体关系和idi的交叠程度计算出输入图像块与在库经验关系idi的偏移量(偏差)向量。利用该偏差为指导，在后续重建过程中计算出应该强调权重的候选样本。
[0075]
进一步地，s4的具体的计算步骤如下：
[0076]
s4-1，首先为在低质量训练样本库x对应的位置i上的图像块集合xi中，选取距离最近的k个图像块作为近邻块集合，然后从中为这k个块挑选出其所在位置的全局关系标号向量；再计算全局关系标号向量与经验值idi的交叠数量，并记作v
k,i
；
[0077]
以第k＝1,2,...,k个近邻为例，根据其所在的图像位于x中第几张(j值)和其所在的位置(i值)，从中挑出其对应的向量并记作其中k＝1,2,...,k。
[0078]
然后计算其与经验值idi的交叠数量，并记作v
k,i
，公式如下：
[0079][0080]
其中∩代表求取交集，||0代表取0范数，也就是计算交集元素的个数赋值给v
k,i
。
[0081]
s4-2，遍历k的所有取值元素得到偏差量向量将偏差量向量vi放置于k乘以k的零矩阵的对角线上得到矩阵v
′i＝diag(vi)，其中，diag(
·
)代表将向量放置于对应尺寸的零方阵的对角线位置上的操作。
[0082]
进一步地，s5中对图像块根据库x和x
aug
对应位置i的图像块库xi和通过下述目标函数计算出其对应的表达系数ωi：
[0083][0084]
其中，是一个对角矩阵，对角线上的元素计算方式为：λ表示平衡系数，λ由经验设定。
[0085]
一种基于经验关系偏差纠正的鲁棒人脸超分辨处理系统，其包括：
[0086]
原始训练库构建模型：用来构建包含高分辨率人脸图像库及其对应的含有七种降质的低分辨率人脸图像库的训练库(一种原始和六种作为成分用于生成x
aug
的)；
[0087]
特定降质图像库生成模块：基于原始训练库模型和输入图像和x
in
，通过特征提取、比对、统计打分、然后加权构建用于补充信息的低分辨率图像x
aug
；
[0088]
关联度计算模块：在原始训练库中分别通过高分辨率和低分辨率两种渠道，建立关联度经验值和个体值两种模型；
[0089]
偏移量计算模型：通过上一步骤中的关联度，以输入图像的近邻为桥梁，计算个体偏移量，为后续基于个体偏差指导的重建过程做数据准备；
[0090]
系数求取模块：基于个体偏差为指导，根据增广库x
aug
和原有库x为基础，计算求得低分辨率增广库的表达系数，
[0091]
高分辨率图像块重建模块：根据表达系数和对应高分辨率增广库的块，求得重建高分辨率图像块；
[0092]
拼接模块：用来根据位置i拼接高分辨率人脸图像块得高分辨率人脸图像。
[0093]
本发明采用以上技术方案，和现有技术相比，本发明具有以下优点和积极效果：
[0094]
首先，利用输入低质量图像的图像分布后验知识，估计出其中的降质成分配比和组成，生成基于后验信息的和输入图像降质最接近的图像库作为像素密度分布模式的知识补充。其次，利用图像库先验知识，判定出其中每一个表达近邻的表达偏差量，并用于指导其后续重建过程中的权重修正工作。通过基于后验的降质估计和基于先验的个体偏差估计，为低质量图像自适应的构建训练库补充库，通过基于先验的图像库知识，为输入图像在训练库上的表达提供权重修正指导，两者相结合，恢复出效果较为令人满意的重建人脸图像。
[0095]
本发明具有普适性，对于一般的低质量人脸图像均取得较好的恢复效果；特别对于低质量监控环境下人脸图像的恢复，效果更加明显。
附图说明
[0096]
以下结合附图和具体实施方式对本发明做进一步详细说明；
[0097]
图1为本发明一种基于经验关系偏差纠正的鲁棒人脸超分辨处理系统的架构示意图；
[0098]
图2为本发明人脸图像基于位置分块示意图。
具体实施方式
[0099]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图对本技术实施例中的技术方案进行清楚、完整地描述。
[0100]
与传统方法关注与对固定单一降质的高低分辨率图像库的利用不同，本发明关注如何采用有效的计算工具研究降质模型的复杂性对算法的影响，通过分析输入图像的降质种类，尽可能的模拟出与输入图像同质的降质过程，并将其应用于图像库制备中，为原有图像库提供补充知识。同时利用图像库原有的先验知识，为各个样本提供偏差矫正先验。通过先验知识与后验知识相结合，通过提出新的图像降质后验知识并将其应用于自适应图像库制备上，结合新提出的先验知识，基于降质知识的特征分解解决这种问题。
[0101]
具体的，本发明利用输入低质量图像的图像分布后验知识，估计出其中的降质成分配比和组成，生成基于后验信息的和输入图像降质最接近的图像库作为像素密度分布模式的知识补充。其次，本发明利用图像库先验知识，判定出其中每一个表达近邻的表达偏差量，并用于指导其后续重建过程中的权重修正工作。通过基于后验的降质估计和基于先验的个体偏差估计，为低质量图像自适应的构建训练库补充库，通过基于先验的图像库知识，为输入图像在训练库上的表达提供权重修正指导，两者相结合，恢复出效果较为令人满意的重建人脸图像。
[0102]
如图1所示，本发明公开了一种基于经验关系偏差纠正的鲁棒人脸超分辨处理方法。本发明利用具有多种降质过程的高低分辨率图像库，在局部特征打分模型的指导下，为输入的低分辨率图像判定降质过程的种类和其对应的比重，并根据判定结果构建出一套降质过程逼近输入图像的低分辨率训练库，作为图像像素分布模式的知识库补充，以减小输入图像和在库图像的降质鸿沟，增强图像表达的精度和噪声鲁棒性，提升恢复结果的客观
质量和相似程度。此外，通过学习样本个体和样本库统计特征，这种由个体到整体的关系，并利用偏差纠正量化个体特征的分布情况，为该个体样本在后续表达中的权重做优化，以避免在表达中强调错误近邻样本，弱化正确样本的情况出现，做到利用先验知识库增强图像表达的精度，提升恢复结果的客观质量和相似程度。
[0103]
下面将结合具体实施例和附图对本发明做进一步说明。
[0104]
本发明面向监控环境下的极低质量人脸图像，采用基于经验关系偏差纠正的鲁棒人脸超分辨处理方法。具体实施时，本发明技术方案可采用计算机软件技术实现自动运行流程。
[0105]
参见图1，本发明具体步骤如下：
[0106]
s1：构建包含高分辨率人脸图像库及其对应的低分辨率人脸图像库的原始训练库，以及两种极低降质的增广库，在这些库中，低分辨率人脸图像库由高分辨率人脸图像库下降质量而生成。
[0107]
设有n对良好对齐的高低分辨率人脸样本对x和y，x由y以常规降质过程d生成，其中x＝{x1,x2,...,xn}，y＝{y1,y2,...,yn}。那么x和y即构成原始训练库。另选取n种不同的降质过程d1,d2,...,dn，构建n种极低降质的备用训练库x1,x2,...,xn。
[0108]
具体实施中，首先，将高分辨率人脸图像的眼睛和嘴巴位置对齐，得到高分辨率人脸库y；然后，对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库x。n种不同的降质过程d1,d2,...,dn分别为：(以n＝6为例)
[0109]
d1为对高分辨率人脸图像依次进行下采样、模糊窗过滤、加0.015的高斯白噪声、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库x1；
[0110]
d2为对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库x2，其中d2的下采样为x和d1中的两倍大小。
[0111]
d3为对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库x3，其中d3的下采样为x和d1中的四倍大小。
[0112]
d4为对高分辨率人脸图像依次进行下采样、模糊窗过滤、加泊松噪声、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库x4；
[0113]
d5为对高分辨率人脸图像依次进行下采样、模糊窗过滤、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库x4，其中d5的下采样为d3中的二倍大小。
[0114]
d6为对高分辨率人脸图像依次进行下采样、模糊窗过滤、加椒盐噪声、上采样，得到与高分辨率人脸图像对应的低分辨率人脸图像库x6。
[0115]
具体地，为便于实施参考，下面将提供采用仿射变换法实现人脸图像对齐的具体过程：
[0116]
对高分辨率人脸图像进行特征点标注，特征点为五官边缘点，例如眼角、鼻尖、嘴角等；然后，采用仿射变换法对齐特征点，仿射变换法具体为：
[0117]
将高分辨率人脸图像库y中所有人脸图像相加并除以样本数，得平均脸。设(x
′i,y
′i)为平均脸上第i个特征点坐标，(xi,yi)为待对齐的高分辨率人脸图像上对应的第i个特
征点坐标。设仿射矩阵其中a、b、c、d、e、f为仿射变换系数，表示平均脸和待对齐的高分辨率人脸图像上第i个特征点坐标(x
′i,y
′i)和(xi,yi)间的关系，采用直接线性变换法求解仿射变换矩阵m。待对齐的高分辨率人脸图像所有坐标点与仿射矩阵m相乘得到的坐标即对齐后的高分辨率人脸图像坐标。
[0118]
对对齐后的高分辨率人脸图像做降质处理，例如，依次对高分辨率人脸图像下采样4倍、模糊窗过滤3*3、上采样4倍，得到与高分辨率人脸图像对应的低分辨率人脸图像，从而获得低分辨率人脸图像库x。
[0119]
高分辨率人脸图像库y和低分辨率人脸图像库x中人脸图像一一对应，构成高低分辨率人脸图像对。使待处理低分辨率人脸图像与训练库中图像大小相同，且位置对齐。
[0120]
进一步地，本发明是要对待处理低分辨率人脸图像x
in
进行处理，估计出其对应的高分辨率人脸图像，将估计出的高分辨率人脸图像记为待估高分辨率人脸图像y
out
。
[0121]
待处理低分辨率人脸图像x
in
通常是在含噪严重环境获得的低分辨率人脸图像。对于作为输入的待处理低分辨率人脸图像，一般要经过预处理，包括剪切出符合统一规定的人脸部分，即将待处理低分辨率人脸图像x
in
进行上采样，使其与训练库中人脸图像大小相同。对待处理低分辨率人脸图像x
in
进行特征点标注，最后采用步骤s1中记载的仿射变换法使待处理低分辨率人脸图像x
in
与平均脸位置对齐。这样，使得训练库中人脸图像和待处理低分辨率人脸图像x
in
在尺寸、眉毛高度处于相同的水平。若待处理低分辨率人脸图像x
in
采集时光线不足，则可对位置对齐后的待处理低分辨率人脸图像x
in
进行自动亮度对比度调整，使其与训练库中低分辨率人脸图像处于相近亮度水平。
[0122]
s2：基于增广库中的备用训练库x1,x2,...,xn和输入的待处理人脸图像x
in
，基于局部分块打分的形式，构建新的增广库。
[0123]
具体的，在为低分辨率输入待处理图像x
in
重建高分辨率块时，取出位置i对应的待处理图像块取出位置i对应的低分辨率备用训练库块集合
[0124]
以x
in
为例，说明分块方法：对x
in
中的每一张人脸图像，进行无差别的均匀分块，分块窗口大小(块大小)记为bb，交叠像素尺寸个数为dd，因此窗口滑动步长为bb-dd，假设每张人脸图像长度和宽度分别为imrow和imcol个像素，那么通过计算得出每张图像被分成了m＝u
×
v块，其中u表示长度方向上分成的块数，v表示宽度方向上分成的块数，二者的求取公式为：
[0125]
u＝ceil((imrow-dd)/(bb-dd))
[0126]
v＝ceil((imcol-dd)/(bb-dd))
[0127]
设i表示位置标号，i＝1,2,3,...,m。从低分辨率备用训练库x1,x2,...,xn获得的分块方法同上。
[0128]
进一步地，在新的特征空间中构建用于降质类别判定的特征库，特征提取方式如下：
[0129]
将和低分辨率备用训练库块集合中的每一张图像块，都提取其基
于判别的特征，构成新的特征库其中以为例，j＝1,2,...n，提取公式为：其中degradationdis(
·
)代表针对提取特征的操作，操作包含四步：
[0130]
(1)第一步，高斯差分迭代处理。通过循环m_i次高斯差分提取出轮廓强化信息，然后加和。
[0131]
以为例，获得强化的高斯差分迭代特征的过程如下：
[0132][0133][0134]
…
[0135][0136]
将上述内容加和获得强化高斯差分信息其中
[0137]
其中，fg()表示高斯滤波器，m1,...,m
m_i
和n1,...,n
m_i
表示高斯滤波的强度，且当下标相同时m≤n，为高斯差分的结果，p＝1,2,
…
,m_i。
[0138]
(2)对待处理图像采用以下公式进行伽马校正，
[0139][0140]
其中，表示经过伽马处理之后的第i行第j列的像素，表示待处理图像第i行第j列的像素，gama表示伽马处理的强度；
[0141]
(3)将(2)的结果送入(1)中处理，得到强化高斯差分信息更新为加和上之后的结果。
[0142]
(4)将提取梯度方向特征值获得本步骤中，梯度方向特征值采用hog特征[6]。
[0143]
同样的，从中获取对应的判别特征
[0144]
进一步地，在特征空间上计算位置i上的块的降质种类标签label，即，根据计算其到的最近距离，敲定其对应的降质种类作位置i的标签，具体方法如下：
[0145]
(1)计算到的最近距离：计算方法为计算到中位置i的每一个特征的距离之和。
[0146][0147]
…
[0148]
[0149]
(2)通过比较选择其中最小值打标签，具体过程如下：
[0150]
选择位置i上的最小距离值finaldisi：
[0151][0152]
将选中的距离值所代表的降质标签作为该位置的降质种类标签。假定将选中的距离值所代表的降质标签作为该位置的降质种类标签。假定则位置i的降质种类为d2，将代表位置i选择了标号d2的标号存储进向量l
in
。
[0153]
遍历i值，计算出所有位置对应的降质标号，将得到一个n维向量l
in
。
[0154]
在l
in
中，通过统计每一种降质出现的频率，计算该降质在后续生成增广矩阵的过程中所占的比重，对应第h种降质的权重，记作sh，其中h＝1,2,...,n。
[0155]
具体地，例如，第二种降质d2在l
in
中出现的频率当取得权重sh之后，通过下述公式生成增广矩阵：
[0156]
s3：在分块基础上，分别为高分辨率人脸图像库和低分辨率人脸图像库做预处理，在高分辨率图像库和低分辨输入图像两个层面上分别求取每一个位置与其他位置块的经验关联度和输入图像的待测关联度，为后续基于关联度计算出个体偏差做数据准备。
[0157]
设i表示位置标号，i＝1,2,3,...,m。对于第i个位置的图像块，得到该块与其他所有位置的关联度过程如下：
[0158]
在位置i上有n个高分辨率样本块j代表样本数目。对于任意一个j＝1,2,3,...,n，计算在第j张人脸样本图像上与其他所有块的距离向量与其他所有块的距离向量其中r＝1,2,3,...,m，表示取块的纹理特征。表示取纹理特征操作。
[0159]
如此遍历完位置i上的n个图像块之后，可得n个与同规格的向量。将这些向量平均，可得位置i到其余所有位置的平均距离，记作m维向量ri，即：
[0160]
遍历i的所有位置取值后，得到位置之间的一个全连接网络，该网络中的关联度表示为向量集合
[0161]
进一步地，将上述过程中得到的关联度向量做删减，将弱关联度的连接全部去掉，仅留下关联度高的指定数目的连接。具体为：
[0162]
对每一个ri只保留最小的k个值，然后通过筛选只保留其中小于阈值t的值，表示为取出中的索引(位置编号)，记为idi。
[0163]
遍历所有i值后，得到精简后的网络关联度向量集合，记为：对应的索引向量集合记为
[0164]
根据上述关联度网络，计算出低质量训练样本库x对应的位置i上的图像块集合xi中的每一个图像块与其所在的人脸块的关联度
[0165]
具体地，以图像x
in
的关联度为例，解释计算过程如下：
[0166]
计算在低分辨率输入的人脸样本图像x
in
上，计算人脸样本图像块与其他所有块的距离向量其中r＝1,2,3,...,m。例如，当r＝m时，其中表示取块的纹理特征。表示取纹理特征操作。
[0167]
如此为位置i上的块遍历完其m个位置之后，得到距离向量与其对应的标签集合，将标签集合根据取距离最小的前k个标签，组合记为k维向量
[0168]
遍历所有人脸位置，为输入图像x
in
计算出一个向量矩阵(m
×
k维的)记录其块与块的关联关系。
[0169]
s4：基于上一步中计算的和id，为输入图像块的每一个近邻块计算出偏移量的向量，为后续基于个体偏差指导的重建过程做数据准备。
[0170]
通过计算其同位置近邻块的个体关系和idi的交叠程度，计算出与在库经验关系idi的偏移量(偏差)向量。利用该偏差为指导，在后续重建过程中计算出应该强调权重的候选样本，具体的计算步骤如下：
[0171]
首先为在低质量训练样本库x对应的位置i上的图像块集合xi中，选取距离最近的k个图像块作为近邻块集合，然后从中为这k个块挑选出其所在位置的全局关系标号向量，并记作其中k＝1,2,...,k；然后计算其与经验值idi的交叠数量，并记作其中∩代表求取交集，||0代表取0范数，也就是计算交集元素的个数，赋值给v
k,i
。
[0172]
遍历k的所有取值元素，得到偏差量向量通过将该向量放置于k乘以k的零矩阵的对角线上，得到矩阵vi′
＝diag(vi)，其中diag()代表操作：将向量放置于对应尺寸的零方阵的对角线位置上。
[0173]
具体地，以第k＝1,2,...,k个近邻为例，根据所在的图像位于x中第几张(j值)和所在的位置(i值)，从中挑出对应的向量并记作其中k＝1,2,...,k。
[0174]
s5：基于个体偏差为指导，将输入待处理低分辨率图像x
in
投影至分类特征空间中，计算每一个块位置的超分辨率表达系数。
[0175]
具体的：以位置i为例，对图像块根据库x和x
aug
对应位置i的图像块库xi和通过下述目标函数计算出其对应的表达系数ωi：
[0176][0177]
其中是一个对角矩阵，对角线上的元素计算方式为：λ表示平衡系数，由经验设定。
[0178]
s6：得到表示系数后，将系数和权重向量投影回到高分辨率空间，得到高分辨率空间重表达结果，公式记作：按照位置变量i拼接高分辨率人脸图像块得高分辨率人脸图像y
out
。
[0179]
具体地，在为低分辨率输入待处理图像x
in
重建高分辨率块时，取出位置i对应的待处理图像块取出位置i对应的低分辨率重建图像库块集合位置i对应的高分辨率重建图像库块集合
[0180]
以xf为例，说明分块方法：对xf中的每一张人脸图像，进行无差别的均匀分块，分块窗口大小(块大小)记为bb，交叠像素尺寸个数为dd，因此窗口滑动步长为bb-dd，假设每张人脸图像长度和宽度分别为imrow和imcol个像素，那么通过计算得出每张图像被分成了m＝u
×
v块，其中u表示长度方向上分成的块数，v表示宽度方向上分成的块数，二者的求取公式为：
[0181]
u＝ceil((imrow-dd)/(bb-dd))
[0182]
v＝ceil((imcol-dd)/(bb-dd))
[0183]
设i表示位置标号，i＝1,2,3,...,m。从低分辨率输入待处理图像x
in
获得和从高分辨率重建图像库块集合yf获得的分块方法同上。
[0184]
采用相同的分块方式将待处理低分辨率人脸图像、以及训练库中图像划分为具交叠部分的图像块，所述的图像块为边长为bb的正方形图像块；本发明中，将训练库中各图像均划分为m个正方形图像块；同时，将待处理低分辨率人脸图像x
in
也划分为m个图像块。采用图像块集表示相应的人脸图像，将通过对待处理低分辨率人脸图像x
in
的图像块恢复获得。
[0185]
如图2所示，对人脸图像进行分块的主要依据是局部流形的思想，即人脸图像是一类特殊图像，这些图像具有特定的结构意义，比如在某个位置上所有的小块都是眼睛、或者某个位置上都是鼻子，也就是说图像中每一个位置的局部小块都处于一个特定的局部几何流形当中。为保证这个局部流形，需要将图像分为若干正方形的图像块。图像块的大小需要有合适尺寸，若分块太大，则会由于微小的对齐问题引起重影现象；若分块太小，会模糊、淡化每个小块的位置特征。此外，还需要选择图像块之间交叠块的尺寸。因为如果简单的将图像分为不含交叠块的若干正方形小块，那么这些正方形块与块之间会因为不兼容问题出现网格效应。而且人脸图像并不总是正方形，那么交叠块的尺寸选择需要注意使得图像尽可能充分的分块。
[0186]
为验证本发明技术效果，使用中国人脸数据库cas-peal进行验证。从中选择540个人脸样本，分辨率是112*96，用仿射变换法对齐人脸。从人脸样本中随机取500幅为训练样本，其余40幅图像下采样4倍(分辨率为24*28)后加上0.015的高斯噪声后作为测试图像。将人脸样本剩余图像作为训练库，使用双三次插值方法将测试图像放大4倍得到主观图像；分别采用传统局部脸人脸超分辨率方法(方法1)、方法lan[4](方法2)、基于轮廓先验的鲁棒性人脸超分辨率处理方法[5](方法3)得到主观图像。
[0187]
从实验结果可知，方法1～3虽然比插值方法在分辨率上有所提升，但出现了较严重误差，与原始图像的相似度很低。方法2中的结果由于是全局脸架构，基于全局的方法往往具有细节恢复上的短板，所以在这方面稍逊于本发明方法。本发明方法所恢复图像的质量相比于方法1～3和双三次插值方法都有显著提高。
[0188]
表1展示了各图像对应的客观质量，包括psnr(峰值信噪比)和ssim值(结构相似性准则)。从表1中看出，本发明方法在恢复图像的客观质量上，也有较为明显的稳定提升。
[0189]
表1恢复图像客观质量的对比
[0190][0191][0192]
本发明方法通过特征提取判定降质种类和比例，并基于此为低分辨率输入图像自适应的构建训练库作为像素模式分布的补充，为输入的低分辨率图像提供可能的像素分布样本库，进而增强算法鲁棒性。另一方面，通过对个体和整体的两种统计结果计算偏差，量化个体样本偏离整体分布的程度，并以此直到个体样本块在重建过程中的权重优化，进而提升低分辨率输入图像的表达精度，对低质量人脸图像进行恢复。实验结果从主观质量到客观质量均证明了本发明的有效性，即自适应训练库构建和偏差修正策略的引入有效减弱了严重噪声对超分辨率重建的影响，从而提升了人脸超分辨率处理结果。
[0193]
本发明采用以上技术方案，利用输入低质量图像的图像分布后验知识，估计出其中的降质成分配比和组成，生成基于后验信息的和输入图像降质最接近的图像库作为像素密度分布模式的知识补充。利用图像库先验知识，判定出其中每一个表达近邻的表达偏差量，并用于指导其后续重建过程中的权重修正工作。通过基于后验的降质估计和基于先验的个体偏差估计，为低质量图像自适应的构建训练库补充库，通过基于先验的图像库知识，为输入图像在训练库上的表达提供权重修正指导，两者相结合，恢复出效果较为令人满意的重建人脸图像。本发明具有普适性，对于一般的低质量人脸图像均取得较好的恢复效果；特别对于低质量监控环境下人脸图像的恢复，效果更加明显。
[0194]
显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。在不冲突的情况下，本技术中的实施例及实施例中的特征相互组合。通常在此处附图中描述和示出的
本技术实施例的组件以各种不同的配置来布置和设计。因此，本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0195]
参考文献：
[0196]
[1]h.chang,d.-y.yeung,and y.xiong,“super-resolution through neighbor embedding,”in proc.ieee conf.comput.vis.pattern recog.,jul.2004,pp.275
–
282.
[0197]
[2]sung won park,savvides,m."breaking the limitation of manifold analysis for super-resolution of facial images",icassp,pp:573-576,2007.
[0198]
[3]xiaogang wang and xiaoou tang,“hallucinating face by eigentransformation,”systems,man,and cybernetics,part c:applications and reviews,ieee transactions on,vol.35,no.3,pp.425
–
434,2005.
[0199]
[4]hua huang,huiting he,xin fan,and junping zhang,“super-resolution of human face image using canonical correlation analysis,”pattern recognition,vol.43,no.7,pp.2532
–
2543,2010.”[0200]
[5]c lan,r hu,z han,a face super-resolution approach using shape semantic mode regularization.ieee international conference on image processing(icip),2021
–
2024,26-29 sept.2010.
[0201]
[6]navneet dalal and bill triggs.histograms of oriented gradients for human detection.in cvpr,pages 886
–
893,2005。