一种自适应扩展系数的人脸裁剪优化方法与流程

1.本发明涉及智能视频处理技术领域，特别涉及人脸检测中的一种自适应扩展系数的人脸裁剪优化方法。


背景技术：

2.目前人脸识别技术广泛应用于身份认证、安检、门禁等系统。人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。其中人脸图像采集及检测这个环节裁剪的人脸会直接影响人脸识别的结果，通常为了增加人脸识别精度，输入识别模型的人脸会裁剪掉无关的背景信息以及易变化的特征(发型等)，一般的裁剪方法是根据检测的人脸特征点，尽最大可能将人脸特征裁剪下来而又不引入过多的背景干扰信息。
3.在人脸检测时，人脸是一个实时运动的目标，在出现人脸移动幅度较大而使得检测画面内的人脸不完整，如图1中的face2、face3所示，额头、耳朵或下巴出画，这时，特征点的位置(五角星标记位置)与实际特征点位置(小圆圈表示眼睛，弧线表示嘴部)会发生相对偏移，如果采用固定的扩展系数进行人脸扩充，会导致人脸扩充不够(眼睛、脸颊等信息丢失)或者人脸扩充过多(背景、脖子等信息入画较多)。


技术实现要素：

4.为了解决上述问题，本方法目的在于：提出一种自适应扩展系数的方法进行实时调整人脸裁剪框，以改善在目标人脸不完整时因特征点偏差造成的扩充区域不合理的问题。
5.具体地，本发明提供一种自适应扩展系数的人脸裁剪优化方法，所述方法包括以下步骤：
6.s1.参数定义及初始化：
7.1)人脸五个特征点坐标：p0(x0，y0)，p1(x1，y1)，p2(x2，y2)，p3(x3，y3)，p4(x4，y4)；
8.2)人脸检测框对角坐标：b
0d
(x
0d
，y
0d
)，b
1d
(x
1d
，y
1d
)；
9.3)当前帧人脸比例系数：k，其中带下标的ki与k同意义，下标表示第i帧的人脸比例系数k，k0＝1.0；
10.4)历史平均人脸比例系数：其中带下标的与同意义，下标表示第i帧之前的一段时间内的平均人脸比例系数其中
11.5)扩展系数：λ＝1.8*scalar，其中1.8为经验值，scalar初始化值1.0；
12.6)人脸裁剪框对角坐标：b
0c
(x
0c
，y
0c
)，b
1c
(x
1c
，y
1c
)；
13.以上1)、2)、6)中坐标参数初始化值均为0；
14.s2.人脸区域检测
15.s2.1人脸检测：
16.将视频帧图像送入人脸检测模型，如果能够检测到人脸，人脸存在标志face_flag＝1，执行步骤s2.2；否则，face_flag＝0执行步骤s5；
17.s2.2人脸筛选：
18.如果检测到一个人脸，则b
0d
、b
1d
、p0～p4表示的是所检测到人脸框对角坐标及人脸特征点坐标；
19.如果检测到多个人脸，则选择人脸框最大的人脸，即b
0d
、b
1d
、p0～p4表示的是所检测到人脸中最大人脸框对角坐标及人脸特征点坐标；
20.s2.3人脸区域判断：
21.将整个视频画面分为中心区域和边界区域，
22.人脸位于边界区域，令人脸区域标志cen_flag＝0，执行步骤s3；
23.否则位于中心区域，令人脸区域标志cen_flag＝1，执行步骤s3；
24.s3.计算扩展系数：
25.s3.1计算当前帧人脸比例系数，计算方法如公式(2)所示；
[0026][0027]
s3.2如果cen_flag＝1，则按公式(3)计算历史人脸比例系数；否则按公式(4)计算历史人脸比例系数；
[0028][0029][0030]
s3.3计算扩展系数，计算方法如公式(5)(6)所示；
[0031]
λ＝1.8*scalar
ꢀꢀꢀ
公式(5)
[0032][0033]
s4.人脸扩展及裁剪：
[0034]
s4.1人脸扩展：
[0035]
如果人脸在中心区域，scalar≈1.0，扩展系数仅在很小范围内波动，不需要做大调整；
[0036]
如果人脸在边界区域，scalar》1.0，在进行人脸扩展时，需要适当增大扩展系数，保证人脸实际的特征点能够在裁剪框内；scalar《1.0，在进行人脸扩展时，需要适当减小扩展系数，以便尽可能减少背景扩充的干扰；s4.2.按照扩展后的裁剪框对角坐标b
0c
(x
0c
,y
0c
)，b
1c
(x
1c
,y
1c
)裁剪相应人脸图片并送入后续识别模块；
[0037]
s5.返回，读取下一帧图像，执行步骤s2。
[0038]
所述步骤s1中进一步包括：
[0039]
7)人脸区域标志：cen_flag，cen_flag＝1表示检测到的人脸位于画面中心区域，cen_flag＝0表示检测到的人脸位于画面边界区域，其中cen_flag初始化值为1。
[0040]
所述步骤s1中进一步包括：
[0041]
8)人脸存在标志：face_flag，face_flag＝1表示画面检测到人脸，face_flag＝0表示未检测到人脸，其中face_flag初始化值为0。
[0042]
所述步骤s2.3将整个视频画面分为中心区域和边界区域，具体的判断方法如下：
[0043]
(1)计算人脸检测框中心点b
center
(x
cd
,y
cd
)，即对角坐标均值；
[0044]
(2)设整个视频画面宽w，高h；如果满足条件(1)-条件(4)中任意一个，则认为人脸位于边界区域，否则位于中心区域；
[0045]
x
cd
《0.15*w
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(1)
[0046]
x
cd
》0.85*w
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(2)
[0047]ycd
《0.15*h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(3)
[0048]ycd
》0.85*h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(4)。
[0049]
其中，条件(1)-(4)中对角坐标均值的计算公式如式(1)
[0050][0051]
所述步骤s4.1中具体的扩展方式如公式(7)-(10)所示：
[0052]
x
0c
＝x
0d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(7)
[0053]
x
1c
＝x
1d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(8)
[0054]y0c
＝min(y
0d
,y
2-λ*
△
d)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(9)
[0055]y1c
＝max(y
1d
,y2 λ*
△
d)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(10)
[0056]
其中，公式(9)(10)中
[0057]
所述步骤s4.1中，
[0058]
如果人脸在中心区域，scalar≈1.0，表示人脸的特征点检测准确；
[0059]
如果人脸在边界区域，scalar》1.0，表示检测的人脸特征点呈现缩小趋势；scalar《1.0，表示检测的人脸特征点呈现扩大趋势。
[0060]
由此，本技术的优势在于：
[0061]
1.在人脸检测系统实际工作时，会存在人脸位于画面中心区域检测到的五个特征点(左眼、右眼、鼻尖、左嘴角、右嘴角)准确(如图1中的face1所示)；但在画面边界区域时，检测的五点特征坐标相对于实际位置发生偏移(如图1中的face2、face3所示)，从而影响图像在扩充裁剪时出现裁剪过多或填充过多的问题；本技术实时判断五点特征偏移的变化趋势，设置一个自适应调整的扩展系数来对边界区域的人脸进行一定的偏移补偿或偏移抵消；
[0062]
2.本技术中的自适应扩展系数，实际上是对五点特征的最大y轴距离与人脸检测框的y轴距离比值(当前帧人脸比例系数k)的一种趋势的量化；统计的中心区域的比值(历史平均人脸比例系数)可以认为是界定变化趋势的一个基准，而边界区域内计算的k则是需要判断的目标，表示检测的五点在人脸框占比变大，在进行扩充时，需要减小扩充范围(扩展系数减小)；反之亦然。
附图说明
[0063]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
[0064]
图1是当出现人脸移动幅度较大而使得检测画面内的人脸不完整的示意图。
[0065]
图2是本技术方法的流程示意图。
[0066]
图3是具体实施例的流程示意图。
具体实施方式
[0067]
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
[0068]
如图2所示，一种自适应扩展系数的人脸裁剪优化方法，所述方法包括以下步骤：
[0069]
s1.参数定义及初始化：
[0070]
1)人脸五个特征点坐标：p0(x0，y0)，p1(x1，y1)，p2(x2，y2)，p3(x3，y3)，p4(x4，y4)；
[0071]
2)人脸检测框对角坐标：b
0d
(x
0d
，y
0d
)，b
1d
(x
1d
，y
1d
)；
[0072]
3)当前帧人脸比例系数：k，其中带下标的ki与k同意义，下标表示第i帧的人脸比例系数k，k0＝1.0；
[0073]
4)历史平均人脸比例系数：其中带下标的与同意义，下标表示第i帧之前的一段时间内的平均人脸比例系数其中
[0074]
5)扩展系数：λ＝1.8*scalar，其中1.8为经验值，scalar初始化值1.0；
[0075]
6)人脸裁剪框对角坐标：b
0c
(x
0c
，y
0c
)，b
1c
(x
1c
，y
1c
)；
[0076]
以上1)、2)、6)中坐标参数初始化值均为0；
[0077]
s2.人脸区域检测
[0078]
s2.1人脸检测：
[0079]
将视频帧图像送入人脸检测模型，如果能够检测到人脸，人脸存在标志face_flag＝1，执行步骤s2.2；否则，face_flag＝0执行步骤s5；
[0080]
s2.2人脸筛选：
[0081]
如果检测到一个人脸，则b
0d
、b
1d
、p0～p4表示的是所检测到人脸框对角坐标及人脸特征点坐标；
[0082]
如果检测到多个人脸，则选择人脸框最大的人脸，即b
0d
、b
1d
、p0～p4表示的是所检测到人脸中最大人脸框对角坐标及人脸特征点坐标；
[0083]
s2.3人脸区域判断：
[0084]
将整个视频画面分为中心区域和边界区域，
[0085]
人脸位于边界区域，令人脸区域标志cen_flag＝0，执行步骤s3；
[0086]
否则位于中心区域，令人脸区域标志cen_flag＝1，执行步骤s3；
[0087]
s3.计算扩展系数：
[0088]
s3.1计算当前帧人脸比例系数，计算方法如公式(2)所示；
[0089][0090]
s3.2如果cen_flag＝1，则按公式(3)计算历史人脸比例系数；否则按公式(4)计算历史人脸比例系数；
[0091][0092][0093]
s3.3计算扩展系数，计算方法如公式(5)(6)所示；
[0094]
λ＝1.8*scalar
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(5)
[0095][0096]
s4.人脸扩展及裁剪：
[0097]
s4.1人脸扩展：
[0098]
如果人脸在中心区域，scalar≈1.0，扩展系数仅在很小范围内波动，不需要做大调整；
[0099]
如果人脸在边界区域，scalar》1.0，在进行人脸扩展时，需要适当增大扩展系数，保证人脸实际的特征点能够在裁剪框内；scalar《1.0，在进行人脸扩展时，需要适当减小扩展系数，以便尽可能减少背景扩充的干扰；s4.2.按照扩展后的裁剪框对角坐标b
0c
(x
0c
,y
0c
)，b
1c
(x
1c
,y
1c
)裁剪相应人脸图片并送入后续识别模块；
[0100]
s5.返回，读取下一帧图像，执行步骤s2。
[0101]
具体地，本方法的主要实施步骤另外一种描述方式如下：
[0102]
步骤1.参数定义及初始化
[0103]
1)人脸五个特征点坐标：p0(x0,y0)，p1(x1,y1)，p2(x2,y2)，p3(x3,y3)，p4(x4,y4)；
[0104]
2)人脸检测框对角坐标：b
0d
(x
0d
,y
0d
)，b
1d
(x
1d
,y
1d
)；
[0105]
3)当前帧人脸比例系数：k，其中本文中出现的带下标的ki与k同意义，下标表示第i帧的人脸比例系数k，k0＝1.0；
[0106]
4)历史平均人脸比例系数：其中本文中出现的带下标的与同意义，下标表示第i帧之前的一段时间内的平均人脸比例系数其中
[0107]
5)扩展系数：λ＝1.8*scalar，其中1.8为经验值，scalar初始化值1.0；
[0108]
6)人脸区域标志：cen_flag，cen_flag＝1表示检测到的人脸位于画面中心区域，cen_flag＝0表示检测到的人脸位于画面边界区域，其中cen_flag初始化值为1；
[0109]
7)人脸裁剪框对角坐标：b
0c
(x
0c
,y
0c
)，b
1c
(x
1c
,y
1c
)；
[0110]
8)人脸存在标志：face_flag，face_flag＝1表示画面检测到人脸，face_flag＝0表示未检测到人脸，其中face_flag初始化值为0；
[0111]
以上1)、2)、7)中坐标参数初始化值均为0；
[0112]
步骤2.人脸区域检测
[0113]
2.1人脸检测
[0114]
将视频帧图像送入人脸检测模型，如果能够检测到人脸，face_flag＝1则执行步骤2.2；否则，face_flag＝0执行步骤5；
[0115]
2.2人脸筛选
[0116]
如果检测到一个人脸，则b
0d
、b
1d
、p0～p4表示的为所检测到人脸框对角坐标及人脸特征点坐标；如果检测到多个人脸，则选择人脸框最大的人脸，即b
0d
、b
1d
、p0～p4表示的为所检测到人脸中最大人脸框对角坐标及人脸特征点坐标；
[0117]
2.3人脸区域判断
[0118]
将整个视频画面分为中心区域和边界区域，具体的判断方法如下：
[0119]
(1)计算人脸检测框中心点b
center
(x
cd
,y
cd
)，即对角坐标均值；计算公式如式(1)
[0120][0121]
(2)设整个视频画面宽w，高h；如果满足条件(1)-条件(4)中任意一个，则认为人脸位于边界区域，令cen_flag＝0，执行步骤3；否则位于中心区域，令cen_flag＝1，执行步骤3；
[0122]
x
cd
《0.15*w
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(1)
[0123]
x
cd
》0.85*w
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(2)
[0124]ycd
《0.15*h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(3)
[0125]ycd
》0.85*h
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
条件(4)
[0126]
步骤3.计算扩展系数
[0127]
3.1计算当前帧人脸比例系数，计算方法如公式(2)所示；
[0128][0129]
3.2如果cen_flag＝1，则按公式(3)计算历史人脸比例系数；否则按公式(4)计算历史人脸比例系数；
[0130][0131][0132]
3.3计算扩展系数，计算方法如式(5)(6)所示；
[0133]
λ＝1.8*scalar
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(5)
[0134][0135]
步骤4.人脸扩展及裁剪
[0136]
如果人脸在中心区域，scalar≈1.0，人脸的特征点检测比较准确，扩展系数仅在很小范围内波动，不需要做很大调整；
[0137]
如果人脸在边界区域，scalar》1.0，表示检测的人脸特征点呈现缩小趋势，在进行人脸扩展时，需要适当增大扩展系数，保证人脸实际的特征点能够在裁剪框内；scalar《1.0，表示检测的人脸特征点呈现扩大趋势，在进行人脸扩展时，需要适当减小扩展系数，以
便尽可能减少背景扩充的干扰；
[0138]
具体的扩展方式如式(7)～(10)所示；
[0139]
x
0c
＝x
0d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(7)
[0140]
x
1c
＝x
1d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(8)
[0141]y0c
＝min(y
0d
,y
2-λ*
△
d)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(9)
[0142]y1c
＝max(y
1d
,y2 λ*
△
d)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(10)
[0143]
公式(9)(10)中
[0144]
按照扩展后的裁剪框对角坐标b
0c
(x
0c
,y
0c
)，b
1c
(x
1c
,y
1c
)裁剪相应人脸图片并送入后续识别模块；
[0145]
步骤5.返回，读取下一帧图像，执行步骤2。
[0146]
进一步地，本发明的具体实施例如图3所示：
[0147]
1.开始，进行初始化；
[0148]
2.人脸区域检测：
[0149]
2.1.人脸检测，
[0150]
2.2.判断，如果人脸存在与否face_flag＝1？
[0151]
如果否，则返回；
[0152]
如果是，则进行人脸筛选，
[0153]
3.计算扩展系数
[0154]
人脸位置判断cen_flag＝1？
[0155]
3.1.如果是，则为画面中心区域，计算人脸比例系数，更新历史平均人脸比例系数，进行3.3计算扩展系数；
[0156]
3.2.如果否，则为画面边界区域，计算人脸比例系数，保持最新的历史平均人脸比例系数，进行3.3计算扩展系数；
[0157]
3.3.计算扩展系数；
[0158]
4.人脸扩展及裁剪：根据扩展系数扩充人脸区域；
[0159]
5.返回，读取下一帧图像，执行2人脸区域检测。
[0160]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。