一种稳定人脸框坐标的方法与流程

1.本发明涉及智能视频处理技术领域，特别涉及人脸识别系统中一种稳定人脸框坐标的方法。


背景技术：

2.目前人脸识别技术广泛应用于身份认证、安检、门禁等系统。人脸识别系统主要包括四个组成部分，分别为：人脸图像采集及检测、人脸图像预处理、人脸图像特征提取以及匹配与识别。通常，在人脸图像采集及检测这个环节会结合人脸关键点检测技术增加人脸检测的精度。然而，终端设备在视频流的前后帧内中检测出的人脸关键点的位置会有差别，这样直接造成了关键点随机抖动的现象，从而导致设备产品在显示人脸关键点或由关键点特征扩展的人脸框时出现定位不稳定，频繁抖动的问题，这极大影响了客户的产品体验。
3.传统技术会根据上一帧关键点的位置和当前帧关键点的检测位置，通过减小两帧关键点位置之间的距离的方法来减缓视频流中关键点的抖动。但是，这种方法会降低关键点的位置精度，且在人脸发生移动时，会出现关键点延迟移动的问题。


技术实现要素：

4.为了解决上述问题，本方法目的在于：一方面减缓视频流中人脸检测框坐标点的抖动，一方面减轻人脸发生移动时，因坐标点移动延迟问题造成的视觉延迟感。
5.具体地，本发明提供一种稳定人脸框坐标的方法，所述方法包括以下步骤：
6.s1.参数初始化，其中重叠度分段阈值t1＝0.96，t2＝0.9；重叠度iou＝0；
7.s2.人脸关键点检测：
8.设人脸关键点坐标p1(x1,y1)，......，pn(xn,yn)；
9.n可根据人脸检测模型进行调整，其具体数值无固定限制；
10.s3.计算人脸关键点外接框：
11.设rect(b
lu
,b
rd
)表示当前帧的外接矩形框，其中b
lu
(x
lu
,y
lu
)，b
rd
(x
rd
,y
rd
)表示当前帧外接框的左上、右下两个顶点；rect(b
l
′u,br′d)表示前一帧的外接矩形框，其中b
l
′u(x
l
′u,y
l
′u)，br′d(xr′d,yr′d)表示前一帧外接框的左上、右下两个顶点；
12.s4.计算重叠度：
13.s4.1判断是否相交：
14.如果前一帧与当前帧关键点外接框有重叠区域，执行步骤s4.2；否则认为无交点，令重叠度iou＝0，执行步骤s5；
15.s4.2求相交面积和组合面积；
16.s4.3求重叠度；
17.s5.重叠度分段处理：
18.如果满足条件(2)，则执行步骤s5.1；否则继续判断条件(3)，满足则执行步骤s5.2；否则执行步骤s5.3；
19.iou》t1ꢀꢀꢀ
条件(2)
20.iou》t2ꢀꢀꢀ
条件(3)
21.s5.1保持前一帧关键点位置：
22.检测的关键点存在微小抖动，将上一帧的关键点坐标及外接框坐标作为当前帧的输出特征，以抑制小幅抖动；
23.s5.2滑动平均：
24.检测的关键点抖动明显，将上一帧的关键点坐标与当前帧关键点坐标加权平均值作为当前帧的输出特征，以减缓抖动；
25.s5.3更新当前帧关键点位置：
26.检测的关键点明显移动，直接将当前帧的关键点坐标作为当前帧的输出特征，以解决移动延迟现象；
27.s6.人脸框扩展：
28.根据步骤s5中的当前帧的输出特征，设外接框坐标表示为rect(b
luo
,b
rdo
)，按适当比例进行扩展，即得到完整人脸框rect(b
1fo
,b
2fo
)；
29.s7.返回，等待视频流下一帧，执行步骤s2。
30.所述步骤s2中：若n＝5，表示为人脸的5点特征点：眼睛
×
2、鼻子、嘴角
×
2；
31.若n＝72，表示为人脸的72点特征点：人脸边缘
×
13，眼睛
×
18，眉毛
×
16，鼻子
×
11，嘴巴
×
14。
32.所述的人脸关键点外接框具体计算方法如公式(1)-(4)所示；
[0033][0034][0035][0036][0037]
所述步骤s4.1，按照公式(5)-(8)计算交点，如果满足条件(1)，则前一帧与当前帧关键点外接框有重叠区域，执行步骤s4.2；否则认为无交点，令重叠度iou＝0，执行步骤s5；
[0038]
x
1or
＝max(x
lu
,x
′
lu
)
ꢀꢀꢀ
公式(5)
[0039]y1or
＝max(y
lu
,y
′
lu
)
ꢀꢀꢀ
公式(6)
[0040]
x
2or
＝min(x
rd
,x
′
rd
)
ꢀꢀꢀ
公式(7)
[0041]y2or
＝min(y
rd
,y
′
rd
)
ꢀꢀꢀ
公式(8)
[0042]
x
1or
《x
2or
且y
1or
《y
2or
ꢀꢀ
条件(1)。
[0043]
所述步骤s4.2，按照公式(9)计算相交面积：
[0044]sjoin
＝(x
2or-x
1or
)*(y
2or-y
1or
)
ꢀꢀꢀ
公式(9)
[0045]
按照公式(10)计算组合面积：
[0046]sunion
＝s
rect
s
′
rect-s
join
ꢀꢀꢀ
公式(10)
[0047]
其中，s
rect
＝(x
rd-x
lu
)*(y
rd-y
lu
)，s
′
rect
＝(x
′
rd-x
′
lu
)*(y
′
rd-y
′
lu
)。
[0048]
所述步骤s4.3按照公式(11)计算重叠度；
[0049][0050]
所述步骤s6中的输出特征为关键点坐标及外接框坐标。
[0051]
所述步骤s6中具体扩展方法如公式(12)-(15)：
[0052]
x
1fo
＝max(0,x
luo-k
·
(x
rdo-x
luo
))
ꢀꢀꢀ
公式(12)
[0053]y1fo
＝max(0,y
luo-k
·
(y
rdo-y
luo
))
ꢀꢀꢀ
公式(13)
[0054]
x
2fo
＝min(w,x
luo
k
·
(x
rdo-x
luo
))
ꢀꢀꢀ
公式(14)
[0055]y2fo
＝min(h,y
luo
k
·
(y
rdo-y
luo
))
ꢀꢀꢀ
公式(15)
[0056]
其中，h,w为扩展上界，表示视频画面的大小，如果扩展超出画面，则无意义。
[0057]
所述步骤s6中,当n＝5时，可取经验扩展系数k＝0.4；当n＝72时，可取经验扩展系数k＝0.1。
[0058]
由此，本技术的优势在于：
[0059]
通过对视频流中前后两帧中人脸外接框的重叠度分段处理的方式来量化人脸关键点的抖动幅度。在t1《iou≤1区间段内，将上一帧的关键点坐标及外接框坐标作为当前帧的输出特征，以抑制小幅抖动；在t2《iou≤t1区间段内，将上一帧的关键点坐标与当前帧关键点坐标加权平均值作为当前帧的输出特征，以减缓中幅抖动；在0≤iou≤t2区间段内，直接将当前帧的关键点坐标作为当前帧的输出特征，以解决移动延迟现象。这种分段处理方式实际上是减缓抖动和移动延迟的一种折衷方案，可直接提升用户的体验感。
附图说明
[0060]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
[0061]
图1是本方法中为人脸的72点特征点的示意图。
[0062]
图2是实现本发明方法实施例稳定人脸框坐标方法的流程示意图。
[0063]
图3是本方法的具体流程示意图。
具体实施方式
[0064]
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
[0065]
如图3所示，本技术涉及一种稳定人脸框坐标的方法，所述方法包括以下步骤：
[0066]
s1.参数初始化，其中重叠度分段阈值t1＝0.96，t2＝0.9；重叠度iou＝0；
[0067]
s2.人脸关键点检测：
[0068]
设人脸关键点坐标p1(x1,y1)，......，pn(xn,yn)；
[0069]
n可根据人脸检测模型进行调整，其具体数值无固定限制；
[0070]
s3.计算人脸关键点外接框：
[0071]
设rect(b
lu
,b
rd
)表示当前帧的外接矩形框，其中b
lu
(x
lu
,y
lu
)，b
rd
(x
rd
,y
rd
)表示当前帧外接框的左上、右下两个顶点；rect(b
′
lu
,b
′
rd
)表示前一帧的外接矩形框，其中b
′
lu
(x
′
lu
,y
′
lu
)，b
′
rd
(x
′
rd
,y
′
rd
)表示前一帧外接框的左上、右下两个顶点；
[0072]
s4.计算重叠度：
[0073]
s4.1判断是否相交：
[0074]
如果前一帧与当前帧关键点外接框有重叠区域，执行步骤s4.2；否则认为无交点，令重叠度iou＝0，执行步骤s5；
[0075]
s4.2求相交面积和组合面积；
[0076]
s4.3求重叠度；
[0077]
s5.重叠度分段处理：
[0078]
如果满足条件(2)，则执行步骤s5.1；否则继续判断条件(3)，满足则执行步骤s5.2；否则执行步骤s5.3；
[0079]
iou》t1ꢀꢀꢀ
条件(2)
[0080]
iou》t2ꢀꢀꢀ
条件(3)
[0081]
s5.1保持前一帧关键点位置：
[0082]
检测的关键点存在微小抖动，将上一帧的关键点坐标及外接框坐标作为当前帧的输出特征，以抑制小幅抖动；
[0083]
s5.2滑动平均：
[0084]
检测的关键点抖动明显，将上一帧的关键点坐标与当前帧关键点坐标加权平均值作为当前帧的输出特征，以减缓抖动；
[0085]
s5.3更新当前帧关键点位置：
[0086]
检测的关键点明显移动，直接将当前帧的关键点坐标作为当前帧的输出特征，以解决移动延迟现象；
[0087]
s6.人脸框扩展：
[0088]
根据步骤s5中的当前帧的输出特征，设外接框坐标表示为rect(b
luo
,b
rdo
)，按适当比例进行扩展，即得到完整人脸框rect(b
1fo
,b
2fo
)；
[0089]
s7.返回，等待视频流下一帧，执行步骤s2。
[0090]
具体地，本技术方法的主要实施步骤还可以描述如下：
[0091]
步骤1.参数初始化，其中重叠度分段阈值t1＝0.96，t2＝0.9；重叠度iou＝0；
[0092]
步骤2.人脸关键点检测
[0093]
设人脸关键点坐标p1(x1,y1)，pn(xn,yn)；
[0094]
若n＝5，表示为人脸的5点特征点：眼睛
×
2、鼻子、嘴角
×
2；
[0095]
若n＝72，表示为人脸的72点特征点：人脸边缘
×
13，眼睛
×
18，眉毛
×
16，鼻子
×
11，嘴巴
×
14，如图1所示；
[0096]
因此n可根据人脸检测模型进行调整，其具体数值无固定限制。
[0097]
步骤3.计算人脸关键点外接框
[0098]
设rect(b
lu
,b
rd
)表示当前帧的外接矩形框，其中b
lu
(x
lu
,y
lu
)，b
rd
(x
rd
,y
rd
)表示当前帧外接框的左上、右下两个顶点；rect(b
′
lu
,b
′
rd
)表示前一帧的外接矩形框，其中b
′
lu
(x
′
lu
,y
′
lu
)，b
′
rd
(x
′
rd
,y
′
rd
)表示前一帧外接框的左上、右下两个顶点；
[0099]
人脸关键点外接框具体计算方法如公式(1)～(4)所示；
[0100][0101]
[0102][0103][0104]
步骤4.计算重叠度
[0105]
4.1判断是否相交
[0106]
按照公式(5)～(8)计算交点，如果满足条件(1)，则前一帧与当前帧关键点外接框有重叠区域，执行步骤4.2；否则认为无交点，令重叠度iou＝0，执行步骤5；
[0107]
x
1or
＝max(x
lu
,x
′
lu
)
ꢀꢀꢀ
公式(5)
[0108]y1or
＝max(y
lu
,y
′
lu
)
ꢀꢀꢀ
公式(6)
[0109]
x
2or
＝min(x
rd
,x
′
rd
)
ꢀꢀꢀ
公式(7)
[0110]y2or
＝min(y
rd
,y
′
rd
)
ꢀꢀꢀ
公式(8)
[0111]
x
1or
《x
2or
且y
1or
《y
2or
ꢀꢀꢀ
条件(1)
[0112]
4.2求相交面积和组合面积
[0113]
按照公式(9)计算相交面积；
[0114]sjoin
＝(x
2or-x
1or
)*(y
2or-y
1or
)
ꢀꢀꢀ
公式(9)
[0115]
按照公式(10)计算组合面积；
[0116]sunion
＝s
rect
s
′
rect-s
join
ꢀꢀꢀ
公式(10)
[0117]
其中，s
rect
＝(x
rd-x
lu
)*(y
rd-y
lu
)，s
′
rect
＝(x
′
rd-x
′
lu
)*(y
′
rd-y
′
lu
)。
[0118]
4.3求重叠度
[0119]
按照公式(11)计算重叠度；
[0120][0121]
步骤5.重叠度分段处理
[0122]
如果满足条件(2)，则执行步骤5.1；否则继续判断条件(3)，满足则执行步骤5.2；否则执行步骤5.3；
[0123]
iou》t1ꢀꢀꢀ
条件(2)
[0124]
iou》t2ꢀꢀꢀ
条件(3)
[0125]
5.1保持前一帧关键点位置
[0126]
检测的关键点存在微小抖动，将上一帧的关键点坐标及外接框坐标作为当前帧的输出特征，以抑制小幅抖动；
[0127]
5.2滑动平均
[0128]
检测的关键点抖动明显，将上一帧的关键点坐标与当前帧关键点坐标加权平均值作为当前帧的输出特征，以减缓抖动；
[0129]
5.3更新当前帧关键点位置
[0130]
检测的关键点明显移动，直接将当前帧的关键点坐标作为当前帧的输出特征，以解决移动延迟现象；
[0131]
步骤6.人脸框扩展
[0132]
根据步骤5中的当前帧的输出特征(关键点坐标及外接框坐标)，设外接框坐标表
示为rect(b
luo
,b
rdo
)，按适当比例进行扩展，即得到完整人脸框rect(b
1fo
,b
2fo
)；
[0133]
其中当n＝5时，可取经验扩展系数k＝0.4；其中当n＝72时，可取经验扩展系数k＝0.1；
[0134]
具体扩展方法如公式(12)～(15)；
[0135]
x
1fo
＝max(0,x
luo-k
·
(x
rdo-x
luo
))
ꢀꢀꢀ
公式(12)
[0136]y1fo
＝max(0,y
luo-k
·
(y
rdo-y
luo
))
ꢀꢀꢀ
公式(13)
[0137]
x
2fo
＝min(w,x
luo
k
·
(x
rdo-x
luo
))
ꢀꢀꢀ
公式(14)
[0138]y2fo
＝min(h,y
luo
k
·
(y
rdo-y
luo
))
ꢀꢀꢀ
公式(15)
[0139]
其中，h,w为扩展上界，表示视频画面的大小，如果扩展超出画面，则无意义。
[0140]
步骤7.返回，等待视频流下一帧，执行步骤2。
[0141]
如图2所示，本发明的方法实施例的流程示意图：
[0142]
1.开始初始化
[0143]
2.人脸关键点检测
[0144]
3.计算关键点外接框
[0145]
4.计算外接框重叠度
[0146]
5.重叠度分段处理
[0147]
5.1.判断重叠度iou》t1，满足则保持上一帧关键点坐标，否则进入步骤5.2.；
[0148]
5.2.进一步判断重叠度iou》t2，满足则平均前后两帧关键点坐标，否则进入步骤5.3.；
[0149]
5.3.更新当前帧坐标；
[0150]
6.扩展人脸框；
[0151]
7.返回，读取下一帧图像，执行2人脸关键点检测。
[0152]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。