基于人脸特征识别的高密度群体体锻测试系统的制作方法

摘要: 本发明涉及计算机视觉及生物特征识别,具体为基于人脸特征识别的高密度群体体锻测试系统。背景技术:1、现有高密度群体体锻测试通常采用固定摄像区域连续采集测试视频,并...
基于人脸特征识别的高密度群体体锻测试系统的制作方法

本发明涉及计算机视觉及生物特征识别,具体为基于人脸特征识别的高密度群体体锻测试系统。

背景技术:

1、现有高密度群体体锻测试通常采用固定摄像区域连续采集测试视频,并在人员进入测试区域或开始测试前执行人脸检测、人脸特征提取和身份比对,将识别得到的人员编号与视频中的人员框建立初始对应关系。测试过程中,系统持续对人员框进行跟踪,根据相邻图像帧中人员框的位置重叠度、中心点距离、运动方向或外观特征维持轨迹编号,再将动作次数、完成时刻或测试阶段记录写入相应轨迹。人脸识别部分多采用完整人脸图像形成统一特征向量,将统一特征向量与预先登记的人脸模板进行相似度比较,并以最高相似度或固定接受条件确定人员身份。人员短时离开视野或人脸检测失败后,系统通常依赖原有轨迹继续传递身份;人员重新进入可识别状态时,再利用当前人脸特征与登记模板进行重新匹配,以恢复人员编号与轨迹之间的关联。

2、在多人并行运动、相互靠近或发生前后交叉的情况下,常规技术一般将人脸识别与目标跟踪分别处理。人脸检测器在每一图像帧中输出可见人脸区域,人脸识别器基于完整面部区域生成特征向量,目标跟踪器则依据人员框的时空连续性分配轨迹编号。当面部被手臂、头发或相邻人员遮挡,或者因转头和运动模糊导致完整人脸特征缺失时,人脸识别器可能停止输出身份,也可能根据剩余面部信息给出低可信匹配结果。目标跟踪器为保持轨迹连续,通常依据最近位置、预测位移或框体重叠关系将遮挡前后的人员框连接起来。多人交叉期间,各人员框的位置关系快速变化,单纯依赖距离和重叠度容易发生轨迹互换;后续重新检测到人脸时,系统往往直接将当前识别结果覆盖到既有轨迹,缺少对遮挡前后群体相对位置及测试进程连续性的联合复核。

3、部分现有系统为适应运动状态下的人脸变化,会在测试过程中对人员模板进行更新,具体做法是将相似度达到接受条件的人脸特征并入原有模板,或者采用最近若干帧特征的平均结果替换初始模板。此类处理能够补充侧脸、表情变化和局部模糊状态下的样本,但模板更新通常只依据当前帧与既有模板的相似程度,未区分额部、眼周、鼻梁、颧部和口周等局部区域的可见程度,也未对遮挡期间的身份不确定性进行保留。若相邻人员面部特征接近,或错误轨迹已将其他人员的人脸区域连接到当前身份,误匹配特征可能被写入模板,使模板中心逐步偏离初始登记身份。后续识别继续使用受影响的模板进行比较,容易形成错误识别结果参与再次更新的循环,并使一次遮挡期间的身份误配延续至后续测试阶段。

4、因此,在高密度群体体锻测试中,多名人员发生连续遮挡、交叉换位及局部人脸反复显露时,完整人脸特征、人员轨迹和单帧空间位置均不能独立保持可靠的身份连续性,系统难以确定遮挡前后的候选人脸是否属于同一人员。该问题的技术原因在于,常规方案通常在每一图像帧内完成局部最优匹配,并在识别结果不确定时仍按照最近位置或最高相似度固化身份,没有将局部面部区域的可信程度、人员之间的邻接拓扑变化以及体锻测试阶段的可达关系纳入同一时序约束。身份一旦在遮挡区间发生交换,错误结果还可能被写入人脸模板,使短时误配转化为连续误配,最终破坏人员身份、视频轨迹和体锻测试数据之间的对应关系,且无法在后续图像帧中依据重新显露的人脸证据对已固化身份进行局部回溯校正。

技术实现思路

1、本发明的目的在于提供基于人脸特征识别的高密度群体体锻测试系统,可以解决上述背景技术中的问题。

2、为实现上述目的,本发明采取的技术方案为:

3、基于人脸特征识别的高密度群体体锻测试系统,包括人脸序列获取模块、局部特征表征模块、身份锚点模块、时序身份图模块和身份解析模块;

4、所述人脸序列获取模块用于从体锻测试视频中获得各候选人员的连续人脸区域;

5、所述局部特征表征模块用于按照面部分区提取局部人脸特征,并生成与遮挡、姿态和清晰度对应的区域可信度向量;

6、所述身份锚点模块用于依据高可信完整人脸建立人员身份锚点;

7、所述时序身份图模块用于将候选身份、局部特征匹配关系、人员邻接拓扑和测试阶段状态写入跨帧身份节点及转移边;

8、所述身份解析模块用于在遮挡区间保留多个候选身份链,并在人员重新显露后按照身份占用互斥、邻接拓扑连续和测试阶段可达约束确定目标身份链,仅将满足约束的局部人脸特征用于更新对应人员的人脸识别模板。

9、优选的,所述局部特征表征模块将候选人脸划分为额部、眼周、鼻梁、双侧颧部和口周区域,分别对各面部区域生成可见性掩码,并依据可见像素连续度、区域边界完整度、姿态投影压缩程度及运动模糊方向一致性构造区域可信度向量;

10、所述局部特征表征模块还将各局部人脸特征与身份锚点中对应面部区域的锚点子特征进行独立匹配,按照所述区域可信度向量对匹配结果进行稀疏加权,并在任一面部区域的可见性掩码与锚点子特征不满足几何对应关系时,屏蔽面部区域参与所述候选身份链的生成。

11、优选的,所述人员邻接拓扑由同一图像帧内各候选人脸区域之间的相对方位、邻接顺序和局部密度关系构成,所述时序身份图模块对连续图像帧中的人员邻接拓扑建立拓扑对应边,并对发生交叉遮挡的候选人员记录遮挡前邻接序列、遮挡入口次序和可见区域消失方向;

12、在候选人员重新显露后,所述时序身份图模块基于重新显露人员的相对方位序列与所述遮挡前邻接序列建立拓扑恢复关系,并将违反遮挡入口次序、邻接顺序保持条件或短时位移连续条件的身份转移边标记为不可选边。

13、优选的,所述时序身份图模块按照准备阶段、动作执行阶段和测试结束阶段分别生成阶段状态节点,并为相邻图像帧中的候选身份节点配置与阶段状态相对应的身份转移边;

14、所述身份解析模块在遮挡区间内保留满足所述局部人脸特征匹配关系的多个所述候选身份链,对各候选身份链施加同一身份在同一时刻仅占用一个人脸区域、同一人脸区域仅归属一个身份以及阶段状态不得逆向跳转的联合约束,并依据局部特征偏差、拓扑恢复偏差和阶段转移偏差构成的组合代价,从所述候选身份链中选取总代价最小的目标身份链。

15、优选的,所述局部特征表征模块针对每一面部区域建立锚点子特征集合,并按照候选人员在连续图像帧中的姿态变化方向,将所述锚点子特征集合划分为正向可见子集、侧向可见子集和遮挡边界子集;

16、在生成所述区域可信度向量时,所述局部特征表征模块根据候选人脸的姿态投影方向选择对应锚点子特征子集,计算所述局部人脸特征在所述锚点子特征子集内的类内离散度以及相对于其他人员对应子集的类间间隔,并将类内离散度增大且类间间隔缩小的面部区域设置为冻结区域,使所述冻结区域仅参与候选身份排除而不参与身份锚点更新。

17、优选的,所述时序身份图模块以发生交叉遮挡的候选人员为中心提取至少一层相邻人员,形成包含中心候选人员、相邻人员及相对方位关系的局部拓扑片段,并将遮挡前后的局部拓扑片段转换为按方位角排序的邻接序列;

18、当遮挡前后可见人员数量不一致时,所述时序身份图模块在两个邻接序列之间构建允许缺失节点但不允许已确认邻接次序反转的序列对应关系,并利用未被遮挡的相邻人员身份锚点固定序列边界,将超出所述序列边界或导致已确认邻接次序反转的候选身份链从时序身份图中删除。

19、优选的,所述时序身份图模块将每一候选身份节点扩展为人脸观测层节点、身份假设层节点和测试阶段层节点,所述人脸观测层节点记录所述局部人脸特征及所述区域可信度向量,所述身份假设层节点记录候选身份与身份锚点之间的对应关系,所述测试阶段层节点记录候选人员在相应时刻所处的测试阶段;

20、所述身份解析模块在相邻层节点之间建立跨层一致边,并对同一人脸观测层节点连接多个已固化身份假设层节点、同一身份假设层节点在同一时刻连接多个人脸观测层节点以及所述测试阶段层节点逆序连接的图结构执行冲突边切除。

21、优选的,所述身份解析模块为每一身份锚点配置稳定特征区和待验证特征区,将遮挡结束后获得且与所述目标身份链对应的局部人脸特征先写入所述待验证特征区,并在后续连续图像帧中分别校验所述局部人脸特征与所述稳定特征区的一致性、所述目标身份链与人员邻接拓扑的一致性以及当前测试阶段与前序测试阶段的连续性;

22、仅在三项一致性校验同时满足时,将所述待验证特征区中的局部人脸特征合并至所述稳定特征区,在任一一致性校验不满足时删除对应待验证特征并恢复写入前的身份锚点状态。

23、优选的,所述身份解析模块按照遮挡区间的起始时刻和结束时刻在时序身份图中设置前向固定边界与后向固定边界,将所述前向固定边界之前已经固化的身份假设层节点和所述后向固定边界之后经完整人脸确认的身份假设层节点设为不可替换节点;

24、所述身份解析模块在两个不可替换节点之间执行双向路径搜索,分别生成从所述前向固定边界到所述后向固定边界的正向候选路径和从所述后向固定边界到所述前向固定边界的反向候选路径,仅保留在身份占用关系、跨层一致边和测试阶段顺序上相互对应的路径交集,并对所述路径交集中的冲突边执行切除后确定目标身份链。

25、优选的,所述待验证特征区按照局部面部区域分别设置特征队列,每一特征队列记录所述局部人脸特征、对应区域可信度向量及写入时关联的目标身份链标识;

26、所述身份解析模块在执行所述身份锚点合并前,对各特征队列中的局部人脸特征按照时间顺序进行闭环复核,将新写入特征与所述稳定特征区完成第一次人脸识别匹配,再利用匹配结果重建相应时段的候选身份链,并将重建后的目标身份链与写入时关联的目标身份链标识进行一致性比较,仅对两次身份链一致且未压缩对应人员与相邻身份锚点之间特征间隔的局部人脸特征执行合并。

27、与现有技术相比,本发明的有益效果在于:

28、1.将候选人脸划分为多个局部面部区域,分别提取局部人脸特征并形成与遮挡、姿态和清晰度对应的区域可信度向量,以高可信完整人脸建立身份锚点,再将候选身份、局部特征匹配关系、人员邻接拓扑和测试阶段状态写入跨帧时序身份图。遮挡期间不立即固化单一识别结果,而是保留多个候选身份链;人员重新显露后,按照身份占用互斥、邻接拓扑连续和测试阶段可达关系对候选身份链进行联合筛选。局部面部特征为遮挡状态保留可用身份信息,人员邻接拓扑限制交叉前后的相对位置变化,测试阶段状态排除与测试进程不一致的身份转移,三类信息共同约束同一目标身份链,能够减少由单帧最高相似度或最近位置造成的身份交换,并在高密度群体连续运动过程中维持人员身份与轨迹的时序对应。

29、2.对模板更新设置了与身份解析相衔接的验证路径。局部面部区域按照可见性和类间区分状态选择参与匹配、候选排除或冻结更新,避免低可信区域直接改变身份锚点;遮挡前后的局部拓扑片段通过邻接序列、遮挡入口次序和未遮挡相邻人员进行边界限定,使违反邻接顺序的身份转移边在解析前被删除。人脸观测、身份假设和测试阶段采用分层节点建立跨层一致关系,遮挡区间通过前向固定边界和后向固定边界执行双向路径核对。重新显露后取得的局部人脸特征先进入待验证特征区,经稳定特征一致性、拓扑一致性、阶段连续性和身份链闭环复核后再并入稳定特征区,由此阻断误识别特征直接进入模板并参与后续比对的路径,保持人脸识别模板的身份纯度和不同人员之间的特征区分关系。