一种基于视觉识别的考务身份核验方法及系统与流程

本发明涉及考务身份核验领域，更具体地说，本发明涉及一种基于视觉识别的考务身份核验方法及系统。

背景技术：

1、在考务身份核验中，现有做法通常是在考生入场或考试开始前采集人脸图像，再将现场图像与报名图像或证件图像进行比对，以确认参加考试的人是否为本人；随着远程考试、无人机考和视频监考场景增多，身份核验不再只发生在入场瞬间，还需要在考试过程中持续确认画面中的人仍然是同一名考生，而在实际考试时，考生低头答题、短暂遮挡面部、画面卡顿或摄像头状态变化都可能使人脸在视频中暂时看不清，之后又重新出现在画面中，这种情况本身并不一定代表异常，却会打断原本连续的人脸核验过程。

2、现有技术在人脸重新出现后，往往只是重新进行一次人脸相似度比对，只要恢复后的脸部图像与预存考生图像较为接近，就容易继续认定身份通过，但这种处理没有把人脸消失前后的画面变化联系起来判断，无法确认恢复后的脸是否自然承接了消失前的同一条身份轨迹；也就是说，系统看到了“像不像本人”，却没有判断“是不是同一个人在画面中恢复出现并延续”，当画面中出现相似人员、预先准备的画面或经过遮挡后的替换情况时，单纯依靠恢复后的人脸相似度容易给出错误通过结果，使考试过程中的身份核验出现断层，进而影响考务身份核验的可靠性和安全性。

3、为了解决上述问题，现提供一种技术方案。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供一种基于视觉识别的考务身份核验方法及系统，通过获取考试过程视频流，对视频帧进行人脸可见状态识别，将稳定可见、不可用、恢复可见的连续变化截取为断点片段组，并确定断点片段组的边界；基于边界划分断点前视频帧、人脸不可用期间的视频帧和恢复后视频帧，分别提取断点前身份特征、辅助可见区域特征和恢复后身份特征，按时间顺序关联得到断点重接特征；根据断点重接特征得到人脸恢复错位量和辅助区域断裂量，查找同一冲突段，并结合恢复后身份特征与预存考生图像的人脸相似度，形成身份轨迹不连续异常或考试过程的持续身份核验结果，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：

3、一种基于视觉识别的考务身份核验方法，包括：

4、s1、获取考试过程视频流，对考试过程视频流中的视频帧进行人脸可见状态识别，将人脸可见状态在时间顺序上形成稳定可见、不可用、恢复可见的连续变化截取为断点片段组，并以稳定可见转为不可用的视频帧和不可用转为恢复可见的视频帧作为断点片段组的边界；

5、s2、基于断点片段组的边界，将断点片段组划分为断点前视频帧、人脸不可用期间的视频帧和恢复后视频帧，从断点前视频帧和恢复后视频帧中提取断点前身份特征和恢复后身份特征，从人脸不可用期间的视频帧中提取辅助可见区域特征，按照时间顺序关联得到断点重接特征；

6、s3、根据断点重接特征得到人脸恢复错位量和辅助区域断裂量，沿断点片段组的时间顺序查找二者形成的同一冲突段，并结合恢复后身份特征与预存考生图像的人脸相似度，形成身份轨迹不连续异常或考试过程的持续身份核验结果。

7、进一步的，s1中，数据处理服务器逐帧提取人脸区域位置和人脸区域置信结果；

8、在计算人脸区域承接边界之前，先由相邻视频帧中均能够提取到人脸区域且人脸区域置信结果达到人脸检测通过边界的连续视频帧形成候选连续人脸区域；

9、再根据候选连续人脸区域对应的人脸区域承接值确定人脸区域承接边界；

10、当当前视频帧的人脸区域承接值达到人脸区域承接边界时，将当前视频帧的人脸区域接入同一人脸区域变化序列；

11、当当前视频帧的人脸区域承接值未达到人脸区域承接边界时，不将当前视频帧的人脸区域接入同一人脸区域变化序列。

12、进一步的，s1中，数据处理服务器根据人脸区域置信结果、人脸区域承接值和人脸关键点定位结果对每个视频帧标注人脸可见状态；

13、当三者均满足对应边界时，将当前视频帧标注为稳定可见；

14、当三者中任一结果未满足对应边界时，将当前视频帧标注为不可用；

15、当不可用之后的后续视频帧重新满足对应边界并接入同一人脸区域变化序列时，将后续视频帧标注为恢复可见；

16、当不可用状态段包含的视频帧数量不超过孤立不可用帧数边界并且两侧人脸区域能够接入同一人脸区域变化序列时，将不可用状态段并入稳定可见状态段；

17、当上述并入条件未成立时，保留不可用状态段参与形成断点片段组。

18、进一步的，s2中，数据处理服务器分别读取断点前视频帧和恢复后视频帧中的人脸区域；

19、对读取的人脸区域执行人脸关键点定位并输出眼部、鼻部和嘴部对应的人脸关键点位置；

20、当人脸关键点位置完整输出时，对人脸区域进行姿态对齐并提取人脸特征向量；

21、当人脸关键点位置未完整输出时，不将对应视频帧写入断点前身份特征或者恢复后身份特征；

22、对相邻视频帧的人脸特征向量进行承接判定，达到身份特征承接边界且满足人脸区域承接关系的人脸特征向量写入断点前身份特征或者恢复后身份特征，未达到身份特征承接边界的人脸特征向量不写入对应身份特征。

23、进一步的，s2中，数据处理服务器从人脸不可用期间的视频帧中提取非人脸可见区域，非人脸可见区域包括衣领、肩部、桌面边缘和背景边缘中的至少一个；

24、将非人脸可见区域转换为灰度图像，并通过尺度不变特征变换算法提取局部图像特征点；

25、通过金字塔卢卡斯卡纳德光流算法获得局部图像特征点在相邻视频帧之间的前向跟踪位置和反向回查位置；

26、当光流回查误差不大于光流回查边界时，将对应局部图像特征点确定为有效移动特征点；

27、当光流回查误差大于光流回查边界时，不将对应局部图像特征点写入辅助可见区域特征。

28、进一步的，s2中，数据处理服务器根据局部图像特征点的位置和尺度确定图像位置邻近关系；

29、当两个局部图像特征点满足辅助区域邻近边界，并且两个局部图像特征点在相邻视频帧中均满足光流回查误差不大于光流回查边界时，将两个局部图像特征点归入同一辅助可见区域；

30、当两个局部图像特征点未满足辅助区域邻近边界，或者任一个局部图像特征点的光流回查误差大于光流回查边界时，不将两个局部图像特征点归入同一辅助可见区域；

31、能够在第一边界附近或者第二边界附近形成图像位置延续的辅助可见区域写入辅助可见区域特征。

32、进一步的，s3中，当恢复后身份特征与预存考生图像的人脸相似度通过，并且同一冲突段未位于第二边界附近时，数据处理服务器将第二边界向先出现冲突段的一侧平移；

33、当脸部错位变化带先于辅助断裂变化带出现时，将第二边界平移至脸部错位变化带所在的视频帧位置；

34、当辅助断裂变化带先于脸部错位变化带出现时，将第二边界平移至辅助断裂变化带所在的视频帧位置；

35、每次第二边界平移后重新执行s2；

36、当新的第二边界位置与上一轮第二边界位置相同，或者新的第二边界位置导致第二边界之后不存在能够形成恢复后身份特征的恢复后视频帧时，停止边界平移并形成持续身份核验结果。

37、进一步的，s1中，数据处理服务器输出断点片段组、断点片段组内每个视频帧的人脸可见状态、第一边界和第二边界；

38、s2中，数据处理服务器在断点重接特征中保留第一边界、第二边界、断点前身份特征、辅助可见区域特征和恢复后身份特征之间的时间对应关系；s3中，当形成身份轨迹不连续异常时，将身份轨迹不连续异常写入考试过程的持续身份核验结果；

39、当未形成身份轨迹不连续异常时，根据恢复后身份特征与预存考生图像的人脸相似度写入持续身份核验结果。

40、进一步的，s3中，数据处理服务器在每次第二边界平移后记录新的第二边界位置；

41、当重新形成的断点重接特征中不再存在同一冲突段时，将当前恢复后身份特征与预存考生图像的人脸相似度对应的核验结果写入持续身份核验结果；

42、当重新形成的同一冲突段仍位于第二边界附近时，将人脸断点标记为身份轨迹不连续异常；

43、当恢复后身份特征与预存考生图像的人脸相似度未通过时，将人脸相似度核验结果写入持续身份核验结果。

44、一种基于视觉识别的考务身份核验系统，包括：

45、状态识别模块，用于获取考试过程视频流，对考试过程视频流中的视频帧进行人脸可见状态识别，得到各视频帧对应的稳定可见、不可用、恢复可见的人脸可见状态，并将人脸可见状态传递至片段截取模块；

46、片段截取模块，用于根据状态识别模块传递的人脸可见状态，将人脸可见状态在时间顺序上形成稳定可见、不可用、恢复可见的连续变化截取为断点片段组，并以稳定可见转为不可用的视频帧和不可用转为恢复可见的视频帧作为断点片段组的边界，将断点片段组及其边界传递至特征提取模块；

47、特征提取模块，用于基于片段截取模块传递的断点片段组及其边界，将断点片段组划分为断点前视频帧、人脸不可用期间的视频帧和恢复后视频帧，从断点前视频帧和恢复后视频帧中提取断点前身份特征和恢复后身份特征，从人脸不可用期间的视频帧中提取辅助可见区域特征，并将断点前身份特征、恢复后身份特征和辅助可见区域特征传递至重接关联模块；

48、重接关联模块，用于按照时间顺序关联特征提取模块传递的断点前身份特征、恢复后身份特征和辅助可见区域特征，得到断点重接特征，并将断点重接特征传递至冲突处置模块；

49、冲突处置模块，用于根据重接关联模块传递的断点重接特征得到人脸恢复错位量和辅助区域断裂量，沿断点片段组的时间顺序查找二者形成的同一冲突段，并结合恢复后身份特征与预存考生图像的人脸相似度，形成身份轨迹不连续异常或考试过程的持续身份核验结果。

50、本发明一种基于视觉识别的考务身份核验方法及系统的技术效果和优点：

51、本发明通过断点片段组限定人脸由稳定可见、不可用到恢复可见的完整视频帧范围，使人脸短暂遮挡、低头答题或画面模糊不会被简单等同于身份异常；通过断点重接特征把断点前身份特征、辅助可见区域特征和恢复后身份特征放入同一时间顺序，能够在恢复后人脸相似度通过的情况下继续核查身份轨迹是否连续；通过人脸恢复错位量和辅助区域断裂量共同查找同一冲突段，使异常结果不只来源于单帧人脸比对，而是绑定到脸部回接偏离和画面承接断裂同时出现的视频帧范围；通过同一冲突段与恢复可见位置的对应关系输出身份轨迹不连续异常或持续身份核验结果，使考试过程中的人脸断点处置具有明确的视频帧依据。