一种基于多模态识别的校车学生身份核验管理系统的制作方法

摘要: 本发明涉及身份核验,具体为一种基于多模态识别的校车学生身份核验管理系统。背景技术:1、随着校车安全受到社会广泛关注,校车学生身份核验成为保障学生上下学安全的重要...
一种基于多模态识别的校车学生身份核验管理系统的制作方法

本发明涉及身份核验,具体为一种基于多模态识别的校车学生身份核验管理系统。

背景技术:

1、随着校车安全受到社会广泛关注,校车学生身份核验成为保障学生上下学安全的重要环节,传统校车身份核验多依赖人工点名或单一刷卡方式,存在冒名顶替、漏检、核验效率低等问题。

2、近年来,人脸识别技术逐渐应用于校车场景,在实际应用中,校车内设置有人脸识别装置,在校学生在上车后,人脸识别装置通过采集学生的人脸数据,并将采集到的数据与历史数据库中的人脸数据进行比对,并根据比对结果判断该学生是否为本校学生,并且确认后向监护人实时推送核验事件,从而实现校车学生身份核验的管理。

3、现有技术中学生在核验过程中可能呈现不同姿态、表情或遮挡,造成人脸特征漂移,并且受到环境光质量影响,从而导致识别准确性降低,缺乏对身份核验过程中人脸特征时序一致性、环境光照质量的动态评估机制,也无法根据核验质量自适应调整核验策略,导致整体核验系统的鲁棒性和可靠性不足。

技术实现思路

1、本发明的目的在于提供一种基于多模态识别的校车学生身份核验管理系统,解决以下技术问题:

2、如何提高校车身份核验系统的鲁棒性和可靠性不足。

3、本发明的目的可以通过以下技术方案实现:

4、一种基于多模态识别的校车学生身份核验管理系统,所述系统包括:

5、数据储存模块,用于预存不同学生的脸部多模态特征模板与历史身份核验记录;

6、特征提取模块,用于基于深度学习模型提取学生在身份核验时的脸部多模态特征向量;

7、特征评估模块,用于结合学生在身份核验时的脸部多模态特征向量,计算学生的人脸特征漂移指数,并计算一次身份核验过程中时间滑动窗口内的时序一致性得分;

8、机制建立模块,用于耦合所述人脸特征漂移指数与时序一致性得分,计算获得人脸特征损失指数,并将该指数与预设的第一阈值区间进行比对,以生成初步核验机制;所述初步核验机制包括:质量合格核验机制、质量存疑核验机制与质量不合格核验机制;

9、数据评估模块,用于结合学生在身份核验时的图像质量数据,计算获得学生在身份核验时的光照质量指数;

10、机制完善模块,用于将学生在身份核验时的光照质量指数与预设的光照质量指数阈值进行比对,并根据比对结果归因修正初步核验机制,输出最终核验机制。

11、进一步的,所述特征评估模块的计算过程包括:

12、通过结合对于学生历史保存的n组脸部多模态特征模板中的每一组,将其对应的人脸特征向量与当前身份核验时提取的人脸特征向量通过计算余弦相似度进行比对,并基于计算得到的余弦相似度获得平均相似度,最后通过1减去平均相似度获得学生在一次身份验证时的特征漂移指数,并将其定义为。

13、进一步的,所述特征评估模块的计算过程还包括:

14、通过将学生在一次身份核验过程设定为一个时间滑动窗口,窗口内包含连续采集的w帧图像,对于窗口内的每一帧t,从中提取出对应的脸部特征向量,计算窗口内有帧的特征向量之和,并对于窗口内的每一帧 t,计算第t帧的特征向量与特征向量之和之间的余弦相似度,再对窗口内所有w帧计算得到的余弦相似度取平均值,得到学生在一次身份核验时的时序一致性得分。

15、进一步的,所述机制建立模块的建立过程包括:

16、s1:通过对学生的人脸特征漂移指数与时间滑动窗口内的时序一致性得分赋予不同权重,耦合计算获得学生的人脸特征损失指数;

17、s2:通过将学生的人脸特征损失指数与预设的人脸特征损失指数阈值区间进行比对;

18、s3:通过结合比对结果,将学生的人脸核验质量划分为质量合格、质量存疑以及质量不合格;

19、s4:基于学生的人脸核验质量划分结果,建立身份初步核验机制,包括质量合格时仅使用人脸验证、质量不合格时引入声纹验证以及质量存疑时引入光照质量指数进一步完善核验机制。

20、进一步的,所述机制建立模块的建立过程还包括:

21、通过公式计算获得学生在一次身份核验时的人脸特征损失指数;

22、其中,与为权重系数,根据经验拟合设定,且。

23、进一步的,所述机制建立模块的建立过程还包括:

24、通过将学生在一次身份核验时的人脸特征损失指数与预设的人脸特征损失指数阈值区间进行比对;

25、若,系统判断学生在一次身份核验时面部特征变化小且姿态稳定性良好;

26、若,系统判断学生在一次身份核验时面部特征变化情况与姿态稳定性存疑;

27、若,系统判断学生在一次身份核验时面部特征变化大且姿态稳定性差。

28、进一步的,所述机制建立模块的建立过程还包括;

29、当判断学生在一次身份核验时面部特征变化小且姿态稳定性良好时,决策使用单人脸识别的核验模式;

30、当判断学生在一次身份核验时面部特征变化大且姿态稳定性差时,决策使用单人脸识别并引入声纹验证的核验模式;

31、当判断学生在一次身份核验时面部特征变化情况与姿态稳定性存疑时,决策引入光照质量指数进一步完善核验机制。

32、进一步的,所述数据评估模块的评估过程包括:

33、通过公式:

34、计算获得学生在一次身份核验时的光照质量指数;

35、其中,为学生在一次身份核验过程中滑动窗口内的第t帧图像的人脸区域平均亮度,为最优亮度参考值,为学生在一次身份核验过程中滑动窗口内的第t帧图像的人脸区域亮度标准差,为理想光照下的亮度标准差,为学生在一次身份核验过程中滑动窗口内的第t帧图像的对比度,为理想对比度值, 、与为比例系数,根据经验数据中各指标对光照质量的贡献度拟合设定,且,表示取与中的最大值,表示取和中的最小值。

36、进一步的,所述机制完善模块的工作过程包括:

37、通过将学生在一次身份核验时的光照质量指数与预设的光照质量指数阈值进行比对;

38、若,系统判断学生在一次身份核验时的光照质量良好,人脸识别结果的可靠性高;

39、若,系统判断学生在一次身份核验时的光照质量差,人脸识别结果的可靠性低。

40、进一步的,所述机制完善模块的工作过程还包括:

41、当判断学生在一次身份核验时面部特征变化情况与姿态稳定性存疑,且学生在一次身份核验时的光照质量良好时,决策使用单人脸识别的核验模式;

42、当判断学生在一次身份核验时面部特征变化情况与姿态稳定性存疑,且学生在一次身份核验时的光照质量差时,决策使用单人脸识别并引入声纹验证的核验模式。

43、本发明的有益效果:

44、(1)本发明通过多模块的有机组合,实现了从特征采集、质量评估、初步决策到环境补偿的完整闭环,数据储存模块提供了历史比对基准,特征提取模块保障了特征的一致性和可比性,特征评估模块量化了特征漂移和时序稳定性,机制建立模块实现了初步分级决策,数据评估模块引入了环境光照的定量评价,机制完善模块完成了最终的智能决策,这种分层递进、互为补充的架构设计,显著提升了系统在复杂场景下的鲁棒性。

45、(2)本发明通过对学生的人脸特征漂移指数与时间滑动窗口内的时序一致性得分赋予不同权重,耦合计算获得学生的人脸特征损失指数,并将学生的人脸特征损失指数与预设的人脸特征损失指数阈值区间进行比对,之后通过结合比对结果,将学生的人脸核验质量划分为质量合格、质量存疑以及质量不合格,最后基于学生的人脸核验质量划分结果,建立身份初步核验机制,包括质量合格时仅使用人脸验证、质量不合格时引入声纹验证以及质量存疑时引入光照质量指数进一步完善核验机制。

46、(3)本发明通过将学生在一次身份核验时的人脸特征损失指数与预设的人脸特征损失指数阈值区间进行比对,通过如此设置,即可基于学生在一次身份核验时面部特征变化情况与姿态稳定性分析结果,动态建立身份核验机制,并且通过引入“存疑”区间,可以将边界附近的样本暂时搁置,不做出最终判断,而是留待后续模块引入更多信息后再决策,这种“暂缓判决”的思想,可以显著降低系统的误判风险,从而提高身份核验机制建立结果的合理性。

47、(4)本发明通过将学生在一次身份核验时的光照质量指数与预设的光照质量指数阈值进行比对,通过此种比对方式,即可对学生在一次身份核验时的光照质量做出分析,并进一步分析人脸识别结果的可靠性高低,基于单阈值二元分类规则,可以将连续的光照质量评分映射为离散的光照质量等级,在此基础上,通过这种光照质量对应修正决策的映射机制,可以进一步提高身份核验机制建立结果的合理性。

48、(5)本发明通过引入光照质量指数作为归因变量,实现了对特征损失原因的精确识别:光照良好时的特征损失归因于学生自身,光照差时的特征损失归因于环境,从而解决特征存疑时如何准确归因的问题,以实现身份核验机制的完善,提高身份核验机制建立结果的合理性。