一种基于多模态生物特征识别的访客通行管控方法及系统与流程

摘要: 本发明涉及生物特征识别,更具体地说,本发明涉及一种基于多模态生物特征识别的访客通行管控方法及系统。背景技术:1、随着智慧园区、企业办公楼及重点场所对访客通行安全...
一种基于多模态生物特征识别的访客通行管控方法及系统与流程

本发明涉及生物特征识别,更具体地说,本发明涉及一种基于多模态生物特征识别的访客通行管控方法及系统。

背景技术:

1、随着智慧园区、企业办公楼及重点场所对访客通行安全要求的不断提高,基于人脸、掌静脉、步态等多模态生物特征识别的访客通行管控技术得到广泛应用。相比单一生物特征识别,多模态生物特征识别能够有效提高身份识别的准确性和安全性,因此逐渐成为访客身份核验的重要技术手段。

2、然而,现有多模态生物特征识别方法通常需要将待识别访客与注册特征库中的全部注册访客逐一进行精细时序比对,随着注册访客数量不断增加,大量时序匹配计算会导致身份核验计算量增大、响应速度下降,难以满足访客高频通行场景对实时性的要求。同时,现有访客通行管控对尾随通行行为大多依赖红外对射、视频目标跟踪、门禁开闭状态或人数统计等方式进行检测,容易受到人体遮挡、多人并行通行、环境光照变化以及重复采集等因素影响,且缺少采集事件与身份核验事件之间的一致性校验机制,无法结合身份核验结果对采集行为进行有效验证,容易出现尾随通行误判或漏判,影响访客通行效率及通行安全。

3、鉴于此,本发明提出一种基于多模态生物特征识别的访客通行管控方法以解决上述问题。

技术实现思路

1、为了克服现有技术的上述缺陷,为实现上述目的,本发明提供如下技术方案:一种基于多模态生物特征识别的访客通行管控方法,包括:

2、s1、以访客进入预设采集区域时产生的足底压力信号作为统一触发源,同步采集人脸图像、掌静脉图像和步态关节点,生成带统一时间戳的多模态特征包;

3、s2、接收多模态特征包,进行统一时序编码和特征归一化,生成特征描述符,统计特征描述符中相邻时刻特征向量之间的余弦相似度突变帧占比,为特征描述符分配对应的质量等级标签;

4、s3、根据特征描述符在注册特征库中检索候选身份并进行时间弯曲比对,获得各模态分项比对分值,根据质量等级标签为各模态分配对应权重并进行加权融合,生成最优候选身份及综合置信度;

5、s4、根据最优候选身份统计预设时间窗口内的采集事件数量与身份核验事件数量,当采集事件数量大于身份核验事件数量时判定存在尾随通行,生成尾随异常标识;结合尾随异常标识,根据综合置信度与预设置信度阈值的比较结果,执行直接放行、补充核验后放行或拒绝放行操作。

6、优选地,所述生成带统一时间戳的多模态特征包的方法包括:

7、在访客进入预设采集通道时,持续监测预设压力传感阵列各压力感测单元输出的足底压力信号,当连续相邻压力感测单元的压力值均超过预设压力值阈值时,生成统一触发信号;将统一触发信号同时发送至人脸图像采集单元、掌静脉近红外采集单元和步态姿态采集单元,使各采集单元在同一触发时刻开始采集对应生物特征;

8、以统一触发时刻作为时间基准,为人脸图像、掌静脉图像及步态关节点分别赋予对应时间戳,并按照统一时间戳建立各模态特征之间的时序对应关系;将人脸图像、掌静脉图像、步态关节点及对应时间戳进行关联封装,生成对应于同一访客的多模态特征包。

9、优选地,所述生成特征描述符的方法包括:

10、解析多模态特征包中的统一时间戳、人脸图像、掌静脉图像及步态关节点,依据统一时间戳建立各模态数据对应的统一时间轴;按照统一时间轴对人脸图像提取各时刻对应的人脸特征向量并形成第一时序特征序列;

11、对掌静脉图像提取各时刻对应的掌静脉纹理特征向量,并按照统一时间轴扩展形成第二时序特征序列,对步态关节点提取各时刻对应的关节点特征向量并形成第三时序特征序列;

12、分别对第一时序特征序列、第二时序特征序列及第三时序特征序列进行特征归一化处理,将各模态特征映射至统一数值范围;并按照统一时间轴及预设特征组织格式,将归一化后的各时序特征序列生成对应的特征描述符。

13、优选地,所述为特征描述符分配对应的质量等级标签的方法包括:

14、分别计算各特征描述符中相邻时刻特征向量之间的余弦相似度,依据相邻余弦相似度的变化幅度识别余弦相似度突变帧;统计各特征描述符中的余弦相似度突变帧数量,并计算余弦相似度突变帧数量占对应特征描述符总帧数的比例,得到对应的余弦相似度突变帧占比;

15、将余弦相似度突变帧占比分别与预设突变帧占比阈值进行比较,当余弦相似度突变帧占比小于等于预设突变帧占比阈值时,为对应特征描述符分配第二质量等级标签;当余弦相似度突变帧占比大于预设突变帧占比阈值时,为对应特征描述符分配第一质量等级标签。

16、优选地,所述获得各模态分项比对分值的方法包括:

17、根据特征描述符计算待识别访客对应的粗粒度均值向量,并计算粗粒度均值向量与预设的注册特征库中各注册访客对应粗粒度均值向量之间的余弦相似度;

18、选取余弦相似度最大的预设数量注册访客建立候选身份集合;当候选身份集合中存在余弦相似度大于等于预设余弦相似度阈值的注册访客时,采用候选身份集合作为时间弯曲比对对象;

19、当候选身份集合中不存在余弦相似度大于等于预设余弦相似度阈值的注册访客时,重新计算待识别访客与注册特征库中各注册访客之间的余弦相似度,并选取余弦相似度最大的预设数量注册访客构成新的候选身份集合;

20、分别将待识别访客各模态特征描述符与候选身份对应模态的特征描述符进行动态时间弯曲比对,获得各模态对应的比对距离,并根据比对距离分别生成对应模态的分项比对分值。

21、优选地,所述生成最优候选身份及综合置信度的方法包括:

22、分别读取人脸特征描述符、掌静脉特征描述符及步态特征描述符对应的质量等级标签;根据各模态对应的质量等级标签分配对应的权重,当对应模态携带第二质量等级标签时,为对应模态分配第一权重,当对应模态携带第一质量等级标签时,为对应模态分配第二权重,所述第一权重大于第二权重;

23、将各模态分项比对分值按照对应权重进行加权融合,并对加权融合结果进行归一化处理,生成各候选身份对应的综合置信度;比较各候选身份对应的综合置信度,选取综合置信度最大的候选身份作为最优候选身份,并输出最优候选身份对应的综合置信度。

24、优选地,所述采集事件数量与身份核验事件数量的统计方法包括:

25、当完成一次多模态生物特征采集时,生成对应的采集事件,并记录采集事件发生时间;当生成最优候选身份及综合置信度时,生成对应的身份核验事件,并记录最优候选身份及身份核验事件发生时间;

26、根据最优候选身份建立采集事件与身份核验事件之间的关联关系;以当前时刻为基准建立预设时间窗口,分别统计预设时间窗口内与最优候选身份关联的采集事件数量及身份核验事件数量。

27、优选地,所述生成尾随异常标识的方法包括:

28、分别获取预设时间窗口内的采集事件数量及身份核验事件数量;获取相邻两次采集事件之间的时间间隔,并与预设毛刺滤波时间窗口进行比较,当时间间隔小于预设毛刺滤波时间窗口且前一次采集事件对应身份核验事件时,判定后一次采集事件为毛刺采集事件,并将毛刺采集事件从采集事件数量统计中剔除;

29、基于剔除毛刺采集事件后的采集事件数量重新与身份核验事件数量进行比较,当采集事件数量不少于两个且身份核验事件数量为一个时,判定采集事件与身份核验事件之间存在数量不匹配,判定存在尾随通行,并生成对应的尾随异常标识。

30、优选地,所述执行直接放行、补充核验后放行或拒绝放行操作的方法包括:

31、检测是否生成尾随异常标识,若生成尾随异常标识,则执行拒绝放行操作;若未生成尾随异常标识,则获取综合置信度,并分别与预设第一置信度阈值及预设第二置信度阈值进行比较,其中,预设第一置信度阈值大于预设第二置信度阈值;

32、当综合置信度大于等于预设第一置信度阈值时,执行直接放行操作;当综合置信度小于预设第一置信度阈值且大于等于预设第二置信度阈值时,执行补充核验流程,并在补充核验通过后执行放行操作;当综合置信度小于预设第二置信度阈值时,执行拒绝放行操作。

33、一种基于多模态生物特征识别的访客通行管控系统,包括:

34、特征采集模块,用于以访客进入预设采集区域时产生的足底压力信号作为统一触发源,同步采集人脸图像、掌静脉图像和步态关节点,生成带统一时间戳的多模态特征包;

35、特征编码模块,用于接收多模态特征包,进行统一时序编码和特征归一化,生成特征描述符,统计特征描述符中相邻时刻特征向量之间的余弦相似度突变帧占比,为特征描述符分配对应的质量等级标签;

36、身份评估模块,用于根据特征描述符在注册特征库中检索候选身份并进行时间弯曲比对,获得各模态分项比对分值,根据质量等级标签为各模态分配对应权重并进行加权融合,生成最优候选身份及综合置信度;

37、通行管控模块,用于根据最优候选身份统计预设时间窗口内的采集事件数量与身份核验事件数量,当采集事件数量大于身份核验事件数量时判定存在尾随通行,生成尾随异常标识;结合尾随异常标识,根据综合置信度与预设置信度阈值的比较结果,执行直接放行、补充核验后放行或拒绝放行操作。

38、与现有技术相比,本发明具备以下有益效果:

39、本发明通过利用粗粒度均值向量快速缩小参与动态时间弯曲比对的候选范围,避免了注册特征库全量对象均参与复杂时序匹配计算,有效降低了身份识别过程中的计算复杂度,提高了多模态身份核验效率;同时,通过候选身份集合动态更新机制,使候选范围能够根据当前待识别访客特征实时调整,避免由于初始候选集合不匹配而导致重复全库比对的问题,提高了不同规模注册特征库下身份识别的实时性、稳定性及识别准确率。

40、通过引入毛刺采集事件滤除机制,有效消除了压力传感阵列因人体停留、身体摆动或重心调整等因素产生的重复采集事件,避免重复触发对尾随检测结果造成干扰;同时,通过建立采集事件与身份核验事件之间的数量一致性判定机制,以身份核验结果作为采集事件真实性的约束依据,实现了对尾随通行行为的双重校验,提高了尾随通行识别的准确率和可靠性,降低了误报率和漏报率。