基于多模态生物特征的关键岗位人员认证系统的制作方法

本发明涉及计算机视觉，更具体地说，它涉及基于多模态生物特征的关键岗位人员认证系统。

背景技术：

1、关键岗位人员认证常以摄像设备采集的连续视频作为输入。视频中可能同时出现人员的人脸画面和步行人体画面。现有处理流程通常先逐帧检测人脸检测区域和人体检测区域，再依据相邻帧时刻的位置连续性分别形成人脸轨迹和人体轨迹。随后，对人脸轨迹生成现场人脸编码，对人体轨迹生成现场步态编码，并与登记库中的对应编码进行比较，得到候选身份和认证结果。

2、上述流程中，人脸轨迹和人体轨迹由两类检测跟踪结果独立产生，轨迹本身通常只保留同类区域在时间上的连续关系，未必带有可直接互相对应的人员身份标识。特别是在同一画面存在多人并行、前后交错、相互遮挡，或者相邻人员同时进入和离开时，一条人脸轨迹与哪一条人体轨迹属于同一人员，不能仅依靠同一帧存在、图像位置邻近或单个检测区域的连续变化确定。

3、如果直接按照单帧距离、检测区域重叠、轨迹持续时间或最近邻关系进行配对，人员在行走、转向或交错过程中可能出现暂时接近、交叉和分离，导致人脸轨迹与人体轨迹发生错误关联。单独改善人脸跟踪或人体跟踪的连续性，只能改善各自轨迹的形成，不能补足两类轨迹之间的跨区域对应关系。

4、一旦跨区域配对不准确，后续人脸编码和步态编码可能来自不同人员；即使两种编码分别能够得到候选身份，联合认证仍缺少同一人员来源的视觉依据。对于需要在连续视频中完成关键岗位人员认证的场景，需要一种面向视觉时序信息的轨迹配对方式，在共同帧时刻下同时考察人脸画面与步行人体画面的连续变化，利用人体点位的前后状态和人脸与人体的相对位置关系筛选候选配对，并通过双向唯一关系确定一一同源绑定，为后续联合认证提供相对应的人脸轨迹和人体轨迹。

技术实现思路

1、本发明提供基于多模态生物特征的关键岗位人员认证系统，解决了背景技术中提出的技术问题。

2、为了实现上述的发明目的，本发明提供如下的技术方案。

3、基于多模态生物特征的关键岗位人员认证系统，包括视频获取模块、轨迹形成模块、换位夹轴判定模块和同源绑定模块；

4、视频获取模块获取含人脸画面和步行人体画面的认证视频，以帧时刻为共同时间基准；

5、轨迹形成模块接收认证视频，形成人脸轨迹和人体轨迹，将帧时刻区间相互重叠的人脸轨迹与人体轨迹形成候选配对；

6、换位夹轴判定模块接收候选配对，取得其同一帧时刻的人脸中心点、髋部中点及由左脚踝点和右脚踝点组成的双脚踝点对，根据相邻帧时刻的人体轨迹空间位置变化确定步行方向，按左脚踝点和右脚踝点相对髋部中点沿步行方向先后确定脚位次序，相邻帧时刻的脚位次序反向时确定脚位换位；在脚位换位前后的各帧时刻分别形成由人脸中心点经髋部中点向脚部延伸的下延轴线和连接左脚踝点与右脚踝点的双脚连线，各帧时刻的下延轴线均与该帧时刻的双脚连线相交时判定候选配对满足换位夹轴条件；

7、同源绑定模块在候选配对的人脸轨迹仅与一条人体轨迹满足换位夹轴条件且该人体轨迹仅与其人脸轨迹满足换位夹轴条件时建立一一同源绑定并输出一一同源绑定结果。

8、与现有技术相比，本发明具有如下实质性特点和显著进步：

9、本发明以认证视频中的帧时刻作为共同时间基准，从人脸画面和步行人体画面分别形成人脸轨迹和人体轨迹，对时间上重叠的轨迹建立候选配对，并在同一帧时刻取得人脸中心点、髋部中点和双脚踝点对；以脚位换位作为前后状态，判断脚位换位前后的下延轴线与双脚连线是否均相交，形成换位夹轴条件，再以人体轨迹数量和人脸轨迹数量的双向唯一关系建立一一同源绑定，从而将跨区域轨迹配对由单帧邻近判断扩展为连续视觉时序判断，减少多人并行、交错和分离采集场景中的人脸轨迹与人体轨迹错配，并为现场人脸编码和现场步态编码的联合认证提供同源的人脸轨迹和人体轨迹。

1.基于多模态生物特征的关键岗位人员认证系统，包括视频获取模块、轨迹形成模块、换位夹轴判定模块和同源绑定模块，其特征在于：

2.根据权利要求1所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，所述轨迹形成模块对所述认证视频逐帧执行人脸检测和人体检测，分别获取人脸检测区域和人体检测区域，并依据相邻帧时刻中所述人脸检测区域之间以及所述人体检测区域之间的空间位置连续关联，分别形成人脸轨迹和人体轨迹。

3.根据权利要求1所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，所述轨迹形成模块通过人体姿态点定位从所述人体轨迹中取得左髋部点、右髋部点、左脚踝点和右脚踝点，所述髋部中点为所述左髋部点和所述右髋部点连线的中点，并将所述左脚踝点和所述右脚踝点组成双脚踝点对。

4.根据权利要求3所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，所述换位夹轴判定模块根据相邻帧时刻的髋部中点位移确定步行方向，将相邻帧时刻的左脚踝点和右脚踝点相对髋部中点沿所述步行方向的先后关系确定为脚位次序，并在相邻帧时刻的脚位次序反向时确定脚位换位。

5.根据权利要求3所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，所述下延轴线为自髋部中点起沿人脸中心点至髋部中点的方向向脚部方向延伸的射线，所述双脚连线为左脚踝点与右脚踝点之间的线段。

6.根据权利要求1所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，所述同源绑定模块针对所述认证视频形成的每一候选配对，统计所述认证视频形成的全部候选配对中与所述候选配对中的人脸轨迹满足所述换位夹轴条件的人体轨迹数量，以及与所述候选配对中的人体轨迹满足所述换位夹轴条件的人脸轨迹数量，在所述人体轨迹数量为一且所述人脸轨迹数量为一时，建立所述候选配对中的人脸轨迹和人体轨迹的一一同源绑定。

7.根据权利要求1所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，包括登记库，所述登记库包括多个身份记录，每一所述身份记录包括相互对应的人员身份标识、登记人脸编码和登记步态编码。

8.根据权利要求7所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，包括人脸编码网络和步态编码网络；所述人脸编码网络基于与所述一一同源绑定关联的人脸轨迹中的人脸画面生成现场人脸编码，所述步态编码网络基于与该一一同源绑定关联的人体轨迹中的步行人体画面生成现场步态编码。

9.根据权利要求8所述的基于多模态生物特征的关键岗位人员认证系统，其特征在于，包括身份确定模块；所述身份确定模块接收所述现场人脸编码和所述现场步态编码，将所述现场人脸编码和所述现场步态编码分别与所述登记库中同一身份记录的登记人脸编码和登记步态编码进行比较，分别得到人脸候选身份和步态候选身份，并在所述人脸候选身份和所述步态候选身份均指向同一人员身份标识时确定认证通过结果。