一种基于局部-全局结构化表征分解的人脸识别方法、装置、设备及介质

摘要: 本申请涉及计算机,特别涉及一种基于局部-全局结构化表征分解的人脸识别方法、装置、设备及介质。背景技术:1、深度人脸识别通常通过将人脸图像映射到特征空间来学习具备...
一种基于局部-全局结构化表征分解的人脸识别方法、装置、设备及介质

本申请涉及计算机,特别涉及一种基于局部-全局结构化表征分解的人脸识别方法、装置、设备及介质。

背景技术:

1、深度人脸识别通常通过将人脸图像映射到特征空间来学习具备判别性的嵌入,从而实现类内差异最小化、类间间隔最大化。现有大多数方法采用单流表征学习范式,将身份表征视为通过单一路径学习得到的统一嵌入,即现有方法认为所有判别线索都可以在一个整体化的表征空间中被捕获。

2、然而,在真实场景的人脸识别任务中,不同个体会因共享相似面部结构而呈现出较强的类间相似性,而同一个体则会因姿态、光照、表情、遮挡或面部形变产生类内差异,这使得现有单流表征学习范式在复杂真实场景下的人脸识别精度下降。

3、因而现有技术还有待改进和提高。

技术实现思路

1、本申请要解决的技术问题在于,针对现有技术的不足,提供一种基于局部-全局结构化表征分解的人脸识别方法、装置、设备及介质。

2、为了解决上述技术问题,本申请第一方面提供了一种基于局部-全局结构化表征分解的人脸识别方法,应用经过训练的人脸识别模型,所述基于局部-全局结构化表征分解的人脸识别方法具体包括:

3、提取待识别人脸图像的中间特征图;

4、对所述中间特征图进行局部判别成分建模以得到局部判别成分表征,其中,所述局部判别成分表征包括身份敏感证据;

5、对所述中间特征图进行全局结构成分编码以得到全局结构成分表征,其中,所述全局结构成分表征包括结构身份线索;

6、将所述局部判别成分表征和所述全局结构成分表征进行融合,以得到人脸表征;

7、基于所述人脸表征确定所述待识别人脸图像的身份信息。

8、所述的基于局部-全局结构化表征分解的人脸识别方法,其中,所述对所述中间特征图进行局部判别成分建模以得到局部判别成分表征具体包括:

9、基于所述中间特征图确定通道级调制系数,并利用所述通道级调制系数对所述中间特征图进行通道调制,以得到通道调制特征图;

10、基于通道调制特征图确定空间级调制系数,并利用所述空间级调制系数对所述通道调制特征图进行空间调制,以得到调制特征响应;

11、对所述调制特征响应进行全局平均池化,以得到局部判别成分表征。

12、所述的基于局部-全局结构化表征分解的人脸识别方法,其中,所述对所述中间特征图进行全局结构成分编码以得到全局结构成分表征具体包括:

13、将所述中间特征图转换为嵌入特征表征;

14、将所述嵌入特征表征投影至两个互补的嵌入空间,以得到第一嵌入特征和第二嵌入特征;

15、获取所述第一嵌入特征和所述第二嵌入特征间的结构交互权重,并将所述结构交互权重与所述嵌入特征表征进行聚合以得到全局结构表征;

16、基于所述全局结构表征确定全局结构成分表征。

17、所述的基于局部-全局结构化表征分解的人脸识别方法,其中,所述将所述局部判别成分表征和所述全局结构成分表征进行融合,以得到人脸表征具体包括:

18、估计所述局部判别成分表征相对于所述全局结构成分表征的可靠性,以得到协调系数;

19、基于所述协调系数将所述局部判别成分表征和所述全局结构成分表征进行聚合,以得到人脸表征。

20、所述的基于局部-全局结构化表征分解的人脸识别方法,其中,基于所述协调系数将所述局部判别成分表征和所述全局结构成分表征进行聚合的过程中,所述局部判别成分表征的聚合系数为协调系数,所述全局结构成分表征对应的聚合系数与所述局部判别成分表征的聚合系数之和为1。

21、所述的基于局部-全局结构化表征分解的人脸识别方法,其中,所述人脸识别模型的训练过程中所采用的损失函数包括身份分类损失项和正交正则损失项,其中,所述身份分类损失项为基于所述局部判别成分表征、所述全局结构成分表征以及所述人脸表征构建的,所述正交正则损失项为基于所述局部判别成分表征和所述全局结构成分表征构建的。

22、所述的基于局部-全局结构化表征分解的人脸识别方法,其中,所述身份分类损失项的构建过程具体包括:

23、基于局部判别成分表征确定第一身份信息,基于全局结构成分表征确定第二身份信息,以及基于人脸表征确定第三身份信息;

24、基于训练人脸图像对应的真实身份信息,为所述第一身份信息构建第一分类损失、所述第二身份信息构建第二分类损失以及所述第三身份信息构建第三分类损失;

25、将所述第一分类损失、所述第二分类损失以及所述第三分类损失构建为身份分类损失。

26、本申请第二方面提供了一种基于局部-全局结构化表征分解的人脸识别装置,所述装置部署有人脸识别模型,所述的基于局部-全局结构化表征分解的人脸识别装置具体包括:

27、获取模块,用于获取待识别人脸图像;

28、控制模块,用于控制所述人脸识别模型提取待识别人脸图像的中间特征图,对所述中间特征图进行局部判别成分建模以得到局部判别成分表征,对所述中间特征图进行全局结构成分编码以得到全局结构成分表征,将所述局部判别成分表征和所述全局结构成分表征进行融合,以得到人脸表征,基于所述人脸表征确定所述待识别人脸图像的身份信息,其中,所述局部判别成分表征包括身份敏感证据,所述全局结构成分表征包括结构身份线索。

29、本申请第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的基于局部-全局结构化表征分解的人脸识别方法中的步骤。

30、本申请第四方面提供了一种终端设备,其包括:处理器和存储器;

31、所述存储器上存储有可被所述处理器执行的计算机可读程序;

32、所述处理器执行所述计算机可读程序时实现如上任一所述的基于局部-全局结构化表征分解的人脸识别方法中的步骤。

33、有益效果:

34、1、本申请将人脸表征学习重新表示为结构化表征分解问题,不再把输入图像直接映射到单一嵌入空间作为表征学习目标,而是联合学习用于增强判别特异性的局部判别细节以及用于保持结构一致性的全局结构信息,这样可以同时兼顾对身份敏感的局部判别线索和对整体结构敏感的全局结构线索的提取,解决了单流表征学习难以同时适配两类特征提取需求的问题,有效提升了复杂真实场景下的人脸识别精度。

35、2、本申请引入自适应协调机制,动态将局部判别成分表征和全局结构成分表征进行整合,使模型能够以结构化方式捕获互补的身份线索,能够适配不同场景下人脸图像的特征分布特点,进一步提升了复杂真实场景下的人脸识别精度。

36、3、本申请通过正交正则损失约束局部判别成分表征与全局结构成分表征,使得局部判别成分表征与全局结构成分表征在特征空间中相互正交,既保留了两类特征各自的独特信息,又避免了特征冗余,进一步提升了最终人脸表征的判别能力。

1.一种基于局部-全局结构化表征分解的人脸识别方法,其特征在于,应用经过训练的人脸识别模型,所述基于局部-全局结构化表征分解的人脸识别方法具体包括:

2.根据权利要求1所述的基于局部-全局结构化表征分解的人脸识别方法,其特征在于,所述对所述中间特征图进行局部判别成分建模以得到局部判别成分表征具体包括:

3.根据权利要求1所述的基于局部-全局结构化表征分解的人脸识别方法,其特征在于,所述对所述中间特征图进行全局结构成分编码以得到全局结构成分表征具体包括:

4.根据权利要求1所述的基于局部-全局结构化表征分解的人脸识别方法,其特征在于,基于所述协调系数将所述局部判别成分表征和所述全局结构成分表征进行聚合的过程中,所述局部判别成分表征的聚合系数为协调系数,所述全局结构成分表征对应的聚合系数与所述局部判别成分表征的聚合系数之和为1。

5.根据权利要求1所述的基于局部-全局结构化表征分解的人脸识别方法,其特征在于,所述人脸识别模型的训练过程中所采用的损失函数包括身份分类损失项和正交正则损失项,其中,所述身份分类损失项为基于所述局部判别成分表征、所述全局结构成分表征以及所述人脸表征构建的,所述正交正则损失项为基于所述局部判别成分表征和所述全局结构成分表征构建的。

6.根据权利要求5所述的基于局部-全局结构化表征分解的人脸识别方法,其特征在于,所述身份分类损失项的构建过程具体包括:

7.一种基于局部-全局结构化表征分解的人脸识别装置,其特征在于,所述装置部署有人脸识别模型,所述的基于局部-全局结构化表征分解的人脸识别装置具体包括:

8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1-6任意一项所述的基于局部-全局结构化表征分解的人脸识别方法中的步骤。

9.一种终端设备,其特征在于,包括:处理器和存储器;