一种多模态特征的轻量活体识别方法、系统、装置和介质与流程

1.本技术涉及活体识别技术领域，特别是涉及一种多模态特征的轻量活体识别方法、系统、装置和介质。


背景技术：

2.在实际场景中，因为用于活体识别的边缘设备有着功耗和成本要求，基于多特征输入和复杂算法的活体识别模型一般无法应用在边缘设备上，而边缘设备由于其低算力、低功耗和微型便携，大多只支持采集捕获一种或少数几种模态类型图像数据，这就会导致采集的图像模态类型偏少，即关键细节信息会缺失，使得活体识别准确率低，同时也需要根据采集的图像模态类型，训练不同的活体算法，不能做到一次训练多端部署，效率较低；而且若是边缘设备上部署的活体识别算法的复杂度高，实时性就难以保证，同时在考勤或打卡等实际场景中，物体一般处于移动状态，导致人脸尺度多样化，通常的活体算法仅适应单尺度人脸，泛化能力不强。
3.目前针对相关技术中边缘设备的活体识别准确率低、效率差和部署不灵活的问题，尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种多模态特征的轻量活体识别方法、系统、装置和介质，以至少解决相关技术中边缘设备的活体识别准确率低、效率差和部署不灵活的问题。
5.第一方面，本技术实施例提供了一种多模态特征的轻量活体识别方法，所述方法包括：获取训练图像数据，所述训练图像数据包含rgb模态数据、ir红外模态数据和depth深度模态数据；通过预设残差结构的轻量注意力模块搭建基础主干网络；根据所述训练图像数据的每种模态数据和所述基础主干网络构建得到若干模态分支，其中，所述模态分支包括融合模态分支和若干基础模态分支；通过第一损失函数分别计算出所述模态分支的第一损失值，通过第二损失函数计算出多模态分支网络的第二损失值，根据所述第一损失值和所述第二损失值完成所述多模态分支网络的训练，其中，所述多模态分支网络中包含所有的所述模态分支；根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过所述预设多模态分支网络进行活体识别。
6.在其中一些实施例中，通过预设残差结构的轻量注意力模块搭建基础主干网络包括：通过残差结构为的轻量注意力模块搭建基础主干网络，其中，x为所述轻量注意力模块的输入，o为所述轻量注意力模块的输出，为同位元素的乘积，为x的高维卷积空间特征，为高维卷积空间特征的注意力权重。
7.在其中一些实施例中，根据所述训练图像数据的每种模态数据和所述基础主干网络构建得到若干模态分支包括：根据所述rgb模态数据和所述基础主干网络构建rgb基础模态分支，根据所述ir模态数据和所述基础主干网络构建ir基础模态分支，根据所述depth模态数据和所述基础主干网络构建depth基础模态分支；对所述rgb基础模态分支、所述ir基础模态分支和所述depth基础模态分支进行深层特征融合，得到融合模态分支。
8.在其中一些实施例中，通过第一损失函数分别计算出所述模态分支的第一损失值包括：通过第一损失函数计算出所述基础模态分支和所述融合模态分支的第一损失值，其中，k为预测类别数，m和n为类别索引，y
m
为真实类别标签，p为模态分支的预测得分。
9.在其中一些实施例中，通过第二损失函数计算出多模态分支网络的第二损失值包括：多模态分支网络中包含rgb基础模态分支、ir基础模态分支、depth基础模态分支和融合模态分支；通过第二损失函数计算出所述多模态分支网络的第二损失值，其中，为多模态分支网络的第二损失值，为惩罚权重系数，k为基础模态分支数目， 为融合模态分支的第一损失值，为基础模态分支的第一损失值，i为基础模态分支索引。
10.在其中一些实施例中，获取训练图像数据包括：根据预设缩放系数集中的缩放系数，对固定尺度的预设人脸检测框进行缩放，得到若干缩放人脸检测框；通过所述缩放人脸检测框，获取不同尺度的训练图像数据。
11.在其中一些实施例中，根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络包括：根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支按公式进行部署，得到预设多模态分支网络，其中，y为基础模态分支的输出结果，为融合模态分支的输出结果，为输出分支的权重系数。
12.第二方面，本技术实施例提供了一种多模态特征的轻量活体识别系统，所述系统包括数据采集单元、模型训练单元和配置识别单元；所述数据采集单元获取训练图像数据，所述训练图像数据包含rgb模态数据、ir红外模态数据和depth深度模态数据；所述模型训练单元通过预设残差结构的轻量注意力模块搭建基础主干网络；
所述模型训练单元根据所述训练图像数据的每种模态数据和所述基础主干网络构建得到若干模态分支，其中，所述模态分支包括融合模态分支和若干基础模态分支；所述模型训练单元通过第一损失函数分别计算出所述模态分支的第一损失值，通过第二损失函数计算出所述多模态分支网络的第二损失值，根据所述第一损失值和所述第二损失值完成所述多模态分支网络的训练，其中，所述多模态分支网络中包含所有的所述模态分支；所述配置识别单元根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过所述预设多模态分支网络进行活体识别。
13.第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的多模态特征的轻量活体识别方法。
14.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的多模态特征的轻量活体识别方法。
15.相比于相关技术，本技术实施例提供的一种多模态特征的轻量活体识别方法、系统、装置和介质，获取训练图像数据，通过预设残差结构的轻量注意力模块搭建基础主干网络，根据训练图像数据的每种模态数据和基础主干网络构建得到若干模态分支，通过第一损失函数分别计算出模态分支的第一损失值，通过第二损失函数计算出多模态分支网络的第二损失值，根据第一损失值和第二损失值完成多模态分支网络的训练，根据预设业务需求，从训练好的多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过预设多模态分支网络进行活体识别，解决了边缘设备的活体识别准确率低和效率差的问题，实现了多模态特征深层融合输入，强化网络表征能力，提升边缘设备的推理精度和效率，可拆分模型部署，高效灵活。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1是根据本技术实施例的多模态特征的轻量活体识别方法的步骤流程图；图2是该轻量注意力模块的结构示意图；图3是构建得到的若干模态分支的示意图；图4是多尺度缩放获取训练输入图像的示意图；图5是根据预设业务进行多模态分支网络部署的示意图；图6是根据本技术实施例的多模态特征的轻量活体识别系统的结构框图；图7是根据本技术实施例的电子设备的内部结构示意图。
17.附图说明：61、数据采集单元；62、模型训练单元；63、配置识别单元。
具体实施方式
18.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用
于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
20.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
21.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
22.实施例1本技术实施例提供了一种多模态特征的轻量活体识别方法，图1是根据本技术实施例的多模态特征的轻量活体识别方法的步骤流程图，如图1所示，该方法包括以下步骤：步骤s102，获取训练图像数据，训练图像数据包含rgb模态数据、ir红外模态数据和depth深度模态数据；具体地，从活体识别开源数据集中获取训练图像数据，活体识别开源数据集包含的数据模态类型丰富，其中，rgb、ir（infrared radiation）、depth三种数据模态类型的数据比较常用于活体识别，由于在rgb成像中，真假活体的傅里叶频谱不同；在ir成像中，基于皮肤和其他材质在光谱反射率上的差异可以有效防止伪造人脸攻击，如ir不对电子设备中的人脸成像；在depth成像中，活体深度图充实、平滑、连续，而假体深度图毛刺不连续，此外，训练图像数据也可以包含其他能识别活体的数据。以开源数据作为训练数据，可以降低数据采集的压力。
23.步骤s104，通过预设残差结构的轻量注意力模块搭建基础主干网络；步骤s106，根据训练图像数据的每种模态数据和基础主干网络构建得到若干模态
分支，其中，模态分支包括融合模态分支和若干基础模态分支；步骤s108，通过第一损失函数分别计算出模态分支的第一损失值，通过第二损失函数计算出多模态分支网络的第二损失值，根据第一损失值和第二损失值完成多模态分支网络的训练，其中，多模态分支网络中包含所有的模态分支；步骤s110，根据预设业务需求，从训练好的多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过预设多模态分支网络进行活体识别。
24.通过本技术实施例中的步骤s102至步骤s110，解决了边缘设备的活体识别准确率低、效率差和部署不灵活的问题，实现了网络结构轻量化、多模态与多尺度数据输入、高层语义特征融合、可拆分部署，提升边缘设备的推理精度和效率，高效灵活。
25.在其中一些实施例中，步骤s104，通过预设残差结构的轻量注意力模块搭建基础主干网络包括：通过残差结构为的轻量注意力模块搭建基础主干网络，其中，x为轻量注意力模块的输入，o为轻量注意力模块的输出，为同位元素的乘积，为x的高维卷积空间特征，为高维卷积空间特征的注意力权重。
26.具体地，设计一种新的轻量注意力模块，图2是该轻量注意力模块的结构示意图，该轻量注意力模块采用残差结构，既可以保持模型的轻量，又可以使用注意力机制关注学习图像中的真假细节信息，提升小模型的判别精度，其中，该残差结构中的x为轻量注意力模块的输入，o为轻量注意力模块的输出， 为同位元素的乘积（element
‑
wise乘积）， 表示将x投影到高维卷积空间， 表示对高维卷积空间的特征计算注意力权重，表示将计算注意力权重作用于高维卷积空间。
27.通过该残差结构的轻量注意力模块搭建基础主干网络。
28.在其中一些实施例中，步骤s106，根据训练图像数据的每种模态数据和基础主干网络构建得到若干模态分支包括：根据rgb模态数据和基础主干网络构建rgb基础模态分支，根据ir模态数据和基础主干网络构建ir基础模态分支，根据depth模态数据和基础主干网络构建depth基础模态分支；对rgb基础模态分支、ir基础模态分支和depth基础模态分支进行深层特征融合，得到融合模态分支。
29.具体地，图3是构建得到的若干模态分支的示意图，如图3所示，图中的rgb为rgb模态数据，ir为ir模态数据，depth为depth模态数据，融合为深层特征融合数据，网络为基于基础主干网络的多层网络，根据rgb模态数据和基于基础主干网络的多层网络构建rgb基础模态分支；根据ir模态数据和基于基础主干网络的多层网络构建ir基础模态分支；根据depth模态数据和基于基础主干网络的多层网络构建depth基础模态分支；对rgb基础模态分支、ir基础模态分支和depth基础模态分支进行深层特征融合，
得到融合模态分支。需要说明的是，深层网络提取的是高层的语义信息，表达的语义信息是一致的，此处的深层特征即为深层网络提取的特征，融合后可以充分利用不同输入提取到的信息，同时降低网络的训练难度。
30.在其中一些实施例中，步骤s108，通过第一损失函数分别计算出模态分支的第一损失值包括：通过第一损失函数计算出基础模态分支和融合模态分支的第一损失值，其中，k为预测类别数，m和n为类别索引，y
m
为真实类别标签，p为模态分支的预测得分，进一步地，在本实施例中，k为预测类别数（取值为2），即活体数据分为真假两类；m和n为类别索引，取值范围为1到k；y
m
为真实类别标签，即当前图像数据的真实标签（真活体取值为1，假活体取值为零0）。
31.在其中一些实施例中，步骤s108，通过第二损失函数计算出多模态分支网络的第二损失值包括：多模态分支网络中包含rgb基础模态分支、ir基础模态分支、depth基础模态分支和融合模态分支通过第二损失函数计算出多模态分支网络的第二损失值，其中，为多模态分支网络的第二损失值，为惩罚权重系数，用以平衡所述各模态分支的损失贡献程度，k为基础模态分支数目， 为融合模态分支的第一损失值，为基础模态分支的第一损失值，i为基础模态分支索引，进一步地，在本实施例中，基础模态分支有rgb，ir，depth三种，即k设置为3。
32.在其中一些实施例中，步骤s102，获取训练图像数据包括：根据预设缩放系数集中的缩放系数，对固定尺度的预设人脸检测框进行缩放，得到若干缩放人脸检测框；通过缩放人脸检测框，获取不同尺度的训练图像数据。
33.具体地，设置固定尺度的人脸检测框，宽高分别记为：和；设置缩放系数集，以0.2为步长，从0.8
‑
2.0中均匀间隔抽样，即缩放系数集记为；从缩放系数集中随机取样作为系数，通过缩放公式和对人脸检测框的宽高进行缩放；图4是多尺度缩放获取训练输入图像的示意图，如图4所示，通过截取缩放后的人脸检测框，获取不同尺度的训练图像数据。
34.模拟由远及近的运动过程中人脸尺度的多样性，实现了测试数据分布与训练数据分布的一致，解决了通过单一尺度人脸进行训练的算法鲁棒性低的问题。
35.在其中一些实施例中，步骤s110，根据预设业务需求，从训练好的多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络包括：
根据预设业务需求，从训练好的多模态分支网络中选择需要的模态分支按公式进行部署，得到预设多模态分支网络，其中，y为基础模态分支的输出结果，为融合模态分支的输出结果，为输出分支的权重系数，用以调控所选预设基础模态分支和融合模态分支输出结果的可靠程度。
36.具体地，不同边缘设备的采集图像模态类型不完全相同，针对每种设备单独训练一个模型耗时耗力。在本实施例中可以依据设备输入进行灵活部署。
37.需要说明的是，由于在步骤s108中是通过第一损失函数和第二损失函数分别对若干模态分支进行反向传播更新的。在边缘设备中进行部署时，不需要对选择得到的模态分支的参数进行重新训练调整。输出分支的权重系数可以根据步骤s108中训练出来的各个模态分支的可靠度进行设置。
38.图5是根据预设业务进行多模态分支网络部署的示意图，如图5所示，训练好的多模态分支网络包括三模态分支输入（rgb输入、ir输入和depth输入）四模态分支输出（rgb输出、ir输出、depth输出和融合输出）；设置在边缘设备上部署depth模态分支和融合模态分支的业务需求；根据该业务需求，从训练好的多模态分支网络中选择出depth模态分支和融合模态分支；按公式进行部署，得到预设多模态分支网络，其中，y为depth模态分支的输出结果，为融合模态分支的输出结果，为输出分支的权重系数。
39.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
40.本技术实施例提供了一种多模态特征的轻量活体识别系统，图6是根据本技术实施例的多模态特征的轻量活体识别系统的结构框图，如图6所示，该系统包括数据采集单元61、模型训练单元62和配置识别单元63；数据采集单元61获取训练图像数据，训练图像数据包含rgb模态数据、ir红外模态数据和depth深度模态数据；模型训练单元62通过预设残差结构的轻量注意力模块搭建基础主干网络；模型训练单元62根据训练图像数据的每种模态数据和基础主干网络构建得到若干模态分支，其中，模态分支包括融合模态分支和若干基础模态分支；模型训练单元62通过第一损失函数分别计算出模态分支的第一损失值，通过第二损失函数计算出多模态分支网络的第二损失值，根据第一损失值和第二损失值完成多模态分支网络的训练，其中，多模态分支网络中包含所有的模态分支；配置识别单元63根据预设业务需求，从训练好的多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过预设多模态分支网络进行活体识别。
41.通过本技术实施例中的数据采集单元61、模型训练单元62和配置识别单元63，解决了边缘设备的活体识别准确率低、效率差和部署不灵活的问题，实现了网络结构轻量化、多模态与多尺度数据输入、高层语义特征融合、可拆分部署，提升边缘设备的推理精度和效率，高效灵活。
42.需要说明的是，上述各个单元可以是功能单元也可以是程序单元，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的单元而言，上述各个单元可以位于同一处理器中；或者上述各个单元还可以按照任意组合的形式分别位于不同的处理器中。
43.实施例3本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
44.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
45.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
46.另外，结合上述实施例中的多模态特征的轻量活体识别方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种多模态特征的轻量活体识别方法。
47.实施例4在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多模态特征的轻量活体识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
48.在一个实施例中，图7是根据本技术实施例的电子设备的内部结构示意图，如图7所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图7所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种多模态特征的轻量活体识别方法，数据库用于存储数据。
49.本领域技术人员可以理解，图7中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
50.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom
（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
51.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
52.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。