一种多模态特征的轻量活体识别方法、系统、装置和介质与流程

技术特征：
1.一种多模态特征的轻量活体识别方法，其特征在于，所述方法包括：获取训练图像数据，所述训练图像数据包含rgb模态数据、ir红外模态数据和depth深度模态数据；通过预设残差结构的轻量注意力模块搭建基础主干网络；根据所述训练图像数据的每种模态数据和所述基础主干网络构建得到若干模态分支，其中，所述模态分支包括融合模态分支和若干基础模态分支；通过第一损失函数分别计算出所述模态分支的第一损失值，通过第二损失函数计算出多模态分支网络的第二损失值，根据所述第一损失值和所述第二损失值完成所述多模态分支网络的训练，其中，所述多模态分支网络中包含所有的所述模态分支；根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过所述预设多模态分支网络进行活体识别。2.根据权利要求1所述的方法，其特征在于，通过预设残差结构的轻量注意力模块搭建基础主干网络包括：通过残差结构为的轻量注意力模块搭建基础主干网络，其中，x为所述轻量注意力模块的输入，o为所述轻量注意力模块的输出，为同位元素的乘积，为x的高维卷积空间特征，为高维卷积空间特征的注意力权重。3.根据权利要求1所述的方法，其特征在于，根据所述训练图像数据的每种模态数据和所述基础主干网络构建得到若干模态分支包括：根据所述rgb模态数据和所述基础主干网络构建rgb基础模态分支，根据所述ir模态数据和所述基础主干网络构建ir基础模态分支，根据所述depth模态数据和所述基础主干网络构建depth基础模态分支；对所述rgb基础模态分支、所述ir基础模态分支和所述depth基础模态分支进行深层特征融合，得到融合模态分支。4.根据权利要求1或3所述的方法，其特征在于，通过第一损失函数分别计算出所述模态分支的第一损失值包括：通过第一损失函数计算出所述基础模态分支和所述融合模态分支的第一损失值，其中，k为预测类别数，m和n为类别索引，y
m
为真实类别标签，p为模态分支的预测得分。5.根据权利要求1所述的方法，其特征在于，通过第二损失函数计算出多模态分支网络的第二损失值包括：多模态分支网络中包含rgb基础模态分支、ir基础模态分支、depth基础模态分支和融合模态分支；通过第二损失函数计算出所述多模态分支网络的第二损失值，其中，为多模态分支网络的第二损失值，为惩罚权重系数，k
为基础模态分支数目， 为融合模态分支的第一损失值，为基础模态分支的第一损失值，i为基础模态分支索引。6.根据权利要求1所述的方法，其特征在于，获取训练图像数据包括：根据预设缩放系数集中的缩放系数，对固定尺度的预设人脸检测框进行缩放，得到若干缩放人脸检测框；通过所述缩放人脸检测框，获取不同尺度的训练图像数据。7.根据权利要求1所述的方法，其特征在于，根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络包括：根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支按公式进行部署，得到预设多模态分支网络，其中，y为基础模态分支的输出结果，为融合模态分支的输出结果，为输出分支的权重系数。8.一种多模态特征的轻量活体识别系统，其特征在于，所述系统包括数据采集单元、模型训练单元和配置识别单元；所述数据采集单元获取训练图像数据，所述训练图像数据包含rgb模态数据、ir红外模态数据和depth深度模态数据；所述模型训练单元通过预设残差结构的轻量注意力模块搭建基础主干网络；所述模型训练单元根据所述训练图像数据的每种模态数据和所述基础主干网络构建得到若干模态分支，其中，所述模态分支包括融合模态分支和若干基础模态分支；所述模型训练单元通过第一损失函数分别计算出所述模态分支的第一损失值，通过第二损失函数计算出所述多模态分支网络的第二损失值，根据所述第一损失值和所述第二损失值完成所述多模态分支网络的训练，其中，所述多模态分支网络中包含所有的所述模态分支；所述配置识别单元根据预设业务需求，从训练好的所述多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过所述预设多模态分支网络进行活体识别。9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的多模态特征的轻量活体识别方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的多模态特征的轻量活体识别方法。

技术总结
本申请涉及一种多模态特征的轻量活体识别方法、系统、装置和介质，其中，该方法包括：获取训练图像数据，通过预设残差结构的轻量注意力模块搭建基础主干网络，根据训练图像数据的模态数据和基础主干网络构建得到若干模态分支，进而构建得到多模态分支网络，通过损失函数完成模型的训练，根据预设业务需求，从训练好的多模态分支网络中选择需要的模态分支进行部署，得到预设多模态分支网络，并通过预设多模态分支网络进行活体识别，解决了边缘设备的活体识别准确率低、效率差和部署不灵活的问题，实现了网络结构轻量化、多模态与多尺度数据输入、高层语义特征融合、可拆分部署，提升边缘设备的推理精度和效率，高效灵活。高效灵活。高效灵活。


技术研发人员：李来 王东 王月平
受保护的技术使用者：杭州魔点科技有限公司
技术研发日：2021.11.03
技术公布日：2021/12/3