一种基于联邦跨模态校准的手部生物特征识别方法
本发明涉及模式识别、图像处理技术及隐私保护技术,具体地,每个客户端拥有来自不同异构数据集的手部多模态图像(如掌纹与掌静脉或者指纹指静脉等)并使用这些图像开展特征级别补偿训练,利用多模态对比对齐主动纠正本地特征漂移、随后进行联邦聚合得到全局模型,然后下发全局模型到每个客户端进行近端约束指导以及赋值局部模型,并在冻结局部模型后利用分类输出自适应训练元权重生成器进行分数级别补偿,最终在推理测试时利用该元权重生成器动态输出融合权重并施加于匹配分数上,从而构成每个客户端专属的高可靠联合决策系统,该系统能主动校准数据异构引起的特征空间扭曲,从而提升模型的识别和验证性能。
背景技术:
1、在现代数字生态系统中,安全且保护隐私的身份认证至关重要,手部生物特征识别逐渐成为一种高度可靠的身份认证模态。尽管人脸和虹膜等生物特征识别技术已被广泛应用,但它们面临着固有的局限性:人脸识别具有极高的隐私敏感度与泄露隐患,且极易受光照、姿态变化等外部环境干扰;虹膜识别虽然精度高,但采集设备昂贵,且对用户的配合度与采集距离要求极为苛刻,用户体验较差。相比之下,手部生物特征识别展现出了独特的综合优势:其不仅具备丰富的纹理细节与极高的鉴别能力,且隐私敏感度远低于人脸,用户接受度高;同时,手部特征(如掌纹、指纹以及静脉脉络等)具有更强的稳定性与天然的防伪属性,且支持便捷友好的非接触式采集。近年来,凭借这些独特的综合优势,手部生物特征识别技术已能够有效适应复杂多样的真实采集条件,被广泛应用于智能设备解锁、门禁核验以及金融支付等高安全性身份认证场景,成为新一代数字生态中关键的基础支撑技术。
2、手部生物特征识别的研究主要经历了三个发展阶段:早期依赖于手工设计的纹理和方向特征模板(如局部二值模式、gabor滤波器等),随后发展为基于特征嵌入的子空间学习方法(如主成分分析等),近年来则全面转向以深度学习为基础的自动特征提取方法。传统的手工设计与子空间方法鉴别能力有限且难以泛化;深度学习方法虽然通过自动学习分层表征显著提升了识别性能,但通常需要对大规模数据集进行集中式训练,这会引发了关于数据主权、数据安全以及用户生物隐私泄露的严重担忧。为了在保持识别效用的同时保障数据主权,近些年来联邦学习(federated learning, fl)这种隐私保护训练的范式逐渐被应用到手部生物识别中。联邦学习通过将原始数据保留在本地,仅在服务器与客户端之间传递模型参数,既保护了数据隐私,又实现了多节点的联合训练。
3、然而,现有的联邦学习方法在分布式手部识别应用中面临着数据异构性的严峻挑战。由于不同采集环境的光谱变化、传感器差异导致的特征异构,以及由于客户端间样本数量不平衡、标签分布偏斜导致的分布异构,导致了严重的局部特征空间漂移。现有联邦手部识别方法主要存在两个核心缺陷:首先,在联邦训练方面,现有联邦机制缺乏客观的本地参考标尺,只能被动地服从外部全局共识来指导本地训练和联邦聚合,这种被动优化仅能实现统计层面的对齐,根本无法主动纠正由数据异构性引起的严重特征空间扭曲,导致模型表征受限于存在偏差的局部环境;其次,在决策方面,分布式采集不可避免地会引入实例级噪声与不确定性,仅依赖单模态预测极不可靠。受手部多模态之间固有的身份映射一致性,以及多模态协同训练能够有效抵消噪声、特征空间不稳定等负面影响的启发,本发明认为,利用这种跨模态信息构建内在参考系统,具有克服上述特征空间扭曲与单模态决策脆弱性两大核心挑战的潜力。因此,开发一种能够利用跨模态内在一致性主动校准特征漂移,并具备自适应动态融合多模态信息进行决策能力的新型隐私保护联邦手部识别方法,具有极其重要的实际应用价值与科研意义。
技术实现思路
1、本发明提供了一种基于联邦跨模态校准的手部生物特征识别方法,提出了主动跨模态校准与决策级融合策略,进一步实现在数据异构场景下高准确性、强泛化性的手部多模态识别与隐私保护。
2、为了实现上述方法,具体步骤如下:
3、步骤100、 每个客户端将本地手部多模态生物特征数据集划分为训练集和测试集,利用多模态训练集数据进行特征级别补偿训练(本发明中称为x-anchor机制),得到各个模态的局部模型,并分别将局部模型参数上传至服务器;
4、步骤200、 服务器接收所有客户端上传的各模态局部模型,通过联邦平均(federated averaging, fedavg)算法生成各个模态的全局模型并分发至各客户端;客户端中各模态局部模型的特征提取层加载全局模型参数,分类层参数保持不变;同时各模态的全局模型参数保持固定,用于对下一轮局部模型的训练进行近端约束指导;
5、步骤300、 每个客户端在本地冻结各模态局部模型参数,并利用多模态训练集在各模态模型下的分类输出进行决策级别补偿训练(本发明中称为metafuse机制),自适应优化元权重生成器;
6、步骤400、 每个客户端利用训练好的各模态局部模型及元权重生成器,在本地测试集上进行多模态融合测试。
7、其中,每个客户端拥有不同采集环境的手部多模态图像,将这些图像划分为训练集和测试集并进行局部特征级别补偿训练以得到局部模型的步骤100包括: 每个客户端包含手部关联的主模态与辅助模态两个不同模态的数据集,各客户端将本地数据集划分为训练集与测试集:每个类别随机选取3张图像作为训练集,并随机选取另外3张图像作为测试集。然后,每个客户端在本发明设计的多视角损失函数约束下进行特征补偿训练x-anchor。在局部模型迭代训练过程中,构建由分类损失、多模态对比对齐损失、近端正则化损失、角度间隔损失以及中心损失组合而成的总体优化目标函数。同时,为了自适应地平衡各个学习目标的贡献,本发明采用了一种不确定性自适应加权机制对各个子损失函数的权重进行自适应调配。所述多模态特征级别补偿训练使用多模态对比对齐机制作为本地校准器,在共享的身份不变生理核心的引导下运行。每个客户端在上述综合损失约束下有效减少数据异构的影响,训练完成后将各模态的局部模型上传到服务器。
8、其中,服务器接收所有局部模型并通过联邦聚合得到全局模型,然后下发到不同客户端进行解耦聚合更新的步骤200包括:服务器接收各客户端上传的局部模型参数并采用联邦平均的方法进行协同聚合,计算得到各模态的全局模型参数。随后,服务器将全局模型参数下发到各个客户端并对局部模型进行同步。具体地,本发明采用解耦更新机制,局部模型仅加载全局模型中特征提取层的参数,而完整地保留其本地个性化的分类层参数。并固定全局模型参数作为近端约束指导下一轮的训练,循环往复直到完成所有的联邦特征补偿通讯。
9、其中,每个客户端在本地自适应优化元权重生成器的步骤300包括:在主要的联邦学习阶段完成后,进行决策级别补偿训练metafuse:各客户端将局部模型参数冻结,并利用本地多模态训练集前向传播,提取出所有手部模态的分类输出。此外,在各客户端本地构建一个采用多层感知机网络架构的轻量级元权重生成器,将多模态的分类输出拼接后输入至所述元权重生成器中,生成自适应融合权重向量。为了训练该生成器,本发明基于本地各个单模态分类器的预测正确性构建自适应参考监督信号,优化目标为最小化模型预测权重与理想质量感知权重之间的均方误差。在训练阶段,利用当前生成的融合权重向量分别乘以样本在各单模态下的分类输出并求和得到最终的融合分类输出,进而计算预测准确率。在训练迭代周期结束后,选择并持久化保存预测准确率最高的元权重生成器网络参数,作为后续测试阶段的评估模型,以保证实际推理时的最高可靠性。
10、其中,用于最终模型的性能评价过程的步骤400包括:每个客户端在训练完成后,冻结各模态的局部模型参数及元权重生成器参数。对于每个模态,分别使用对应的局部模型提取训练集和测试集的特征向量并计算欧氏距离,将其归一化为单模态的匹配分数,同时提取测试集在该模态下的分类输出。接着,将各模态的分类输出输入至元权重生成器模型中获取实例级自适应融合权重,并将该融合权重施加在对应的单模态匹配分数上进行加权求和,得到最终的融合匹配分数。 最后进行性能评价:根据融合匹配分数计算识别准确率,作为身份识别任务的性能指标以及等错误率作为身份验证任务的性能指标。
11、本发明具有以下优点:
12、(1)本发明能够使不同客户端的模型在包含特征异构与分布异构的复杂手部数据场景下,实现稳定且高效的训练;
13、(2)本发明适用于不同类型的应用任务,无论是手部身份识别还是验证任务,均能取得优异的性能;
14、(3)本发明具有强大的模态泛化能力,仅需自适应调整对比对齐损失结构,即可广泛应用于掌纹与掌静脉(强关联)、指纹与指静脉(弱关联)等多模态生物特征识别中;
15、(4)本发明具有高度的训练范式兼容性,不仅在联邦协同训练下表现出色,同样适用于传统的集中式多模态融合训练并保持优异性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com