基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法、掌静脉识别方法及系统

摘要: 本发明涉及掌静脉识别,具体的说是一种基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法、掌静脉识别方法及系统。背景技术:1、掌静脉识别作为一种高安全性...
基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法、掌静脉识别方法及系统

本发明涉及掌静脉识别,具体的说是一种基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法、掌静脉识别方法及系统。

背景技术:

1、掌静脉识别作为一种高安全性的生物特征识别技术,因其活体检测、难以伪造、不受皮肤表面状态影响等优点,被广泛应用于金融支付、门禁控制、身份认证等安全敏感场景。随着深度学习技术的发展,基于卷积神经网络的方法已成为掌静脉识别的主流技术路线。研究人员大量采用resnet等经典网络骨架作为特征提取器,通过多层卷积操作逐步提取掌静脉图像中的局部纹理细节和细粒度静脉结构。针对掌静脉图像低对比度、纹理微弱等特点,fv-cnn采用多分支结构并行处理不同分辨率的输入,fvras-net引入残差注意力机制增强对静脉区域的敏感性,pv-cnn则在保持较高识别精度的同时大幅减少参数量和计算复杂度。为了克服卷积神经网络局部感受野的局限性,近年来视觉变换器及其变体也被引入掌静脉识别领域,例如msvt通过金字塔结构与自注意力机制相结合实现全局上下文信息挖掘,ale-ivt网络融合了卷积神经网络的归纳偏置与变换器的全局建模能力,fv-vit则将视觉变换器直接应用于指静脉识别任务。此外,在模型优化方面,知识蒸馏作为一种代表性的网络增强策略被广泛采用,通过让轻量级学生模型从更强的教师模型中学习有用信息来提升性能,具体方法包括基于注意力转移的知识蒸馏、关系型知识蒸馏、对比表示蒸馏以及解耦知识蒸馏等,这些方法通常从注意力精炼、多尺度融合、对抗学习、标签增强、度量学习等角度改进特征表示。

2、但是,现有掌静脉识别方法仍然存在明显的局限性。在特征学习层面,大多数方法主要关注网络骨架的设计和整体分类性能的提升,将识别模型视为一个统一的特征提取器,而对不同网络层在特征表示中的贡献差异缺乏显式分析。实际上,不同网络层在掌静脉识别中发挥着不同的作用:浅层倾向于捕获局部纹理响应,中层编码静脉结构模式,深层包含高层身份语义信息,各层对最终识别结果的贡献并不均衡。某些层可能学习到稳定且具有判别性的静脉表示,而其他层仍存在纹理响应微弱、语义抽象不足或包含冗余背景信息的问题。现有方法通常使用统一的分类目标来优化所有层,未能根据各层的表示质量进行差异化处理,这限制了模型特征表达能力的充分发挥。在网络增强与优化层面,虽然知识蒸馏等策略已得到广泛研究,但大多数方法仍将识别网络视为整体进行统一优化,很少显式评估网络内部各层的表示能力,也缺乏利用外部视觉语义先验来逐层指导优化的机制。此外,现有优化方法通常缺乏对层间表示质量的量化评估,难以确定哪些层是强层、哪些层是弱层,导致优化过程缺乏针对性,无法有效解决层间表示不平衡的问题。

技术实现思路

1、为了解决现有技术中的不足,本发明提供一种基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法、掌静脉识别方法及系统,通过引入冻结的dinov2视觉基础模型作为辅助评估器,通过线性中心核对齐度量识别网络中间层特征与dinov2阶段表示之间的相似度,显式量化评估不同网络层的表示质量,并将评估分数作为驱动信号,对强层进行抑制以防止其过度主导、对弱层进行增强以提升其表达能力,从而实现更均衡和更具判别力的层间特征分布,显著提升掌静脉识别模型的准确率和鲁棒性。

2、为了实现上述目的,本发明采用的具体方案为:基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法,所述掌静脉识别模型括识别骨干网络,并且为识别骨干网络引入已冻结的辅助评估器,识别骨干网络包括多个识别层,辅助评估器基于dinov2模型构建,辅助评估器包括多个变换器块;

3、所述训练方法包括多个训练轮次,多个训练轮次分为依次进行的预热阶段和渐进阶段,在多个训练轮次中对识别骨干网络进行更新并且冻结辅助评估器;

4、所述预热阶段包括:

5、在利用识别骨干网络对预先构建好的掌静脉图像训练集进行识别,并且计算交叉熵损失;

6、基于交叉熵损失对识别骨干网络进行更新优化;

7、所述渐进阶段包括:

8、将掌静脉图像训练集输入识别骨干网络和辅助评估器进行处理,分别得到多个与识别层对应的层间表示以及多个与变换器块对应的阶段特征;

9、基于层间表示和阶段特征的相似度计算识别层的层间评估分数;

10、基于层间评估分数对识别层进行分类得到强层集合、中性层集合和弱层集合;

11、基于预先构建的分数驱动损失对强层集合中的识别层进行抑制、对弱层集合中的识别层进行增强;

12、当融合交叉熵损失与分数驱动损失的综合损失满足预设的终止条件时或者达到预设的最大训练轮次时结束训练。

13、作为上述基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法的进一步优化:所述识别层为卷积层或者令牌层,卷积层输出的特征图和令牌层输出的令牌特征经过池化操作后得到所述层间表示;所述变换器块输出的参考令牌经过池化操作后得到所述阶段特征。

14、作为上述基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法的进一步优化:基于层间表示和阶段特征的相似度计算识别层的层间评估分数的方法包括:

15、沿样本维度对层间表示和阶段特征进行中心化处理:

16、;

17、;

18、其中,为层间特征,为阶段特征,为全一向量;

19、基于线性中心核对齐计算第l个层间特征与第k个阶段特征之间的相似度:

20、;

21、其中,表示frobenius范数,为用于保证数值稳定性的常数。

22、作为上述基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法的进一步优化:确定所述识别层和所述变换器块后,为识别层赋予语义级别并且为变换器块赋予层级,计算识别层的层间评估分数时基于语义级别和层级确定识别层与变换器块的对应关系,融合对应关系后层间评估分数表示为:

23、,其中,为从识别层到变换器块的映射函数以表征对应关系。

24、作为上述基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法的进一步优化:计算得到层间评估分数后,对所有层间评估分数进行归一化处理,归一化方法为:

25、;

26、其中,和分别为层间评估分数的最小值和最大值,归一化处理后的层间评估分数。

27、作为上述基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法的进一步优化:基于层间评估分数对识别层进行分类得到强层集合、中性层集合和弱层集合的方法包括:

28、计算所有层间评估分数的均值;

29、计算所有层间评估分数的标准差;

30、基于均值和标准差生成高阈值和低阈值,其中为用于控制高阈值和低阈值之间中中性区间宽度的超参数;

31、基于高阈值和低阈值以及层间评估分数对识别层进行分组:

32、;

33、其中,为强层集合,为中性层集合,为弱层集合。

34、作为上述基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法的进一步优化:对于强层集合,分数驱动损失为:

35、;

36、对于弱层集合,分数驱动损失为:

37、。

38、作为上述基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法的进一步优化:融合交叉熵损失与分数驱动损失得到综合损失时,交叉熵损失为:

39、;

40、其中,为识别骨干网络能够输出的身份类别数量,为第c类身份类别的对数几率;

41、分数驱动损失为:

42、;

43、;

44、其中和为权重因子,为基于训练轮次生成的渐进系数,为当前的训练轮次,为渐进数量,为预热阶段的训练伦次总数量;

45、综合损失为:

46、;

47、当综合损失最小化时结束训练。

48、掌静脉识别方法,包括:

49、获取待识别的掌静脉图像;

50、将掌静脉图像输入到掌静脉识别模型中进行识别得到身份识别结果,其中掌静脉识别模型使用上述的基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法训练得到。

51、掌静脉识别系统,包括:

52、数据获取模块,用于获取待识别的掌静脉图像;

53、识别模块,用于利用掌静脉识别模型对掌静脉图像进行识别得到身份识别结果,其中掌静脉识别模型使用上述的基于视觉模型引导层评估与分数驱动优化的掌静脉识别模型训练方法训练得到;

54、人机交互模块,用于输出身份识别结果。

55、有益效果:本发明提供了一种基于视觉基础模型引导层评估与分数驱动优化的掌静脉识别方法,利用冻结的dinov2视觉基础模型作为辅助评估器,通过线性中心核对齐度量识别网络各中间层特征与dinov2阶段表示之间的相似度,将相似度值作为层间表示质量的量化评估分数,实现了对识别网络内部各层特征表达能力的显式逐层量化评估,填补了现有方法缺乏层间表示质量显式分析的空白。本发明提出了基于分数均值和标准差的阈值自适应层分组策略,根据层评估分数的统计分布动态计算高阈值和低阈值,将网络层自适应地划分为强层、中性层和弱层三类,其中强层与dinov2参考表示一致性过高,可能过度主导特征学习;弱层一致性过低,未能提供足够的判别信息;中性层表示质量适中。现有方法通常对所有层施加统一的优化目标,本发明则针对不同层级实施差异化的调制策略,对过度主导的强层进行抑制以减少其影响,对能力不足的弱层进行增强以提升其表达能力,对表现适中的中性层保持不变,从而实现了层间表示的均衡化。本发明提出了结合特征级调制与损失级优化的双重调节机制,在特征层面通过层间调制系数直接调整层特征响应强度,使强层响应减弱、弱层响应增强;在损失层面设计强层抑制损失和弱层增强损失,对层分数分布进行显式约束,通过最小化抑制损失防止少数层过度主导特征学习,通过最小化增强损失鼓励弱层向正常分数区间靠近,两者协同作用共同引导网络形成更均衡的层间表示结构。本发明提出了预热与渐进式相结合的训练策略,在训练初期(预热阶段)仅使用分类损失以使网络学习基本的身份判别特征,待网络趋于稳定后通过渐进系数在数个轮次内逐步将分数驱动优化项从0增加到1,避免了训练早期不可靠特征被过度调整,保证了训练过程的稳定性和调制策略的有效性。本发明提出的层评估与调制机制不依赖于特定网络架构,可广泛应用于各类卷积神经网络和变换器网络,实验结果表明其在cnn型和transformer型骨干网络上均能取得一致的性能增益,具有较强的通用性和迁移性。