基于双重预测引导图对比学习的缺失多模态识别方法

摘要: 本发明涉及图对比学习、多模态学习及不完整多模态聚类等技术。面向出现缺失的不完整模态数据,具体利用跨模态关系图转移和双重预测机制,通过模态内图对比学习和跨模态图一...
基于双重预测引导图对比学习的缺失多模态识别方法

本发明涉及图对比学习、多模态学习及不完整多模态聚类等技术。面向出现缺失的不完整模态数据,具体利用跨模态关系图转移和双重预测机制,通过模态内图对比学习和跨模态图一致性学习进行训练,并利用kl散度损失来优化聚类结果,从而得到用于多模态数据缺失情况下的聚类任务的模型。该模型利用双重预测估计缺失模态的表示,并利用模态内和模态间的对比学习,能够有效地缓解多模态数据缺失带来的聚类性能下降等问题,显著提升掌纹和掌静脉融合识别的准确性和鲁棒性。本发明在多模态数据缺失的情况下,进一步提升了模型的聚类和识别能力。

背景技术:

1、随着生物识别技术的发展,掌纹和掌静脉识别因其高鉴别性、非接触性与强防伪性而有重要的研究与应用价值。掌纹能够反映手掌表面的纹理信息,掌静脉提供手掌内部血管分布特征,二者在信息层面具有较强的互补性,融合掌纹和掌静脉的多模态生物识别技术受到广泛关注

2、单一模态的生物特征在复杂环境下存在固有的局限性。相比于单模态识别来说,多模态识别具有以下优势:(1)识别准确性高,多模态提取同一身份的不同特征,可以在信息上实现多种模态的互补,融合后提升身份描述的完整性与识别的准确性;(2)鲁棒性强,在实际的应用中,当某些模态的数据因复杂环境因素出现质量下降或丢失时,多模态可以通过其他模态的数据来弥补缺失的信息,从而提高系统的鲁棒性;(3)安全性高,多模态识别通常需要同时满足多种模态生物特征的一致性要求,相比单模态识别更难被伪造或攻击,具有更高的安全性和防伪性。

3、近年来,针对掌纹与掌静脉融合识别的问题,研究人员提出了多种技术方案,主要包括以下几类:(1)基于特征级融合的方法,这类方法通常通过简单的特征级拼接方式实现融合,例如利用双模态特征关联,基于掌纹掌静脉集合交叉点特征进行身份认证;(2)基于子空间学习的表示方法,常通过挖掘不同模态之间的相关结构,分别映射至子空间中实现跨模态特征对齐,例如通过挖掘双模态间线性相关性实现特征降维与融合的方法;(3)基于深度学习的融合方法,通过神经网络自动提取高层语义特征,实现多模态的提取、融合与识别,例如基于像素多方向与监督式二进制编码学习的研究,以及掌纹掌静脉两阶段自适应加权融合识别的方法。

4、然而,在多模态融合识别的实际应用中,多模态数据往往难以保证始终完整可用。在模态数据采集的过程中,易出现某一模态缺失的情况。如现有的多模态生物识别系统在实际应用中,常常由于设备硬件限制、传感器故障和环境干扰等因素导致出现某种模态缺失,从而导致传统多模态识别方法无法正常作用,识别系统的准确性与可靠性大大降低。对于此类不完整多模态数据,传统处理方法有两种:(1)直接删除缺失样本。但直接删除会直接导致样本的浪费,造成有效信息丢失,削弱模型的学习能力;(2)采用简单填充方式。如使用零填充或均值填充缺失部分的数据,这类方法容易引入额外噪声,且难以充分利用不同模态之间的互补关系。

5、而目前为止,针对不完整多模态数据的处理,常用的解决办法主要包括以下几类:(1)充分挖掘未缺失模态的信息。如图传播、互信息最大化等方法会利用已知模态来补偿缺失模态的信息。例如,部分多视图聚类方法可以通过局部结构保持和视图权重学习来推断缺失视图的数据;(2)对缺失信息进行复原。如模型会通过自编码器、生成对抗网络和矩阵补全等方法,直接生成补全缺失模态的数据,从而提高模型的完整性和准确性。例如,有方法通过一致性生成对抗网络恢复缺失模态,也有方法先恢复缺失信息、再基于恢复后的数据进行聚类学习。

6、综上,尽管现有面向缺失模态下的掌纹和掌静脉融合识别技术取得了一定的进展,但在面对模态缺失问题时,仍存在缺失信息恢复不稳定、信息恢复与聚类目标协同不足、以及跨模态关系利用不充分等问题。尤其是在实际应用中,现有方法鲁棒性不足且容易引入噪音,难以获得稳定且具有判别性的融合表示。因此, 提出一种新面向缺失模态的多模态掌纹掌静脉融合识别方法,是至关重要的。本发明通过引入双重预测机制与多模态图对比学习框架,利用可用模态的潜在表示对缺失数据进行特征级预测,并结合模态内图对比学习和跨模态图一致性学习联合优化,从而提高不完整数据下多模态掌纹掌静脉模型识别的准确性和鲁棒性。

技术实现思路

0、 技术实现要素:

1、本发明提供了一种基于双重预测引导图对比学习的缺失多模态识别方法,用于缓解掌纹掌静脉多模态生物特征识别中,模态数据出现缺失时识别准确率下降的问题。该发明通过构建跨模态样本关系图构建缺失模态的近邻关系,并利用双重预测机制对缺失数据进行跨模态特征预测,同时结合图对比学习联合优化,实现不完整多模态数据下的聚类学习。

2、为了实现上述方法,算法主要分为两个阶段。其具体实现步骤如下:

3、步骤100、不完整多视图数据预处理:设多模态特征数据集为: = {, .. . , },其中表示模态数量,表示第个模态的数据矩阵={, ,…} ,为样本数量,为第个模态的特征维度。为将所有样本聚类为个类别,我们使用矩阵来记录个样本的可用性和缺失状态,其中表示第个样本在第个模态中可用,0表示第个样本在第个模态中缺失。此外,为模拟不完整多模态数据场景,我们设置同时掌纹和掌静脉两种模态均完整的样本比例为,即完整样本保留率。

4、步骤200、构建跨模态关系近邻图:采用跨模态关系图转换策略,通过同一身份样本在不同模态间具有语义一致性的特点,利用最近邻算法构建不完整多模态数据的样本关系图。假设第个样本在第一模态完整可用,记为。在第二模态中出现模态数据缺失,记为 。首先在第一个完整模态下构建该样本的最近邻关系图,然后将该近邻关系图转移至样本缺失的第二模态,用于寻找与缺失样本语义相似的样本。若某些邻居样本在第二模态中同样丢失,则将其从转移的最近邻关系图中移除。可通过上述方式在缺失模态中获得可靠的样本近邻。

5、步骤300、基于双重预测的图对比学习框架:构建基于双重预测的图对比学习框架,该框架包含四个主要目标:模态内重建、双重预测机制、模态内图对比学习和跨模态图一致性学习;总体目标函数为,其中、、和分别为重建损失、模态内图对比学习损失、跨模态图一致性学习损失和双重预测损失,、和为三个加权超参数。进行两阶段训练优化:第一阶段进行300个训练周期的初始化训练,在原始特征构建的初始近邻图上进行联合表示学习,该阶段模态内对比损失和跨模态图一致性损失使用初始图进行计算,在训练过程中计算双重预测损失,并将双重预测重建出的数据使用指数滑动平均方式进行平滑,提升缺失模态数据补全的稳定性;第二阶段对构建的近邻图进行优化并动态更新,进行300个训练周期,利用优化后的图计算损失函数和。在训练过程中对图进行优化,优化后的图又可以促进图对比学习的效果,通过这种交替优化的学习过程,模型能够逐步提升特征的判别能力。

6、步骤400、聚类结果获取:完成两阶段训练后,基于深度聚类方法采用散度聚类损失对网络进行微调。微调阶段的阈值设置了最大轮次200与容忍度 的双重停止条件。由于训练过程中已使同一样本在两种模态下的潜在表示在特征空间中趋于一致,因此可以直接将两种模态的表示叠加,得到共同表示;随后利用k-means算法对共同表示进行初始化聚类,并通过散度损失优化聚类分配,获得最终聚类结果。

7、本发明具有以下优点:

8、(1)本发明提出的基于双重预测的图对比学习框架能够有效缓解模态缺失对模型识别能力的影响。即使在数据缺失率较高的情况下,也能通过构建最近邻图结构和双重预测跨模态补全缺失特征的策略,充分学习不同模态之间的共享语义,缓解缺失数据对识别准确率的影响,从而提升模态缺失下模型的聚类能力;

9、(2)本发明将图对比学习与双重预测联合学习优化,一方面通过模态内图对比学习拉近正样本对,推远负样本对,另一方面通过跨模态图一致性学习提升样本的高层语义一致性,使学习得到的特征表示同时具有较强的区分能力和跨模态一致性。双重预测可以通过一个模态的潜在特征预测另一模态的原始特征,在补全数据,提升质量的同时对齐两模态特征,增强模型的跨模态一致性学习。

10、(3)本发明使用分阶段的训练策略,模型在初始化阶段能够基于初始近邻图快速学习到稳定表示。并利用双重预测对缺失模态的原始数据特征进行稳定预测。在后续动态更新近邻图阶段,模型进一步在训练中交替优化对比学习与图结构,提升模型的判别性,最终在聚类微调阶段通过散度获得高质量的聚类结果。提升了不完整掌纹掌静脉融合识别的准确性和鲁棒性。