一种指纹活体检测数据补盲方法、系统及电子设备与流程

本发明涉及生物特征识别与信息安全，尤其涉及一种指纹活体检测数据补盲方法、系统及电子设备。

背景技术：

1、指纹活体检测（presentation attack detection, pad）是生物特征识别系统中用于区分真实手指与利用明胶、硅胶、木工胶等假体材料伪造的指纹的关键安全技术。指纹活体检测模型的性能高度依赖训练数据中假体样本的多样性和覆盖度：训练集中包含的攻击呈现类型越丰富、材质与工艺越贴近真实攻击场景，模型对未知攻击的泛化能力越强。然而，在实际采集过程中，假体指纹样本的获取面临采集周期长、标注成本高、工艺条件受限等瓶颈，导致高质量假体样本的数量远远不足以覆盖真实世界中可能出现的攻击形态。

2、尤其值得关注的是，在特定采集条件下，例如暗光环境下低亮度采集、手指与传感器充分接触形成“满接触”状态、或者使用高密度脊线的高仿明胶材料时，图像呈现的纹理统计特征与主流假体明显不同。这类高仿假体样本在表现形式上与真实手指高度相似，使得常规增广和特征工程难以有效区分。由于此类样本的采集成本极高、在自然条件下出现的概率又相对较低，导致可用的真实高仿假体数据极为稀缺。这种数据分布上的“长尾”现象使得现有活体检测模型在这些条件下存在明显的检测盲区，即模型错误地将假体样本判定为真手指而持续漏检的区域。

3、利用生成对抗网络（generative adversarial network, gan）合成假体指纹样本以扩充训练集，是近年来受到广泛关注的可行技术路线。然而，现有的方式存在至少两点不足：其一，在无条件或弱条件的自由生成模式下，生成图像的画像分布主要由训练数据的主流分布决定，命中前述检测盲区画像的占比极低，对盲区数据覆盖的贡献微乎其微；其二，主流gan架构（如stylegan系列）默认在2的幂次方形分辨率（如256×256、512×512）上生成图像，而真实的指纹传感器原生采集分辨率可能为非2的幂次方形分辨率（如160×160、320×320等）或非方形矩形分辨率（如192×256、144×208等）。若在合成后进行padding或缩放操作以匹配传感器分辨率，会不可避免地破坏指纹脊线的几何比例关系和纹线周期特征，导致合成假体在纹理统计上偏离真实传感器采集特性，降低了合成样本在模型训练中的有效性。

4、因此，亟需一种能够针对指纹活体检测模型的检测盲区进行定向数据补盲的方法，该方法应当能够精确量化检测盲区的指纹画像特征，在保持传感器原生分辨率的前提下合成假体指纹图像，并高效地将命中盲区的合成样本注入训练过程，从而系统性地提升活体检测模型对高仿盲区假体的检出能力。

技术实现思路

1、针对现有技术的上述缺陷，本发明提供一种指纹活体检测数据补盲方法、系统及电子设备，以解决现有技术中因真实高仿假体数据稀缺导致活体检测模型存在检测盲区，以及现有gan合成方法无法在传感器原生分辨率上有针对性地产出命中盲区样本的技术问题。

2、第一方面，本技术实施例提供了一种指纹活体检测数据补盲方法，包括如下步骤：

3、定位指纹活体检测模型的检测盲区样本，形成检测盲区样本集合，提取所述检测盲区样本集合内各样本的画像特征，并基于所述画像特征确定盲区画像区间；

4、构建支持传感器原生分辨率的生成对抗网络，利用所述生成对抗网络在所述传感器原生分辨率上合成假体指纹图像；

5、基于所述盲区画像区间，对合成得到的所述假体指纹图像进行画像过滤，筛选出满足画像筛选条件的合成样本，作为命中盲区的合成样本；所述画像筛选条件基于所述盲区画像区间确定；

6、将所述命中盲区的合成样本作为攻击类样本，按照预设的采样密度注入活体检测模型的训练集，对所述活体检测模型进行定向补盲训练；

7、在完成所述定向补盲训练后，利用训练后的活体检测模型对假体指纹测试样本进行活体检测，当检测到新的持续漏检样本时，更新所述盲区画像区间并重复执行上述步骤，以迭代完成指纹活体检测数据补盲；

8、其中，所述传感器原生分辨率包括非2的幂次方形分辨率或非方形矩形分辨率；所述画像特征包括脊线覆盖率、平均亮度和灰度标准差；所述检测盲区样本为在验证集或盲区诊断集上在同一评测协议及固定判决阈值下被目标活体检测模型及至少一个参考活体检测模型均漏判为真实手指、且在多个训练轮次和/或多个独立训练实例中稳定复现漏检的假体指纹样本。

9、优选地，所述定位指纹活体检测模型的检测盲区样本，形成检测盲区样本集合，提取所述检测盲区样本集合内各样本的画像特征，并基于所述画像特征确定盲区画像区间，包括：

10、在验证集或盲区诊断集上，按照固定判决阈值和单次前向推理的评测协议，评测一组指纹活体检测模型，所述一组指纹活体检测模型包括拟部署的目标活体检测模型以及为诊断对比而训练的至少一个参考活体检测模型；

11、将同时被所述一组指纹活体检测模型漏判为真手指、且在多个训练轮次和/或多个独立训练实例中稳定复现漏检的假体指纹样本，确定为所述检测盲区样本；

12、对所述检测盲区样本集合中的每一样本，分别计算其脊线覆盖率、平均亮度和灰度标准差；

13、取所述检测盲区样本集合在脊线覆盖率维、平均亮度维和灰度标准差维上的取值范围，将三个维度取值区间的笛卡尔积作为所述盲区画像区间。

14、优选地，所述构建支持传感器原生分辨率的生成对抗网络，利用所述生成对抗网络在所述传感器原生分辨率上合成假体指纹图像，包括：

15、以stylegan2为生成器基础架构，当其分辨率链的目标输出分辨率为所述传感器原生分辨率时，判断所述传感器原生分辨率的类型；

16、若所述传感器原生分辨率为非2的幂次方形分辨率，则将分辨率链的起始基底分辨率由固定值推广为可选取奇数或非2幂值，使分辨率链经逐级2倍上采样后抵达所述传感器原生分辨率；若所述传感器原生分辨率为非方形矩形分辨率，则以预设的高与宽基底分辨率启动分辨率链，各合成层级携带逐轴上采样因子，高度方向每级2倍上采样，宽度方向通过选择性逐轴重采样实现各向异性放大，使分辨率链最终抵达所述传感器原生分辨率。

17、优选地，所述起始基底分辨率的选取用于保证生成器对指纹全局结构的建模能力。

18、优选地，所述基于所述盲区画像区间，对合成得到的所述假体指纹图像进行画像过滤，满足画像筛选条件的合成样本，作为命中盲区的合成样本；所述画像筛选条件基于所述盲区画像区间确定，包括：

19、计算每一合成假体指纹图像的脊线覆盖率、平均亮度和灰度标准差；

20、判断所述合成假体指纹图像是否满足预设条件，所述预设条件为：脊线覆盖率不低于所述盲区画像区间的覆盖率下界、平均亮度落入所述盲区画像区间的亮度区间、且灰度标准差不低于所述盲区画像区间的标准差下界；

21、将满足所述预设条件的合成假体指纹图像，作为所述命中盲区的合成样本。

22、优选地，所述将所述命中盲区的合成样本作为攻击类样本，按照预设的采样密度注入活体检测模型的训练集，对所述活体检测模型进行定向补盲训练，包括：

23、将训练集中攻击类样本的采样预算划分为多个独立采样段，包括真实低覆盖攻击段、盲区合成攻击段和其余真实攻击段，各段按设定的预算比例独立采样；

24、在活体检测模型的共享骨干网络之后并列设置主分类头和源判别头，所述源判别头经梯度反转层接入所述共享骨干网络；以主任务分类损失与源判别分类损失之和作为总损失进行训练，其中，所述梯度反转层用于在反向传播时对源判别分类损失的梯度进行反转，经反转的梯度回传至所述共享骨干网络；训练完成后丢弃所述源判别头；

25、优选地，所述预设的采样密度使所述命中盲区的合成样本在训练批次中的出现密度高于将其随机混入训练集时的出现密度。

26、优选地，所述在完成所述定向补盲训练后，利用训练后的活体检测模型对假体指纹测试样本进行活体检测，当检测到新的持续漏检样本时，更新所述盲区画像区间并重复执行上述步骤，以迭代完成指纹活体检测数据补盲，包括：

27、在每一轮定向补盲训练完成后，在验证集或盲区诊断集上评测当前活体检测模型，定位仍持续漏检的假体指纹样本集合；

28、若仍存在持续漏检样本，则对该样本集合重新计算画像特征并取取值范围，得到更新后的盲区画像区间，并基于更新后的盲区画像区间重新执行合成假体指纹图像、画像过滤与定向补盲训练的步骤；

29、重复上述过程，直至不再检测到新的持续漏检样本。

30、第二方面，本技术实施例提供了一种指纹活体检测数据补盲系统，包括：

31、盲区定位与画像量化模块，用于定位指纹活体检测模型的检测盲区样本，形成检测盲区样本集合，提取所述检测盲区样本集合内各样本的画像特征，并基于所述画像特征确定盲区画像区间；

32、原生分辨率合成模块，用于构建支持传感器原生分辨率的生成对抗网络，利用所述生成对抗网络在所述传感器原生分辨率上合成假体指纹图像；

33、画像过滤模块，用于基于所述盲区画像区间，对合成得到的所述假体指纹图像进行画像过滤，筛选出满足画像筛选条件的合成样本，作为命中盲区的合成样本；所述画像筛选条件基于所述盲区画像区间确定；

34、定向注入训练模块，用于将所述命中盲区的合成样本作为攻击类样本，按照预设的采样密度注入活体检测模型的训练集，对所述活体检测模型进行定向补盲训练；

35、迭代补盲模块，用于在完成所述定向补盲训练后，利用训练后的活体检测模型对假体指纹测试样本进行活体检测，当检测到新的持续漏检样本时，更新所述盲区画像区间并重复执行上述步骤，以迭代完成指纹活体检测数据补盲；

36、其中，所述传感器原生分辨率包括非2的幂次方形分辨率或非方形矩形分辨率；所述画像特征包括脊线覆盖率、平均亮度和灰度标准差；所述检测盲区样本为在验证集或盲区诊断集上在同一评测协议及固定判决阈值下被目标活体检测模型及至少一个参考活体检测模型均漏判为真实手指、且在多个训练轮次和/或多个独立训练实例中稳定复现漏检的假体指纹样本。

37、第三方面，本技术实施例提供了一种电子设备，包括：至少一个存储器，用于存储计算机程序；至少一个处理器，用于执行所述存储器中存储的计算机程序，以实现第一方面中任一项所述的方法。

38、本发明相较于现有技术的方案，至少具有以下有益的技术效果：

39、（1）通过在多维度画像特征空间上量化检测盲区的边界，实现了检测盲区从模糊经验判断向精确定量描述的转化。通过引入脊线覆盖率、平均亮度和灰度标准差三个互补的图像属性作为盲区画像特征，能够从纹理密度、光照条件和对比度三个互补维度有效表征盲区假体的指纹图像统计特性，为后续的定向合成提供了明确、可操作的生成约束条件；

40、（2）通过改造stylegan2生成器的分辨率链结构，使其能够在非2的幂次方形分辨率或非方形矩形分辨率上直接合成假体指纹图像，避免了传统先合成再padding或缩放的二次处理流程。有利于保持合成指纹图像中脊线的几何比例与纹线周期与真实传感器采集特性一致，显著减少因分辨率变换引入的纹理失真，显著提高了合成假体在纹理统计上对真实传感器采集特性的保真度；

41、（3）通过基于盲区画像区间的画像过滤机制，从gan生成的大量假体指纹图像中高效筛选出命中盲区的合成样本。在画像过滤（拒绝采样）的基础上进一步采用画像距离损失导向生成，可使生成样本直接或接近直接落入盲区画像区间，显著提升命中效率、大幅减少生成后丢弃；

42、（4）通过分段平衡采样策略，将训练集中攻击类样本的采样预算划分为多个独立采样段，使命中盲区的合成样本在训练过程中的采样出现密度相对于泛泛增广提升至少一个量级。确保了少量高质量的盲区合成样本能够在模型训练中产生足够的梯度贡献，避免了因样本量小而被淹没在大量非盲区样本中的问题，实现了精准的定向数据补盲；

43、（5）通过在活体检测模型的共享骨干网络之后引入源判别头和梯度反转层，进行源不变性对抗训练，促使模型学习对合成数据源和真实数据源不变的特征表达。有效抑制了合成数据与真实数据之间的领域差异对分类器边界造成的偏置影响，使模型在利用合成样本补盲的同时，不降低了因合成伪影或统计偏差损失对真实样本判别能力的风险；

44、（6）采用迭代闭环的方式进行定向补盲训练：每轮补盲训练后重新评估模型的检测盲区，更新盲区画像区间，并据此调整生成器的生成方向和注入策略。这种闭环迭代机制使得检测盲区可随训练的推进逐步缩小，并在满足终止条件时结束迭代，实现了从发现盲区到补全盲区到再发现新盲区的持续优化过程，最终使活体检测模型的决策边界在高仿假体区域得到系统性地加固。

45、综上所述，本发明通过盲区量化-原生分辨率定向合成-画像过滤-高密度定向注入-迭代补盲的技术方案，构建了一套完整的指纹活体检测数据补盲技术方案。该方法将检测盲区从隐式概念转化为显式可量化的画像约束条件，在传感器原生分辨率上实现高保真、高命中的假体指纹合成，并通过分段采样和源不变性对抗训练保障了合成样本的有效注入，最终实现了对真实数据覆盖不足的盲区高仿假体的数据级补盲，以数据驱动的方式显著提升了活体检测模型对盲区假体的检出率和整体鲁棒性。