使用已登记生物特征数据集检测基于生物特征的认证系统中的敌对实例的制作方法

使用已登记生物特征数据集检测基于生物特征的认证系统中的敌对实例


背景技术：

1.敌对机器学习是在机器学习领域中采用的技术，其尝试通过恶意输入欺骗机器学习模型。最近的研究表明，深度神经网络对敌对实例很敏感。敌对实例是带有恶意专门精心制作的输入。对于被训练以对图像中的对象进行分类的网络，可能生成敌对实例，其目的是将属于一个类别的对象错误地分类到另一类别，例如一个人修改其图像以模仿另一个人。敌对实例的实例包括狗的机器弱化图像在计算机和人两者看起来都像猫，以及扰动停车标志的外观以使得自主车辆会将所述停车标志替代地分类为汇合或限速标志。
2.在过去几年中，已经公布了针对深度神经网络生成敌对实例的若干不同方法。还开发了用以防御使用这些方法中的一些精心制作的敌对实例的技术。然而，鉴于对防御方法的了解，这些防御技术中的大多数可能很容易被打破。
3.因此，需要提供一种用于检测敌对实例的改进的系统和方法。


技术实现要素：

4.各种实施例提供用于使用已登记生物特征数据集检测敌对实例来改进基于生物特征的认证系统的安全性的方法和系统。实施例的各方面包括在基于生物特征的认证系统的登记阶段期间接收已登记用户的已登记生物特征样本。通过将学到的扰动添加到已登记用户的已登记生物特征样本来创建扩增生物特征样本。在认证请求期间，从声称是所述已登记用户的第二用户接收所提交生物特征样本。基于预定义度量将第二用户的所提交生物特征样本与已登记生物特征样本进行比较且与已登记用户的扩增生物特征样本进行比较。基于所述比较，确定第二用户的所提交生物特征样本是否已被修改为模仿已登记用户。
5.根据本文公开的方法和系统，示例性实施例改进了生物特征认证系统的敌对防御技术，因为将学到的扰动添加到已登记用户的已登记生物特征样本增加了对手生成敌对生物特征样本的难度，即使在已登记生物特征样本经由内幕人士外泄而泄露给对手的情况下也是如此。
附图说明
6.图1是示出用于使用已登记生物特征数据集检测基于生物特征的认证系统中的敌对实例的系统的一个实施例的图式。
7.图2是示出在敌对防御系统的激活之前由生物特征认证系统执行的通用认证过程的图式。
8.图3是示出对通用生物特征认证系统执行的模仿攻击的图式。
9.图4是示出改进基于生物特征的认证系统的安全性的过程的一个实施例的流程图。
10.图5是更详细地示出检测敌对防御系统对生物特征认证系统进行的模仿攻击的图式。
11.图6是示出供敌对扰动检测器用于检测所提交生物特征样本中的扰动的过程的图式。
12.图7是示出由敌对扰动检测器执行以检测敌对所提交生物特征样本的实施例的图式。
13.图8a是示出在部署之前训练敌对扰动检测器的过程的图式。
14.图8b是示出创建已登记用户的扩增生物特征样本的过程(图4的框402)的概述的图式。
具体实施方式
15.示例性实施例涉及使用已登记生物特征数据集来检测基于生物特征的认证系统中的敌对实例。呈现以下描述是为了使所属领域的一般技术人员能够制造并使用本发明，并且描述是在专利申请和其要求的上下文中提供的。对于本文所述的示例性实施例及通用原理和特征的各种修改将是显而易见的。示例性实施例主要根据在特定实施方案中提供的特定方法和系统来描述。但是，所述方法和系统在其它实施方案中也将有效地起作用。例如“示例性实施例”、“一个实施例”和“另一实施例”的短语可以指相同或不同的实施例。将结合具有某些组件的系统和/或装置来描述实施例。但是，系统和/或装置可包括比示出的组件更多或更少的组件，并且可以在不脱离本发明的范围的情况下改变组件的布置和类型。示例性实施例还将在具有某些步骤的特定方法的上下文中描述。但是，方法和系统也可以有效地用于具有不同和/或额外步骤及呈现与示例性实施例不一致的不同次序的步骤的其它方法。因此，本发明并不意图限于所示的实施例，而应被赋予与本文中所描述的原理和特征相一致的最广泛范围。
16.本公开实施例涉及使用已登记生物特征数据集来检测基于生物特征的认证系统中的敌对实例。申请人认识到，设计更强的防御机制的一种方式是并入域知识。根据所公开的实施例，在生物特征验证设置中使用域知识来根据敌对生物特征样本设计强防御机制。更具体地说，通过使用用户的已登记生物特征样本来检测专门以已登记用户的身份为目标而精心制作的敌对生物特征样本，改进了基于生物特征的认证系统的安全性。假设精心制作敌对生物特征样本的对手无权访问已登记生物特征样本。然而，将具有学到的扰动(真实的或合成的)的扩增生物特征样本添加到已登记生物特征样本，目的是在已登记生物特征样本由于例如内幕人士数据外泄而被对手访问的情况下，增加精心制作敌对生物特征样本的难度。基于不同的预定义度量，将具有扩增已登记生物特征样本的已登记生物特征样本与敌对生物特征样本进行比较。基于所述比较，决定敌对生物特征样本是否已被修改为模仿已登记用户。
17.图1是示出用于使用已登记生物特征数据集检测基于生物特征的认证系统中的敌对实例的系统的一个实施例的图式。系统10包括生物特征认证系统12，所述生物特征认证系统通过网络16与用户装置14通信，所述网络例如因特网。生物特征认证系统12的组件可包括一个或多个处理器或服务器20、投影深度神经网络(dnn)22、登记数据库24、相似性比较器26和敌对防御系统28。
18.在一个实施例中，生物特征认证系统12可以是例如支付处理网络18的另一系统的前端，以针对交易认证用户。支付处理网络18可以指从商家或其它实体接收交易授权请求
且在一些情况下通过交易服务提供商与发行方机构之间的协议来提供支付保证的实体。支付处理网络支持且提供支付相关服务(例如，认证服务、授权服务、异常文件服务以及清算和结算服务等)。支付处理网络的实例可包括由american或处理信用卡交易、借记卡交易和其它类型的商业交易的任何其它实体提供的支付网络。
19.生物特征认证系统12在登记阶段期间获取第一用户(例如，已登记用户a)的生物特征样本。登记阶段可通过生物认证系统12提供的软件认证应用程序34执行，所述软件认证应用程序在服务器20或用户装置14(例如，智能手机、pc、手表或平板电脑)中的任一个上运行。在登记过程期间，认证应用程序34提示已登记用户创建已登记生物特征样本30，在一个实施例中，所述生物特征样本为用户面部/头部的图像。在一个实施例中，图像可利用用户装置14拍摄，并且认证应用程序34通过网络16将已登记生物特征样本30发送到生物特征认证系统12，其中已登记生物特征样本由服务器20中的一个接收。如下文进一步所解释，已登记生物特征样本30由投影dnn22处理到已登记生物特征数据集32中且存储在登记数据库24中。
20.随后，生物特征认证系统12从第二用户(用户b)接收认证请求。从第二用户发送的认证请求包括所提交生物特征样本36。请求可由已登记用户或例如用户b的另一用户作出，或用户b可能是声称是已登记用户的攻击者。所提交生物特征样本36由投影dnn 22处理到所提交生物特征数据集(未示出)中，并且相似性比较器26将已登记用户的已登记生物特征数据集32与所提交生物特征数据集进行比较。如果在一个或多个阈值内存在匹配，则授权用户且用户能够访问支付处理网络18。否则，拒绝第二用户的授权请求。
21.在描述增强生物特征认证系统12的安全性的敌对防御系统28之前，首先解释由生物特征认证系统12执行的认证过程及其上的攻击。
22.图2是示出在敌对防御系统28的激活之前由生物特征认证系统12执行的通用认证过程的图式，其中来自图1的相似组件具有相似附图标记。参考图1和2两者，生物特征认证系统12接收已登记用户的已登记生物特征样本30，其表示为xi。已登记生物特征样本xi可以是一个或多个样本。投影dnn 22将映射函数f(
·
)应用于已登记生物特征样本30以生成生物特征模板f(xi)200，所述生物特征模板可以是一维特征向量或高维张量。已登记生物特征样本xi和生物特征模板f(xi)200作为已登记生物特征数据集32存储在登记数据库24中。
23.类似地，生物特征认证系统12从同一用户或第二用户接收所提交生物特征样本x'36(一个或多个)。投影dnn 22将相同的映射函数f(
·
)应用于所提交生物特征样本36以生成生物特征模板f(x')202。映射函数f(
·
)将xi和x'投影到共同嵌入子空间。
24.相似性比较器26接着将嵌入子空间中的生物特征模板f(xi)200与生物特征模板f(x')202进行比较。这通过计算生物特征模板200与生物特征模板202之间的距离来完成。所述距离可表示为相似性得分或距离得分，使得d＝∑
i d(f(x)),f(x'))。如果相似性比较器26确定距离d大于第一阈值(t)，则拒绝授权请求。否则，授权认证请求。
25.再次参考图1，已登记用户还可具有公共生物特征样本38，其比存储在用户装置14和/或登记数据库24中的已登记生物特征样本30更容易被攻击者获得。例如，已登记用户可能将图像储存在可供他人公开查看的社交媒体网站上。如下文所解释，公共生物特征样本38的存在呈现安全性风险，因为攻击者可以访问公共生物特征样本38并对其进行修改以攻
击生物特征认证系统12。
26.图3是示出对通用生物特征认证系统执行的模仿攻击的图式。图3假设攻击的第二用户以已登记用户为目标进行模仿，且攻击的第二用户的生物特征信息由生物特征样本x'表示。第二用户首先获得已登记用户的公共生物特征样本38。第二用户接着计算已登记用户的生物特征模板200与攻击者(未示出)的生物特征模板之间的相似性。基于相似性，攻击者使用公共生物特征样本38来创建扰动δx'300，所述扰动将被添加到攻击者的生物特征样本x'以生成扰动敌对样本x' δx'302。攻击者的扰动敌对样本x' δx'302被设计成最大程度地减小扰动敌对样本x' δx'302与目标已登记用户的已登记生物特征样本xi之间的距离。扰动δx'300基于标准攻击方法计算以最大限度地减小距离：d((f(x
′
δx
′
),f(x))或d((f(x
′
δx
′
),f(xi)，所述标准攻击方法例如快速梯度签名方法(fgsm)、投影梯度下降(pgd)攻击、carlini-wagner(cw)损失函数等。
27.扰动δx'300可基于公共生物特征样本38或可能可获取(例如，在登记数据库24或已登记用户的用户装置14的外泄期间)的已登记生物特征样本30来精心制作。由于敌对扰动的可转移性，即使扰动δx'是基于已登记用户的公共生物特征样本38而精心制作的，扰动δx'也可用于攻击已登记生物特征样本30。扰动δx'300可以是物理的或数字的。在所示的实例中，扰动δx'300包括第二用户在拍摄生物特征样本图像时佩戴以生成扰动敌对样本x' δx'302的cardboard眼镜。
28.在捕获扰动敌对样本x' δx'302并将其提交到生物特征认证系统之后，投影dnn 22将相同的映射函数f(
·
)应用于扰动敌对样本x' δx'302以生成扰动敌对模板f(x' δx')304。相似性比较器26接着将嵌入子空间中的已登记用户的生物特征模板f(xi)200与扰动敌对模板f(x' δx')304进行比较。然而，在此情况下，由于扰动敌对模板f(x' δx')304被设计成在距离上接近生物特征模板f(xi)200，因此相似性比较器26错误地分类并授权攻击的第二用户，因为距离d或相似性得分小于阈值t，即，∑id(f(xi),f(x’ δx’))《t。因此，在此方法中，攻击者使用非常精心制作的敌对生物特征样本302来模仿已登记用户以攻击通用认证系统，且一旦被认证就生成欺诈性交易。
29.再次参考图1，根据所公开的实施例，将敌对防御系统28添加到生物特征认证系统12(例如，面部图像、语音、指纹等)中，以通过防范攻击者使用敌对样本来改进生物特征认证系统12的安全性。如本文中所描述，敌对防御系统28使用来自已登记用户的已登记生物特征样本30来检测任何以欺诈手段提交的生物特征样本36。在一个实施例中，生物特征样本可包括面部图像，但可表示其它类型的生物特征数据，例如语音、指纹等。
30.在一个实施例中，敌对防御系统28可包括使用和修改已登记用户的已登记生物特征数据集32的扩增生物特征样本发生器42，以包括：(i)在登记阶段期间获取的已登记用户的一个或多个已登记生物特征样本30，攻击者很难获得所述一个或多个已登记生物特征样本；以及(ii)从已登记生物特征样本30或公共生物特征样本38创建的扩增生物特征样本40(可以是真实的，也可以是合成的)，所述扩增生物特征样本增加了在已登记生物特征数据集32由于内幕人士数据外泄而被泄露的情况下精心制作扰动敌对样本302的难度。在一个实施例中，扩增生物特征样本发生器42将学到的扰动44添加到已登记生物特征样本30以生成扩增生物特征样本40。
31.在一个实施例中，投影dnn 22、相似性比较器26和敌对防御系统28实施为软件组
件。在另一实施例中，组件可实施为硬件和软件的组合。尽管投影dnn 22、相似性比较器26和敌对防御系统28示出为单独组件，但每个组件的功能性可组合到更小或更大数目的模块/组件中。另外，尽管一个或多个服务器20被描述为运行投影dnn 22、相似性比较器26和敌对防御系统28，但此类组件可在具有非瞬态存储器和处理器的任何类型的一个或多个计算机上运行。
32.服务器20和用户装置14两者可包括典型计算装置(未示出)的硬件组件，所述硬件组件包括处理器、输入装置(例如，键盘、定点装置、用于语音命令的麦克风、按钮、触摸屏等)和输出装置(例如，显示装置、扬声器等)。服务器20和用户装置14可包括计算机可读媒体，例如，存储器和存储装置(例如，快闪存储器、硬盘驱动器、光盘驱动器、磁盘驱动器等)，其包含计算机指令，所述计算机指令在由处理器执行时实施所公开的功能性。服务器20和用户装置14还可包括用于通信的有线或无线网络通信接口。应理解，可使用与所示的软件组件数目不同的软件组件来实施软件组件的函数。
33.图4是示出改进基于生物特征的认证系统的安全性的过程的一个实施例的流程图。所述过程可开始于：一个或多个服务器20在基于生物特征的认证系统的登记阶段期间获得已登记用户的已登记生物特征样本30(框400)。通过将学到的扰动44添加到已登记用户的已登记生物特征样本30来创建扩增生物特征样本40(框402)。在一个实施例中，在一个或多个处理器或服务器上执行的扩增生物特征样本发生器42生成学到的扰动44并将其添加到已登记生物特征样本30，以创建扩增生物特征样本40。
34.之后，在由声称是已登记用户的第二用户进行的认证请求期间，一个或多个服务器20从第二用户接收所提交生物特征样本36(框404)。
35.作为响应，基于预定义度量将第二用户的所提交生物特征样本36与已登记生物特征样本30进行比较且与已登记用户的扩增生物特征样本进行比较(框406)。在一个实施例中，46可由在一个或多个处理器或服务器20上执行的相似性比较器26实施。
36.基于所述比较，确定第二用户的生物特征样本已利用扰动300修改为模仿已登记用户(框408)。在一个实施例中，框408可由在一个或多个处理器或服务器20上执行的敌对扰动检测器28执行。再次参考图1，在一个实施例中，敌对防御系统28还可包括敌对扰动检测器46，以确定第二用户的所提交生物特征样本36是否已利用扰动修改。在一个实施例中，敌对扰动检测器46可包括变换卷积神经网络(cnn)48和分类器50(例如，神经网络)，如下文进一步描述。
37.图5是更详细地示出检测敌对防御系统对生物特征认证系统进行的模仿攻击的图式。所述过程的开始类似于图3中描述的过程，其中攻击者(用户b)获得已登记用户的公共生物特征样本38；计算已登记用户的生物特征模板200与攻击者的生物特征模板(未示出)之间的相似性；并且基于相似性，使用公共生物特征样本38来创建扰动δx'300，所述扰动将被添加到攻击者的生物特征样本x'以生成扰动敌对样本x' δx'302。模仿攻击的检测涉及检测第二用户的所提交生物特征样本36包括一个或多个扰动敌对样本x' δx'302。
38.首先，由生物特征认证系统12接收包括扰动敌对样本x' δx'302的所提交生物特征样本36，并且投影dnn 22将映射函数f(
·
)应用于扰动敌对样本x' δx'302以生成扰动敌对模板f(x' δx')304。相似性比较器26接着通过如图2中所描述计算距离得分而将嵌入子空间中的来自登记数据库24的已登记用户的生物特征模板f(xi)200与扰动敌对模板f
(x' δx')304进行比较。然而，在此情况下，由于扰动敌对模板f(x' δx')304被设计成在距离上接近生物特征模板f(xi)200，因此相似性比较器26授权攻击的第二用户。
39.根据所公开的实施例的一个方面，仅响应于由生物特征认证系统12经由相似性比较器26临时授权的第二用户进行的请求认证而激活敌对扰动检测器28(框500)。根据所公开的实施例的一个方面，敌对扰动检测器28使用已登记用户的隐藏/第二用户不可访问的已登记生物特征样本xi30的来检测第二用户是否提交了敌对样本。在训练阶段期间，敌对扰动检测器28至少部分地使用已登记生物特征样本30通过将学到的扰动44添加到已登记生物特征样本30来创建扩增生物特征样本40。接着将扩增生物特征样本40添加到已登记生物特征样本30。
40.除了已登记生物特征样本xi30之外，敌对扰动检测器28接收第二用户的包括扰动敌对样本x' δx'302的所提交生物特征样本36作为输入，且确定是否检测到任何扰动(框502)。响应于在所提交生物特征样本36中检测到任何扰动，敌对扰动检测器28拒绝第二用户的授权请求(框504)。否则，批准授权请求且授权第二用户。
41.图6是示出供敌对扰动检测器28用于检测所提交生物特征样本36是否已利用扰动修改的过程的图式。在此实施例中，第二用户的所提交生物特征样本36是敌对的，因为它们已利用扰动更改，且现在包括扰动敌对样本f(x' δx')282。
42.所述过程可开始于：敌对扰动检测器28从登记数据库24访问已登记生物特征数据集32，以辅助检测敌对样本。已登记生物特征数据集32包括具有学到的扰动44的图像。因此，已登记生物特征数据集32包括xi样本/图像，其中i∈{1:n}。类似地，扰动敌对样本x' δx'302可包括多个扰动，示出为∑δx'，其中∑为总和。
43.根据所公开的实施例的另一方面，敌对扰动检测器28还包括具有学到的映射函数k(
·
)的变换cnn 48，所述映射函数被配置成最大程度地增加距离的总和∑id(k(x
′
δx
′
)-k(xi)),i∈{1:m}。敌对扰动检测器28接收包括已登记用户的xi的已登记生物特征样本30和第二用户的扰动敌对样本x' ∑δx'302，以用于变换到变换后子空间中。在一个实施例中，这可以通过使用变换cnn 48将函数k(
·
)应用于已登记生物特征样本xi30和扰动敌对样本x' ∑δx'302以生成生物特征模板k(xi)600和生物特征模板k(x' ∑δx')602来完成，所述生物特征模板在变换后子空间中。在实施例中，映射函数k(
·
)可被分解成多个投影：k＝g1°
g2°
g3...，其中g1可以是卷积神经网络中的层，g2可以是卷积网络中的另一层，并且g3可以是支持向量机(svm)中的非线性投影。
44.敌对扰动检测器28接着计算变换后子空间中的生物特征模板k(xi)600与生物特征模板k(x' ∑δx')602之间的距离(相似性得分)(框604)。在一个实施例中，距离f可计算为：f＝∑id(k(xi),k(x
′
∑δx
′
))。当计算的距离f大于第二阈值t'从而指示在扰动敌对生物特征样本302中已检测到一个或多个扰动时，分类器50确定生物特征模板k(x' ∑δx')602，且因此确定第二用户的所提交生物特征样本36是敌对的(框608)。否则，授权第二用户(框606)。
45.图7是示出当已登记生物特征数据集x
i 32包括扩增生物特征样本xi'以使得已登记生物特征样本xi＝[xi,xi']时由敌对扰动检测器28执行以检测敌对所提交生物特征样本的实施例的图式。
[0046]
在一个实施例中，敌对扰动检测器28可使用并行模型700(也在图5中示出)来部
署，其中将已登记生物特征样本30的xi和xi'与第二用户的扰动敌对样本x' δx'302一起并行地输入到变换cnn k(
·
)中，以计算k(xi)和k(x' δx')。敌对扰动检测器28接着计算距离得分并将距离得分输入到分类器50以作出是否检测到扰动的最终决定。
[0047]
在另一个实施例中，敌对扰动检测器28可使用顺序模型702来部署，其中将已登记生物特征样本30的xi和学到的扰动xi'按顺序输入到变换cnn48。在顺序模型702中，将zi与扰动敌对样本z' δz'302一起输入到变换cnn 48以计算k(zi)和k(z' δz')。敌对扰动检测器28接着计算距离得分，且使用分类器50来确定是否检测到扰动。如果未检测到扰动，则将已登记生物特征样本30的学到的扰动zi'与扰动敌对样本z' δz'302一起输入到变换cnn 48以计算k(zi')和k(z' δz')。敌对扰动检测器28接着计算距离得分且使用分类器50来作出是否检测到扰动的最终决定。
[0048]
图8a是示出在部署之前训练敌对扰动检测器28的过程的图式。在一个实施例中，训练过程可开始于：使用敌对训练生成训练后实例(框800)，训练实例包括训练已登记生物特征样本xi、训练公共生物特征样本x和训练扰动敌对样本x' δx'。
[0049]
接下来，所述过程通过将训练实例输入输入到变换cnn k(
·
)46来学习用于变换cnn k(
·
)46和分类器50的参数，其中k(
·
)具有可学习参数θ(框802)。所述过程生成训练已登记生物特征模板k(xi)、训练公共生物特征模板k(x)和训练扰动敌对模板k(x' δx')。在实施例中，映射函数k(
·
)可被分解成多个投影：yk＝g1
°
g2
°
g3
…
，其中g1可以是卷积神经网络中的层，g2可以是卷积网络中的另一层，并且g3可以是支持向量机(svm)中的非线性投影。
[0050]
接下来，使用具有可学习参数σ的分类器50，基于训练已登记生物特征模板k(xi)将训练扰动敌对模板k(x' δx')分类为1，且将训练公共生物特征模板k(x)分类为0(框804)。在实施例中，分类器可与分类器50相同或不同。分类器可以是深度神经网络或基于阈值的分类器：∑id(k(xi),k(x
′
∑δx
′
))《第三阈值t”，这取决于k()的输出。在任一情况下，分类器需要包含聚合函数(例如，∑i)以合并xi的结果。基于分类的结果，更新可学习参数θ和σ，且可按需要重复过程。
[0051]
训练过程的另一操作为通过将学到的扰动44添加到已登记用户的已登记生物特征样本30来创建扩增生物特征样本40，如图4的框402所描述。
[0052]
图8b是示出创建已登记用户的扩增生物特征样本40的过程(图4的框402)的概述的图式。在一个实施例中，在登记每个新用户之后，但在部署敌对扰动检测器28来认证新的已登记用户之前，执行创建扩增生物特征样本40的过程。
[0053]
所述过程可包括通过从登记数据库24检索已登记用户的已登记生物特征数据集x
i 32且对xi执行操作q(
·
)来生成学到的扰动δxi的变型(框900)。q(
·
)中的操作可例如通过在登记图像上生成随机噪声来增加xi之间的类别内距离。在替代实施例中，可从公共生物特征样本x 38中选择图像，且基于xi生成敌对图像以稍微增加距离：d(k(x),k(xi δxi))，从而获得δxi。接着将学到的扰动δxi添加到已登记用户的已登记生物特征数据集902(框902)。
[0054]
根据所公开的实施例，添加被添加到xi的学到的扰动δxi可增加创建敌对生物特征样本的难度，即使在登记集在内幕人士外泄期间被泄露给对手的情况下也是如此，使得：
[0055][0056]
已经公开用于使用登记集来检测基于生物特征的认证系统中的敌对实例的方法和系统。本发明已根据所示实施例描述，实施例可存在变化，并且所有变化形式都在本发明的精神和范围内。举例来说，示例性实施例可使用硬件、软件、包含程序指令的计算机可读介质或其组合来实施。因此，在不脱离所附权利要求书的精神和范围的情况下，所属领域的一般技术人员可以进行许多修改。