用于认证三维物体的方法及装置与流程

用于认证三维物体的方法及装置
1.相关申请
2.本技术要求2019年8月20日提交标题为“用于认证的方法及装置”的美国临时专利申请no.62/889,085的优先权，其内容通过引用整体并入本文。


背景技术：

3.本发明总体上涉及认证，并且具体地涉及用于认证一三维(3d)物体(例如一脸部)以及区分三维(3d)物体与同一物体的二维(2d)欺骗方法及设备。
4.自动生物特征验证是用于日常系统(例如准入控制系统、智能手机等)的一种快速增长的身份认证工具。生物特征识别可以包括脸部识别、虹膜识别、语音识别、指纹识别或其他工具。特别令人感兴趣的是脸部识别系统或方法，它们使用起来相当容易及方便。脸部识别是一种方便的工具，因为脸部始终可用且暴露在外，并且不需要用户记住密码、附接手指，如果用户的手很忙，这可能会造成麻烦，或者造成任何其他麻烦事。
5.这项技术的一个主要推动力是深度学习方法的进步，它可以使用二维彩色成像提供准确的识别。特别是，由于深度学习技术的进步及在线可用的大量标记脸部图像，脸部识别得到了广泛的应用，这使得对此类系统的深度学习训练成为可能。然而，依赖这些图像的方法可能容易受到欺骗，即通过显示合法用户脸部的二维打印来获得访问权限。尽管当前使用红-绿-蓝(rgb)图像的二维人脸识别方法是准确的，但它们仍然容易受到欺骗，即可能会根据正在显示的合法用户的图像来批准身份。因此，入侵者或获得他人智能手机的人可能会呈现合法用户的图片，并获得对位置、装置等的访问权，这是此类系统的严重漏洞。
6.为了确保用户的真实性，一些现有的解决方案基于飞行时间或结构光等技术添加了深度传感器。深度传感器增加了对抗欺骗的稳健性(robustness)。然而，与标准的二维设置相比，这些技术的加入增加了认证系统的成本。因此，拥有一个对二维欺骗具有弹性但不增加解决方案价格的系统是非常有意义的，特别是对于低成本装置。


技术实现要素：

7.因此，本公开的目的是提供一种可以区分三维物体与同一物体的二维图像的装置，从而识别欺骗并且防止基于呈现按二维图像来识别脸部。本公开的另一个目的是提供一种系统及方法，其配置为以低成本认证一三维物体，从而实现用于低成本装置的安全脸部认证。本公开的另一个目的是提供一种低成本装置，所述设备可以验证被认证为三维的物体是一特定的脸部，例如，验证两个图像是同一个人的。因此，给定具有一存储图像的一装置或一系统，可以验证尝试使用所述装置的人与存储图像的人是相同的。因此，所述装置可以提供稳健的脸部验证系统。
8.根据一第一方面，公开了一种用于认证一三维物体的装置。所述用于认证一三维物体的装置包括：一成像阵列，具有一传感器，所述传感器配置成用以生成面向所述成像阵列的所述三维物体的一表面的一第一稀疏视图及一第二稀疏视图；以及一处理电路。所述处理电路配置成用以：对所述第一稀疏视图及所述第二稀疏视图进行插值，以获得一第一
插值图像及一第二插值图像；计算所述第一插值图像及所述第二插值图像中的一个的多个图像像素的一平面视差函数；通过使用所述平面视差函数位移所述第一插值图像及所述第二插值图像其中之一的所述多个图像像素来生成一投影图像；及比较所投影图像与所述第一插值图像及所述第二插值图像中的另一个，以确定所述平面视差函数与所述三维物体的所述表面的所述第一插值图像及所述第二插值图像的一致性。如果所述投影图像与另一个插值图像基本相同，则表明所述平面视差函数与所述成像物体匹配，即所述物体是二维的。另一方面，如果所述投影图像与另一个插值图像之间存在偏差，则表明所述平面视差函数不适用于所述物体的图像，即所述物体是三维的。因此，所述用于认证一三维物体的装置提供了一种低计算及低成本的解决方案，用于区分二维及三维物体。
9.在根据所述第一方面的另一实施方式中，所述处理电路配置成用以当所述投影图像及所述第一插值图像及所述第二插值图像中的另一个与所述平面视差函数的一偏差高于一预定阈值时，确定所述表面是三维的。可选地，所述处理电路配置成用以基于所投影图像与所述第一插值图像及所述第二插值图像中的另一个之间的一l1损失的一计算来计算所述偏差。因为一三维物体的一视差图不是平面的，所以所述三维物体预计会偏离所述平面视差函数。有利的是，所述处理电路可以包含对与二维物体的所述平面视差函数的微小偏差的一容许偏差(tolerance)，并且因此仅当所述偏差高于所述预定阈值时才断定所述物体是三维的。例如，所述容许偏差可用于排除基于示出打印到具有深度的一表面上的二维图像的欺骗尝试，例如一个曲面。
10.在根据所述第一方面的另一实施方式中，所述处理电路配置成用以生成具有三个到八个图像像素的所述投影图像。所述三个图像像素，在本公开中也被描述为“点”，是映射一平面视差函数所需的一最小值。可以测量所述附加像素以考虑噪声并且确保测量的稳定性。有利的是，可以基于少量、有限数量的图像像素的比较来确定所述物体是否是三维的，而不需要对整个图像的比较进行昂贵且耗时的计算。
11.在根据所述第一方面的另一实施方式中，所述处理电路配置成用以在一逐个像素的基础上来比较所述投影图像与所述第一插值图像及所述第二插值图像中的另一个。有利的是，由此可以进一步简化比较所述投影图像与另一插值图像的过程。例如，所述处理电路可以配置成用以仅当前两个检查的像素表明所述物体是二维的时候，才检查一第三像素处的一致性。
12.在根据所述第一方面的另一实施方式中，提供了一存储器，其用于存储三维物体的多个表面的多个图像的。所述处理电路配置成用以基于所述第一插值图像及所述第二插值图像来生成一深度图。所述处理电路还配置成用以从所述第一插值图像、所述第二插值图像及所述深度图提取多个特征到至少一个网络中、用以比较经提取的所述多个特征与从一存储图像组中的一相应图像中提取的多个特征、及藉此用以确定所述三维物体是否与成像在所述相应图像中的一物体相同。
13.可选地，所述至少一个网络包括一多视图卷积神经网络，所述多视图卷积神经网络包括一第一卷积神经网络、一第二卷积神经网络、一第三卷积神经网络及至少一个组合卷积神经网络，所述第一卷积神经网络用于处理所述第一插值图像的多个特征并且生成一第一特征向量，所述第二卷积神经网络用于处理所述第二插值图像的多个特征并且生成一第二特征向量，所述第三卷积神经网络用于处理所述深度图的多个特征并且生成一第三特
征向量，所述至少一个组合卷积神经网络用于将所述第一特征向量、所述第二特征向量及所述第三特征向量组合成一统合特征向量，用于与所述相应图像的一相应统合特征向量进行比较。这样的网络架构可以有利地提供适合于使用通过一单色传感器获得的图像来执行一脸部比较的一计算环境，而不需要基于rgb图像的一种更稳健的计算。
14.可选地，所述存储图像组是多个脸部图像。有利的是，所述用于认证一三维物体的装置因此可以包括确定所述物体是二维或是三维的一阈值，而不需要大量的计算能力，以及一种更稳健的机制，用于将一脸部与数据库中的一脸部进行匹配，一旦确定所述物体是三维的时候。
15.根据一第二实施方式，公开了一种用于认证一三维物体的装置。所述用于认证一三维物体的装置包括：一图像传感器，包括多个传感器像素，所述多个传感器像素配置成用以对面向所述图像传感器的所述三维物体的一表面进行成像；一透镜阵列，包括至少一第一孔径及一第二孔径；至少一个滤光片阵列，配置成用以允许通过所述第一孔径所接收的光仅到达来自所述多个传感器像素的一第一传感器像素组，并且允许通过所述第二孔径所接收的光仅到达来自所述多个传感器像素的一第二传感器像素组。处理电路配置成用以：从所述第一传感器像素组的光测量来生成所述三维物体的所述表面的一第一稀疏视图，并从所述第二传感器像素组的光测量来生成一第二稀疏视图。所述处理电路还配置成用以确定来自所述第一稀疏视图及所述第二稀疏视图的多个图像像素与一平面视差函数的一致性，所述平面视差函数是基于所述第一孔径及所述第二孔径的一基线及所述透镜阵列的一像素焦距所计算的。例如，所述处理电路可以从所述多个稀疏视图生成多个插值图像、计算多个图像像素的所述平面视差函数、在所述多个插值图像中的一个的多个图像像素处应用所述平面视差函数以生成一投影图像、及比较所投影图像与所述多个插值图像中的另一个，以确定所述平面视差函数与不同图像的一致性。在这种实施方式中，视差函数应用于最终从所述装置生成的所述多个稀疏视图中导出的多个图像。因此，所述用于认证一三维物体的装置提供了一种低计算及低成本的解决方案，用于区分二维及三维物体。
16.在根据所述第二方面的另一实施方式中，所述处理电路还配置成用以通过以下方式来确定来自所述第一稀疏视图及所述第二稀疏视图的所述多个图像像素与所述平面视差函数的一致性：对所述第一稀疏视图及所述第二稀疏视图进行插值，以获得一第一插值图像及一第二插值图像；通过使用所述平面视差函数位移所述第一插值图像及所述第二插值图像其中之一的所述多个图像像素来生成一投影图像；及比较所投影图像与所述第一插值图像及所述第二插值图像中的另一个。可选地，所述处理电路配置成用以当所述投影图像及所述第一插值图像及所述第二插值图像中的另一个与所述平面视差函数的一偏差高于一预定阈值时，确定所述表面是三维的。如果所述投影图像与另一个插值图像基本相同，则表明所述平面视差函数与所述成像物体匹配，即所述物体是二维的。另一方面，如果所述投影图像与另一个插值图像之间存在偏差，则表明所述平面视差函数不适用于所述物体的图像，即所述物体是三维的。
17.在根据所述第二方面的另一实施方式中，所述至少一个滤光片阵列包括一编码掩模，所述编码掩模包括至少一个阻挡区域，所述阻挡区域配置成用以阻挡光到达所述多个图像像素中的一个或多个。可选地，所述至少一个阻挡区域阻挡光到达至少25％及至多75％的所述多个图像像素。可选地，所述阻挡区域可以进一步配置成阻挡光到达至少40％
及至多60％的所述多个图像像素。可以以确保所述第一稀疏视图与所述第二稀疏视图之间有足够差异的方式来设计及定向所述编码掩模。
18.在根据所述第二方面的另一实施方式中，所述至少一个滤光片阵列包括与所述多个孔径相关联的一滤光片。每一个滤光片通过多个波长中的一个或多个波长，并且通过各自的滤光片的波长不重叠。来自所述多个传感器像素的每一个传感器像素邻近于一像素滤光片，所述像素滤光片使所述多个波长中的至少一部分的所述波长通过。因此，每一个传感器像素测量恰好通过所述多个孔径中的一个所接收的光。基于波长的滤光片可以例如在可见光范围内(例如rgb滤光片)或在近红外范围内。有利的是，基于波长的滤光片容易获得并且容易实现。此外，近红外范围可用于在光线不足的情况下拍摄图像，例如在晚上。
19.在根据所述第二方面的另一实施方式中，所述孔径结构包括一第一孔径及一第二孔径。所述至少一个滤光片阵列包括与所述第一孔径相关联的一第一滤光片及与所述第二孔径相关联的一第二滤光片。所述第一滤光片与所述第二滤光片的一相位差为90
°
。来自其中来自所述多个传感器像素的每一个传感器像素邻近于一像素滤光片，所述像素滤光片具有一相，其相应于所述第一滤光片的一相或第二滤光片的一相。因此，每一个传感器像素测量恰好通过所述第一孔径及所述第二孔径中的一个所接收的光。因此，基于相的滤光片提供了一种易于实施的低成本解决方案，用于分离通过不同传感器像素接收的视图。
20.在根据所述第二方面的另一实施方式中，所述第一孔径及所述第二孔径水平地布置。在根据所述第二方面的另一实施方式中，所述第一孔径及所述第二孔径垂直地布置。在根据所述第二方面的另一实施方式中，所述多个孔径包括至少两个水平布置的孔径及至少两个垂直布置的孔径。在这样的场景中，可以生成两个稀疏视图组，每一个稀疏视图组有两个稀疏视图，每一个稀疏视图组都在不同的方向上位移，并且使用所述平面视差函数比较两个稀疏视图组中的每一个稀疏视图。生成多个稀疏视图组可以通过启用多个稀疏视图的二维比较来增加所述用于认证一三维物体的装置检测欺骗尝试的有效能力。
21.根据一第三方面，提供了一种用于认证一三维物体的方法。所述用于认证一三维物体的方法包括以下步骤：生成所述三维物体的一表面的一第一稀疏视图及一第二稀疏视图；对所述三维物体的所述第一稀疏视图及所述第二稀疏视图进行插值；通过使用一平面视差函数位移所述第一插值图像及所述第二插值图像其中之一的多个图像像素来生成一投影图像；及比较所投影图像与所述第一插值图像及所述第二插值图像中的另一个，以确定所述平面视差函数与所述三维物体的所述第一插值图像及所述第二插值图像的一致性。另一方面，如果所述投影图像与另一个插值图像之间存在偏差，则表明所述平面视差函数不适用于所述物体的图像，即所述物体是三维的。因此，所述用于认证一三维物体的装置提供了一种低计算及低成本的解决方案，用于区分二维及三维物体。
22.在根据所述第三方面的另一实施方式中，所述用于认证一三维物体的方法还包括：当所述投影图像及所述第一插值图像及所述第二插值图像中的另一个与所述平面视差函数的一偏差高于一预定阈值时，确定所述表面是三维的。可选地，所述用于认证一三维物体的方法还包括：基于所投影图像与所述第一插值图像及所述第二插值图像中的另一个之间的一l1损失的一计算来计算所述偏差。因为一三维物体的一视差图不是平面的，所以所述三维物体预计会偏离所述平面视差函数。有利的是，所述用于认证一三维物体的方法包含对与二维物体的所述平面视差函数的微小偏差的一容许偏差(tolerance)，并且因此仅
当所述偏差高于所述预定阈值时，从而得出所述物体是三维的结论。例如，所述容许偏差可用于排除基于示出打印到具有深度的一表面上的二维图像的欺骗尝试，例如一个曲面。
23.在根据所述第三方面的另一实施方式中，通过使用所述平面视差函数位移所述第一插值图像及所述第二插值图像其中之一的所述多个图像像素来生成所述投影图像的步骤包括：生成具有三个到八个图像像素的所述投影图像。三个图像像素是映射一平面视差函数所需要的一最小值。可以测量所述附加像素以考虑噪声并且确保测量的稳定性。有利的是，可以基于少量、有限数量的图像像素的比较来确定所述物体是否是三维的，而不需要对整个图像的比较进行昂贵且耗时的计算。
24.在根据所述第三方面的另一实施方式中，比较所投影图像与所述第一插值图像及所述第二插值图像中的另一个的步骤包括：在一逐个像素的基础上来比较所述投影图像与相应的所述第一插值图像及所述第二插值图像。有利的是，由此可以进一步简化比较所述投影图像与另一插值图像的过程。例如，所述处理电路可以配置成用以仅当前两个检查的像素表明所述物体是二维的时候，才检查一第三像素处的一致性。
25.在根据所述第三方面的另一实施方式中，所述用于认证一三维物体的方法还包括：基于所述第一插值图像及所述第二插值图像来生成一深度图、从所述第一插值图像及所述第二插值图像提取多个特征到至少一个网络中、比较经提取的所述多个特征与从一存储图像组中的一相应图像中提取的多个特征、及藉此确定所述三维物体是否与成像在所述相应图像中的一物体相同。
26.可选地，所述至少一个网络包括一多视图卷积神经网络，并且从所述第一插值图像及所述第二插值图像提取所述多个特征到所述至少一个网络中的步骤包括：用一第一卷积神经网络来处理所述第一插值图像的多个特征并且生成一第一特征向量、用一第二卷积神经网络来处理所述第二插值图像的多个特征并且生成一第二特征向量、用一第三卷积神经网络来处理所述深度图的多个特征并且生成一第三特征向量、以及用一组合卷积神经网络将所述第一特征向量、所述第二特征向量及所述第三特征向量组合成一统合特征向量，用于与所述相应图像的一相应统合特征向量进行比较。这样的网络架构可以有利地提供适合于使用通过一单色传感器获得的图像来执行一脸部比较的一计算环境及提取方法，而不需要基于rgb图像的一种更稳健的计算。
27.可选地，所述存储图像组是多个脸部图像。有利的是，所述用于认证一三维物体的装置因此可以包括确定所述物体是二维或是三维的一阈值，而不需要大量的计算能力，以及一种更稳健的机制，用于将一脸部与数据库中的一脸部进行匹配，一旦确定所述物体是三维的时候。
28.在根据所述第三方面的另一实施方式中，所述用于认证一三维物体的方法还包括：使用一三元损失技术以所述存储图像组来训练所述至少一个网络。当所述多个图像是使用一单色传感器获得的脸部时，所述网络的训练尤其有利，现有图像数据库中的示例有限。所述用于认证一三维物体的方法还包括为了所述训练过程生成所述多个图像或视图，然后基于所述生成的图像或视图来训练网络。
29.本公开的其他系统、方法、特征和优点在检查以下附图和详细描述后对于本领域技术人员将是显而易见的或变得显而易见。旨在将所有这些额外的系统、方法、特征和优点包括在本描述中，在本公开的范围内，并受所附权利要求的保护。
附图说明
30.本发明将从以下结合附图的详细描述中得到更全面的理解和领会，其中相应或相似的数字或字符表示相应或相似的部件。除非另有说明，否则附图提供了本公开的示例性实施例或方面并且不限制本公开的范围。在附图中：
31.图1a是根据本公开主题的一些示例性实施例的一种具有一编码掩模用于认证一三维物体的装置的一垂直剖切示意图。
32.图1b是根据本公开主题的一些示例性实施例的来自不同孔径的光到达图1a的拍摄装置中的不同传感器像素的一示意图。
33.图1c是根据本公开主题的一些示例性实施例的一种具有一基于偏振的滤光片阵列用于认证一三维物体的装置的一垂直剖切示意图。
34.图1d是根据本公开主题的一些示例性实施例的一种具有一基于波长的滤光片阵列用于认证一三维物体的装置的一垂直剖切示意图。
35.图2示出了根据本公开主题的一些示例性实施例的一编码图像、所述图像的一稀疏视图及一插值图像。
36.图3是根据本公开主题的一些示例性实施例的一种用于认证一三维物体的方法的一流程图。
37.图4是根据本公开主题的一些示例性实施例的一种用于认证一三维物体的一示例性硬件及计算设置的一示意图。
38.图5a描绘了根据本公开主题的一些示例性实施例的用于训练一神经网络基于一合成脸部数据库以区分二维与三维图像的实验结果。
39.图5b描绘了根据本公开主题的一些示例性实施例的用于训练一神经网络基于一真实脸部数据库以区分二维与三维图像的实验结果。
40.图5c描绘了根据本公开主题的一些示例性实施例的图5a及图5b的结果的roc曲线。
41.图6是根据本公开主题的一些示例性实施例的用于物体验证及反欺骗的存储器及处理单元的一框图。
具体实施方式
42.本发明总体上涉及认证，并且具体地涉及用于认证一三维(3d)物体(例如一脸部)以及区分三维(3d)物体与同一物体的二维(2d)欺骗方法及设备。
43.本公开解决的一个问题涉及提供一种可以识别欺骗并且因此防止基于呈现一二维图像识别脸部的装置。
44.本公开解决的另一个问题涉及一种以低成本提供三维感测的系统及方法，从而实现用于低成本装置的安全脸部认证。
45.本公开解决的另一个问题涉及一种提供一脸部自动验证的低成本装置，例如验证两张图片是否属于同一个人。因此，给定具有一存储图像的装置或系统，其可以验证尝试使用所述装置的人与存储图像的人相同。这种解决方案，当与反欺骗解决方案结合使用时，在比较一人脸部与存储的脸部图像之前初步排除二维图像时，可以提供一稳健及有效的脸部验证系统。
46.本公开中的一技术方案包括提供一种具有一灰度或单色传感器和二进制编码掩模的成像装置，其中所述掩模阻挡了所述相机传感器的一些像素。使用具有二进制编码掩模的一灰度相机的一个优点是它使系统便宜，而不会显着降低可达到的精度。
47.另一种技术方案包括使用包括所述孔径结构、所述编码掩模及所述传感器的装置来进行防欺骗。通过每一个光圈接收的光在所述灰度传感器上创建一个不同的图像。由于所述编码掩模的所述遮挡部分，所述传感器的一些像素通过两个孔径接收光，其他像素仅通过一第一孔径接收光，而其他像素仅通过一第二孔径接收光。使用仅来自一个孔径或另一个孔径接收光但不从两者接收光的所述像素来组成的图像，并对其余像素进行插值，可以在少量图像像素或点中计算出所述两个图像之间的视差。
48.本领域技术人员将理解，诸如打印图像的所述平面物体具有平面视差图。因此，可以拟合至少三个不同点的测量视差的所述平面视差模型可以应用于一图像中的一特定点，并且可以将结果与另一图像中的对应点进行比较。高匹配，例如对于每个点或组合的差异低于一预定值，可以表明为一二维图像，即一欺骗尝试，而低匹配可以表明为呈现给所述装置的一物体对象的一三维表面。
49.又一种技术方案包括使用所述单色插值图像及所述视差图来执行身份验证，并且比较所述插值图像及视差图与一预存储图像。因于深度学习的进步，图像的分辨率可能足以让一受过训练的引擎通过使用单色图像来认证一用户。
50.本公开的一个技术效果是提供了一种便宜的技术方案，用于将组件添加到一单色拍摄装置，使得所述装置可以用于用户认证。
51.本公开的另一个技术效果是使用一单色拍摄装置来进行脸部认证，所述装置也能抵抗欺骗。
52.现在参考图1a，其描绘了根据本所公开主题的一些示例性实施例的一拍摄装置的一垂直剖切示意图。如在本公开中使用的，术语“拍摄装置”指的是包括光传感器的一成像阵列。所述拍摄装置，通常以100表示，其包括一个或多个透镜，例如104、104’、104”或104
””
。所述透镜可以布置在一透镜外壳(未示出)中。透镜可以像在任何其他装置中一样布置，例如在准入控制系统、智能手机等中使用的认证装置。在所述透镜外壳内，或者在所述透镜之间或所透镜外部，装置100可以包括一孔径结构108，所述孔径结构108包括两个或更多个孔径108a及108b。所述孔径108a及108b可以沿著相同的水平线、垂直线等来布置。每一个孔径108可以是圆形、方形、矩形或任何其他形状。所述孔径108可以水平地、垂直地或者水平及垂直地对齐。每一个孔径108a、108b可以具有一个尺寸，例如约一圆形孔径的半径或一方形孔的一边缘的5％至50％，例如约所述孔径结构108的总长度的40％。可以基于例如所述成像阵列的一环境中的可用的光量或所述成像阵列的整体尺寸等考虑来确定所述孔径的具体尺寸。所述孔径结构可以由孔径平面上具有开口的一金属板、孔径平面上具有开口的一塑料板等所制成。如果由一适当的材料所制成，例如一塑料，所述孔径结构可以制成一相机模块的一部分。可选地，所述孔径阵列108可以打印在所述多个透镜104中的一个上。所述透镜阵列可以包括将所有视点投影到一个传感器上的一透镜堆叠结构、使用棱镜以便将所有视点投影到一个传感器上的一多透镜堆叠等。
53.装置100还可以包括传感器116，所述传感器116包括多个像素。所述传感器116的像素在本文中也可以称为”传感器像素”。在一些实施例中，传感器116可以是一单色传感
器，并且在其他实施例中它可以是一rgb传感器。使用一单色传感器的一个优点是拍摄颜色信息需要添加一拜耳滤光片或在一编码掩模中对颜色进行编码，这使得实施复杂化并增加了制造成本。此外，拍摄颜色信息会牺牲分辨率及光效。正如将在以下进一步讨论的，一灰度图像足以用于反欺骗及脸部验证。
54.装置100还可以包括一二进制编码掩模112。二进制编码掩模112包括透明区域，例如光可以通过其到达传感器116的区域120，以及阻挡光到达传感器116的阻挡区域124。二进制编码掩模112可以由玻璃、熔融石英、聚合物等制成，二进制编码掩模112具有由熔融石英、金属涂层、深色聚合物、偏光玻璃或带通滤光片(彩色)聚合物制成的像素图案，价格可能与拜耳滤光片相似。用于图案的基板可以由这种玻璃、熔融石英或透明聚合物薄层制成。应当理解，二进制编码掩模112可以布置成使得其区域120或124中的每一个对应于传感器116的一个像素，因此也可以称为“像素”然而，二进制编码掩模112也可以由连续的阻挡区域及非阻挡区域来构成，即大于每一个传感器像素尺寸的区域。无论哪种方式，二进制编码掩模112的每一个位置都可以被称为一像素，其影响来自与其相邻的传感器116的像素。
55.图1b说明了所述编码掩模112对所述传感器116中的像素吸收光的影响。在没有编码掩模的情况下，像素116a将接收来自孔径108a(显示为虚线，并由透镜104”及104
””
折射)的光及来自孔径108b(显示为长点划线，并由透镜104”及104
””
折射)的光。然而，阻挡区域124阻档了来自孔径108a的光线到达像素116a。相比之下，来自孔径108b的光能够穿过开口区域120并由此到达像素116a。
56.如图1a中所描绘的，阻挡区域124及开口区域120可以形成一随机图案，即，它们不需要以一重复图案交替。在一些实施例中，阻挡区域124阻挡来自每一个相应孔径的光到达像素阵列116中的至少25％及至多75％的所述多个像素。在一些这样的实施例中，所述阻挡区域124阻挡来自每个相应孔径的光到达至少40％及至多60％的所述多个像素。
57.在图1c所示的另一个实施例中，孔径结构108可以包括两个孔径108a、108b，每一个孔径108a、108b包括在其中的一偏振滤光片或被一偏振滤光片覆盖，使得通过孔径的光受到所述滤光片的影响。所述偏振滤光片包括与孔径108a相关联的滤光片109及与孔径108b相关联的滤光片111。所述两个孔径108a、108b的所述滤光片109、111可以彼此具有大约90
°
的一相位差。一偏振滤光片阵列113配置成与所述传感器116相邻。传感器116上的每一个像素可以包括或邻近于一偏振滤光片115或117或被调整到所述多个偏振滤光片中的一个。在所示实施例中，滤光片115具有与滤光片109相同的偏振，并且滤光片117具有与滤光片111相同的偏振。在图1c的图示中，所述偏振滤光片阵列113中的每一个滤光片115、117看起来比传感器116中的相应像素的尺寸更宽。在替代实施例中，如上文结合图1a所讨论的，每一个滤光片115、117可以与传感器116中的一个像素的大小大致相同，使得滤光片115、117与相应像素之间存在1:1的对应关系。因此，每一个像素可以测量通过恰好一个孔径108a或108b接收的光。可以随机地、伪随机地或使用任何预定模式来选择与每一个像素相关联的相。
58.在图1d所示的又一个实施例中，孔径结构108可以包括两个或更多个孔径108a、108b，每一个孔径108a、108b包括在其中的一带通波长滤光片或被一带通波长滤光片覆盖，使得通过孔径的光受到所述滤光片的影响。任何两个孔径108a、108b的所述滤光片119、121可以没有重叠的频率。一带通滤光片阵列123配置为与所述传感器116相邻。传感器116上的
每一个像素可以包括或邻近于一带通波长滤光片125或127，所述带通波长滤光片125或127随机地相应于所述孔径滤光片119、121中的一个波长。在所示实施例中，滤波器125允许与滤波器119相同的频率，并且滤波器127允许与滤波器121相同的频率。在所示实施例中，滤光片125允许具有与滤光片119相同的频率，并且滤光片127允许具有与滤光片121相同的频率。如在图1c中，在所述带通滤光片阵列123中的每一个滤光片125、127可以相对地宽于传感器116中的像素的尺寸，或者可以与传感器116中的一个像素的尺寸大致相同，使得滤光片125、127与相应的像素之间存在1:1的对应关系。可以随机地、伪随机地或使用任何预定模式来选择与每一个像素相关联的波长。波长可能在可视范围内(例如，使用rgb滤光片)。附加地或可替代地，波长可以在近红外范围内。近红外范围对于在低光照条件下成像很有用，例如在晚上。
59.在上述每一个实施例中，每一个视点的有效像素的数量可以是传感器116的分辨率除以孔径的数量。例如，如果有两个孔径108，并且传感器阵列116是1024个像素宽，则从每一个孔径观察光的有效像素数可以是512个像素。可替代地，某些像素可能会从一个以上的孔径接收光，因此每一个视点的有效像素的数量可能大于像素与孔径的比率。
60.形成在传感器116上的一图像可以被传送到存储器及处理单元120进行处理，包括例如确定所描绘的图像是一物体的三维表面还是其图像，以及确认所描绘的图像是否与存储在存储器中的一图像具有相同的物体的表面。
61.为简单起见，下面的讨论参考图1a的实施例来呈现，包括编码掩模112。然而，本领域技术人员可以认识到，下面呈现的方程及算法同样适用于图1c及图1d的实施例以及任何其他结构，所述任何其他结构可以允许来自不同孔径108的光仅到达传感器阵列116中的传感器像素的一部分。
62.为简单起见，假设所述孔径结构具有水平排列的两个孔径。每一个这样的孔径在传感器116上创建一编码图像，所述编码图像ci被称为一视图。因此，两个孔径创建了视图c0及c1。因此，在所述编码图像ci中的空间位置(u,v)处的每一个像素可以建模为：
63.(1)其中viewi(view0或view1)是从所述相应孔径看到的所述编码图像(其中所述图像还可以包括被从另一个孔径接收的光所照亮的像素)，并且是仅当所述相应孔径打开时，所述传感器所接收到的光的图案。因此，所述编码图像中的每一个像素(在本文中也称为“图像像素”)是通过所述孔径照射在其上的光的总和，前提是可以从所述孔径看到所述相应像素并且没有被阻挡。
64.如上所述，所述编码掩模112可以具有阻挡区域120及非阻挡区域124的随机分布，其在以下等式中被称为φ。这种随机分布可以导致与任何所述孔径108相关联的所述传感器116的阻挡像素及非阻挡像素的随机分布。因此，对于每一个孔径，smi可以表示一个“稀疏掩模”，其表示在所述传感器上仅拍摄来自一特定视图(view1)的光的像素：
65.(2)其中ii是指示函数，当括号([])中的语句正确时为1，否则为0，
⊕
为逐元素(element-wise)或运算符。因此，view
i,s
是一个“自由”重构的稀疏视图，仅由来自第i个孔径的光可访问的像素组成，可以通过以下方式获得：
[0066]
(3)view
i,s
＝ci
⊕
smi[0067]
其中ci是上述方程(1)中描述的函数，
⊕
是逐元素或运算符，smi是上述方程(2)中
描述的函数。
[0068]
一旦所述两个视图可用，每一个稀疏视图中的所述阻挡像素可以通过插值在一维或二维中计算。插值是根据本领域技术人员已知的任何方法来执行的。因此，在存储器及处理单元120中的处理电路从每一个稀疏视图生成一插值图像。
[0069]
可以理解，在一立体设置中拍摄的一平面的视差图，在本文中也称为“平面视差函数”，也是在三维空间中由平面的基本方程定义的一平面：
[0070]
(4)c＝ax by z
[0071]
在一标准立体设置中，欧几里得空间与图像空间之间的转换由下式给出：
[0072]
(5)其中b是基线(即所述孔径之间的线性距离)，d是在像素(u,v)处测量的视差，(u0,v0)是图像的主点，并且fu是像素焦距。结合方程(4)及(5)，提供：
[0073]
(6)因此，视差相对于像素位置是仿射的，即视差也是一个平面。可以理解，系数及可以从三个不同点处的视差来计算，而不需要计算a、b、c、b、fu、u0及v0。由于在二维图像情况下的视差图是一平面，因此可以通过几个点来获得所述视差，例如三个点，可选地加上几个点用于掩盖噪声。然后可以计算相应于三个计算的视差值的一仿射视差平面d
plane
。
[0074]
在一个视图中的三个或更多点，例如在view0中，然后可以投影到另一个视图view1，以使用每一个点的所述相应视差d
plane
生成一投影视图view'
1，s
，如下所示：
[0075]
(7)view
′
1,s
(u,v)＝view
0,s
(u d
plane
(u,v),v)
[0076]
然后，可以在投影的第一视图中的多个点之间应用一相似性度量(similarity measure)，即view
′
1,s
(u,v)，与相应插值拍摄稀疏视图，即view1。相应插值拍摄稀疏视图在本文中也被称为“另一个”插值图像，即，未被转换为一投影图像的所述插值图像。对于具有非平面视差图的三维表面的拍摄图像，这种相似性预计会更低。因为三维物体的一视差图不是平面的，所以所述三维物体预计会偏离所述平面视差函数。因此，这种相似性度量用于确定所述平面视差函数与所述物体的所述表面的所述插值图像的一致性。
[0077]
在一些实施例中，比较立方体的插值稀疏图像之间的平均l1(l1)距离可以提供指示性结果，如下文将结合实验数据所描述的。也可以使用其他度量。
[0078]
如果距离很高，例如超过一预定阈值，则所述图像可以假定为一三维表面的一图像而不是一欺骗尝试。使用一预定阈值允许对二维物体或具有少量深度的欺骗物体(例如，未以完美平面方式对准成像阵列的图片)的所述平面视差函数的微小偏差的一容许偏差。因此，因此，所述用于认证一三维物体的装置提供了一种低计算及低成本的解决方案，用于区分二维及三维物体。
[0079]
可选地，所述投影视图与另一个插值视图的比较可以在一逐个像素的基础上执行。例如，所述处理电路可以配置成用以仅当前两个检查的像素表明所述物体是二维的时候，才检查一第三像素处的一致性。有利的是，由此可以进一步简化比较所述投影图像与另一插值图像的过程。
[0080]
然后可以随后执行脸部验证以认证用户，如下面将结合图4描述的。
[0081]
在一些示例性实施例中，二进制编码掩模112可以具有50％的光效，即50％的清晰像素。这使得每一个视图中大约四分之一的像素会受到恰好穿过其中一个孔径的光的影响，因此可以简单地重构。假设一个1.3兆像素的传感器，分辨率为1080*1400，重构视图产生540*700像素，这些像素在原始分辨率中随机分布。当前的rgb脸部识别网络可以使用25-250像素的分辨率所描绘的脸部来进行操作。因此，所述插值重构可能足以完成认证任务，如实验中所示。
[0082]
图2描绘了编码图像、稀疏图像及插值图像。图像200示出了由一单色传感器接收的所述编码图像，即全分辨率图像，如一常规图像传感器所见。图像204示出了基于仅从左孔径接收光的所述传感器像素的所述稀疏视图，而图像208示出了同一图像的所述插值视图。虽然重构只基于大约四分之一的传感器像素，但最终的插值重构是清晰的，并且在脸部认证方面提供了良好的结果。此外，缩小到识别网络输入分辨率，信息丢失甚至更不显着。
[0083]
在验证了反欺骗之后，为了认证所述图像，可以从两个视图中获得一个完整的视差图，它提供了拍摄图像的深度信息。获得所述完整的视差图需要将上面结合方程(5)及(6)描述的所述平面视差函数应用于每一个图像像素，而不仅是反欺骗检测所需的三个到八个图像像素。因此，所需的数学计算明显更加稳健。本公开的实施例的一个优点是所述装置不需要参与这些更稳健的数学计算，直到首先验证出所述成像表面是三维的。
[0084]
所述完整的视差图可以很容易地转换为一深度图，因为在每一个点的一插值视图与一投影视图之间的视差是在这个点的所述三维图像的深度的函数。因此，在以下对所述脸部认证过程的描述中，术语“视差图”或“完整的视差图”及“深度图”可互换使用。
[0085]
可以将所述两个视图及所述深度图馈送到一网络中以对其进行认证，即，确定所述图像物体，例如脸部，与一物体的一预存图像是否相同。以下结合图4进一步描述所述脸部认证。
[0086]
现在参考图3，其示出了根据本公开主题的一些示例性实施例的用于欺骗弹性认证的方法的一流程图。
[0087]
在步骤300及304，可以分别从仅由第一孔径及第二孔径照亮的像素接收第一重构稀疏视图及第二重构稀疏视图。一旦根据方程(2)获得了稀疏掩模，就可以使用方程(3)来获得所述视图。
[0088]
在步骤308及312，根据可用像素的值，可以分别对所述第一稀疏视图及所述第二稀疏视图中的其他像素进行插值。
[0089]
在步骤316，可以获得至少一预定数量的视差点。例如，如上所述，可以确定三个视差点，它们是确定所述平面视差函数的系数的最小数量，加上额外的一至五个，以排除噪声并确保计算的可靠性。取决于应用，可以获得所述完整的视差图并且可以选择预定数量的点。基于所述点可以确定一视差平面。
[0090]
在步骤320，基于所述视差平面及所述两个插值视图，可以确定一反欺骗，例如根据上述的方程(7)。因此，可以确定所述两个视图是一物体的一三维表面或一物体的二维图像。
[0091]
如果反欺骗验证已经通过，可以假设所述视图是三维物体，那么如果之前没有计算出一视差图，则可以在步骤324完成。
[0092]
然后在步骤328，在反欺骗通过的情况下，一声称的身份可以在所述两个稀疏插值
图像及所述视差图上验证。验证确定所拍摄的物体与预存图像或特征的一物体是否相同。验证将结合下面的图4进一步详细说明。
[0093]
在验证通过的情况下，可以在步骤332确认身份，并且可以采取一相应的行动，例如打开门、启用对装置的访问等。
[0094]
如果反欺骗或身份验证失败，则在步骤336，可以拒绝用户身份。可选地，可以采取行动，例如锁定所述装置、触发一警报等。
[0095]
现在参考图4，其示出了用于训练一神经网络及认证一物体的一示例性计算设置的一示意图。在一示例性实施例中，可以采用一多视图卷积神经网络，其中不同的卷积神经网络从一三维物体的二维投影中学习。分配共享权重以处理所述三维物体的各种投影，然后是一视图池化，即在每个分支输出处的特征向量的最大池化。组合池化的特征向量馈送到输出最终嵌入的一第二卷积神经网络。
[0096]
因此，所述第一单色插值视图、所述第二单色插值视图及所述深度图可以分别馈送到一第一神经网络400、一第二神经网络400’及一第三神经网络400”。例如，每一个网络可以是从各自图像中提取多个特征的一残差网络，例如，来自所述第一单色插值视图的512个条目的一第一特征向量404、来自所述第二单色插值视图的512个条目的一第二特征向量404’，以及来自所述深度图的512个条目的一第三特征向量404”。
[0097]
这三个向量可以连接成一具有1536个条目的向量，并分别馈送到一个或多个层的一神经网络，例如第一全连接层408及第二全连接层416，以获得呈现所述成像物体的一统一512个条目的向量420。然后将向量420的512个特征嵌入到所述最终嵌入中。可以对向量420的最终特征使用一三元损失技术来学习嵌入。应当理解，取决于应用、可用资源等，所述神经网络可以包含任意数量的内部层。
[0098]
向量420连同一预存向量424，例如当用户首次配置所述装置时已经提取的一向量，当一个人注册到保护一安全位置的一系统等时，将其馈送到一比较模块428中。可以从注册期间(例如，在系统注册用户数据库的形成过程中)拍摄的图像中提取所述预存向量，这与上述为了验证而拍摄的图像的过程类似。比较模块428可以使用任何度量来比较所述两个向量，例如平方和。如果所述多个向量足够接近，例如距离低于一预定阈值，可以假设所述拍摄的物体与在注册期间拍摄的物体相同，并且可以允许访问，或者可以采取任何其他相关行动。如果所述多个向量很远，例如距离超过所述预定阈值，则可以拒绝访问。
[0099]
卷积神经网络可以使用三元损失技术及一adagrad优化器来进行训练。三元损失是机器学习算法的一种损失函数，其中将一初始锚输入与一正(真)输入及一负(假)输入进行比较。将从所述基线(锚)输入到所述正(真)输入的距离最小化，将从所述基线(锚)输入到所述负(假)输入的距离最大化。
[0100]
因此，在一个示例性技术中，每一个神经网络400、400’、400”都可以使用所述三元损失技术及所述adagrad优化器分别地进行微调，对于1000个批次的500个历元(epoch)，每一批次30个(人)身份，学习率为0.01。然后，可以将这些神经网络400、400’、400”加载到所述网络的集成部分并且保持不变，同时从头开始训练两个全连接层408、416。所述两个全连接层408、416可以以相似的方式进行训练，但每一批次仅采样15个身份，并且具有0.1的更高学习率。然后，可以，以0.01的学习率，对于500多个历元对整个网络进行端对端的训练，其方式与全连接层408、416的训练相似。
[0101]
由于采用单色图像的脸部识别数据集相对稀有，在一些实施例中，开发一种用于训练神经网络的数据集是有利的。这是特别有利的，因为可以使用一单色传感器执行所述反欺骗技术，并且避免使用rgb传感器大大降低了价格并且简化了验证过程所需的计算能力。
[0102]
一种方法涉及从训练数据库中的现有脸部rgb图像中创建三维脸部模型。每一个脸部的所述三维模型可能包括点云、三角网格及详细纹理。利用深度与视差之间的关系，可以将点云转换为视差图，并使用它将模型投影到多个视图中。投影视图对应于通过图1a至图1d的所述成像阵列所生成的视图。与从直接点云投影所计算的视差图相比，这个过程提供了更好的视差图。可选地，可以基于将用于图像验证的所述成像阵列的属性设置从所述模型获得的不同视图的视差参数。这允许将在所述训练数据库中的现有脸部上训练的网络转移到通过所述成像阵列所生成的数据。
[0103]
除了使用在训练数据库中现有脸部的图像外，还可以使用所述成像阵列本身来拍摄大量实际脸部，例如大约100张脸部，作为训练过程的一部分。这些脸部可用于测试所述反欺骗机制并且评估所述身份验证网络泛化到真实数据与模拟光场视图的能力。在特定实施例中，可以在没有一编码掩模的情况下记录实际脸部的视图，并且模拟所述编码掩模的效果。
[0104]
现在参考图5a至图5c，在从合成脸部生成的数据集与在来自实际脸部的数据集上对所述反欺骗功能进行了实验性测试。首先参考图5a，通过随机视差平面参数将一灰度第一视图投影到一“平面的”第二视图。然后，模拟所述采集过程，导致真实的及“平面的”投影的稀疏视图。给定了一稀疏第一视图及一采样的视差，创建了所述投影的稀疏第二视图。基于它们的双立方插值的l1损失，所述拍摄(模拟的)及投影的稀疏的第二视图之间的相似性。如图5a所示，平面情况下的误差(左直方图)通常小于三维脸部(右直方图)的误差，这表明所述视图是一脸部的一打印图像。在图5b中，对来自所述实际脸部的数据集进行了相同的实验。再次，在平面的视图(左直方图)与三维视图(右直方图)之间看到了分离。图5c示出了以反欺骗l1误差为基础的分类器的接收器操作特性(receiver operating characteristic,roc)曲线，左曲线测量所述合成脸部的实验，右曲线测量真实的脸部的实验。
[0105]
实验结果还表明，所述系统可以正确地区分弯曲的二维图像与实际人脸。例如，一欺骗攻击中的二维图像交替呈现在一打印图像、智能手机或一曲面上。在每一种情况下，二维图像的l1损失都低于脸部的损失。
[0106]
可选地，对于接近二维与三维图像之间的实验阈值的l1损失值，可以对深度图像进行一后续验证。之后还对深度图像进行验证可以防止更复杂的欺骗场景。鉴于所述反欺骗测试在典型情况下的成功，这将仅在二维扫描的一小部分情况中是有利的，这些情况在所述第一次反欺骗测试中没有被肯定地识别出来。
[0107]
为了测试用于脸部识别的所述系统，进行了10折交叉验证实验，其中10折中的9折用于与图4相关的三步训练过程中，并且在第10折中评估所述性能。在这种情况下，训练期间不存在任何测试身份。训练后识别所述合成脸部的灰度图像的平均准确度为99.5％，而训练前灰度图像的准确度为81.1％。在包含两个灰度视图及一个深度通道的三通道图像上微调所述预先训练模型(即，在神经网络404、404’或404”的单一个“分支”上)将准确度提高
到90％。深度信息的智能添加将结果的准确性度高了9.5％。先前对合成图像的rgb版本的实验能够获得99.6％的准确度；因此，在灰度图像上，经训练的神经网络能够获得与先前结果几乎相同的结果。
[0108]
同样，在从实际脸部获得的数据集上，在合成脸部上训练的网络能够在随机采样的匹配和不匹配身份对上达到91.2％的准确度。所述系统数据的端对端微调使准确度提高至98.75％。与所述合成脸部数据一样，测试是以一开放集的方式来进行的，所述测试集中的人不属于所述训练集的组。
[0109]
可选地，可以通过使用例如simgan等生成工具来改进基于实际脸部的数据集的训练，这些数据集可能比合成脸部的数据集更小。(使用生成对抗网络的语义图像处理)。附加地或可替代地，可以在训练期间使用一更复杂的增强技术。
[0110]
现在参考图6，根据本公开主题的一些示例性实施例，公开了配置为例如用于物体验证及反欺骗的存储器及处理单元120的一框图。
[0111]
存储器及处理单元120可以嵌入在一个或多个计算平台内，所述计算平台可以彼此通信。
[0112]
存储器及处理单元120可以包括一处理器504，其可以是一个或多个中央处理单元(cpu)、一微处理器、一电子电路、一集成电路(integrated circuit,ic)等。处理器504可以配置成用以提供所需的功能，例如通过加载到存储器并且激活存储在下面详述的存储装置512上的模块。还将理解，处理器504可以实现为一个或多个处理器，无论是否位于同一平台上。
[0113]
存储器及处理单元120可以通过通讯装置508与其他组件或计算平台通信，例如用于接收图像及提供物体验证及反欺骗结果。
[0114]
存储器及处理单元120可以包括存储装置512或计算机可读存储介质。在一些示例性实施例中，存储装置512可以保留程序代码，所述程序代码可操作以使处理器504执行与下面列出的任何模块或上述图3的方法的步骤相关联的动作。所述程序代码可以包括一个或多个可执行单元，例如函数、库、独立程序、实现神经网络的可执行组件等，适用于执行如下详述的指令。
[0115]
计算机可读存储介质可以是可以保留和存储指令以供指令执行装置使用的有形装置。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器。只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能磁盘(dvd)、存储芯片、记忆棒、软盘盘、机械编码设备，例如穿孔卡或凹槽中记录有指令的凸起结构，以及上述任何合适的组合。如本文所用，计算机可读存储介质不应被解释为本身的瞬态信号，例如无线电波或其他自由传播的电磁波、传播通过波导或其他传输介质的电磁波(例如，光脉冲通过光纤电缆)或通过电线传输的电信号。
[0116]
存储装置512可以包括稀疏视图获取组件516，用于接收或确定包括像素值的视图，所述像素的值仅受来自一个孔径的光的影响，如以上步骤300及304所详述。
[0117]
存储装置512可以包括插值组件520，用于通过稀疏视图获取组件516所确定的稀
疏视图来对所述稀疏视图进行插值，如以上根据步骤308及312所详述的。插值可以是一维的、二维的或通过任何其他方法来执行的。
[0118]
存储装置512可以包括视差计算组件524，用于使用所述平面视差函数来计算两个视图之间的所述视差，如以上根据步骤308及320所详述。可以为完整的视图或图像内的预定数量的点计算视差，例如三个点及额外的几个点，例如额外的1至5个点，用以克服噪声并且确保稳定性。
[0119]
存储装置512可以包括欺骗判定组件528，用于基于所述插值视图及通过视差计算组件524所计算的视差来确定所述两个视图是拍摄一三维物体还是一物体的一二维图像，如上面的步骤316所详述。如上所述，可以使用所述平面视差函数在三个点上计算一视差，并且如果至少有两个点表明所述物体是二维的，则可以测试其他点，并且如果它们中至少有一个也表明为一二维物体，则反欺骗测试的结果为失败。
[0120]
存储装置512可以包括物体验证组件532，用于使用所述两个插值图像及所述深度图来验证图像是否描绘了已知对象，例如一脸部的图像被预先存储或以其他方式可用于存储装置512，如上面与图4相关的详细说明。
[0121]
存储装置512可以包括数据及工作流管理组件536，用于激活组件，并且为每一个组件提供所需的数据。例如，数据及工作流管理组件536可以配置成用以获得所述图像、调用稀疏视图获取组件516来创建所述稀疏视图、调用具有所述稀疏视图的插值组件520用于对所述稀疏视图进行插值、调用视差计算组件524用于基于所述插值视图来计算所述视差、使用所述插值视图及视差图来调用反欺骗组件528，以及根据成功的反欺骗确定调用物体验证组件532。
[0122]
计算机可读存储介质可以是可以保留和存储指令以供指令执行装置使用的有形装置。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下内容：便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器。只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能磁盘(dvd)、记忆棒、软盘、机械编码装置，例如穿孔卡或凹槽中的凸起结构，其上记录有指令，以及前述的任何适当组合。如本文所用，计算机可读存储介质不应被解释为本身的瞬态信号，例如无线电波或其他自由传播的电磁波、传播通过波导或其他传输介质的电磁波(例如，光脉冲通过光纤电缆)或通过电线传输的电信号。
[0123]
本文描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者经由网络下载到外部计算机或外部存储设备，例如互联网、局域网、广域网和/或无线网络。所述网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
[0124]
用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据或源代码或对象以一种或多种编程语言的任何组合编写的代码，包括面向对象的编程语言，例如smalltalk、c
等，以及传统的过程编程语言，例如“c”编程语言或类似的编程语言。计算机可读程序指令可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上和部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机(例如例如，通过互联网使用互联网服务提供商)。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化来执行计算机可读程序指令电子电路，以执行本发明的各个方面。
[0125]
本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解，流程图和/或框图的每个块，以及流程图和/或框图中的块的组合，可以通过计算机可读程序指令来实现。
[0126]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以生产机器，使得经由计算机的处理器或其他可编程数据处理设备执行的指令创建用于实现流程图和/或框图块或块中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制造物品，该制造物品包括实现流程图和/或框图块或多个块中指定的功能/动作的方面的指令。
[0127]
计算机可读程序指令还可以加载到计算机、其他可编程数据处理设备或其他设备上，以使一系列操作步骤在计算机、其他可编程设备或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程设备或其他设备上执行的指令实现流程图和/或框图块或块中指定的功能/动作。
[0128]
图中的流程图和框图说明了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。就这一点而言，流程图或框图中的每个块可以表示模块、段或指令的一部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实施方式中，方框中标注的功能可能不按图中标注的顺序出现。例如，连续显示的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图说明的每个块，以及框图和/或流程图说明中的块的组合，可以由执行指定功能或动作的专用基于硬件的系统实现，或执行专用硬件和计算机指令的组合。
[0129]
本文使用的术语仅出于描述特定实施例的目的，并不旨在限制本发明。如本文所用，单数形式“一”、“一个”及“所述”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定了所述特征、整数、步骤、操作、元件和/或组件的存在，但不排除存在或添加一个或多个其他特征、整数、步骤、操作、元素、组件和/或它们的组。
[0130]
以下权利要求中的所有装置或步骤加上功能元件的相应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其他要求保护的元件组合来执行功能的任何结构、材料或动作。本发明的描述是为了说明和描述的目的而呈现的，但并不旨在穷举或限制于所公开形式的本发明。在不背离本发明的范围和精神的情况下，许多修改和变化对于本领域
普通技术人员将是显而易见的。选择和描述实施例是为了最好地解释本发明的原理和实际应用，并且使本领域的其他普通技术人员能够理解本发明的各种实施例，具有适合于预期的特定用途的各种修改。
[0131]
此外，本技术的任何优先权文件在此通过引用的方式整体并入本文。