用于面部认证的增益控制的制作方法

用于面部认证的增益控制


背景技术：

1.自适应曝光控制(aec)和自适应增益控制(agc)已经成为捕获彩色图像的数字相机的图像信号处理器(isp)的标准部分。通常，这些彩色相机收集整个捕获图像上的图像统计数据以引导用于调整传感器设置的控件。这在不同环境照明条件之间转换时变得明显。例如，当从昏暗的房间移动到在明亮的太阳下的室外时，相机传感器变得饱和，而无需aec和/或agc的调整。尽管aec和agc倾向于被调谐以提供“好看的”整体图像，但是这些传统技术对于诸如在红外光谱中操作的面部认证实现的其他相机使用情况来说效率较低。


技术实现要素：

2.本文档描述了使得能够实现用于面部认证的自动曝光和增益控制的技术和系统。这些技术包括用户设备使用近红外相机系统来捕获用户的图像以用于面部认证，并且针对不同的环境照明条件自动地调整增益以减少图像像素的过饱和或欠饱和。用户设备实现增益控制模块，该增益控制模块在近红外相机系统中利用固定曝光时间执行自适应增益控制以用于面部认证，在一个或多个感兴趣区域上而不是整个图像上使用面片均值统计数据(例如，均值亮度)。感兴趣区域是包括用户的面部并且在一些情况下包括用户的胸部的图像的区域，所述用户的胸部可以用于稳定用户的面部的统计数据。首先使用默认增益来捕获用户的面部的图像。增益控制模块获得感兴趣区域的统计数据，并且确定增益的更新，该更新可用于将感兴趣区域的统计数据朝向目标均值缩放。当近红外相机系统由于图像中的用户的面部的像素的过饱和或欠饱和而请求增益的更新时，将该更新应用于近红外相机系统的增益并且重复面片均值统计数据计算过程。
3.提供本概述以介绍关于用于面部认证的自动曝光和增益控制的简化概念，这将在以下详细描述和附图中进一步描述。本发明内容不旨在标识所要求保护的主题的必要特征，也不旨在用于确定所要求保护的主题的范围。
附图说明
4.在本文档中参考以下附图描述用于面部认证的自动曝光和增益控制的一个或多个方面的细节。在所有附图中使用相同的数字来引用相同的特征和组件：
5.图1示出其中可以实现用于面部认证的自动曝光和增益控制的技术的示例环境。
6.图2更详细地示出图1的用户设备的示例实现。
7.图3示出用于面部认证的近红外图像的区域绘图的示例实现。
8.图4示出用户设备使用自动曝光和增益控制来进行面部认证的示例实现。
9.图5示出用户设备使用自动曝光和增益控制用于面部认证的示例实现，其中用户的面部是偏离中心的。
10.图6示出用户设备使用自动曝光和增益控制用于面部认证的示例实现，其中用户的面部在图像的多个区域中。
11.图7示出用户设备使用自动曝光和增益控制用于面部认证的示例实现，其中用户
设备被保持横向定向。
12.图8示出用户设备使用自动曝光和增益控制用于面部认证的示例实现，其中用户设备被保持倒置并且用户的面部不在图像的中心。
13.图9描绘用于面部认证的自动曝光和增益控制的示例方法。
14.图10示出可以被实现为如参考图1
‑
9所描述的任何类型的客户端、服务器和/或电子设备的用于实现或者其中可以实现能够实现用于面部认证的自动曝光和增益控制的技术的示例计算系统。
具体实施方式
15.概述
16.本文档描述能够实现用于面部认证的自动曝光和增益控制的技术和系统。通常用于彩色相机以调整到不同环境照明条件(例如室内、室外、明亮、黑暗)的增益和曝光控制对于面部认证是低效的，面部认证在红外光谱(具体地近红外(nir)光谱)中操作。例如，彩色相机(也称为红、绿、蓝(rgb)相机)通常在包括背景场景的整个图像上收集图像统计数据，以指导用于调整相机传感器设置的控件，以使得能够捕获完整的图像(例如，图像的主体以及背景场景)。当用户将用户设备拿到户外并且试图使用rgb相机时，图像传感器的增益和曝光时间被减小。降低增益有助于防止像素的饱和，而减少曝光时间则减少了rgb相机所捕获的光量。当用户在室内移动到较暗的环境区域时，图像传感器的增益和曝光时间被增加以帮助防止像素的不饱和。
17.然而，面部认证通常与人的面部有关，并且通常不与背景场景有关。因此，在用于面部认证的增益或曝光调整中利用背景可能导致对增益和/或曝光的不正确调整，从而延长面部认证过程。另外，通过在确定增益或曝光调整时不必要地分析背景，可能不必要地消耗处理功率和带宽。
18.本文描述的技术和系统为用于面部认证的自动曝光和增益控制提供有效且准确的控件。为了减少对用于面部认证的图像的不必要部分的计算，用户设备聚焦于图像中的一个或多个特定感兴趣区域。例如，图像角落中明亮的太阳可以影响整个图像的增益调整。然而，用户设备可忽略明亮的太阳且仅聚焦于面部认证所需的实际区域，诸如包括用户的面部的图像的区域，以确保增益被调整到允许为面部认证输入而捕获用户的面部的高质量nir图像的目标设置。本文描述的技术和系统不仅使得用户设备聚焦于图像中的一个或多个感兴趣区域，而且还可以使得用户设备能够确定聚焦于哪些区域。
19.在各方面中，公开一种用于在用户设备上的面部认证的近红外相机系统中的自适应增益控制的方法。该方法包括响应于启动相机驱动器系统，使用默认增益来初始化所述近红外相机系统的增益。该方法还包括查明由所述近红外相机系统捕获的最近捕获的图像的一个或多个感兴趣区域的面片均值统计数据。另外，该方法包括计算对所述增益的更新以提供更新的增益，所述更新的增益可用于朝向目标均值亮度值缩放所述一个或多个感兴趣区域。此外，该方法包括将所述近红外相机系统的所述初始化增益设置为所述更新的增益以用于下一次面部认证尝试。
20.在各方面中，描述一种在近红外相机系统中具有自适应增益控制的计算系统。该计算系统包括用于捕捉用户的图像数据以用于面部认证的近红外相机系统。另外，计算系
统包括被配置为驱动近红外相机系统的相机驱动器系统。计算系统还包括处理器和计算机可读指令，所述计算机可读指令当由处理器执行时，使计算系统执行前述权利要求中任一项的方法。
21.这些仅仅是所描述的技术和设备如何可以用于实现用于面部认证的自动曝光和增益控制的一些示例。贯穿本文描述了其他示例和实现。现在，文档转向示例操作环境，之后描述示例设备、方法和系统。
22.操作环境
23.图1示出其中可以实现使得能够进行面部认证嵌入迁移的技术的示例环境100。示例环境100包括用户设备102(例如，电子设备)，其包括近红外(nir)相机系统104和认证系统106，或与之相关联。
24.如下面进一步描述的，认证系统106被配置为实现面部识别模块108，并且nir相机系统104被配置为实现增益控制模块110。面部识别模块108可以配置nir相机系统104捕获表示用户的面部的nir图像数据。通常，nir是指波长范围在大约750纳米和2500纳米之间的光，并且对于人眼是不可见的。面部识别模块108例如可以被配置成使用神经网络(例如，卷积神经网络)或使用机器学习技术训练的其他类型的机器学习模型，以从所捕获的nir图像数据生成嵌入。嵌入是表示用户的面部的特征的n维向量。面部识别模块108然后通过将这些嵌入与先前存储的登记嵌入进行比较来验证这些嵌入，以认证用户112来解锁用户设备102。如果存在匹配，则用户112被认证并且用户设备被解锁。
25.在所示出的示例中，用户112在具有昏暗照明的室内区域114与具有明亮阳光的室外区域116之间移动。通过从较暗的室内区域114移动到室外区域116中的明亮太阳，nir相机系统的相机传感器变得饱和。从室外区域116移动到室内区域114的暗光可以导致相机传感器变得不饱和。因此，面部识别模块108可以请求增益控制模块110针对当前环境光条件调整nir相机系统104的增益。基于该请求，增益控制模块110可以自动地进行调整，而无需用户交互，以利用使用经调整的增益捕获的新图像来重试面部认证尝试。
26.更详细地，考虑图2，其示出可以实现用于面部认证的自动曝光和增益控制的用户设备102的示例实现200。图2的用户设备102被示为具有各种示例设备，包括智能电话102
‑
1、平板电脑102
‑
2、膝上型电脑102
‑
3、台式计算机102
‑
4、计算手表102
‑
5、计算眼镜102
‑
6、游戏系统102
‑
7、家庭自动化和控制系统102
‑
8、以及微波炉102
‑
9。用户设备102还可以包括其他设备，诸如电视、娱乐系统、音频系统、汽车、无人机、跟踪板、绘图板、上网本、电子阅读器、家庭安全系统和其他家用电器。注意，用户设备102可以是可穿戴的、非可穿戴但移动的、或相对不移动的(例如，台式机和电器)。
27.用户设备102还包括一个或多个计算机处理器202和一个或多个计算机可读介质204，其包括存储器介质和存储介质。实现为计算机可读介质204上的计算机可读指令的应用和/或操作系统(未示出)可以由计算机处理器202执行以提供本文所述的一些或全部功能。例如，计算机可读介质204可以包括面部识别模块108和增益控制模块110。计算机可读介质204包括安全存储(未示出)，其不能由用户空间中的进程或应用访问。安全存储被配置为存储用于诸如用于解锁用户设备102的控件的隐私控件的安全数据(例如，用户凭证)(包括面部认证数据、密码/通行码信息、指纹数据等)。尽管可以使用面部认证、密码/通行码认证、指纹认证等将这种安全数据用于认证用户112以解锁用户设备102，但是安全数据不能
获得关于用户112的个人可识别信息。具体地，用户112不能被安全数据识别。相反，利用先前从用户获得的明确许可，安全数据用于确定从尝试解锁电话的用户接收到的数据是否匹配所存储的表示在用户设备102上设置安全的用户的简档数据。在示例中，从所捕获的用户面部的nir图像生成的嵌入是用户112的面部特征的数值向量表示，并且在面部认证尝试期间用于与先前存储的嵌入进行比较以定位匹配。
28.用户设备102还可以包括网络接口206。用户设备102可以使用网络接口206来通过有线、无线或光学网络传达数据。作为示例而非限制，网络接口206可以通过局域网(lan)、无线局域网(wlan)、个人区域网(pan)、广域网(wan)、内联网、因特网、对等网络、点对点网络或网状网络来传达数据。
29.认证系统106的各种实现可以包括片上系统(soc)、一个或多个集成电路(ic)、具有嵌入式处理器指令或被配置为访问存储在存储器中的处理器指令的处理器、具有嵌入式固件的硬件、具有各种硬件组件的印刷电路板、或其任意组合。如下面进一步详细描述的，认证系统106可以在安全模式中将从用户112接收到的认证数据与所存储的安全数据进行比较，以用于认证用户112来解锁用户设备102。在一些方面，认证系统106使用从nir相机系统104获得的图像数据来生成认证数据，并且将认证数据提供到安全存储，以使得所述安全存储能够将认证数据与所存储的安全数据进行比较，并且确定是否存在匹配。
30.nir相机系统104被实现为捕获可用于生成诸如用户的面部之类的对象的三维深度图的nir图像数据。nir相机系统包括一个或多个照明器208、成像处理器单元210、一个或多个相机传感器212和相机驱动器系统214。
31.一个或多个照明器208可以包括点投影仪(未示出)和泛光照明器(未示出)。泛光照明器利用nir光照射主体。相机传感器212基于泛光照明器输出的nir光来捕获主体的图像。点投影仪将数千个nir点投影到主体上，并且相机传感器212捕获所得点图案的图像。成像处理器单元210读取nir图像和点图案，并且生成三维面部图。当使用多个(例如，两个)相机传感器212时，成像处理器单元210计算不同所捕获的图像上的匹配点之间的差异，这提供可用于生成三维面部图的相应像素的深度。
32.如上所述以及如下所述，增益控制模块110可以配置一个或多个相机传感器212的增益，以便使得相机传感器212能够捕获光子以产生可用于通过面部识别模块108进行面部认证的nir图像(可接受的质量，诸如具有在目标均值亮度的容限阈值内的用户的面部)。最初，相机传感器212使用默认增益。如果默认增益使得nir图像过于饱和或过于不饱和(例如，在容限阈值之外)以使得面部认证失败，则增益控制模块110将增益调整到在已知目标增益的范围内的值。
33.相机驱动器系统214能够实现在nir相机系统104和用户设备102的其它部件(诸如计算机处理器202、增益控制模块110和认证系统106)之间的通信。相机驱动器系统214可以由任何合适的触发(诸如经由致动的控件或按压的按钮接收到的用户输入，或从一个或多个传感器216接收到的信号)启动。在示例中，接近度传感器可以传送指示用户112接近用户设备102的信号，使得用户可以尝试使用面部认证来解锁用户设备102。相机驱动器系统214还控制相机传感器212的设置，包括增益设置和曝光持续时间。
34.用户设备102的一个或多个传感器216可以包括各种传感器中的任何一种，诸如音频传感器(例如，麦克风)、触摸输入传感器(例如，触摸屏)、图像捕获设备(例如，相机或摄
像机)、接近度传感器(例如，电容传感器)或环境光传感器(例如，光电检测器)。在至少一些实现中，用户设备102可以包括雷达系统(未示出)，以检测用户112与用户设备102的接近度，并且基于该接近度启动一个或多个组件和/或功能，例如启动nir相机系统104和认证系统106以启动面部认证尝试。
35.用户设备102还可以包括显示设备，诸如显示器218。显示器218可以包括任何合适的显示设备，诸如触摸屏、液晶显示器(lcd)、薄膜晶体管(tft)lcd、面内转换(ips)lcd、电容触摸屏显示器、有机发光二极管(oled)显示器、有源矩阵有机发光二极管(amoled)显示器、超级amoled显示器等。
36.在至少一些方面，用户设备102还包括面部检测器220。面部检测器220通常以可编程的硬件实现以便加速，但是也可以被实现为硬件和软件的组合，其被配置成检测在图3中所示的图像302中的用户的面部，并且更具体地，检测与图像302中的用户的面部相关联的位置信息。位置信息可以用于确定图3中所示的哪些区域310要计量以用于增益控制。计量是指测量图像的总强度值，或者在这种情况下测量图像的特定区域。然后，可以将所测量的强度值用作先前值以输入到增益调整过程中。在用户112以非典型定向(例如，倒置)保持用户设备102、用户的面部出现在拐角区域(例如，区域311、313、317、319之一)中或者用户的面部出现在多个区域中的情况下，面部检测器220可以是特别有用的。因为面部检测器220以硬件实现，所以它可以以软件不能访问面部数据的安全流水线实现。
37.这些和其它能力和配置，以及图1的实体动作和交互的方式，将在下面更详细地阐述。这些实体可以被进一步划分、组合等等。图1的环境100和图2到图10的详细图示示出能够采用所描述的技术的许多可能的环境和设备中的一些。
38.图3示出用于面部认证的nir图像的区域映射的示例实现300。当图像302(例如nir图像)被nir相机系统104捕获时，图像302可以被分成区域310以供分析。具体地，增益控制模块110可以从区域310中的感兴趣区域收集统计数据(例如，面片均值统计数据)。这些区域310可以由任何合适的大小或形状限定。在一个示例中，区域310根据摄影中的三分规则来确定大小，这实质上将图像划分成九个相等大小的区域，诸如区域311至319。
39.当用户试图使用面部认证来解锁用户设备时，用户的面部通常可以位于图像302的中心区域315内，并且用户的颈部、胸部和肩部可能位于下部区域317、318和319中。为了减少在图像302上发生的处理量并且因此减少系统的时延，并且因为面部识别模块108仅使用用户的面部的图像数据用于面部认证，所以增益控制模块110最初仅收集用户面部所位于的图像302的特定区域310上的统计数据。例如，增益控制模块110最初收集中心区域315上的统计数据以用于确定增益设置，因为用户的面部通常位于中心区域315。在至少一些方面，中下区域318用于稳定中心区域315的统计数据。然而，除了区域315和318之外或作为其替代，可以基于图像302中的用户的面部的位置来计量一个或多个其他区域310。尽管中心区域315和中下区域318被图示为相同大小，但是它们可以是任何合适的大小，包括彼此不同的大小。下面描述快速确定哪个(哪些)区域310包括用户的面部的技术的进一步细节。通过仅计量诸如用户的面部的感兴趣区域，用户设备102可以更准确且快速地确定增益并且将其设置为适当的设置，以允许捕获可用于面部认证的高质量nir图像数据。在一些情况下，这种有限区域计量减少由位于图像302的不是用户的面部的部分的其他区域310中的高亮度对象(例如，太阳、其他光源)引起的但是可能影响整个图像的增益计算的不准确性。
40.因为nir相机系统104在nir光谱中以主动照明操作，所以在照明器208提供光的时间期间，由照明器208提供的光被尽可能地利用。通常，照明器208提供短时间段的光，例如闪光。增益控制模块110固定相机传感器212的曝光时间(例如，脉冲宽度)，其直接对应于照明器208的光发射。然而，基于环境条件，增益控制模块110还调整增益(例如，相机传感器212的模拟增益)。例如，如果环境条件太亮，则增益控制模块110减小增益设置。然而，如果环境条件太暗，则增益控制模块110增加增益设置。因此，增益控制模块110试图最大化从nir相机系统104的照明器208捕获的nir光的量。
41.面部检测器220可以用于快速检测哪个(哪些)区域310包括用户的面部，这影响了对要计量的特定区域310的选择。下面参照图5、6、7和9提供一些示例。
42.在一些示例中，用户设备102可以使用一个或多个附加传感器216或技术来检测和定位哪些区域310包括用户的面部，以便将增益统计数据限制到那些感兴趣区域。这可以允许即使当用户的面部不位于中心区域315中时也适当地设置增益。传感器216可以用于检测用户112如何保持用户设备102，诸如用户设备102是处于横向定向还是纵向定向。该信息可以用于快速确定最初计量哪些区域310。下面参照图8和9描述示例。
43.为了保持系统的时延尽可能低，nir相机系统104最初使用被估计为在大多数情况下有用的增益。例如，nir相机系统104首先使用默认增益设置来捕获用户的面部的图像302。默认增益设置可以是最初由制造商定义的或由对增益的先前调整定义的存储设置。例如，nir相机系统104可以最初使用在最近的面部认证尝试期间设置的增益设置。任何合适的增益设置可以用作默认增益。一个示例是最高增益，其通常在室内较低环境照明中是有用的。高增益设置通常允许在室内第一次尝试时的成功面部认证。当用户移动到环境条件更亮的室外时，nir相机系统104使用高增益启动面部认证尝试，但是所得到的图像对于面部认证来说可能太饱和。当第一次尝试失败时，增益控制模块110向面部解锁流水线传送信号以暂停面部认证尝试，直到均值亮度被调整到目标均值亮度的阈值内。增益控制模块110计量感兴趣区域以计算对增益设置的调整，然后设置增益设置，以便nir相机系统104捕获用于面部认证的另一图像。例如，增益控制模块110可以设置相机传感器212(例如，模拟增益传感器)的电阻器(未示出)以用于增益控制，或者可以使得相机驱动器系统214设置电阻器以用于增益控制。用户的面部的均值不携带任何生物测定信息，而是简单地为可以安全地传递到相机驱动器系统214的字节，这增加了系统的鲁棒性。
44.在各方面中，增益分别用于使用所述点投影仪和所述泛光照明器获得的点图像和泛光图像。通常，将泛光图像(例如，漫射光图像)用于面部认证。因此，来自泛光图像的统计数据用于计量用于增益控制的统计数据。当nir相机系统104在点投影器和泛光照明器之间跳动时，相同增益可以用于泛光图像和点图像两者。然而，诸如如果照明器以不同的亮度水平闪烁，则不同增益可以用于点图像和泛光图像。
45.在一些实现中，nir相机系统104可以针对不同的环境照明条件使用不同模式。例如，为了捕获光中的大多数光子，相机传感器212可以在室内使用较高曝光时间(例如，五毫秒)来投射更多的光并且捕获更多的光子，但是在室外使用较低曝光时间(例如，一毫秒)来尽可能多地减少环境光并且避免使像素饱和。每个模式可以具有固定曝光时间并且可以结合本文中所描述的自动曝光及增益控制来实现。用户设备102可以基于诸如来自光传感器的信号的各种信号中的任何信号来选择使用哪种模式。或者，可以基于统计数据本身来选
择模式。例如，在使用一毫秒曝光时间和最大可能增益的黑暗房间中，感兴趣区域对于面部认证可能仍然太暗。基于该信息，用户设备102可以将模式切换到具有较长曝光时间的不同模式。
46.图4至图9示出用户设备102利用自动曝光和增益控制用于面部认证的示例实现。用户112仅在图4至图9中示出，以用于说明和描述本文所述的技术和系统。在各方面中，nir相机系统104捕获的内容不被渲染在用户设备102的显示器218上。这是因为nir相机系统104不捕获彩色图像，而是捕获红外光谱——特别是近红外光谱——中的图像数据。此外，呈现nir图像可能增加系统的时延，这是不期望的。另外，认证系统106被配置成在不到一秒(例如，500毫秒、350毫秒、200毫秒、150毫秒)内认证用户，这将给予用户112查看所渲染的图像的非常少的时间。因此，显示器218可以保持关闭或者可以呈现与用户设备102的锁定状态相对应的信息。
47.图4示出用户设备使用自动曝光和增益控制用于面部认证的示例400。尽管用户112被示出在用户设备102的显示器218上，但是用户设备102在面部认证尝试期间可以不呈现任何这样的渲染。图4中所示的图像是为了在此说明和描述的目的。
48.在所示出的示例400中，用户112以纵向定向持有用户设备102，nir相机系统104的相机传感器212指向用户的面部402。在该实现中，用户的面部402位于中心区域315中，并且用户的胸部404位于中下区域318中。在该位置和定向中，增益控制模块110可以将计量限制到中心区域315和中下区域318。尽管背景中的树406和狗408可能在彩色照片中是令人感兴趣的，但是这些元素对于面部认证来说是不必要且不可用的，并且因此可以被忽略。在一些方面中，背景元素可以使增益计算失真，尤其是在背景元素包含亮光的情况下。因此，在这种情况下仅计量区域315和318允许更精确的增益调整，以捕获用户的面部402的图像用于面部认证。如果面部区域较小，导致中心区域315和中下区域318中的增益增大并且使具有低统计数据的像素饱和，则增益控制模块110可以使用饱和像素的百分比作为统计数据来执行增益控制。
49.图5示出用户设备使用自动曝光和增益控制用于面部认证的示例实现500，其中用户的面部是偏离中心的。在一些情况下，用户112可以以使得相机传感器212不直接面对用户112的方式来保持用户设备102。例如，用户112可以保持用户设备102围绕纵轴502(或横轴504)旋转，以有效地使得用户的面部402偏离中心并且主要位于另一区域中。在该示例500中，用户的面部402位于右中心区域(例如区域316)中。由于用户保持用户设备102的方式，用户的面部402不在正被用作用户头部的先验的区域315中。然而，来自下部区域317、318和319中的一个或多个的统计数据仍然可以是有用的。尽管用户的面部402不位于中心区域315中，但是即使背景是亮的，来自下部区域317、318和319中的一个或多个的统计数据也可以用于改变增益，而不对包括在中心区域315或另一区域中的背景场景或其他对象进行过度挂钩(index)。这里，中下区域318包括用户的胸部404以及用户的肩部的一部分，其可以提供足以稳定中心区域315的面片均值统计数据以将增益更新到目标增益的容限范围内的面片均值统计数据。使用下部区域317到319可以降低错误计量的可能性。
50.然而，在一些方面，面部检测器220可以用于检测图像中的包括面部的位置。这里，可以在区域316中检测用户的面部402。基于区域316中的面部的检测，增益控制模块110可以计量区域316以获得用于确定增益更新的面片均值统计数据。
51.图6示出用户设备使用自动曝光和增益控制用于面部认证的示例实现600，其中用户的面部在图像的多个区域中。在所示出的示例600中，用户的面部402被包括在多个区域(例如区域312、313、315和316)中，并且用户的胸部404被包括在多个区域(例如区域318和319)中。尽管感兴趣区域大于中心区域315和中下区域318，但是用户的整个面部402可能不是确定增益调整所必需的。相反，在该示例中，增益控制模块110仍可以仅使用中心区域315和中下区域318用于增益控制。这是因为用户的面部402的一部分位于中心区域315中，并且用户的胸部的一部分位于中下区域318中，这可以足以获得可用于确定增益的更新的面片均值统计数据(例如，区域的均值亮度值)以实现可以用于面部认证的nir图像的捕获。因此，将面片均值统计数据约束到感兴趣区域(例如，区域315和318)增加了系统的鲁棒性，并且减少了与计算或获得整个图像的面片均值统计数据相关联的时延成本。
52.图7示出用户设备使用自动曝光和增益控制用于面部认证的的示例实现700，其中用户设备被保持在横向定向上。用户设备102可以使用一个或多个传感器216(诸如加速度计、惯性测量单元、陀螺仪传感器或传感器的组合)来检测其定向(例如，纵向或横向)。基于对用户设备102的定向的检测，nir相机系统104可以将计量的区域从默认区域(例如，区域315和318)分别改变为更可能包括用户的面部402和用户的胸部404的其它区域，诸如区域315和314。在示例700中，感兴趣区域包括中心区域315和区域314，其中区域314是相对于用户设备102的定向的中下区域(而区域318现在是相对于用户设备102的定向的中右区域)。相对于用户设备的定向选择感兴趣区域可以在nir相机系统104捕获图像之前基于从传感器216接收到的信号而发生。
53.图8示出用户设备使用自动曝光和增益控制用于面部认证的示例实现800，其中用户设备被保持倒置并且用户的面部不在图像的中心。在所示出的示例中，用户设备102相对于用户112被保持倒置。如上所述，传感器216可以用于检测用户设备102的定向，并且基于该定向，改变用于计量的图像中的感兴趣区域。在示例802中，感兴趣区域包括中心区域315和区域312，其中区域312是相对于用户设备102的定向的中下区域(而区域318现在是相对于用户设备102的定向的中上区域)。
54.然而，在示例802中，用户的面部402是偏离中心的，并且用户的胸部404不在图像中。因此，如上所述，面部检测器220可以与增益控制模块110并行运行，以检测图像中的包括面部的位置。这里，在区域311中检测用户的面部402。基于区域311中的面部的检测，如示例804中所示，增益控制模块110可以计量区域311以获得用于确定增益更新的面片均值统计数据。这样，当控制用于面部认证的增益时，可以忽略背景中的可能影响自动增益调整的其他对象(未示出)。如果对增益的调整使得背景中的对象变得饱和，则如果图像中的用户的面部在用于面部认证的目标均值亮度的容限阈值均值亮度内，则图像仍然可以是可用的。因此，不是关于用户将什么感知为高质量图像，而是关于面部识别模块可将什么用于面部认证。
55.示例方法
56.图9描绘用于面部认证的自动曝光和增益控制的示例方法900。方法900可以由用户设备102执行，其使用增益控制模块110自动调整nir相机系统104的增益，以便捕获可用于认证的用户的面部的nir图像。当图像中的用户的面部不适合(例如，过饱和或欠饱和)面部认证时，用户设备102仅使用感兴趣区域来确定对增益的更新。
57.方法900被示为指定所执行的操作但不必限于所示的由相应框执行操作的次序或组合的一组框。此外，可以重复、组合、重组或链接一个或多个操作中的任何一个，以提供各种各样的附加和/或替换方法。在以下讨论的部分中，可以参考图1的示例操作环境100或如图2
‑
8中详细描述的实体或过程，对其的参考仅作为示例。所述技术不限于由在一个设备上操作的一个实体或多个实体执行。
58.在902，启动用户设备的相机驱动器系统以用于面部认证尝试。例如，用户设备102的nir相机系统104的相机驱动器系统214可以被触发以启动nir相机系统104用于面部认证。
59.在904，相机驱动器系统使用默认增益来初始化一个或多个近红外相机的增益。默认增益可以是在最近的面部认证尝试中使用的增益。或者，默认增益可以是固定增益值，例如先前从良好曝光的室内图像计算的增益。
60.在906，使用nir相机捕获图像。例如，照明器208辐射nir光，并且相机传感器212被曝光以捕获对应于nir光的光子。图像处理器单元210处理所捕获的光子以生成可用于面部认证尝试的图像302。
61.在908，从nir相机系统的相机传感器212接收被约束到正被计量的感兴趣区域的nir图像的统计数据。例如，nir相机系统104的相机传感器212可以提供仅对应于nir图像中的感兴趣区域的统计数据，而不是整个nir图像的统计数据。感兴趣区域可以包括至少包括用户的面部的区域。感兴趣区域还可以包括用户的胸部。感兴趣区域可以被分成多个感兴趣区域，诸如包括用户的面部的一个或多个区域以及包括用户的胸部和/或肩部的一个或多个其他区域。感兴趣区域不是整个图像，而是nir图像的约束区域。统计数据可以包括感兴趣区域或每个感兴趣区域的亮度数据(例如，强度测量)。在一些方面，亮度数据包括感兴趣区域的均值亮度值。
62.可选地，在910，计算nir图像的感兴趣区域的均值亮度值。在nir相机不生成统计数据的示例中，增益控制模块110可以计算nir图像中的感兴趣区域的均值亮度值。如上所述，如果用户设备102处于纵向定向，则感兴趣区域可以包括图像302的中心区域315和中下区域318。仅计量感兴趣区域降低错误计量的可能性。如果用户的面部402移动到不同区域(例如，如图5的示例500中所示的区域316)，则仍然可以减少错误，因为用户的胸部404可以保持在下部区域(例如，区域317、318、319)中的至少一个中，并且可以用作增加鲁棒性的参考。另外，计量的感兴趣区域用作先前值，以在下一次面部认证尝试期间设置增益。
63.在一些方面，感兴趣区域可以取决于用户112正在保持用户设备102的定向，诸如纵向定向或横向定向。诸如加速计和/或陀螺仪传感器的传感器216中的一些可以用于指示用户设备102的定向，这可以影响哪些区域310用于计量。另外，感兴趣区域可以取决于哪个区域包括用户的面部，因为面部认证与基于用户的面部的nir图像来认证用户有关，且与其它对象或背景场景无关。因此，面部检测器220可以用于检测图像302中的用户的面部，并且指示图像302中的包括用户的面部的位置、面积或区域310。基于该指示，增益控制模块110可以仅计算包括用户的面部的特定区域的均值亮度值，并且可选地，计算直接在具有用户的面部的特定区域之下并且与其相邻的第二区域的均值亮度值。第二区域可以包括用户的胸部，其可以针对可用于稳定统计数据的亮度值而被计量。
64.在912，估计更新因子以更新增益。更新因子可用于朝向目标均值亮度值缩放感兴
趣区域，目标均值亮度值可以是预定值。可以通过将目标均值亮度值除以感兴趣区域的平均均值来计算更新因子。例如，增益的更新因子可以基于以下等式1来确定：
65.gain_update_factor＝mu_target/(0.5*(mu_c mu_b))
ꢀꢀꢀꢀ
等式1
66.在等式1中，项mu_target是指目标均值亮度值，项mu_c是指包括用户的面部的区域310(例如，中心区域315)的均值亮度值，并且项mu_b是指包括用户的胸部的区域310(例如，中下区域318)。
67.在914，使用滞后抑制对增益的更新，以确定更新的增益。滞后是指包括目标均值亮度值的容限范围。尽管目标均值亮度值是理想目标，但是在容限范围内的其它均值亮度值对于面部认证的目的也可能是足够的。因此，为了避免超过目标均值亮度值，利用下面的等式2使用一些滞后来更新增益g：
68.g＝g*gain_update_factor
ꢀꢀꢀ
等式2
69.在一个示例中，通过使用对增益的更新的百分比(例如，95％、90％、88％)，抑制对增益的更新。这种抑制增加更新落入容限范围内的可能性，以使得能够捕获对于面部认证“足够好”(不过饱和或欠饱和)的新图像。滞后通过减少增益更新中的误差来改进系统的鲁棒性并且减少时延。
70.在示例中，如果相机驱动器系统214确定增益值是正确的，但是面部识别模块108指示用户的面部过于饱和，则该指示可以用于触发相机驱动器系统214再次更新增益。可能用户112正保持用户设备102，使得用户的面部在下部区域317、318或319中，并且用户的胸部不在图像302中。
71.在916，nir相机被设置到更新的增益。更新的增益允许nir相机系统104在nir光谱中捕获新图像用于第二次面部认证尝试。潜在地，根据对于面部认证可接受的均值亮度值，新图像包括用户的面部。
72.可选地，在918，基于面部认证尝试的失败来接收更新增益的指示。如果接收到这样的指示，则该方法返回到906以重复增益更新过程，本质上将面部认证流水线置于循环中。每次通过循环时，增益控制被改进(例如，增益被更新为新的抑制更新)，并且因此，每个新nir图像包括比先前图像更接近于用于面部认证的目标均值亮度值的区域特定均值亮度值。
73.通常，本文描述的任何组件、模块、方法和操作可以使用软件、固件、硬件(例如，固定逻辑电路)、手动处理或其任何组合来实现。示例方法的一些操作可以在存储在计算机处理系统本地和/或远程的计算机可读存储存储器上的可执行指令的一般上下文中描述，并且实现可以包括软件应用、程序、功能等。可替换地或此外，这里描述的任何功能可以至少部分地由一个或多个硬件逻辑组件来执行，所述硬件逻辑组件例如但不限于现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)等。
74.贯穿本公开，描述了其中计算系统(例如，用户设备102、客户端设备、服务器设备、计算机或其他类型的计算系统)可以分析与用户(诸如用户的面部402)相关联的信息(例如，雷达、惯性和面部识别传感器数据)的示例。然而，计算系统可以被配置为仅在计算系统从计算系统的用户接收到使用数据的显式许可之后才使用该信息。例如，在用户设备102分析面部特征的传感器数据以认证用户112的情况下，可以向个体用户提供输入以控制用户
设备102的程序或特征是否可以收集和利用数据的机会。各个用户可以对传感器数据进行或不进行什么程序具有持续的控制。另外，所收集的信息在传输、存储或以其他方式使用之前，可以以一种或多种方式被预处理，以便移除个人可识别信息。例如，在用户设备102与另一设备共享传感器数据(例如，以训练在另一设备处执行的模型)之前，用户设备102可以预处理传感器数据以确保移除嵌入在数据中的任何用户标识信息或设备标识信息。因此，用户可以控制是否收集关于用户和用户的设备的信息，以及如果收集到这样的信息，则计算设备和/或远程计算系统可以如何使用这样的信息。
75.示例计算系统
76.图10示出示例计算系统1000的各种组件，该示例计算系统可以被实现为如参考之前的图1
‑
9所描述的任何类型的客户端、服务器和/或电子设备，以实现用于面部认证的自动曝光和增益控制。
77.计算系统1000包括通信设备1002，其使得能够进行设备数据1004(例如，雷达数据、认证数据、参考数据、接收到的数据、正在接收的数据、调度用于广播的数据、以及数据的数据分组)的有线和/或无线通信。设备数据1004或其他设备内容可以包括设备的配置设置、存储在设备上的媒体内容和/或与设备的用户相关联的信息(例如，雷达场内的人的身份或定制的空中手势数据)。存储在计算系统1000上的媒体内容可以包括任何类型的雷达、生物计量、音频、视频和/或图像数据。计算系统1000包括一个或多个数据输入1006，经由其可以接收任何类型的数据、媒体内容和/或输入，诸如人类话语、与雷达场的交互、触摸输入、用户可选输入或交互(显式或隐式)、消息、音乐、电视媒体内容、记录的视频内容、以及从任何内容和/或数据源接收的任何其他类型的音频、视频和/或图像数据。
78.计算系统1000还包括通信接口1008，其可以被实现为以下中的任何一个或多个：串行和/或并行接口、无线接口、任何类型的网络接口、调制解调器，并且被实现为任何其他类型的通信接口。通信接口1008提供计算系统1000和通信网络之间的连接和/或通信链路，通过该连接和/或通信链路，其他电子、计算和通信设备与计算系统1000传达数据。
79.计算系统1000包括一个或多个处理器1010(例如，微处理器、控制器或其他控制器中的任何一个)，其可以处理各种计算机可执行指令以控制计算系统1000的操作并且实现用于面部认证的自动曝光和增益控制的技术，或者在其中可以实现用于面部认证的自动曝光和增益控制的技术。另选地或另外地，计算系统1000可以用硬件、固件或结合处理和控制电路实现的固定逻辑电路中的任何一个或组合来实现，这些电路一般在1012处标识。尽管未示出，计算系统1000可以包括耦合设备内的各种组件的系统总线或数据传输系统。系统总线可以包括不同总线结构中的任何一个或组合，诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线体系结构中的任何一种的处理器或局部总线。
80.计算系统1000还包括计算机可读介质1014，诸如实现持久和/或非持久数据存储(即，与仅信号传输形成对比)的一个或多个存储器设备，其示例包括随机存取存储器(ram)、非易失性存储器(例如，只读存储器(rom)、闪存、eprom、eeprom等中的任何一个或多个)以及盘存储设备。盘存储设备可以被实现为任何类型的磁或光存储设备，诸如硬盘驱动器、可记录和/或可重写光盘(cd)、任何类型的数字多功能盘(dvd)等。计算系统1000还可以包括大容量存储介质设备(存储介质)1016。
81.计算机可读介质1014提供数据存储机制以存储设备数据1004，以及各种设备应用
1018和与计算系统1000的操作方面相关的任何其他类型的信息和/或数据。例如，操作系统1020可以用计算机可读介质1014作为计算机应用来维护，并在处理器1010上执行。设备应用1018可以包括设备管理器，诸如任何形式的控制应用、软件应用、信号处理和控制模块、特定设备本地的代码、抽象模块、空中手势识别模块和其他模块。设备应用1018还可以包括用于实现用于面部认证的自动曝光和增益控制的系统组件、引擎、模块或管理器，诸如增益控制模块110和相机驱动器系统214。计算系统1000还可以包括或访问一个或多个机器学习系统。
82.下面描述几个示例。
83.示例1.一种用于在用户设备上的面部认证的近红外相机系统中的自适应增益控制的方法，所述方法包括：响应于启动相机驱动器系统，使用默认增益来初始化所述近红外相机系统的增益；查明由所述近红外相机系统捕获的最近捕获的图像的一个或多个感兴趣区域的面片均值统计数据；计算对所述增益的更新以提供更新的增益，所述更新的增益可用于朝向目标均值亮度值缩放所述一个或多个感兴趣区域；以及将所述近红外相机系统的所述初始化增益设置为所述更新的增益以用于下一次面部认证尝试。
84.示例2.根据示例1所述的方法，还包括：在将所述近红外相机系统的初始化的增益设置为更新的增益之后，从面部识别模块接收再次更新所述增益的指示；以及响应于所述指示，重复所述查明、所述计算和所述设置，以将更新的增益更新为新的抑制的更新。
85.示例3.根据示例1或示例2中任一项所述的方法，其中，所述查明包括计算所述一个或多个感兴趣区域的所述面片均值统计数据，所述一个或多个感兴趣区域包括少于整个图像。
86.示例4.根据示例1或示例2中任一项所述的方法，其中，所述查明包括从一个或多个传感器接收所述面片均值统计数据，接收到的面片均值统计数据被约束到所述一个或多个感兴趣区域。
87.示例5.根据前述示例中任一项所述的方法，其中，所述一个或多个感兴趣区域根据摄影中的三分规则包括中心区域和中下区域。
88.示例6.根据示例5所述的方法，其中，所述中下区域的面片均值统计数据用于稳定所述中心区域的面片均值统计数据。
89.示例7.根据前述示例中的任一个所述的方法，其中，所述面片均值统计数据包括与所述一个或多个感兴趣区域相对应的均值亮度值。
90.示例8.根据前述示例中任一项所述的方法，还包括：在查明所述一个或多个感兴趣区域的所述面片均值统计数据之前，检测与所述最近捕获的图像中的用户的面部相对应的位置信息；以及基于与所述用户的所述面部相对应的所述位置信息，从所述最近捕获的图像的多个区域选择所述一个或多个感兴趣区域。
91.示例9.根据前述示例中任一项所述的方法，还包括在将所述初始化的增益设置为用于下一次面部认证尝试的更新的增益之前，使用滞后来抑制所述初始化的增益中的更新。
92.示例10.根据前述示例中任一项所述的方法，其中，设置所述初始化的增益包括设置所述近红外相机系统的模拟增益传感器的一个或多个电阻器。
93.示例11.根据前述示例中任一项所述的方法，还包括：从一个或多个传感器接收指
示所述用户设备的定向的信号；以及基于所述用户设备的所述定向，选择所述图像的多个区域中的特定区域以用作用于所述自适应增益控制的所述一个或多个感兴趣区域。
94.示例12.根据示例11所述的方法，其中，所述一个或多个传感器包括以下中的一个或多个：加速度计、惯性测量单元或陀螺仪传感器。
95.示例13.根据前述示例中任一项所述的方法，还包括：从以硬件实现的面部检测器接收包括所述用户的所述面部的多个区域中的一个或多个区域的指示；以及选择所指示的一个或多个区域作为所述一个或多个感兴趣区域以用于所述自适应增益控制。
96.示例14.根据前述示例中任一项所述的方法，还包括在所述自适应增益控制期间维持固定曝光时间。
97.示例15.一种计算系统，包括：近红外相机系统，用于捕获用户的图像数据以用于面部认证；相机驱动器系统，其被配置为驱动所述近红外相机系统；处理器；以及计算机可读指令，当由所述处理器执行时，所述计算机可读指令使所述计算系统执行前述权利要求中任一项所述的方法。
98.结论
99.尽管已经以特征和/或方法专用的语言描述了用于实现面部认证的自动曝光和增益控制的技术和装置的实现，但是应当理解，所附权利要求的主题不必限于所描述的特定特征或方法。相反，这些具体特征和方法是作为用于面部认证的自动曝光和增益控制的示例实现来公开的。