用于执行环境光图像校正的系统的制作方法

1.本公开涉及用于光学成像的系统和方法，具体地涉及用于执行环境光图像校正的非接触皮肤成像系统和方法。


背景技术：

2.在个人护理和健康应用领域，特别是在皮肤感测领域，对非侵入式测量和监测设备的需求不断增加。当前可用的皮肤测量系统提供皮肤量化和皮肤特征监测功能，这些功能为消费者提供信息，该信息可能太小而无法检测、太微弱以至于无法注意到或太慢而无法跟踪。为了让这些类型的系统被普通消费者认为是可用的，嵌入式感测功能应该既敏感又具体。另外，相关测量的稳健性对于建立消费者信任也是必不可少的。


技术实现要素：

3.这种成像测量系统中的关键问题是，当它们在不受控制的环境中使用时，例如在家里，由于未定义和可能变化的环境光照，通常会出现测量不一致的情况。存在当前可用的环境光去除技术，诸如涉及受控照明以探测和推断场景特性的主动照明方法可以被使用。而且，一些当前可用的技术包括受控捕获设置，例如光台(light stage)，用于在所有光照方向(多路照明)上捕获人或场景的图像，并且在任意照明下重新渲染逼真的图像。一些其他技术依赖于投影仪相机系统来投影结构化图案用于后续图像分析。虽然主动技术可以实现高质量的照明分析和编辑，但这些系统通常复杂且昂贵。另一方面，闪光照相技术通过捕获场景的两个图像(有和没有闪光灯照明)来去除环境光。这些技术已被用于图像去噪、去模糊、伪影去除、非真实感渲染、前景分割和消光。
4.本公开提供了用于皮肤的稳健成像测量的技术，特别是针对面部区域，即使在环境光未定义和变化时也是如此。这允许对适合皮肤特征表征和皮肤特征追踪的面部皮肤进行精确和准确的测量。根据本公开，提供了一种用于执行环境光图像校正的改进系统和一种用于执行环境光图像校正的方法。更详细地，本公开通过使用高于闪烁融合阈值的照明脉冲和卷帘快门相机提供可以以视频速率执行的无闪烁和无闪光环境光校正。
5.为了更好地解决早前提及的一个或多个问题，在第一方面中，提供了一种用于执行环境光图像校正的系统。该系统包括：光源，被配置为向物体提供脉冲照明；卷帘快门成像单元，被配置为在物体被来自光源的脉冲照明照亮时，以比脉冲照明的波周期短的曝光时间捕获物体的多个图像，使得所捕获的多个图像中的每个所捕获的图像包括多个亮带和暗带，其中亮带对应于脉冲照明的高状态并且暗带对应于脉冲照明的低状态。由光源提供的照明的脉冲频率不是帧速率的多重积分，由卷帘快门成像单元以该帧速率捕获多个图像。该系统还包括控制单元，被配置为：通过组合来自所捕获的多个图像的对应于亮带的区段，生成包括来自所捕获的多个图像的多个亮带的第一合成图像；通过组合来自所捕获的多个图像的对应于暗带的区段，生成包括来自所捕获的多个图像的多个暗带的第二合成图像；基于第一合成图像与第二合成图像的像素信息的差异，生成环境光校正图像。
6.在一些实施例中，第一合成图像和第二合成图像通过应用解混合算法来生成，以基于照明状态分离所捕获的多个图像中所包含的像素。
7.在一些实施例中，光源被配置为提供脉冲频率为至少70hz的照明。而且，在一些实施例中，卷帘快门成像单元可以被配置为以每秒至少30帧的帧速率捕获多个图像。
8.在一些实施例中，可以提供数字反射镜设备，包括：反射组件；基础单元；以及本文描述的系统。在这些实施例中，系统的光源可以被布置为与反射组件相邻，并且系统的控制单元位于数字反射镜设备的基础单元处。
9.在一些实施例中，数字反射镜设备还可以包括用户界面单元，该用户界面单元被配置为接收用户输入。在这些实施例中，控制单元被配置为：在经由用户界面单元接收到第一用户输入时，开启光源和卷帘快门成像单元；以及在经由用户界面单元接收到第二用户输入时，控制卷帘快门成像单元以捕获物体的多个图像。
10.在一些实施例中，物体可以是对象的头部，并且在这些实施例中，系统的控制单元还可以被配置为基于环境光校正图像来执行对象的面部识别和对象的头部定向确定中的至少一项。此外，系统的控制单元还可以被配置为基于面部识别操作和头部定向确定操作中的至少一项的结果来确定对象的面部特征。
11.在一些实施例中，数字反射镜设备还可以包括指示光照单元，被配置为在卷帘快门成像单元捕获多个图像时提供指示光。
12.在第二方面中，提供了一种用于执行环境光图像校正的方法。该方法包括：向物体提供脉冲照明；在物体由来自光源的脉冲照明照亮时，以比脉冲照明的波周期短的曝光时间捕获物体的多个图像，使得所捕获的多个图像中的所捕获的每个图像包括多个亮带和暗带，其中亮带对应于脉冲照明的高状态并且暗带对应于脉冲照明的低状态，并且其中由光源提供的照明的脉冲频率不是帧速率的多重积分，由卷帘快门成像单元以该帧速率捕获多个图像；通过组合来自所捕获的多个图像的对应于亮带的区段，生成包括来自所捕获的多个图像的多个亮带的第一合成图像；通过组合来自所捕获的多个图像的对应于暗带的区段，生成包括来自所捕获的多个图像的多个暗带的第二合成图像；以及基于第一合成图像和第二合成图像之间的像素信息的差异，生成环境光校正图像。
13.在一些实施例中，生成第一合成图像和第二合成图像可以包括应用解混合算法，以便基于照明状态分离所捕获的多个图像中所包含的像素。
14.在一些实施例中，向物体提供脉冲照明可以包括以至少70hz的脉冲频率提供脉冲照明。而且，在一些实施例中，捕获多个图像可以包括以每秒至少30帧的帧速率捕获多个图像。
15.根据上述方面和实施例，现有技术的限制被解决。具体地，上述方面和实施例使得无闪烁和无闪光环境光校正被执行，特别是在视频速率下。因此，提供了一种用于环境光图像校正的改进系统和方法。参照下文描述的(多个)实施例，本公开的这些和其他方面将变得显而易见并得以阐明。
附图说明
16.为了更好地理解实施例，并且为了更清晰地示出它们可以如何实行，现在将仅通过示例参照附图，其中：
17.图1是根据实施例的用于环境光图像校正的系统的框图；
18.图2是根据实施例的数字反射镜设备200的框图；
19.图3示出了参照图2描述的数字反射镜设备的实际实施的实施例；
20.图4图示了根据实施例的用于执行环境光图像校正的方法；
21.图5a示出了当物体由脉冲照明照亮时物体图像的示例；
22.图5b展示了图像中的亮带和暗带如何根据成像单元的不同曝光时间变化；
23.图6是从所捕获的多个图像生成环境光校正图像的示意图；以及
24.图7是图示了根据实施例的用于基于照明状态分离所捕获的多个图像中所包含的像素并且生成环境光校正图像的解混合算法的流程图。
具体实施方式
25.如上面提到的，提供了解决现有问题的改进系统和方法。
26.图1示出了根据实施例的系统100的框图，其可以被用于执行环境光图像校正。系统100包括光源110、卷帘快门成像单元120和控制单元130。
27.光源110被配置为向物体提供脉冲照明。在一些实施例中，光源110可以被配置为提供脉冲频率为至少70hz的照明。
28.卷帘快门成像单元120被配置为在物体被来自光源110的脉冲照明照亮时，以比脉冲照明的波周期短的曝光时间捕获物体的多个图像，使得所捕获的多个图像中的所捕获的每个图像包括多个亮带和暗带。亮带对应于脉冲照明的高状态，并且暗带对应于脉冲照明的低状态。为了说明的目的，在脉冲照明下捕获的物体图像的示例在图5a中提供，其中由于脉冲照明的频率高于卷帘快门成像单元捕获图像的速率，所捕获的图像包含观察到的水平暗带和亮带。
29.由光源110提供的照明的脉冲频率不是帧速率的多重积分，由卷帘快门成像单元120以该帧速率捕获多个图像。在一些实施例中，卷帘快门成像单元120可以被配置为以至少每秒30帧的帧速率捕获多个图像。
30.控制单元130被配置为通过组合来自所捕获的多个图像的与亮带相对应的区段来生成第一合成图像。第一合成图像包括来自所捕获的多个图像的多个亮带。控制单元130还被配置为通过组合来自所捕获的多个图像的与暗带相对应的区段来生成第二合成图像。第二合成图像包括来自所捕获的多个图像的多个暗带。控制单元130还被配置为基于第一合成图像和第二合成图像之间的像素信息的差异来生成环境光校正图像。
31.在一些实施例中，第一合成图像和第二合成图像通过应用解混合算法来生成，以基于照明状态分离所捕获的多个图像中所包含的像素。解混合算法的示例在下面将参照图7更详细地解释。
32.通常，控制单元130可以控制系统100的操作，并且可以实施本文描述的方法。控制单元130可以包括一个或多个处理器、处理单元、多核处理器或模块，它们被配置或编程为以本文描述的方式控制系统100。在特定实施例中，控制单元130可以包括多个软件和/或硬件模块，分别被配置为执行或用于执行本文描述的方法的单个或多个步骤。
33.在一些实施例中，系统100还可以包括至少一个用户界面。备选地或附加地，至少一个用户界面可以在系统100的外部(即，与系统100分离或远离)。例如，至少一个用户界面
可以是另一设备的一部分。用户界面可以用于向系统100的用户提供由本文描述的方法产生的信息。备选地或附加地，用户界面可以被配置为接收用户输入。例如，用户界面可以允许系统100的用户手动键入指令、数据或信息。在这些实施例中，控制单元130可以被配置为从一个或多个用户界面获取用户输入。
34.用户界面可以是使得能够向系统100的用户渲染(或输出或显示)信息的任何用户界面。备选地或附加地，用户界面可以是能够使系统100的用户能够提供用户输入、与系统100交互和/或控制系统100的任何用户界面。例如，用户界面可以包括一个或多个开关、一个或多个按钮、小键盘、键盘、触摸屏或应用(例如，在平板计算机或智能手机上)、显示屏、图形用户界面(gui)或其他视觉渲染组件、一个或多个扬声器、一个或多个麦克风或任何其他音频组件、一个或多个灯、用于提供触觉反馈(例如，振动功能)的组件或任何其他用户界面或用户界面的组合。
35.在一些实施例中，系统100可以包括存储器。备选地或附加地，一个或多个存储器可以在系统100的外部(即，与系统100分离或远离)。例如，一个或多个存储器可以是另一设备的一部分。存储器可以被配置为存储可以由控制单元130执行以执行本文描述的方法的程序代码。存储器可以被用于存储由系统100的控制单元130获取或进行的信息、数据、信号和测量值。例如，存储器可以被用于存储(例如在本地文件中)第一合成图像、第二合成图像和/或环境光校正图像。控制单元130可以被配置为控制存储器存储第一合成图像、第二合成图像和/或环境光校正图像。
36.在一些实施例中，系统100可以包括用于使系统100能够与系统100内部或外部的任何接口、存储器和/或设备通信的通信接口(或电路系统)。通信接口可以与任何接口、存储器和/或设备无线地或经由有线连接通信。例如，通信接口可以无线地或经由有线连接与一个或多个用户界面通信。类似地，通信接口可以无线地或经由有线连接与一个或多个存储器通信。
37.应当理解，图1仅示出了图示系统100的一个方面所需的组件，并且在实际实施方式中，系统100可以包括所示组件的备选或附加组件。
38.图2是根据实施例的数字反射镜设备200的框图。数字反射镜设备200包括反射组件210、基础单元220和上面参照图1描述的系统100。在本实施例中，系统100的光源110可以被布置为邻近于反射组件210，并且系统100的控制单元130可以位于数字反射镜设备200的基础单元220处。
39.在一些实施例中，数字反射镜设备200还可以包括用户界面单元230，用户界面单元230被配置为接收用户输入。在这些实施例中，系统100的控制单元130可以被配置为在经由用户界面单元230接收到第一用户输入时开启光源110和卷帘快门成像单元120。此外，控制单元130可以被配置为在经由用户界面单元230接收到第二用户输入时控制卷帘快门成像单元120捕获物体的多个图像。
40.在一些实施例中，物体可以是对象的头部。在这种情况下，系统的控制单元130还可以被配置为基于由系统100的控制单元130生成的环境光校正图像来执行对象的面部识别和对象的头部定向确定中的至少一项。
41.尽管图2中未示出，但是在一些实施例中，数字反射镜设备200还可以包括指示光照单元，被配置为在卷帘快门成像单元捕获多个图像时提供指示光。例如，指示光照单元可
以包括红色led光源。
42.上述数字反射镜设备的实际实施的实施例在图3中进一步图示。如图3所示，数字反射镜设备300包括反射组件310和基础单元320。在该实施例中，用户界面单元330以位于基础单元320处的致动按钮的形式提供，用于接收用户输入。此外，数字反射镜设备中所包括的系统的光源340以光环的形式设置在反射组件310的外围周围，并且反射镜设备中所包括的系统的卷帘快门成像单元350被设置在反射组件310上方。应当理解，尽管系统的控制单元未在图3中示出，但该组件被包括在数字反射镜设备300处(例如实施为基础单元320内所包含的处理器)。
43.在本实施例中，数字反射镜设备300(具体地，数字反射镜设备300中所包括的系统的控制单元)可以被配置为在初始致动用户界面单元330(例如按下按钮)时开启光源340和卷帘快门成像单元350，并且在随后致动用户界面单元330(例如再次按下按钮)时控制卷帘快门成像单元350捕获物体(例如用户的面部)的多个图像。然后，数字反射镜设备300中所包括的系统的控制单元可以生成第一合成图像，生成第二合成图像，并且生成环境光校正图像，如上面参照图1描述的。此外，数字反射镜设备300中所包括的系统的控制单元然后可以基于所生成的环境光校正图像来执行对象的面部识别和对象的头部定向确定中的至少一项。
44.作为示例，在接收到对应的(多个)用户输入时，卷帘快门成像单元350可以被配置为以每秒30帧捕获图像，曝光值为-8(相当于3.9ms的曝光时间)，并且光源340可以被配置为以93hz的脉冲频率提供照明。
45.由于用于执行环境光图像校正的系统是作为数字反射镜设备300而被实施的，因此在数字反射镜设备300的操作期间，用户面部所捕获的图像可以针对环境光校正，同时用户能够经由反射组件310(例如用于个人美容活动)观察自己的反射。此外，(多个)环境光校正图像可以针对面部和皮肤特征和/或不规则性进一步分析，例如丘疹、发红、水合水平、肤色等。该分析操作可以被实时执行。而且，该分析操作可以由数字反射镜设备300中所包括的系统的控制单元(或由单独的控制单元或处理器)执行。而且，该分析操作可以由某个头部定向和/或基于上面讨论的面部识别和头部定向确定操作识别的面部来触发。
46.尽管图3中未示出，但在一些实施例中，数字反射镜设备300(或设备300中所包括的系统)可以包括被配置为与外部设备(例如移动电话)通信的通信接口。因此，在这些实施例中，分析结果(例如用户面部的丘疹的位置)可以被传递给移动电话(例如经由安装在移动电话上的应用软件)。
47.图4图示了根据实施例的用于执行环境光图像校正的方法。所图示的方法通常可以由系统100执行，并且具体地在一些实施例中由系统100的控制单元130执行或在其控制下执行。为了说明的目的，图4的至少一些框将参照图1的系统100的各种组件描述。
48.参照图4，在框402，脉冲照明被提供给物体。具体地，脉冲照明可以由系统100的光源110提供。在框402中提供的照明的脉冲频率可以至少为70hz。
49.返回到图4，在框404，当物体被脉冲照明照亮时(如参照框402描述的)，以比脉冲照明的波周期短的曝光时间捕获物体的多个图像，使得所捕获的多个图像中的每个所捕获的图像包括多个亮带和暗带。在本上下文中，亮带对应于脉冲照明的高状态，并且暗带对应于脉冲照明的低状态。在框402提供的照明的脉冲频率不是帧速率的多重积分，多个图像在
框404以该帧速率被捕获。多个图像可以由系统100的卷帘快门成像单元120捕获。在一些实施例中，多个图像可以在框404中以每秒至少30帧的帧速率捕获。
50.返回到图4，在框406中，包括来自所捕获的多个图像的多个亮带的第一合成图像通过组合来自所捕获的多个图像的对应于亮带的区段来生成。具体地，第一合成图像可以由系统100的控制单元130生成。
51.返回到图4，在框408，包括来自多个捕获图像的多个暗带的第二合成图像通过组合来自所捕获的多个图像的对应于暗带的区段来生成。具体地，第二合成图像可以由系统的控制单元130生成。
52.在一些实施例中，在框406生成第一合成图像并且在框408生成第二合成图像可以包括应用解混合算法，以基于照明状态分离所捕获的多个图像中所包含的像素。解混合算法的示例在下面将参照图7更详细地解释。
53.返回到图4，在框410，环境光校正图像基于在框406生成的第一合成图像和在框408生成的第二合成图像之间的像素信息的差异来生成。具体地，环境光校正图像可以由系统100的控制单元130生成。
54.图5a示出了当物体由脉冲照明照亮时物体图像的示例。如上面参照图1解释的，当脉冲照明的频率高于卷帘快门成像单元所捕获的多个图像500的速率时，水平暗带和亮带可以在捕获的图像500中观察到。在图5a所示的示例中，水平亮带被标记为l，而水平暗带被标记为d。
55.进一步观察到，当成像单元的曝光时间被减少时，亮带和暗带之间的边缘的对比度和斜率增加，如图5b所示的多个图像所展示的。图5b的第一图像510以31ms的曝光时间被捕获，第二图像520以16ms的曝光时间被捕获，第三图像530以8ms的曝光时间被捕获，第四图像540以4ms的曝光时间被捕获，并且第五图像550以2ms的曝光时间被捕获。从第一图像510到第五图像550可以看出，随着曝光时间的减少，图像中的亮带和暗带之间的区别变得更加清晰。基于该信息以及基础相机知识，当曝光时间比脉冲照明的波周期短时，在脉冲照明的低状态期间提取相对于环境光的信息将是有利的。
56.图6是从所捕获的多个图像生成环境光校正图像的示意图。在附图中示出，由卷帘快门成像单元捕获的多个图像600在经过解混合算法ua的操作后可以被变换为环境光校正图像610。更具体地，图6的多个图像600中的漂移的亮带和暗带可以被分离，以用于使用解混合算法ua生成合成图像和随后生成环境光校正图像。为了更详细地解释解混合算法，根据实施例的用于基于照明状态分离所捕获的多个图像中所包含的像素并且生成环境光校正图像的算法的示例在图7的流程图中图示。
57.图7的解混合算法700被呈现为可以由系统100的控制单元130执行的一系列方法步骤，如参照图1描述的。为了说明的目的，该方法在下面将参照系统100的各种组件描述。
58.用于解混合算法的方法开始于步骤701。
59.在步骤702，积分帧的数量s由控制单元130设置，其中s》1。积分帧的数量对应于要由系统100的卷帘快门成像单元120捕获的多个图像的数量。例如，如果10个图像要由卷帘快门成像单元120捕获(并且随后被“集成”为单个合成图像)，则积分帧的数量s被设置为10。
60.随后，在步骤703，计数器值n被设置为1。
61.随后，在步骤704，对应于当前计数器值n的视频帧an(p
x
，py)由系统100的卷帘快门成像单元120捕获。在该实施例中，所捕获的视频帧an(p
x
，py)不受任何图像像素值非线性的影响，这通常是在成像单元(诸如相机系统)处(自动)执行的伽马校正的结果。如果伽马校正由卷帘快门成像单元120应用，则逆伽马校正应该在该方法进一步进行之前对所有视频帧应用。因此，尽管图7中未示出，但在一些实施例中，该方法可以包括在步骤704之后对捕获的视频帧an(p
x
，py)执行逆伽马校正的步骤。在本公开的上下文中，视频帧对应于单个图像。本实施例中的每个图像(“视频帧”)的特点在于相应图像中所包含的像素，如符号p
x
和py所表示的。
62.随后，在步骤705中，确定计数器值n是否为1。该确定可以由系统的控制单元130执行。
63.如果计数器值n为1，则方法进行到步骤706、步骤707和步骤708，其中e1的值被设置为在步骤704中捕获的视频帧a1，f1的值被设置为在步骤704中捕获的视频帧a1，并且计数器值n被递增1(由等式“n＝n 1”表示)。
64.在执行步骤706至708之后，该方法返回到步骤704，其中对应于当前计数器值n的视频帧an(p
x
，py)由系统100的卷帘快门成像单元120捕获。例如，紧接在步骤705中确定n＝1之后执行步骤706至708之后，视频帧a2在返回到步骤704时捕获。
65.在步骤704之后，在步骤705再次确定计数器值n是否为1。如果计数器值n不为1，则该方法进行到步骤709至714。更详细地，在步骤709中，bn的值被设置为an的当前值减去e
n-1
的当前值(表示为“bn＝an–en-1”)。随后，在步骤710中，如果bn的当前值小于0，则bn的新值被设置为0。随后，在步骤711中，en的新值被设置为e
n-1
的当前值和bn的当前值的总和(由“en＝e
n-1
b
n”表示)。
66.在步骤712，cn的值被设置为fn-1的当前值减去an的当前值(由“cn＝f
n-1
–an”表示)。随后，在步骤713中，如果cn的当前值小于0，则cn的新值被设置为0。随后，在步骤714中，dn的新值被设置为f
n-1
的当前值减去dn的当前值。
67.在执行步骤709至714之后，该方法进行到步骤715，在步骤715确定当前计数器值n是否等于在步骤702中设置的积分帧的数量s。如果确定当前计数器值n不等于积分帧的数量s，则该方法返回到步骤708，在步骤708计数器值n被递增1，并且随后返回到步骤704，在步骤704对应于当前计数器值n的视频帧an(p
x
，py)由系统100的卷帘快门成像单元120捕获。因此，通过在步骤715中确定当前计数器值n是否等于积分帧的数量s，算法确保步骤704和709至714对n的每个增量值执行，直到当前计数器值n等于积分帧的数量s为止。步骤709到714中的操作允许生成第一合成图像和第二合成图像，在步骤709至714的最后一次迭代之后，由en和dn表示。在这种情况下，第一合成图像en包括来自多个图像(即，所捕获的视频帧)的亮带，并且在这种情况下，第二合成图像dn包括来自多个图像的暗带。
68.如果在步骤715确定当前计数器值n等于积分帧的数量s，则方法进行到步骤716，在步骤716环境光校正图像s通过在第一合成图像en和第二合成图像dn之间执行减法操作来生成。然后该方法在步骤717中结束。
69.应当理解，在其他实施例中，解混合算法可以以其他方式实施，诸如通过从所捕获的多个图像中获取最大和最小像素值。例如，步骤709至711可以被实施为en＝maxima(e
n-1
，an)，而步骤712至714可以被实施为en＝minima(e
n-1
，an)，其中运算符最大值和最小值涉及
每个图像像素值之间的比较操作，并且分别提取最大像素值和最小值。作为迭代过程的备选，最大值和最小值运算符可以被同时实施于设定的积分帧数量内的所有视频帧。
70.因此，提供了一种用于执行环境光图像校正的改进系统和方法，其克服了现有的问题。
71.通过研究附图、公开内容和所附权利要求，所公开的实施例的变化可以由本领域技术人员在实践要求保护的本发明时理解和实现。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。单个处理器或其他单元可以满足权利要求中记载的若干项目的功能。某些措施被记载在相互不同的从属权利要求中这一事实并不指示这些措施的组合无法被有利地使用。权利要求中的任何附图标记不应该被解释为限制范围。