用于标识具有不受控制的光照条件的图像中的肤色的技术的制作方法

用于标识具有不受控制的光照条件的图像中的肤色的技术
1.相关申请的交叉引用
2.本技术要求于2019年7月18日提交的美国申请第16/516,080号的权益；该专利的内容整体通过引用结合于此。


技术实现要素：

3.提供本概述是为了以简化的形式介绍将在下面的详细描述中进一步描述的一些构思。本概述不旨在标识所要求保护的主题的关键特征，也不旨在用于帮助确定所要求保护的主题的范围。
4.在一些实施例中，提供了一种训练机器学习模型以估计图像中的面部的肤色的方法。计算设备接收包括训练对象的面部的至少一个训练图像。计算设备接收用于至少一个训练图像的标记信息。计算设备将至少一个训练图像和标记信息添加到训练数据存储装置中。计算设备训练机器学习模型，以使用存储在训练数据存储装置中的信息来确定面部的肤色。
5.在一些实施例中，提供了一种使用一个或多个机器学习模型来估计面部的肤色的方法。计算设备接收至少一个图像，该至少一个图像包括实况对象的面部。计算设备使用至少一个机器学习模型来处理至少一个图像，以获得对肤色的确定。计算设备呈现肤色。
6.在一些实施例中，提供了一种系统。该系统包括肤色预测单元，该肤色预测单元包括计算电路系统，该计算电路系统被配置为接收包括训练对象的面部的至少一个训练图像；接收用于至少一个训练图像的标记信息；将至少一个训练图像和标记信息添加到训练数据存储中；并且使用训练数据集训练机器学习模型以确定面部的肤色。
7.在一些实施例中，提供了一种系统。系统包括肤色预测单元和所预测的肤色单元。肤色预测单元包括计算电路系统，该计算电路系统被配置为使用一个或多个卷积神经网络图像分类器生成图像中的面部的肤色的逐像素预测分数。所预测的肤色单元包括计算电路系统，该计算电路系统被配置为响应于基于面部的肤色的预测分数的一个或多个输入来生成用户的所预测的肤色的虚拟显示。
附图说明
8.通过参考结合附图进行的以下详细描述，本发明的前述方面和许多伴随的优点将变得更容易理解，其中：
9.图1是根据本公开的各个方面的使用至少一个机器学习模型来生成肤色的自动估计的系统的非限制性示例实施例的示意图；
10.图2是示出根据本公开的各个方面的移动计算设备和肤色确定设备的非限制性示例实施例的框图；
11.图3是示出了根据本公开的各个方面训练机器学习模型以估计图像中的面部的肤色的方法的非限制性示例实施例的流程图；
12.图4是示出根据本公开的各个方面的包括面部的图像的标准化的非限制性示例实
施例的示意图；
13.图5是示出根据本公开的各个方面的使用机器学习模型来估计图像中面部的肤色的方法的非限制性示例实施例的流程图；以及
14.图6是示出适合用作本公开的计算设备的示例性计算设备的各方面的框图。
具体实施方式
15.在线购买产品(包括通过移动计算设备)是消费者浏览和获取产品的便捷方式。除了在点击鼠标或轻击手指时使得较大的商品目录可获取之外，还存在各种技术来基于他们感兴趣的其他产品、他们的购买历史、他们对其他产品的评论、其他购物者的购买历史和评论等为在线购物者提供对他们可能感兴趣的产品的广泛推荐。
16.然而，存在对于其亲身体验难以被在线互动所取代的某些类型的产品。例如，诸如粉底或者其他化妆品的美容产品难以在线浏览，并且难以以自动的方式进行推荐。这主要是因为消费者推荐最相关的基础的特性——面部肤色——难以以自动化的方式进行估计。即使捕获了消费者的图像或视频，由于来自不受控制的环境的图像的处理中的技术缺陷，这个图像当前也不能用于可靠地确定肤色。位置之间不一致的光照条件将导致在不同位置的图像或视频中再现不同的颜色，并且因此所确定的肤色将基于光照条件而不同。所期望的是能够克服这些技术限制的技术，以便准确地估计图像中的肤色，而不管光照条件如何。
17.在本公开的一些实施例中，一个或多个机器学习模型被训练成精确地估计一个或多个图像中的肤色，而不管光照条件如何。在一些实施例中，模型然后可以用于估计新图像中的肤色，并且这个所估计的肤色可以用于各种目的。例如，肤色可以用于生成与肤色精确匹配的粉底色号的推荐，或与所估计的肤色互补的另一化妆产品的推荐。因此，消除了对亲身测试产品的需要，并且在线购物体验的益处可以扩展到严重依赖颜色匹配的这些新产品。
18.图1是根据本公开的各个方面的使用至少一个机器学习模型来生成肤色的自动估计的系统的非限制性示例实施例的示意图。如图所示，用户90具有移动计算设备102。用户90利用移动计算设备102捕获他们的面部的图像。用户90可以在任何位置，因此在其下捕获图像的光照条件可能是未知的。移动计算设备90将图像传输到肤色确定设备104。肤色确定设备104使用一个或多个机器学习模型106来基于图像确定肤色108。然后，肤色108可以用于推荐将补充肤色108或以其他方式适合肤色108的一种或多种产品110。
19.在一些实施例中，移动计算设备90可以向肤色确定设备104传输多于一个图像。在一些实施例中，可以通过捕获视频而不是单独的图像来捕获多个图像，并且可以通过在捕获视频的同时移动移动计算设备102来改变光照条件。例如，用户90可以将移动计算设备102配置成使用前置相机(也称为“自拍”相机)来捕获视频，并且可以在将移动计算设备102保持在“自拍”位置的同时旋转，以便改变所经历的光照条件。通过在不同的光照条件下提供多个图像，机器学习模型106可以用于生成多个肤色108确定，然后可以对其进行平均或以其他方式组合，以提高确定的准确性。
20.图2是示出根据本公开的各个方面的移动计算设备和肤色确定设备的非限制性示例实施例的框图。如上所讨论的那样，移动计算设备102用于捕获用户90的图像，并且移动计算设备102将该图像传输到肤色确定设备104，用于确定用户90的肤色。移动计算设备102
和肤色确定设备104可以使用任何合适的通信技术进行通信，诸如无线通信技术(包括但不限于wi-fi、wi-max、蓝牙、2g、3g、4g、5g和lte)或者有线通信技术(包括但不限于以太网、firewire和usb)。在一些实施例中，移动计算设备102和肤色确定设备104之间的通信可以至少部分地通过互联网进行。
21.在一些实施例中，移动计算设备102是智能手机、平板计算设备或至少具有所示的部件的另一计算设备。在所示的实施例中，移动计算设备102包括相机202、数据收集引擎204和用户界面引擎206。在一些实施例中，相机202被配置成捕获图像。在一些实施例中，移动计算设备102可以包括多个相机，包括但不限于前置相机和后置相机。在一些实施例中，前置相机(即，位于移动计算设备102的与移动计算设备102的显示器相同的面上的相机)可以用作用于捕获图像的相机202。
22.在一些实施例中，数据收集引擎204被配置成使用相机202来捕获用户90的图像，并且还可以被配置成捕获用于训练机器学习模型106的训练图像。在一些实施例中，用户界面引擎206被配置为呈现用于为训练对象收集肤色信息的用户界面。
23.在一些实施例中，肤色确定设备104是桌面计算设备、服务器计算设备、云计算设备或提供所示出的部件的另一计算设备。在所示的实施例中，肤色确定设备104包括训练引擎208、肤色确定引擎210、图像标准化引擎212、产品推荐引擎214。一般来说，如本文所用的术语“引擎”指的是可以以编程语言(诸如c、c 、cobol、java、php、perl、html、css、javascript、vbscript、aspx、microsoft.net
tm
等)编写的硬件或软件指令实现的逻辑。引擎可以被编译成可执行程序或者以经解释的编程语言编写。软件引擎可以从其他引擎或它们自身调用。一般而言，本文描述的引擎指的是可以与其他引擎合并或者可以被分成子引擎的逻辑模块。引擎可以存储在任何类型的计算机可读介质或计算机存储设备中，并且可以被存储在一个或多个通用计算机上并由其执行，从而创建被配置为提供引擎或其功能的专用计算机。
24.如所示出的那样，肤色确定设备104还包括训练数据存储装置216、模型数据存储装置218和产品数据存储装置220。如本领域普通技术人员所理解的，本文描述的“数据存储装置”可以是被配置为存储数据以供计算设备访问的任何合适的设备。数据存储装置的一个示例是在一个或多个计算设备上执行并可通过高速网络访问的高度可靠的高速关系数据库管理系统(database management system，dbms)。数据存储装置的另一示例是键值存储装置。然而，可以使用能够响应于查询快速且可靠地提供所存储的数据的任何其他合适的存储技术和/或设备，并且计算设备可以是本地(而不是通过网络)可访问的，或者可以被提供作为基于云的服务。数据存储装置还可以包括以有组织的方式存储在计算机可读存储介质上的数据，如下面进一步描述的那样。本领域的普通技术人员可认识到，在不脱离本公开的范围的情况下，本文描述的分离的数据存储装置可以被组合成单个数据存储装置，和/或本文描述的单个数据存储装置可以被分离成多个数据存储装置。
25.在一些实施例中，训练引擎208被配置为访问存储在训练数据存储装置216中的训练数据，并使用该训练数据来生成一个或多个机器学习模型。训练引擎208可以将所生成的机器学习模型存储在模型数据存储装置218中。在一些实施例中，肤色确定引擎210被配置成使用存储在模型数据存储装置218中的一个或多个机器学习模型来处理图像，以便估计图像中描绘的肤色。在一些实施例中，图像标准化引擎212被配置为在图像被提供给训练引
擎208或肤色确定引擎210之前对这些图像进行预处理，以便提高所做出的确定的准确性。在一些实施例中，产品推荐引擎214被配置为基于确定的肤色推荐存储在产品数据存储装置220中的一个或多个产品。
26.尽管图2示出了移动计算设备102或肤色确定设备104提供的各种部件，但是在一些实施例中，部件的布局可以不同。例如，在一些实施例中，肤色确定引擎210和模型数据存储装置218可以存在于移动计算设备102上，使得移动计算设备102可以确定相机202捕获的图像中的肤色，而无需将图像传输到肤色确定设备104。作为另一示例，在一些实施例中，所有部件可以由单个计算设备提供。作为又一示例，在一些实施例中，多个计算设备可以一起工作来提供被示为肤色确定设备104提供的功能。
27.图3是示出了根据本公开的各个方面训练机器学习模型以估计图像中的面部的肤色的方法的非限制性示例实施例的流程图。在方法300中，收集一组训练数据，并且肤色确定设备104使用该训练数据来生成一个或多个机器学习模型，该一个或多个机器学习模型然后可以用于尽管在不受控制的光照条件下也估计图像中的肤色。
28.在框302，移动计算设备102的用户界面引擎206接收训练对象的肤色信息。这个肤色信息被用作将被捕获的训练对象的图像的地面真值或标记信息。在一些实施例中，用户界面引擎206呈现允许用户输入肤色信息的界面。在一些实施例中，肤色信息可以用户使用用于确定肤色的行业标准技术来收集，诸如与色表或由分光光度计确定的值进行比较。在一些实施例中，代替使用用户界面，肤色信息可以从诸如分光光度计的设备电子地收集。在一些实施例中，图像的一部分可以描绘颜色参考表。在这样的实施例中，基于颜色参考表的描绘对图像应用颜色校正可以允许根据图像本身确定肤色信息。
29.在框304，移动计算设备102的数据收集引擎204使用移动计算设备102的相机202来捕获训练对象的一个或多个训练图像。在一些实施例中，由训练对象持有的移动计算设备102的前置相机202可以用于捕获训练图像。在一些实施例中，可以在不同的光照条件下收集训练图像。在一些实施例中，训练图像可以是单独的图像。在一些实施例中，可以通过利用相机202记录视频来收集多个训练图像。在一些实施例中，可以通过让训练对象在记录视频的同时移动来改变光照条件(诸如以圆圈的形式进行旋转)。然后可以通过从视频中提取各个帧来生成多个训练图像。捕获视频以便生成多个训练图像可能是有益的，至少因为其将大大提高在不同光照条件下生成大量训练数据的效率。
30.在框306，数据收集引擎204将肤色信息和一个或多个训练图像传输到肤色确定设备104。如上所讨论的那样，可以使用任何合适的有线或无线通信技术进行传输。在框308，肤色确定设备104的训练引擎208将训练对象的肤色信息存储在训练数据存储装置216中。肤色信息可以用作指示训练图像的处理的期望结果的标记数据。
31.在框310，肤色确定设备104的图像标准化引擎212对一个或多个训练图像进行标准化，并将标准化的一个或多个训练图像存储在训练数据存储装置216中。在一些实施例中，训练图像的标准化是可选的，并且方法300的剩余部分可以对原始的、未标准化的训练图像进行操作。在一些实施例中，一个或多个训练图像的标准化可以帮助提高机器学习模型的准确性。
32.图4是示出根据本公开的各个方面的包括面部的图像的标准化的非限制性示例实施例的示意图。如所示出的那样，移动计算设备102已经捕获了训练对象的图像402，并且正
在移动计算设备102的显示设备上呈现图像402。图像402包括仅占据整个图像402一小部分的偏心面。由此，可能难以训练机器学习模型来基于图像402估计肤色。可能期望减少图像中的非面部区域的量，并将图像的面部区域放置在一致的位置。
33.在第一标准化动作404中，图像标准化引擎212使用面部检测算法来检测图像404的描绘面部的部分。图像标准化引擎212可以使用面部检测算法来找到包括面部的边界框406。在第二标准化动作408中，图像标准化引擎212可以改变图像408以使边界框406在图像408内居中。在第三标准化动作410中，图像标准化引擎212可以缩放图像410，以使边界框406在图像410内尽可能大。通过执行标准化动作，图像标准化引擎212可以减少多个图像之间的布局和尺寸方面的差异，并且因此可以提高机器学习模型的训练和准确性。在一些实施例中，可以发生不同的标准化动作。例如，在一些实施例中，图像标准化引擎212可以将图像裁剪到边界框406，而不是对边界框406进行居中和缩放。作为另一示例，在一些实施例中，图像标准化引擎212可以减少或增加位深度，或者可以对图像的像素进行欠采样或过采样，以便匹配由不同相机202或不同移动计算设备102收集的其他图像。
34.回到图3，在判定框312，关于是否要收集更多的训练数据进行确定。这个确定可以基于管理员认为足以训练机器学习模型的预定阈值量的训练数据。如果确定要收集更多的训练数据，则判定框312的结果是“是”，并且方法300返回到框302以收集新训练对象的训练数据。否则，如果已经收集了足够的训练数据，则判定框312的结果为否。
35.在框314，训练引擎208使用存储在训练数据存储中的肤色信息和标准化的训练图像来训练一个或多个机器学习模型。在一些实施例中，第一机器学习模型可以被训练成将标准化的训练图像作为输入并输出估计的照明颜色，并且第二机器学习模型可以被训练成将标准化的训练图像和估计的照明颜色作为输入并输出估计的肤色。在一些实施例中，可以训练单个机器学习模型，以将标准化的训练图像作为输入，并输出估计的肤色。使用第一机器学习模型和第二机器学习模型可能是有益的，因为估计的照明颜色可以用于校正图像的所呈现的颜色或检测图像中其他对象的颜色，而使用单个机器学习模型在减少训练时间和复杂性方面可能是有益的。在一些实施例中，机器学习模型可以是神经网络，包括但不限于前馈神经网络、卷积神经网络和递归神经网络。在一些实施例中，可以使用任何合适的训练技术，包括但不限于梯度下降(包括但不限于随机、批量和小批量梯度下降)。
36.在框316，训练引擎208将一个或多个机器学习模型存储在模型数据存储装置218中。在一些实施例中，模型数据存储装置218的部分可以存在于移动计算设备102或另一设备上，在这种情况下，训练引擎208可以将一个或多个机器学习模型传输到保存模型数据存储装置218的部分的其他设备。
37.图5是示出根据本公开的各个方面的使用机器学习模型来估计图像中面部的肤色的方法的非限制性示例实施例的流程图。在方法500中，肤色确定设备104使用上面讨论的方法300生成的一个或多个机器学习模型，以便估计实况对象的图像中的肤色。在方法500中，对象被称为“实况对象”，以便将对象与方法300中分析的训练对象区分开来。虽然对于训练对象可以获得地面真值肤色信息，但对于实况对象不可获得这种信息。
38.在框502，移动计算设备102的数据收集引擎204使用移动计算设备102的相机202来捕获实况对象的一个或多个图像。类似的技术可以用于捕获实况对象的一个或多个图像(如在框304处用于捕获训练对象的一个或多个图像那样)，诸如捕获单个图像或捕获视频
并从视频的帧中提取图像。
39.在一些实施例中，移动计算设备102和相机202可以匹配在方法300的框304处使用的移动计算设备102和/或相机202的类型。例如，框304的移动计算设备可以是iphone 6，以及框304的相机可以是iphone 6的前置相机，而框502的移动计算设备可以是相同或不同的iphone 6，并且框502的相机还可以是前置相机。在一些实施例中，标准化步骤和机器学习模型可以针对用于收集训练数据和实况对象的图像的移动计算设备102和相机202的模型进行定制。在一些实施例中，在框304可以使用与框502不同类型的移动计算设备102和/或相机202，并且在标准化期间可以最小化所捕获的图像之间的差异。
40.在框504，数据收集引擎204将实况对象的一个或多个图像传输到肤色确定设备104。如上述内容，数据收集引擎204可以使用任何合适的有线或无线通信技术将图像传输到肤色确定设备104。
41.在框506，图像标准化引擎212标准化实况对象的一个或多个图像。在一些实施例中，实况对象的图像的标准化与在框310对训练对象的图像执行的标准化相匹配。作为非限制性示例，图4中示出的动作可以以与应用于训练对象的图像的动作相匹配的方式应用于实况对象的图像。
42.在框508，肤色确定设备104的肤色确定引擎210使用实况对象的标准化的一个或多个图像和一个或多个机器学习模型来确定实况对象的肤色。在一些实施例中，实况对象的标准化的一个或多个图像作为输入被提供给第一机器学习模型以估计照明颜色，并且然后实况对象的标准化的一个或多个图像和照明颜色作为输入被提供给第二机器学习模型以估计肤色。在一些实施例中，实况对象的标准化的一个或多个图像作为输入被提供给直接估计肤色的单个机器学习模型。在一些实施例中，可以一次将多个标准化的图像作为输入提供给单个机器学习模型(或提供给第一机器学习模型，并且然后提供给第二机器学习模型)。在一些实施例中，可以一次一个地分析标准化的图像，并且可以对标准化的图像的所估计的肤色进行平均化或以其他方式进行组合，以生成最终的肤色确定。在一些实施例中，实况对象的图像可以由机器学习模型处理，而无需标准化。
43.在框510，肤色确定引擎210将肤色传输到移动计算设备102。在一些实施例中，用户界面引擎206可以向用户呈现与肤色相关联的名称或值。在一些实施例中，用户界面引擎206可以重新创建颜色以便在移动计算设备102的显示器上呈现给用户。
44.在框512，肤色确定设备104的产品推荐引擎214基于肤色确定要推荐的一个或多个产品。在框514，产品推荐引擎214将一个或多个产品传输到移动计算设备102。用户界面引擎206然后可以向用户呈现产品，并且可以允许用户购买或以其他方式获得产品。
45.在一些实施例中，产品推荐引擎214可以确定产品数据存储装置220中的匹配所确定的肤色的一个或多个产品。这对于诸如粉底的旨在匹配用户肤色的产品可能特别有用。在一些实施例中，产品推荐引擎214可以确定产品数据存储装置220中的补充肤色但不匹配肤色的一个或多个产品。这对于诸如眼影或唇色的其中不太期望精确匹配肤色的产品可能特别有用。在一些实施例中，产品推荐引擎214可以使用分离的机器学习模型(诸如推荐系统)，来基于具有相匹配或相似肤色的其他用户偏好的产品从产品数据存储装置220中确定产品。在一些实施例中，如果现有产品与肤色不匹配，则产品推荐引擎214可以确定用于创建将与肤色匹配的产品的成分，并且可以将这些成分提供给用于创建将与肤色匹配的定制
产品的合成系统。
46.图6是示出适合用作本公开的计算设备的示例性计算设备600的各方面的框图。虽然上面讨论了多种不同类型的计算设备，但是示例性计算设备600描述了许多不同类型的计算设备所共有的各种元素。虽然图6是参考被实施为网络上的设备的计算设备来描述的，但是以下描述适用于服务器、个人计算机、移动电话、智能电话、平板计算机、嵌入式计算设备以及可以用于实施本公开的实施例的各部分的其他设备。而且，本领域的普通技术人员和其他人将认识到，计算设备600可以是任何数量的当前可用或尚待开发的设备中的任何一个。
47.在其最基本的配置中，计算设备600包括由通信总线606连接的至少一个处理器602和系统存储器604。取决于设备的确切配置和类型，系统存储器604可以是易失性或非易失性存储器，诸如只读存储器(“rom”)、随机存取存储器(“ram”)、eeprom、闪存或类似的存储器技术。本领域普通技术人员和其他人将认识到，系统存储器604通常存储处理器602可立即访问和/或由存储处理器602当前正在操作的数据和/或程序模块。在这点上，处理器602可以通过支持指令的执行来充当计算设备600的计算中心。
48.如图6中进一步示出的那样，计算设备600可以包括网络接口610，该网络接口包括用于通过网络与其他设备通信的一个或多个部件。本公开的实施例可以访问利用网络接口610来使用公共网络协议执行通信的基本服务。网络接口610还可以包括无线网络接口，该无线网络接口被配置为经由一个或多个无线通信协议(诸如wifi、2g、3g、lte、wimax、蓝牙、蓝牙低能量等)进行通信。如本领域普通技术人员将会理解的那样，图6中示出的网络接口610可以表示上面关于系统100的特定部件描述和示出的一个或多个无线接口或物理通信接口。
49.在图6中示出的示例性实施例中，计算设备600还包括存储介质608。然而，可以使用不包括用于将数据持久存储到本地存储介质的装置的计算设备来访问服务。因此，图6中描绘的存储介质608利用虚线表示，以指示存储介质608是可选的。在任何情况下，存储介质608可以是易失性或非易失性的、可移除的或不可移除的、使用能够存储信息的任何技术来实施，诸如但不限于硬盘驱动器、固态驱动器、cd rom、dvd或其他磁盘存储装置、盒式磁带、磁带、磁盘存储装置等。
50.如本文所用，术语“计算机可读介质”包括以能够存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实施的易失性和非易失性以及可移除和不可移除介质。在这点上，图6中描绘的系统存储器604和存储介质608仅仅是计算机-可读介质的示例。
51.包括处理器602、系统存储器604、通信总线606、存储介质608和网络接口610的计算设备的合适实施方式是已知的并且是商业上可获得的。为了便于说明，并且因为理解所要求保护的主题并不重要，所以图6没有示出许多计算设备的典型部件中的一些。在这点上，计算设备600可以包括输入设备，诸如键盘、小键盘、鼠标、麦克风、触摸输入设备、触摸屏、平板电脑等。这种输入设备可以通过有线或无线连接(包括rf、红外、串行、并行、蓝牙、蓝牙低能量、usb或使用无线或物理连接的其他合适的连接协议)耦接到计算设备600。类似地，计算设备600还可以包括输出设备，诸如显示器、扬声器、打印机等。由于这些设备在本领域中是众所周知的，因此本文中不进一步对它们进行说明或描述。
52.虽然已经示出和描述了说明性实施例，但是应当理解的是，在不脱离本发明的精神和范围的情况下，可以对其进行各种改变。例如，虽然上述实施例训练并使用模型来估计肤色，但是在一些实施例中，可以估计除肤色之外的皮肤特征。例如，在一些实施例中，一个或多个机器学习模型可以被训练成使用类似于上面关于肤色讨论的那些技术来估计菲茨帕特里克皮肤类型，并且这样的模型然后可以被用于估计实况对象的图像的菲茨帕特里克皮肤类型。
53.进一步，尽管上述实施例训练并使用估计图像中描绘的整个面部的肤色的模型，但是在一些实施例中，一个或多个卷积神经网络图像分类器可以被训练并用于生成图像中的面部的肤色的逐像素预测分数。这样的实施例可以包括一种系统，该系统包括：肤色预测单元，该肤色预测单元包括计算电路系统，该计算电路系统被配置为使用一个或多个卷积神经网络图像分类器来生成逐像素预测分数；以及所预测的肤色单元，该所预测的肤色单元包括计算电路系统，该计算电路系统被配置为响应于基于面部的肤色的预测分数的一个或多个输入来生成用户的所预测的肤色的虚拟显示。