所捕获图像的改善的面部质量的制作方法

所捕获图像的改善的面部质量


背景技术：

1.本文所公开的主题涉及数字成像领域，并且不限于用于改善所捕获图像的面部质量的技术。
2.数字成像系统(诸如视频或静态成像相机)能够在相对短的时间段内捕获大量图像。相机越来越多地能够每秒捕获几十或甚至几百个图像。图像捕获也可在其他用户交互之前或之后发生。例如，可在相机活动但尚未按下(或刚刚释放)捕获按钮时捕获图像，以便补偿用户过晚(或过快)按下捕获按钮。
3.在许多情况下，用户可能仅想要保留单个图像或这些图像的相对较小的子集。用于从图像序列(诸如视频剪辑或图像突发)中选择图像的现有技术包括使用面部检测、表情检测和/或运动检测。然而，此类技术可能不是最适用于捕获具有人脸的高质量表示的全范围图像。例如，先前的具体实施已经尝试使用面部和表情检测来定位面部，然后检测这些面部上的微笑或其他类似表情，以便捕获或选择图像。然而，微笑面部不足以限定用户可能想要捕获的面部图像的范围。与例如以某种方式观看、具有某种表情或以视觉上令人愉悦的方式呈现(或构成)的面部等的人相比，用户可能对人微笑的图像不太感兴趣。因此，期望用于基于总体面部质量或“图片价值”来检测和捕获图像的技术。


技术实现要素：

4.本公开整体涉及图像处理领域。更具体地但非限制性地，本公开的各方面涉及用于图像处理的计算机实现的方法。在一些实施方案中，该方法包括：获得图像序列；检测图像序列中的一个或多个图像中的第一面部；确定具有检测到的第一面部的图像序列中的一个或多个图像中的每个图像中的检测到的第一面部的第一位置；基于检测到的第一面部在图像序列中的每个图像中的第一位置生成热图；确定具有检测到的第一面部的图像序列中的一个或多个图像中的每个图像的检测到的第一面部的面部质量分数；至少部分地基于该面部质量分数和所生成的热图来确定检测到的第一面部的峰值面部质量分数；以及选择图像序列中的对应于检测到的第一面部的峰值面部质量分数的第一图像。
5.本公开的各方面涉及基于图像序列中的图像内的面部的相对位置和质量(例如，就“图片价值”而言)来选择图像。面部的相对位置可基于时间热图来确定，该时间热图累积图像序列上的一个或多个面部的热图值。热图形式的这种累积可用于帮助不再强调瞬态面部，即在相对长的时间段内不存在于图像序列中的面部，这可能不太可能是图像的期望对象，从而允许选择用户更可能期望的图像，即，包括存在于图像序列中的较大部分中的面部的照片。
6.如上所述，可使用人工智能(ai)技术(诸如机器学习或深度学习)来评估在图像序列中的图像中检测到的面部的“图片质量”，以生成面部质量分数。热图值可用于进一步加权或缩放面部质量分数，例如，基于给定面部在图像序列上的时间流行率。面部识别还可用于进一步加权或缩放面部质量分数，例如，基于所识别的面部和图像所有者的紧密相关程度。
7.然后可基于所得的面部质量分数(即，包括任何期望的加权方案)来选择来自图像序列中的图像。本文所公开的图像选择方法还可用于实现成像设备的“无快门”模式，例如允许成像设备确定例如在开放式或预定时间间隔内自动捕获图像(即，无需用户干预)的最佳时刻。图像选择可应用于单人图像或多人图像。在某些情况下，意图分类器可用于基于图像可能反映单人图像和/或多人群组图像的“图片价值”版本的程度来对图像进行评级。
8.在其他实施方案中，上述的每一个方法及其变型形式都可被实施为一系列计算机可执行指令。此类指令可以使用任何一种或多种方便的编程语言。此类指令可以被收集到引擎和/或程序中，并且可以被存储在计算机系统或其他可编程控制设备可读和可执行的任何介质中。在其他实施方案中，此类指令可由电子设备(例如，图像捕获设备)实施，该电子设备包括存储器、一个或多个图像捕获设备以及可操作地耦接到存储器的一个或多个处理器，其中一个或多个处理器被配置为执行指令。
附图说明
9.图1示出了根据本公开的各方面的示例性肖像图像序列。
10.图2示出了根据本公开的各方面的图像序列的热图的示例性可视化。
11.图3a至图3b是根据本公开的各方面的面部质量分数的示例性曲线图。
12.图4是示出根据本公开的各方面的用于改善所捕获图像400的面部质量的技术的流程图。
13.图5是根据本公开的各方面的图像选择模块的框图。
14.图6示出了根据一个实施方案的可编程电子设备的功能框图。
具体实施方式
15.本公开涉及用于改善数字成像系统的操作的系统、方法和计算机可读介质。更具体地讲，本公开的各方面涉及基于图像序列的图像内的面部的相对位置和质量来改善对图像序列中的图像的选择。
16.一般来讲，从图像序列中选择图像既可用于捕获后处理，也可用于处理由成像设备观察到的图像。例如，该处理可帮助识别图像序列的最佳或最具视觉吸引力的图像或一组图像。在捕获后情况下，图像序列可由成像设备捕获，处理所得图像，并且从图像序列中选择图像。这些所选择的图像可以呈现给用户，用于索引、为图像序列创建摘要、缩略图、幻灯片、从中选择最喜欢的图像等。在处理正在观察的图像的情况下，可以处理图像序列以选择要存储的图像(例如，用户可能感兴趣的图像)而无需用户交互，例如通过按下快门或捕获按钮。在某些情况下，选择要存储的图像可以选择何时开始存储一组图像或视频序列。例如，图像序列可以在它们被成像设备观察到时被处理，并且基于所选择的图像存储图像集。这些图像集可以基于所选择的图像，并且图像集可以在所选择的图像之前、所选择的图像处或所选择的图像之后的时间点开始。
17.对于特定图像序列，场景分类器还可用于确定图像序列是肖像图像序列，而不是例如捕捉动作场景的动作图像序列、风景图像序列或一些其他相关图像序列。对于肖像图像，不是查看图像的特定预定义属性，诸如对比度、颜色、曝光、构图、微笑的存在等，而是可基于由人工智能系统确定的总体面部质量分数来捕获肖像图像，诸如经过训练以识别包括
人脸的高质量或视觉上令人愉悦的图像的机器学习模型或深度学习模型，其考虑到所检测的面部出现的环境。例如，拍摄具有特定背景的自拍的用户可将其自身定位在帧内并稳定相机。然后另一个人可以穿过帧。考虑到这样的图像序列，用户可能主要对在图像序列内一致出现的人感兴趣。为一致地出现在图像序列内的人(并且在一些情况下，可特别地为用户所知(例如，如经由诸如面部识别的技术所确定)的人)优先考虑面部质量可用于帮助选择用户将从图像序列中感知为更相关和更高质量的图像。
18.在以下描述中，为了解释的目的，阐述了很多具体细节以便提供对所公开构思的彻底理解。作为该描述的一部分，本公开的附图中的一些附图以框图形式表示结构和设备，以避免模糊所公开构思的新颖方面。为了清晰起见，未对实际的具体实施的所有特征进行描述。此外，本公开中所使用的语言主要是为了可读性和指导性目的而选择的，并且可能并未被选择为描述或限定要求保护的主题，从而可能必需凭借权利要求来确定此类要求保护的主题。在本公开中提到“一个实施方案”或“实施方案”意指结合该实施方案所述的特定特征、结构或特性被包括在所公开主题的至少一个实施方案中，并且多次提到“一个实施方案”或“实施方案”不应被理解为必然地全部涉及相同的实施方案。
19.应当理解，在任何实际具体实施的开发中(如在任何软件和/或硬件开发项目中那样)，必须要作出许多决策以实现开发者的特定目标(例如，符合与系统和商务相关的约束条件)，并且这些目标在不同具体实施之间可能是不同的。还应当理解，此类开发努力可能是复杂且耗时的，但是尽管如此，对于受益于本公开的以及设计和实施图形处理器接口软件或图形处理系统的普通技术人员而言会是一项常规任务。
20.肖像图像序列在图像序列的图像内包含一个或多个面部。现在参见图1，其示出了根据本公开的各方面的示例性肖像图像序列100。该示例性肖像图像序列100包括四个图像102a-102d(统称102)。虽然该肖像图像序列100包括四个图像，但应当理解，其他肖像图像序列可包括至少两个图像。在该示例中，肖像图像序列100包括预期对象104，其相对于肖像图像序列100的图像帧在很大程度上保持静止。肖像图像序列100还包括第二人106进入图像102a中的帧，移动穿过图像102b中的帧，以及离开图像102c中的帧。肖像图像序列100还包括非人类对象，诸如灌木108。在某些情况下，肖像图像序列可以包括来自相机的实时或接近实时的图像序列，并且可以存储从图像序列中选择的图像，并且所选择的图像用于将图像序列表示为缩略图或显示给用户的图像。未选择的图像可被丢弃，或也可被存储。例如，可存储图像序列中的所有图像，或存储所选择的图像。在某些情况下，可存储所选择的图像之前、之后或之前和之后的多个图像或多个秒数的图像。在某些情况下，图像序列可在某个事件被成像设备检测到之后开始。例如，可以在成像设备上触发快门释放或者可以将成像设备切换到特定模式。在某些情况下，来自成像设备的另一个传感器或处理的输入可用于开始图像序列。例如，图像序列可基于来自陀螺仪或加速度计的输入而开始，该输入指示成像设备已被稳定、保持在特定姿势等。根据本公开的各方面，面部检测和/或识别可用于跟踪和/或识别存在于所捕获场景中的面部。
21.一般来讲，图像序列中的面部中的至少一者是肖像图像序列的目标对象。可对图像序列的图像执行面部检测和跟踪以定位和跟踪图像中的面部。可经由任何已知的技术(诸如基于模型的匹配、低级特征分类器、深度学习等)在图像中检测和跟踪面部。一般来讲，可检测面部，并且可使用来自检测到的面部的位置信息来生成关于检测到的面部在整
个图像序列上的位置的热图。在某些情况下，可跟踪检测到的面部，使得在整个图像序列中从一个帧到下一个帧跟踪特定人员的面部。在某些情况下，面部可以被辨别或识别，例如，通过将检测到的面部与用户已知的人的面部进行匹配并且跨图像序列的帧进行跟踪。
22.图2示出了根据本公开的各方面的图像序列的热图200的示例性可视化。应当理解，图2的热图200是存储器内对象(诸如数据对象)的视觉表示，并且可以不被用户或程序显示或访问。一般来讲，热图将图像序列的帧内检测到的面部的位置绘制成单个图。在图像序列表示来自成像设备的实时图像的情况下，可在图像序列的图像到达时累积热图绘制。在某些情况下，可忽略图像中未被检测为面部的对象。在热图200中，特定的检测到的面部在图像序列中的图像帧的区域中出现的频率越高，热图的区域越暗。在该示例中，与图1的预期对象104对应的热图200的第一区域202看起来比与图1的第二人106对应的热图200的第二区域204更暗，因为预期对象104比第二人106在图像序列的更多图像上出现在帧的相同区域中。
23.一般来讲，肖像图像序列的对象往往不会在图像序列的图像上表现出大量的相对于帧的预期运动。即，在最初稳定或构图预期对象的肖像类型照片之外，预期对象倾向于保持静止并且通常不会在图像序列中的图像帧周围大范围移动。因此，可基于检测到的面部在由热图指示的帧内的相对运动来评估检测到的面部。例如，保持相对一致地跨帧定位的检测到的面部(对应于热图200的较暗区域)可能更可能与用户相关，并且比围绕帧在图像序列上移动的检测到的面部价值更高。在某些情况下，该热图值也可作为检测到的面部的尺寸的函数来调整，其中较大的检测到的面部通常可能价值更高。该尺寸函数可基于与其他检测到的面部相比的绝对尺寸或相对尺寸。该热图评估有助于将图像序列的预期对象与例如路人或背景中的人区分开。
24.根据本公开的各方面，热图值可与检测到的面部的面部质量分数结合使用。例如，热图值可用于确定是否针对特定的检测到的面部获得面部质量分数。又如，热图值可用作应用于相应检测到的面部的面部质量分数的权重。检测到的面部的这些热图值可以是绝对值或相对于另一个检测到的面部分配。在此类情况下，可设置阈值或相对热图值，使得在获得该检测到的面部的面部质量分数之前，检测到的面部应出现在最小数量的帧中的相对类似的位置中。对于检测到的面部在图像中的位置，随着检测到的面部保持在该位置，与检测到的面部的位置相关联的热图值递增。在某些情况下，热图值可与检测到的和跟踪到的面部相关联，并且可为每个跟踪到的面部创建单独的热图。
25.该热图值跨图像序列的图像聚合。如果检测到的面部保持在足以使热图值超过阈值热图值的特定位置，则可获得检测到的面部的面部质量分数。在某些情况下，该阈值可相对于与图像序列中的其他检测到的面部相关联的热图值。热图值阈值可以通过过滤掉不太可能成为图像序列对象的面部(例如，由于它们在图像序列的持续时间内仅短暂出现)来帮助增强性能，使得面部质量分析可聚焦于更可能与用户相关的检测到的面部。在其他情况下，还可结合热图使用其他标准来确定是否针对特定面部执行面部质量分析，诸如例如面部尺寸、由面部检测器确定的置信度分数、来自面部识别器的关于面部是否可能被用户知道的置信度分数等。
26.在某些情况下，热图值也可以作为确定面部质量分数相关性的一部分进行评估。例如，热图值可用作应用于相应检测到的面部的面部质量分数的权重。作为更详细的示例，
检测到的面部保持在帧的特定位置越长，与该检测到的面部相关联的热图值(以及因此权重)可能越高。返回到结合图2所讨论的示例，热图200的第一区域202出现在跨每个图像的帧的相同区域中，并且可与最大(或接近最大)热图值相关联，例如在0至1的归一化标度上的“1”的权重。然后，围绕帧移动或在较短持续时间内存在的另一个面部可与较低权重相关联。在图2所讨论的示例中，相对于帧移动每个图像的第二区域204可与比第一区域202更低的热图值相关联，诸如.1(在前述0至1的归一化标度上)。可例如通过将来自图像序列的给定图像中每个检测到的面部的面部质量分数乘以它们相应的热图值，来对每个检测到的面部的面部质量分数进行加权。在某些情况下，可基于与至少阈值热图值相关联的检测到的面部的热图值来调整面部质量分数。与不满足阈值热图值的热图值相关联的检测到的面部可被忽略。
27.根据本公开的各方面，可为图像序列中的检测到的面部为其中检测到面部的每个帧分配面部质量分数。在某些情况下，可使用机器学习模型(mlm)分类器来分配面部质量分数。应当理解，mlm可涵盖深度学习和/或神经网络系统。不是根据特定图片质量(诸如颜色、曝光、取景等)训练mlm分类器，而是可以基于面部的总体“图片价值”来整体地训练mlm分类器。例如，mlm分类器可以在人的成对图像上进行训练，注释指示应该保留该对图像中的哪个图像，例如，基于哪张图片总体上对注释器来说在视觉上更令人愉悦。一般来讲，整体评估面部关注面部是否在视觉上有趣或面部整体的美观，而不是尝试评估面部的任何特定方面或一组方面，诸如照明、取景、聚焦、微笑的存在、注视方向等，然后将这些方面组合成分数。也可以使用其他训练方法，但是这些训练方法应该从整体上衡量面部质量，而不是衡量面部质量的各个方面，例如使用检测器检测照明、微笑、折皱、情绪、注视、注意力等。一般来讲，对于给定输入，诸如图像序列的图像中的检测到的面部，mlm分类器机器学习模型输出预测作为置信度分数，该置信度分数指示机器学习模型对输入对应于分类器训练的特定组的置信度。例如，给定经过训练以检测检测到的面部的总体图片价值的mlm分类器，该mlm分类器可输出分数，该分数指示mlm分类器对检测到的面部的图片价值的置信度。该分数可用作给定图像中对应的检测到的面部的面部质量分数。
28.在某些情况下，mlm可基于用户选择的图像进行更新。在某些情况下，这些更新可以是每个用户或每个设备的更新。例如，用户可选择保留除所选择的图像之外的图像。这些图像可用于通过成像设备或通过独立的电子设备(诸如服务器)对机器模型进行附加训练。在一些情况下，这些图像可被标记并上传到存储库以用于训练和创建对机器学习模型的更新。在某些情况下，还可基于附加训练为用户组进行更新。然后可将这些更新应用于成像设备或其他成像设备上的机器学习模型。
29.一旦针对图像序列的图像生成检测到的面部的面部质量分数，就可绘制每个图像的面部质量分数。图3a至图3b是根据本公开的各方面的面部质量分数300的示例性曲线图。可针对图像序列对检测到的面部的面部质量分数进行排序，以选择具有相对最高的对应面部质量分数的图像。例如，图3a的曲线图302绘制了在y轴上检测到的面部和图像序列中的图像i的面部质量分数304，该面部质量分数在x轴上以数字顺序从1-10上升。在某些情况下，可基于与检测到的面部相关联的热图值来调整与检测到的面部相关联的面部质量分数。例如，与相应检测到的面部相关联的热图值可用于在图像选择之前(例如，经由加权过程)调整相应检测到的面部的面部质量分数。可针对图像序列的每个图像中的每个检测到
的面部执行面部质量分数的这种调整。
30.可基于例如滑动窗口内的面部质量分数中的峰值来选择图像。滑动窗口通常从第一图像开始，并且查找n个图像内的面部质量分数中的峰值。滑动窗口然后移位到下一个图像，查找峰值，并且重复直到过程停止。滑动窗口可查找一定数量的图像内的峰值并选择滑动窗口内的最高峰值。
31.作为更详细的示例，曲线图302的滑动窗口可以从查找图像1和2之间的峰值开始，并且如果没有找到，就移动以包括图像3、然后包括图像4等。在滑动窗口移动以包括图像5之后，可检测到峰值306，并且可从曲线图302选择图像4。滑动窗口然后移动到下一个图像，并且一旦滑动窗口到达包括图像6的位置，图像1就不再包括在滑动窗口内。由于已经选择了图像4，因此不再选择图像。随着滑动窗口继续移动，在滑动窗口移动以包括图像8并检测到峰值308之后，可以从曲线图302中选择图像7。滑动窗口可被移动，例如，以在图像在成像设备处被接收时考虑图像。在不利用滑动窗口的某些情况下，所选择的图像可以是图像序列上的最高分数，在这种情况下，可以从曲线图302选择图像7。在其他情况下，可在获得完整的图像序列之后应用峰值检测。在某些情况下，可选择对应于检测到的峰值的图像。在某些情况下，具有最低面部质量分数的图像(例如，基于检测到的面部质量分数中的谷值来识别的面部质量分数)也可被选择为例如候选图像或对比其他所选择的图像。
32.一般来讲，包含已知人的面部的图像可能比包括未知面部的图像更重要。在某些情况下，也可使用面部识别系统来代替面部质量分数或与面部质量分数结合使用。面部识别系统可识别用户已知的面部并帮助对包括用户已知的面部的图像进行优先级排序。面部识别系统可被配置为识别用户已知的面部。例如，面部识别系统可以是在标记图像上训练的mlm分类器，该标记图像包括用户已知的人的面部。这些图像可由用户提供或与用户相关联，诸如通过与用户的数字资产(da)库相关联的元数据网络来提供。用户的da库可以包括与用户相关联的集合中的媒体项目，诸如照片、视频、图像序列等。在某些情况下，面部识别系统可以是单独的mlm分类器，或者另选地，面部质量mlm分类器可被配置为生成面部质量分数和指示特定检测到的面部是与用户相关联还是用户已知的第二分数两者。该第二分数可用于以类似于热图值的方式调整面部质量分数。在某些情况下，面部质量mlm分类器可以被配置为执行这种调整作为生成面部质量分数的一部分。
33.图3b的曲线图310绘制y轴上的第一跟踪检测到的面部312和第二跟踪检测到的面部314以及图像序列中的图像i的面部质量分数，该面部质量分数在x轴上以数字顺序从1-10上升。在图像包括多于一个跟踪检测到的面部的情况下，可确定每个跟踪检测到的面部的面部质量分数，并且可基于例如面部的面部质量分数的检测到的峰值来选择图像。例如，所选择的图像可包括用于多个跟踪检测到的面部的面部质量峰值。在这种情况下，可基于第一跟踪检测到的面部312的面部质量分数中的峰值316与第二跟踪检测到的面部314的面部质量分数中的峰值318重合来选择图像4。在某些情况下，还可以基于第一跟踪检测到的面部312的峰值322与第二跟踪检测到的面部314的峰值320在时间上接近来选择图像6和7。另外，可选择包括用于至少一个跟踪检测到的面部的面部质量峰值的图像。例如，可基于针对第二跟踪检测到的面部314的面部质量分数中的峰值320来选择图像6，并且还可基于针对第一跟踪检测到的面部312的面部质量分数中的峰值322来选择图像7。在某些情况下，可对多个跟踪检测到的面部执行面部识别，并且可部分地基于识别到的人的面部质量分数中
的峰值来将所选择的图像与识别到的人相关联。在某些情况下，图像选择还可基于聚合面部质量分数。例如，可将第一跟踪检测到的面部和第二跟踪检测到的面部的面部质量分数相加，并对聚合面部质量分数执行峰值检测。在某些情况下，除了对跟踪检测到的面部的面部质量分数进行单独加权之外和之后，可执行面部质量分数的这种聚合。
34.如上文结合单个检测到的面部所讨论的，可基于滑动窗口来执行具有多个检测到的面部的图像选择。根据某些方面，较大的人群，诸如3人或更多人，可能导致基于面部质量分数的峰值来选择太多图像。在某些情况下，面部质量分数可例如由一个或多个意图分类器增强。这些意图分类器可以是经训练以检测组意图的mlm分类器。例如，意图分类器可被训练以检测注视方向，以帮助选择其中面部组在相同方向上注视的图像。该方向可以在或可以不在图像捕获设备处，例如，每个人都正在观看特定对象的地方。类似地，可以训练意图分类器以检测动作，诸如指向、跳跃、喘气等。
35.图4是示出根据本公开的各方面的用于改善所捕获图像400的面部质量的技术的流程图。在步骤402处，该技术以首先获得图像序列开始。一般来讲，该图像序列可以静止图像、视频、慢动作图像等的突发的形式从成像设备获得。图像序列中的图像通常按时间排序。在步骤404处，该技术包括检测图像序列中的一个或多个图像中的第一面部。例如，可使用任何已知的面部检测技术在图像序列的一些图像中检测面部。在步骤406处，该技术包括确定具有检测到的第一面部的图像序列中的一个或多个图像中的每个图像中的检测到的第一面部的第一位置。例如，一旦检测到面部，就可确定检测到的面部的位置。在检测到面部的整个图像上跟踪检测到的面部。在步骤408处，该技术包括基于检测到的第一面部在图像序列中的每个图像中的第一位置来生成热图。例如，检测到的面部的位置信息可累积用于图像序列并且用于生成热图，该热图描述了检测到的面部位于何处以及检测到的面部在整个图像序列中出现在帧中特定位置的频率。在步骤410处，该技术包括通过确定具有检测到的第一面部的图像序列中的一个或多个图像中的每个图像的检测到的第一面部的面部质量分数。例如，mlm可用于确定检测到的面部的面部质量分数。mlm可被训练以基于面部的总体图片价值而不是基于面部或图片质量的特定特征来生成面部质量分数。在步骤412处，该技术包括针对检测到的第一面部对一个或多个图像中的每个图像的面部质量分数进行加权。在某些情况下，该权重可基于热图值，该热图值基于检测到的第一面部在每个图像中的位置来确定。例如，在图像序列中的更大数量的图像上出现在图像内(即，相对于图像的整体范围)大致相同的位置中的第一检测到的面部可与比已在图像序列上围绕帧移动或仅偶尔出现的第二检测到的面部更高的热图值相关联。可例如经由加权过程来调整与每个相应检测到的面部相关联的面部质量分数，该加权过程包括将相应面部质量分数与出现相应检测到的面部的图像序列的每个图像的热图值相乘。在某些情况下，面部质量值可另选地(或除此之外)基于面部识别模块对检测到的面部是否是用户已知的(或以其他方式识别的)人的确定进行加权。在步骤414处，该技术包括确定检测到的第一面部的峰值面部质量分数。例如，可聚合所检测到的面部的面部质量分数，并且可检测聚合面部质量分数内的峰值。可在n个图像滑动窗口内执行峰值检测。在步骤416处，该技术包括至少部分地基于面部质量分数和所生成的热图来选择图像序列中对应于检测到的第一面部的峰值面部质量分数的第一图像。例如，可选择与检测到的面部的面部质量分数中检测到的峰值对应的图像。可基于热图值来调整每个图像的面部质量分数。所选择的图像可被保存或用作向用户显示
的图像。在某些情况下，所选择的图像可被保存为所捕获的图像，例如，当以无快门模式捕获图像时，其中图像捕获设备确定何时捕获图像而不是图像捕获设备的用户。可以注意到，可以针对图像序列跟踪多个面部，并且可以例如通过检测图像序列中的一个或多个图像中的第二面部，从图像序列中选择多于单个图像，确定具有检测到的第二面部的一个或多个图像中的每个图像中检测到的第二面部的第二位置，基于检测到的第二面部在图像序列中的每个图像中的第二位置生成热图，确定具有检测到的第二面部的图像序列中的一个或多个图像中的每个图像的检测到的第二面部的第二面部质量分数，至少部分地基于面部质量分数和所生成的热图来确定检测到的第二面部的第二峰值面部质量分数，以及选择与检测到的第二面部的第二峰值面部质量分数对应的第二图像。
36.图5是示出根据本公开的各方面的图像选择模块500的框图。面部检测可由面部检测/识别模块502针对图像序列的每个图像执行，以检测和/或识别在图像内可见的面部。面部检测/识别模块502可检测、跟踪并提供图像内的面部的位置信息。在某些情况下，面部检测/识别模块502可被配置为基于例如与用户的da库相关联的元数据网络来识别检测到的面部。图像选择模块500还可包括热图模块504。该热图指示图像序列内的面部位于图像帧的不同部分处的频率。每个帧中检测到的面部也可由面部评分模块506评估和评分。面部评分模块可包括一个或多个mlm分类器，诸如基于面部的总体“图片价值”训练的前述mlm分类器。每个面部的所得面部分数可由分数跟踪模块508在图像序列上跟踪，并且与热图结合使用以选择图像序列的一个或多个图像。
37.示例性硬件和软件
38.现在参见图6，示出了根据一个实施方案的例示性可编程电子设备600的简化的功能框图。电子设备600可为例如移动电话、个人媒体设备、便携式相机、或平板电脑、笔记本电脑或台式计算机系统。如图所示，电子设备600可包括处理器605、显示器610、用户界面615、图形硬件620、设备传感器625(例如，近距离传感器/环境光传感器、加速度计和/或旋转仪)、麦克风630、音频编解码器635、扬声器640、通信电路645、成像设备650(例如，其可包括具有不同特性或能力(例如，高动态范围(hdr)、光学图像稳定(ois)系统、光学变焦和数字变焦等)的多个相机单元/光学图像传感器)、视频编解码器655、存储器660、存储装置665以及通信总线670。
39.处理器605可执行有必要用于实施或控制由电子设备600所执行的多种功能的操作的指令(例如，根据本文描述的各种实施方案，诸如从图像序列中选择图像)。处理器605可例如驱动显示器610并可从用户界面615接收用户输入。用户界面615可采取多种形式，诸如按钮、小键盘、拨号盘、点击轮、键盘、显示屏和/或触摸屏。用户界面615可以例如是用户可通过其观看捕获的视频流的导线管和/或指示用户想要捕获的特定图像(例如，通过在设备的显示屏上正显示所需图像的时刻点击物理按钮或虚拟按钮)。在一个实施方案中，显示器610可显示在处理器605和/或图形硬件620和/或成像电路同时地生成视频流并将视频流存储在存储器660和/或存储装置665中时其被捕获的视频流。处理器605可以是片上系统诸如存在于移动设备中的那些片上系统，并且可包括一个或多个专用图形处理单元(gpu)。处理器605可基于精简指令集计算机(risc)或复杂指令集计算机(cisc)架构或任何其他合适的架构，并且可包括一个或多个处理内核。图形硬件620可以是用于处理图形和/或辅助处理器605执行计算任务的专用计算硬件。在一个实施方案中，图形硬件620可包括一个或多
个可编程图形处理单元(gpu)。
40.例如，根据本公开，成像设备650可包括一个或多个相机单元，该一个或多个相机单元被配置为捕获图像，例如，可被处理以生成针对此类捕获图像的深度/视差信息的图像。至少部分地通过以下设备可处理来自成像设备650的输出：视频编解码器655和/或处理器605和/或图形硬件620、和/或结合在成像设备650内的专用图像处理单元或图像信号处理器。这样捕获的图像可被存储在存储器660和/或存储装置665中。存储器660可包括由处理器605、图形硬件620和成像设备650使用的一种或多种不同类型的介质以执行设备功能。例如，存储器660可包括存储器高速缓存、只读存储器(rom)和/或随机存取存储器(ram)。存储装置665可存储介质(例如，音频文件、图像文件和视频文件)、计算机程序指令或软件、偏好信息、设备配置文件信息以及任何其他合适的数据。存储装置665可包括一个或多个非暂态存储介质，该一个或多个非暂态存储介质包括例如磁盘(固定硬盘、软盘和可移动磁盘)和磁带、光学介质诸如cd-rom和数字视频光盘(dvd)、以及半导体存储器设备诸如电可编程只读存储器(eprom)、和电可擦除可编程只读存储器(eeprom)。存储器660和存储装置665可用于保持被组织成一个或多个模块并以任何期望的计算机编程语言编写的计算机程序指令或代码。例如，在由处理器605执行时，此类计算机程序代码可实现本文所述的方法或过程中的一种或多种。
41.应当理解，以上描述旨在是示例性的而非限制性的。例如，可从多种成像设备获得图像序列，该成像设备包括但不限于静止成像设备、视频设备、不可见光成像设备等。应当理解，可使用各种技术来检测和定位对象，确定对象的轨迹，并且对所确定的轨迹进行评分。还可调整确定和聚合轨迹得分以应对特定场景。
42.在回顾以上描述时，许多其他实施方案对于本领域的技术人员而言将是显而易见的。因此，应当参考所附权利要求以及赋予此类权利要求的等同形式的完整范围来确定本发明的范围。
43.如上所述，本技术的一个方面是收集和使用可从各种源获得的数据以改善所捕获成像的面部质量和代表性图像的选择。本公开预期，在一些实例中，这些所采集的数据可包括唯一地识别或可用于联系或定位特定人员的个人信息数据。这样的个人信息数据可包括面部图像、人口统计数据、基于位置的数据、电话号码、电子邮件地址、推特id、家庭地址、与用户的健康或健身水平相关的数据或记录(例如，生命体征测量值、用药信息、锻炼信息)、出生日期或任何其他识别信息或个人信息。
44.本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于捕获或选择用户更感兴趣的图像。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可用于向用户的总体健康状况提供见解，或者可用作使用技术来追求健康目标的个人的积极反馈。
45.本公开设想负责采集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，此类实体应当实行并坚持使用被公认为满足或超出对维护个人信息数据的隐私性和安全性的行业或政府要求的隐私政策和实践。此类政策应该能被用户方便地访问，并应随着数据的采集和/或使用变化而被更新。来自用户的个人信息应当被收集用于实体的合法且合理的用途，并且不在这些合法使用之外共享或出售。此外，应在收到用户知情同意后进行此类采集/共享。此外，此类实体应考虑采取任
何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应当调整政策和实践，以便采集和/或访问的特定类型的个人信息数据，并适用于包括管辖范围的具体考虑的适用法律和标准。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(hipaa)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。因此，在每个国家应为不同的个人数据类型保持不同的隐私实践。
46.不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的实施方案。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在面部识别服务或访问用户的da库的情况下，本发明的技术可被配置为在注册服务期间或之后任何时候允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。又如，用户可以选择不访问面部识别服务或不允许访问用户的da库。在此类情况下，本公开设想提供某些服务，诸如面部跟踪，这些服务可在不利用已被选择退出的服务或权限的情况下使用。除了提供“选择加入”和“选择退出”选项外，本公开设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。
47.此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除特定标识符(例如，出生日期等)、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户之间聚合数据)、和/或其他方法来促进去标识。
48.因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。例如，可以在跟踪的面部上选择图像，并基于非个人信息数据或最少量的个人信息(诸如与用户相关联的设备所请求的内容、成像服务可用的其他非个人信息或公开可用信息)。