用于动态和增量人脸识别的方法和系统与流程

1.本公开一般涉及面部识别。


背景技术：

2.现有的面部识别系统通常可能需要用户面部的初始标记，并且在没有这种初始标记的情况下可能遭受冷启动问题。此外，用户的面部外观可能根据不同的情况而有所变化，例如灯光变化、化妆、戴眼镜/不戴眼镜、新发型或只是衰老。因此，初始标记可能很快变得不足以可靠地识别用户，并且现有用户可能被错误地识别为新面孔。此外，对于场景，例如家庭安全应用内的实现，该应用可能需要为不熟悉的脸生成警报，并且现有用户的不充分识别会导致错误警报。


技术实现要素：
附图说明
3.图1示出了示例面部识别系统。
4.图2示出了动态面部模型收集的示例流程图。
5.图3示出了动态面部模型构建的示例流程图。
6.图4示出了比较面部样本以识别对应于面部样本的标记的示例流程图。
7.图5示出了用面部样本查询用户的示例流程图。
8.图6示出了具有面部样本的示例用户交互。
9.图7示出了通过面部识别和上下文来识别人的示例方法。
10.图8示出了示例计算机系统。
具体实施方式
11.本公开的电子设备提供了捕获和组织与面部图像相关联的个人身份的能力。例如，电子设备可以包括使用计算机视觉来分析来自由照相机捕获的视频的流数据的照相机。使用照相机和计算机视觉，该设备可能能够动态地收集面部图像并逐步建立面部识别模型。该设备可以在没有任何初始面部图像样本和/或数据的情况下构建面部识别模型。该设备可以连接到服务器(例如，云)，并且可以动态地组织面部识别模型，并且跨多个设备、位置、用户或其他上下文来关联它们。该设备可以实现主动学习，以减少对面部数据的初始和增量用户标记的需要。与设备接口的用户可以使用多模式交互，例如语音、触摸或手势。
12.在特定实施例中，面部识别模型可以将特定面部与该面部的身份相关联。面部识别模型可以基于一组面部样本，例如特定面部的面部图像(例如，从不同角度或在不同设置中)。面部识别模型可以基于用户提供的信息，例如用于与特定面部相关联的身份的用户提供的标记(例如，“吉姆”或“邮递员”)。如下所述，身份和/或面部识别模型可以是数据库中的临时或持久数据。现有的面部识别模型可以用附加信息来更新，例如用个人的附加面部
样本、附加的用户提供的或机器生成的身份标记(例如姓氏)和/或上下文信息。
13.在构建面部识别模型时，电子设备可以确定与由相机捕获的面部图像样本相关联的上下文。此外，该设备可以识别场景和场景内的元素的信息的各种语义级别。例如，在捕获的图像序列中，设备可以确定在图像中捕获的两个人正在玩球，球是足球，图像是在下午捕获的，等等。图像内捕获的场景的各种语义级别的信息可以提供对应于捕获图像的上下文的进一步信息。此外，该信息还可以提供捕获面部图像的上下文。在特定实施例中，场景包括场景参数，其中场景参数包括以下中的一个或多个：时间、日期、图像内捕获的一个或多个元素或活动。
14.电子设备可以为场景内的被识别的人建立人物模型和/或用户上下文模型。该设备可以构建代表场景内和跨多个场景的特定人物的数据的总体代表性结构。该设备可以基于代表单个人物/个人的这些人物模型/用户上下文模型来建立时变共同出现图。时变共同出现图可以指示两个或多个个体之间的关系。该设备可以利用这些用户上下文模型来更准确地识别场景中的人。例如，如果两个孩子通常在下午在客厅区域玩耍，则如果检测到某些物品，例如之前在与两个孩子一起捕获的先前图像中检测到的玩具，则设备可以更准确地将在下午捕获的图像中识别的两个人标记为两个孩子。虽然本公开描述了执行上述功能的电子设备，但是本公开设想在一些实施例中，这种功能可以由多个设备执行，例如服务器-客户端架构中的设备。
15.图1示出了示例面部识别系统100。面部识别系统100可以包括照相机设备102、面部后端服务104、用户上下文数据库106、助理服务108和自然语言理解(nlu)后端服务114。照相机设备102可以包括面部检测器110和姿势检测器112。相机设备102可以连接到网络，以与面部后端服务104、用户上下文数据库106和/或助理服务108无线通信。在特定实施例中，面部识别系统100的组件102、104、106、108、114中的一个或多个可以与面部识别系统100的其他组件102、104、106、108、114组合。作为示例而非限制，用户上下文数据库106可以存储在照相机设备102上。虽然只示出了面部识别系统100的一定数量的组件102、104、106、108、114，但是可以有任意数量的组件102、104、106、108、114和/或组件102、104、106、108、114的组合。作为示例而非限制，面部识别系统100中可以有两个照相机设备102。在特定实施例中，组件102、104、106、108、114中的每一个可以通过网络彼此无线耦合。
16.在特定实施例中，照相机设备102可以是包括硬件、软件或嵌入式逻辑组件或两个或多个这样的组件的组合的电子设备，并且能够执行照相机设备102实现或支持的适当功能。作为示例而非限制，照相机设备102可以包括计算机系统，例如台式计算机、笔记本或膝上型计算机、上网本、平板计算机、电子书阅读器、gps设备、照相机、个人数字助理(pda)、手持电子设备、蜂窝电话、智能手机、智能扬声器、其他合适的电子设备、照相机系统或其任何合适的组合。在特定实施例中，照相机设备102可以是耦合到照相机的计算机系统。照相机设备102可以捕获流数据。作为示例而非限制，照相机设备102可以捕获序列中的多个图像，例如视频。照相机设备102可以使用面部检测器110来识别捕获图像内的面部图像。在特定实施例中，照相机设备102可以从流数据中访问面部图像。在特定实施例中，照相机设备102可以使用面部识别模型(其可以由面部检测器110体现)来从场景的图像中识别面部图像。
17.照相机设备102可以使用姿势检测器112来确定所捕获的图像中的面部图像的姿势。作为示例而非限制，照相机设备102可以捕获图像并在特定位置和方向识别图像中的面
部。在特定实施例中，照相机设备102可以不包括姿势检测器112，并且可以使用另一设备来检测姿势或者根本不检测姿势。用户可以与照相机设备102接口连接。在特定实施例中，照相机设备102可以包括用户界面，例如触摸屏显示器。照相机设备102可以向面部后端服务104发送面部图像。照相机设备102可以如本文所述确定与捕获的图像相关联的上下文。作为示例而非限制，照相机设备102可以分析图像以识别图像内识别的人正在进行的活动。照相机设备102可以将上下文和用户数据上传到用户上下文数据库106。照相机设备102还可以将交互数据上传到用户上下文数据库106。交互数据可以指示在捕获的图像中识别的两个或更多人的确定。作为示例而非限制，两个人一起住在一所房子里，并且通常一起看电视。为了准确地将面部图像链接到上下文，照相机设备102可以使用从面部后端服务104接收的面部标识符来与面部图像相关联。照相机设备102然后可以将具有面部标识符的上下文上传到用户上下文数据库，以创建由面部标识符标识的人与特定上下文之间的关联(例如，用户通常在每个工作日的下午5点回家)。
18.照相机设备102可以从用户上下文数据库106请求用户数据。用户数据可以包括与一个特定个体相关联的一个或多个上下文。作为示例而非限制，在照相机设备102捕获的全部图像中，可能只有一个人演奏乐器。照相机设备102可以将用户数据发送到面部后端服务104。用户数据可以与相应的面部识别模型相关联。在特定实施例中，照相机设备102可以使用从用户上下文数据库106接收的用户数据和面部图像来识别捕获图像中的人。作为示例而非限制，如果家庭中唯一的音乐家是从用户数据中识别的山姆，则基于面部图像(其可以由面部识别模型确定为具有70％置信度/匹配分数的山姆)和用户数据，在捕获的图像中演奏乐器的人可以被识别为山姆。与面部识别模型的不完全匹配的差异可能是由于一个或多个物体遮挡了人的脸和/或人的脸的变化。照相机设备102可以向助理服务108发送查询。助理服务108可以返回对查询的响应。
19.在特定实施例中，面部后端服务104可以包括一种或多种类型的服务器、一个或多个数据存储器、一个或多个接口(包括但不限于api)、一个或多个网络服务、一个或多个内容源、一个或多个网络或任何其他合适的例如服务器可以与之通信的组件。面部后端服务104可以用于识别对应于由照相机设备102捕获的面部图像的面部标识符。在特定实施例中，面部后端服务104可以包括多个面部识别模型。每个面部识别模型可以用于基于面部图像数据来识别特定的人。在特定实施例中，面部后端服务104可以通过将多个面部识别模型中的每一个应用于面部图像来确定面部匹配分数。
20.在特定实施例中，面部后端服务104可以确定面部图像和一个或多个面部识别模型之间的最小距离，并选择使用具有最小距离的面部识别模型。在确定由照相机设备102捕获的面部图像和一个或多个面部识别模型之间的面部匹配分数之后，面部后端服务104可以基于面部匹配分数选择面部识别模型之一。面部后端服务可以识别与所选面部识别模型相关联的面部标识符。面部后端服务104可以发回对应于所选择的面部识别模型和从照相机设备102接收的面部图像的面部标识符。面部后端服务104还可以从照相机设备102请求用户确认。用户确认可以是面部图像的准确标记的确认。作为示例而非限制，用户确认可以是确认在图像中捕获到不熟悉的人。作为另一示例而非限制，用户确认可以是确认在图像中捕获到熟悉的人。面部后端服务104可以响应于该请求，经由照相机设备102从用户接收面部确认数据。
21.在特定实施例中，用户上下文数据库106可以包括一种或多种类型的服务器、一个或多个数据存储器、一个或多个接口(包括但不限于api)、一个或多个网络服务、一个或多个内容源、一个或多个网络或任何其他合适的例如服务器可以与之通信的组件。用户上下文数据库106可以包括每个识别的个体的多个用户数据。用户数据可以包括如本文所述的与个人相关联的上下文信息。用户上下文数据库106可以由照相机设备102和/或多个照相机设备102通过多次上传来更新。
22.在特定实施例中，助理服务108可以包括一种或多种类型的服务器、一个或多个数据存储、一个或多个接口(包括但不限于api)、一个或多个网络服务、一个或多个内容源、一个或多个网络或任何其他合适的例如服务器可以与之通信的组件。助理服务108可以与nlu后端服务114通信。当助理服务108从照相机设备102接收到诸如用户输入的查询时，助理服务108可以将用户输入发送到nlu后端服务114，以识别与用户输入相关联的查询。辅助服务108可以查询其他数据库以生成对查询的响应，并将响应返回给照相机设备102。照相机设备可以向用户呈现与响应相关联的信息。作为示例而非限制，如果用户照相机设备102向助理服务108发送用户输入，“今天天气怎么样？”，然后，助理服务108可以通过nlu后端服务114识别与用户输入相关联的查询，并生成响应以发送到照相机设备102以显示给用户。
23.在特定实施例中，面部识别系统100可以从流源接收输入，例如以连续方式接收视频帧。视频帧可以通过照相机设备102接收。在特定实施例中，面部样本池由面部识别系统100维护，以找到与输入面部图像的匹配。可以基于面部样本池来训练分类器，以对面部进行分类。面部识别系统100最初可以从空的面部样本池开始。面部识别系统100可以确定从视频帧中选择哪个新的面部图像来添加到面部样本池。为了做出确定，面部识别系统100可以确定匹配误差相对于现有面部识别模型超过阈值和/或现有面部识别模型未能识别与面部图像相关联的个人。在特定实施例中，面部识别系统100可以使用新的面部图像生成新的面部识别模型，该新的面部图像相对于现有的面部识别模型具有超过阈值的匹配误差。在特定实施例中，面部识别系统100可以使用聚类算法，该算法可以将面部样本池构造为用于多个面部身份的多组面部样本。每个组可以对应于不同的面部标识符。作为示例而非限制，对于留胡子的男子的面部样本，面部识别系统100可以在第一面部标识符下生成留胡子的男子的一组或一聚类面部样本。面部识别系统100然后可以获取长发女子的面部样本，并在第二面部标识符下生成长发女子的一组或一聚类面部样本。
24.在特定实施例中，面部识别系统100可以耦合或无线耦合到家庭安全系统。家庭安全系统和/或面部识别系统100可以耦合到多个设备以捕获流数据。如本文所述，流数据可以被发送到面部识别系统100以进行分析。家庭安全系统可以响应于将一个人识别为不熟悉的人而向用户发送不熟悉的面部通知。为此，面部识别系统100将从流数据访问面部图像，并将多个面部识别模型应用于面部图像，以确定是否存在匹配。响应于确定不匹配，面部识别系统100可以向家庭安全系统发送警报，该警报将向用户发送不熟悉的面部通知。在特定实施例中，面部识别系统100和/或家庭安全系统可以识别可能需要排除的不熟悉面部的几种常见出现。作为一个例子，而不是作为限制，邮递员可能每天都来，可能不需要被贴上不熟悉面部的标记。在特定实施例中，面部识别系统100可以结合检测频率作为另一触发机制。作为示例而非限制，仅在阈值时间段内对不熟悉的人的识别可以对用户触发不熟悉的面部通知。作为另一个例子，但不是作为限制，如果邮递员经常在短时间内经过前门，那
么邮递员可能不会触发不熟悉面部通知。
25.图2示出了动态面部模型收集的示例流程图。过程200可以从步骤202开始，其中面部识别系统可以收集面部图像并对收集的面部图像进行编码。为了收集面部图像，面部识别系统可以使用照相机来捕获多个图像，并且在多个图像上应用面部检测器来识别多个图像内的面部图像。这些面部图像可以被添加到面部样本池中。在步骤204，面部识别系统可以为每个面部图像递增地添加面部模型。为此，面部识别系统可以首先将每个面部图像与现有的面部样本池进行匹配。面部识别系统可以使用与面部样本聚类的距离来确定每个新的面部图像是否属于现有面部标识符之一。面部识别系统可以为不属于具有现有面部标识符的面部样本聚类之一的每个面部图像分配临时面部标识符。
26.在步骤206，面部识别系统可以将具有临时面部标识符的面部图像聚类在一起，并将面部标识符添加到面部图像聚类中。作为示例而非限制，面部识别系统可以在面部样本池中的多个面部图像中识别具有短发的女子，并将面部图像聚类在一起，并将面部标识符添加到聚类中。在步骤208，面部识别系统可以匹配来自其他设备的面部图像。作为示例而非限制，如果一个留胡子的人在他家的客厅区域被一个设备识别，而留胡子的人在他家的厨房区域被另一个设备识别，则面部识别系统可以确定由两个独立设备识别的留胡子的人的两个实例可能是同一个人，并且匹配来自每个设备的面部图像。例如，通过使用后端服务和/或数据库，来自多个设备的面部识别模型可以被交叉检查以获得最佳结果，例如准确地识别一个人。在步骤210，面部识别系统可以建立特定于设备的面部列表、特定于位置的面部列表和特定于用户的面部列表。特定于设备的面部列表可以是与设备相关联的面部标识符的列表。特定于位置的面部列表可以与多个设备相关联，并且是与位置相关联的面部标识符的列表。也就是说，面部标识符与该位置处的设备在该位置内捕获的面部图像相关联。特定于用户的面部列表可以包括与特定用户或特定面部标识符相关联的面部图像。
27.图3示出了动态面部模型构建的示例流程图。过程300可以从步骤302开始，其中面部识别系统可以收集面部图像。在步骤304，面部识别系统可以递增地将面部标记添加到面部图像。在步骤306，面部识别系统可以编码每个面部图像。在步骤308，面部识别系统可以匹配编码的面部图像。面部识别系统可以将每个检测到的面部图像与现有的面部样本池相匹配。面部识别系统可以使用与面部样本聚类的距离来确定每个编码的面部图像是否属于现有面部标识符之一。面部识别系统可以为不属于具有现有面部标识符的面部样本聚类之一的每个面部图像分配临时面部标识符。在步骤310，面部识别系统可以跨多个设备、位置和用户收集的面部图像交叉关联面部图像。通过互关联，面部标识符可以被组合以通过面部图像来识别特定的个人。
28.在特定实施例中，可以由面部识别系统实现的主动学习算法可以从面部样本池中选择多个面部样本，以基于与面部样本聚类的距离来查询用户。作为示例而非限制，如果接收到新的面部图像，并且主动学习算法确定新的面部图像和面部样本聚类之间的距离大于阈值距离，则主动学习算法可以选择新的面部图像来询问用户。对用户的查询可以是确认新的面部图像是否属于相同的面部样本聚类的请求。用户可以与查询进行交互，以确认新的面部图像属于同一聚类，或者它与该聚类分离。在特定实施例中，如果用户确认新的面部图像不属于现有的面部样本聚类，则新的面部图像成为不熟悉的面部聚类的样本。不熟悉面部的检测可以基于与现有面部识别模型的匹配，或者取决于用户反馈。在特定实施例中，
面部识别模型可以与一组面部样本相关联。
29.图4示出了比较面部样本以识别对应于面部样本的标记的示例流程图。过程400可以从接收输入的面部图像402开始。如本文所述，照相机设备可以捕获图像并检测面部图像402。在特定实施例中，主动学习算法可以应用于面部图像402。每个输入面部图像402都经过与面部样本404a-404n池的比较过程403。作为示例而非限制，输入的面部图像402可以是留胡子的用户约翰。面部样本标记2 404b、面部样本标记3 404c和面部样本标记n 404n可能是留着胡子穿着不同服装的约翰。三个面部样本404b、404c和404n可以具有与留胡子的约翰对应的相同的面部标识符k 406k。面部样本标记1404a可以是与不同的面部标识符1 406a相关联的没有胡子的约翰，因为面部样本标记1 404a可能超过与面部标识符k 406k对应的图像404b-404n的聚类的阈值距离。在特定实施例中，面部识别系统可以询问用户以执行合并功能408来组合两个面部样本聚类。由于每个图像404都是约翰的，所以用户可以批准该请求并确认图像404是同一个人的。在特定实施例中，面部识别系统可以增量地建立同一用户的面部识别模型。这可以基于将新的面部图像与现有的面部识别模型进行匹配，或者基于用户反馈。如果用户确认新的面部图像确实属于现有的面部样本聚类，则新的面部图像成为现有面部样本聚类的附加面部样本。这可能有助于改进同一个人的识别，因为面部外观随着时间变化，更多的面部样本添加到与该人相关联的面部样本聚类中，从而随着该人的外观变化，改进了对该人的正确识别。
30.图5示出了用面部样本查询用户的示例流程图。在特定实施例中，面部识别系统可以使用用于过程500的主动学习算法来开始将输入面部图像与内部面部样本池502中的现有面部样本进行匹配。在特定实施例中，面部样本池502可以包括来自面部识别系统捕获的先前图像的多个与它们各自的面部标记(如图4所示)相关联的面部图像。作为示例而非限制，在家庭设置中，面部样本池502可以包括家庭成员和拜访家庭的客人的面部图像。然而，如果面部样本池502是空的，例如，最初没有已知的面部识别模型或面部样本，则输入的面部图像变成面部样本。在特定实施例中，主动学习算法可以通过对与面部图像相关联的上下文进行建模来学习输入面部图像和内部面部样本池502中的现有面部样本之间的对应关系。该池的每个面部样本502可以与上下文相关联。上下文可以包括多个单独的存在模式。个体存在模式可以包括视觉一致性，其中输入面部图像中的个体实例应该在视觉上类似于具有相同个体标记lj的面部样本池502的图库实例之一。个体存在模式包括共同存在，其中个体li和个体lj同时出现在视频帧中。个体存在模式可以包括顺序模式，其中在个体li出现在前一帧a之后，个体li以顺序出现在帧b中。作为示例而非限制，依序顺序可以标识一个个体何时出现在图像中，并且另一个个体通常出现在该个体之后。例如，当一个男孩放学回家时，在一系列的图像中他的姐姐通常会跟随男孩。个体存在模式可以包括场景中的存在，其中在场景s中，个体li出现。在特定实施例中，主动学习算法可以使用深度学习模块来结合场景，以更好地预测个体的存在模式。在特定实施例中，视觉一致性模式可以与匹配距离506相关联。匹配距离506可以与面部样本池502中的每个面部图像和数据库(例如，与上下文相关联的个体的数据库)中的个体的原始视觉匹配相关联。在特定实施例中，社交连接508可以与共存模式相关联。社交连接508可以与识别和匹配过程相关联，该过程将来自面部样本池502的面部图像相关联的上下文与数据库(例如，用户上下文数据库)中的上下文进行识别和匹配。在特定实施例中，面部跟踪504可以与顺序模式相关联。作为示例而非限
制，面部跟踪504可以分析一系列图像，并且识别一个图像内的个体可以是连续图像中的相同个体(如果面部图像在图像内的相同或相似位置)。在特定实施例中，主动学习算法可以使用面部跟踪504、匹配距离506、社交联系508或随机采样510中的一个或多个来确定是否向用户查询面部样本516。
31.在特定实施例中，如果输入面部图像和现有面部样本之间的最小匹配距离506超过阈值，则输入面部图像可以成为面部样本池502中的新面部样本，并被分配新的临时面部标识符。然而，如果输入面部图像和现有面部样本502之间的匹配距离506在一距离内，则输入面部图像可以被放入面部样本的候选池中用于主动学习。主动学习算法可以基于特征选择面部样本516来查询用户，所述特征包括但不限于:候选池中的面部样本和内部面部识别模型样本池502中的面部样本之间的匹配距离506以及与一些面部样本相关的面部跟踪504的一致性。每个面部跟踪504可以是通过时间和空间的单个检测到的面部边界框的连续跟踪。在特定实施例中，社交连接的人或出现在社交事件中的人之间的社交联系508一起影响采样的权重。作为示例而非限制，如果先前已经被面部识别系统识别的已婚夫妇正在一起参加活动，则主动学习算法可以增加对应于已婚夫妇的采样面部图像的权重，因为面部识别系统可能能够准确地将两个人识别为对应于先前已经社交连接508的第一面部标识符和第二面部标识符。在特定实施例中，主动学习算法可以从对应于两个不同面部标识符的不同面部样本聚类中随机采样510。随机采样510可用于识别要合并的聚类。作为示例而非限制，如果一个人留了胡子，并且现在被识别为面部样本池502中与该人没有胡子的情况不同的个体，则随机采样510将提高组合面部样本502的两个聚类以表示一个个体的可能性。在特定实施例中，面部识别系统可以设置一定百分比的面部图像来随机地对用户进行采样，作为查询样本516。要随机采样的面部图像可能来自使用j
comb
评分的面部图像，并且面部图像的评分不够高，不足以询问用户。作为示例而非限制，面部识别系统可以确定向用户发送5％(或另一设定百分比)的随机面部图像，该随机面部图像可能得分不足以向用户发送查询。在特定实施例中，在一些场景中，如果用户从数据库中将最初标记为用户4的随机面部图像识别为用户1，则面部识别系统可以组合与用户1和用户4相关联的面部图像。
32.在特定实施例中，当选择查询样本516发送给用户时，主动学习算法可以关注两个标准。在特定实施例中，标准可以包括信息量度量512和代表性度量514。在特定实施例中，可以基于面部图像的信息量和代表性的评估来确定上下文。在确定向用户发送哪个查询样本516之后，面部识别系统可以发送查询样本516，请求确认查询样本516是否对应于面部识别模型。在特定实施例中，信息量度量512可以度量实例样本在降低统计模型的不确定性方面的能力。信息量度量512可以与阈值信息量相关联，以确定图像中的面部图像是否可以从数据库中识别。在一个实现中，基于余量的算法可以选择最接近决策边界的未标记实例xs，这意味着目标函数具有相对较高的分数，而不管其类别标记ls如何。例如，面部实例xj的余量可以计算为:
[0033][0034]
假设：
[0035][0036]
其中：
[0037]jcomb
(li|xj，hi，si)＝j
vis
(li|xj) j
context
(ti|hi，si)
[0038]jcomb
可以是组合的视觉外观模型的j
vis
成本函数和上下文模型的j
context
成本函数的成本函数。余量方程可用于向用户呈现可能不明确的查询样本516，例如可能看起来相似的两个个体。如果对于数据库中的两个个体，面部图像的分数相当接近，则面部识别系统可以发送查询样本516，以确定查询样本516属于这两个个体中的哪一个(或者如果面部识别系统不正确，则属于其他用户)。在特定实施例中，最佳信息量查询样本516可以被选择为:
[0039][0040]
其中nu可以是直到(例如，到目前为止的所有未标记实例)当前帧的未标记实例的总数。该函数可以同时确保较小的余量和良好的匹配分数j。
[0041]
在特定实施例中，信息量度量512可以奖励易混淆的面部样本，并将这些面部样本发送给用户以询问用户。在特定实施例中，成本函数可以具有面部跟踪504、匹配距离506和社交连接508组件。社交连接组件508可以从用户上下文数据库中提取用户数据信息。在特定实施例中，利用相同的匹配距离，主动学习算法可以倾向于将出现在相同面部跟踪504中的和/或与社会关系兼容的面部样本分组在一起，并且分配具有更高权重的相关面部样本来询问用户。在特定实施例中，代表性测量514可以测量采样的实例是否表示输入的未标记数据的总体分布，使得查询样本516将覆盖未标记的数据空间。在特定实施例中，标记密度项可以被添加到上面的查询采样函数，并且结合信息性和代表性度量的最终样本选择是:
[0042][0043]
其中可以是类别标记出现在视频帧中的概率，从j
comb
计算，并在类别标记之间进行归一化。在特定实施例中，可以与频率项相关联，以确定一个人在多个图像中出现的频率。作为示例而非限制，如果一个人(面部图像)一次出现在多个图像中，则面部识别系统可以不发送查询样本516或者确定不发送图像的查询样本516来询问用户该人可能是谁。然而，如果该人出现得更频繁，则频率项可以强制面部识别系统向用户发送查询样本516，以请求用户的识别和/或通知用户识别的未知人。
[0044]
在特定实施例中，当向用户提议查询样本516时，代表性度量514可以奖励更简单或更少的组。代表性度量514可以在组级别测量面部跟踪504、匹配距离506和社交连接508。代表性测量514还可以随机地从不同的面部样本聚类中采样面部样本，以提议在相同的面部标识符下将两个聚类合并在一起。在特定实施例中，由于视频剪辑的顺序特性的结果，数据可以是流。在特定实施例中，每个新视频可能具有有限的或没有初始标记的面部识别模型。该过程可以是为面部识别模型建立面部样本库的冷启动过程。个体识别可以基于视觉匹配和个体存在模式。面部视觉匹配的目标函数可以是
[0045][0046]
其中gi可以是标记为li的图库实例集。xj可以是视频帧中的个体实例，yi可以是图库实例。图库实例可以是样本面部池502。j
vis
可用于找到图像中识别的面部图像与样本面部池502中的每个面部图像相比的最佳视觉匹配分数。图库实例可以通过预聚类和学习来
标记。目标函数可以基于上下文，j
context
，它可以利用每个个体和场景中的个体之间的顺序和共存关系。特别地，共存目标函数可以依赖于从帧估计的一组个体标记，以及它们的共存概率。令:
[0047][0048]
其中lj可以是个体实例xj的个体标记，ii可以是帧i的个体实例索引集。此外，假设hj是个体lj出现在最近的历史中时的帧号，并且
[0049][0050]
个体识别的目标函数可以基于帧i的上下文定义为：
[0051]jcontext
(li|hi，si)＝αj
co-presence
(li) βj
seq
(li|hi) γj
scene
(li|si)|
[0052]
其中
[0053]jco-presence
(li)
∝
p
cp
(li)，
[0054]jseq
(li|hi)
∝
p
seq
(li|hi).
[0055]
α，β和γ可以是权重。p
cp
(li)和p
seq
(li|hi)可能是个体标记lj∈li在一个帧中同时出现的概率，并且分别基于它们在过去出现的历史再次出现。它们可以基于来自视频剪辑的观察来估计。
[0056]
在特定实施例中，面部识别系统可以从视频中提取个体，并构建上下文来表示个体存在模式，以便与时变共同出现图相匹配。作为示例而非限制，基于涉及故事中主要人物的共同出现图，主要人物可以与视频中的个体存在模式相匹配。这些主要人物可以是经常出现在多个图像(例如，视频、电影等)中的被识别的个体。作为示例而非限制，主要人物可以是在阈值时间段内出现在多个图像中的人。面部识别系统可以通过处理流数据来构建时变共同出现图。时变共同出现图可以是考虑到以连续顺序演变的个体社会连接的表示。在特定实施例中，面部识别系统可以生成人物基础，以准确地对视频中的人物建模，从而具有增强的视频理解。面部识别系统可以准确地识别视频中的人物，而不管整个视频中的外观变化(例如，衣服的变化、遮挡的脸、模糊的脸、浓妆的脸等等)。为此，面部识别系统可以使用与个体人物相关联的上下文来生成人物基础。这甚至可以在没有面部图像的情况下通过结合其他个体人物和/或场景为个体人物开发深度上下文模型来完成。在特定实施例中，这可以应用于其他设置，并用于识别不同环境中的“主要人物”。作为示例而非限制，如果员工频繁出现在工作场所捕获的图像中，而其他人出现在工作场所捕获的图像中或从工作场所捕获的图像中消失(例如，临时雇员、送货员等)，则该员工可以被识别为工作场所内的主要人物。
[0057]
在特定实施例中，面部识别系统可以建立并触发家庭上下文图。面部识别系统最初可以从一个或多个设备访问多个面部图像，并向用户发送查询样本，以确认和/或标记来自多个面部图像的每个面部样本聚类。面部识别系统可以识别家庭每个成员的背景。作为一个例子而非限制，丈夫通常在清晨离开，妻子通常在早上晚些时候离开。在特定实施例中，面部识别系统可以向另一设备发送对应于用户标识符的面部标识符。另一设备可以响应于接收到用户标识符而执行动作。作为示例而非限制，当由面部标识符1识别的用户站在耦合到接收了面部标识符1(或对应于面部标识符1的用户标识符)的设备的显示器或镜子
前时，那么该设备可以检索对应于由面部标识符1标识的用户的一个或多个信息和/或通知。例如，如果用户是丈夫，则可以向用户呈现他上班路线的早晨通勤的估计时间。作为另一示例而非限制，当由面部标识符2标识的用户站在耦合到接收了面部标识符2(或对应于面部标识符2的用户标识符)的设备的显示器或镜子前时，那么该设备可以检索对应于由面部标识符2标识的用户的一个或多个信息和/或通知。此外，显示器或镜子可以与用户交互，以通过新的面部图像主动学习新面部。这可能是为了建立面部上下文关联。
[0058]
在特定实施例中，面部识别系统可以基于人-场景共同出现模式或人-人共同出现模式来定义出现频率目标，使得面部识别系统可以被优化用于检测不熟悉的面部，在这种意义上，在任何时刻，系统目标可以是最小化不熟悉的面部的假阳性并优化检测到的不熟悉的面部的准确性:
[0059]jfacecontext
＝w1j
scenecontext
w2j
peoplecontext
[0060]
其中，j
scenecontext
可以表示与个体相关联的位置和场景参数，而j
peoplecontext
可以表示与个体相关联的人。第一权重和第二权重可以应用于每个j
scenecontext
和j
peoplecontext
。
[0061]
图6示出了具有面部样本的示例用户交互。过程600可以从向用户显示已知的和未标记的面部图像602开始。可以在诸如智能手机的用户设备上向用户呈现已知的和未标记的面部图像602。在特定实施例中，用户可以具有多模式用户交互来查看已知和未标记的面部602。在特定实施例中，面部识别系统可以确定向用户发送查询样本，如本文所述。查询样本可以是已知的和未标记的面部图像602。在特定实施例中，面部识别系统可以响应于确定发送查询样本，向用户发送面部图像以查询用户。面部识别系统可以在界面(例如，用户设备)上显示已知面部602及其确切上下文，以及未标记的面部602。利用已知面部602提供上下文可以增加用户基于上下文做出决定的可用信息。在特定实施例中，用户可以执行面部图像的重命名或移除面部图像604、添加面部标识符或向组添加标识符606、或请求显示用户的面部图像集合608。用户可以重命名604已知和/或未标记的面部图像602，以校正已知和/或未标记的面部图像602。对于面部图像602是不熟悉的个体的情况，用户可以移除604已知的和/或未标记的面部图像602。用户可以向未标记的面部图像602添加面部标识符606，其中用户知道与未标记的面部图像602相关联的个体。用户可以向一组已知和/或未标记的面部图像602添加标识符606，以创建新的聚类或标记面部样本的聚类。在特定实施例中，用户可以请求显示用户的面部图像集合608。
[0062]
在特定实施例中，可以向用户呈现已知面部图像602，并请求获得与已知面部图像602相关联的用户标识符。在特定实施例中，用户可以通过用户设备向面部识别系统发送用户输入。在特定实施例中，用户设备可以是这里描述的照相机设备。用户输入可以是文本输入、触摸输入、手势或音频输入。在特定实施例中，用户可以通过助理服务使用语音服务来标记用户标识符和/或处理用户标识符。作为示例而非限制，可以向用户呈现未标记的面部图像602，并且用户可以说“这是约翰”，以将与“约翰”相关联的用户标识符应用于未标记的面部图像602。在特定实施例中，用户可以确认或拒绝正在呈现给用户的已知和/或未标记的面部图像602。
[0063]
在特定实施例中，面部识别系统可以基于与面部识别系统相关联的用户的隐私设置来请求访问来自另一设备的音频输入。面部识别系统可以使用音频输入来生成与面部标识符匹配的语音简档。通过使面部识别系统能够更准确地识别图像中的人，语音简档可以
添加到与面部标识符相关联的上下文模型中。为此，面部识别系统可以访问场景内的人的面部图像，并确定与最近的面部样本聚类的60％面部匹配分数。此外，面部识别系统可以访问与面部标识符相关联的语音简档和/或单独确定与检索到的语音简档相关联的面部标识符，以识别与语音简档相关联的人，并对与检索到的语音简档相关联的面部标识符是否与对应于面部样本聚类的面部标识符匹配进行比较。
[0064]
在特定实施例中，面部识别系统可以使用云计算来同步从移动设备、工作场所、家庭环境获取的面部识别模型，从而可以共享不同上下文和场所中的面部识别模型。面部识别模型的同步可以提高面部识别系统能够识别与相应面部识别模型相关联的个体的准确性。在特定实施例中，面部识别模型的同步和共享可以基于隐私设置。隐私设置可以与对应于面部识别模型的用户、用户设备的用户和/或两者相关联。在特定实施例中，响应于确定两个或多个面部识别模型对应于同一个个体，可以合并同一设备和/或不同设备上的两个或多个面部识别模型。
[0065]
在特定实施例中，面部识别系统可以定义目标函数，以通过调整或学习权重来更加关注场景上下文或人的上下文。w1,w2:j
facecontext
＝w1j
scene
w2j
people
。在特定实施例中，用户可以指定目标函数，以便反映它们的优先场景，用于准确的面部识别和对不熟悉的面部较少的错误警报。作为示例而非限制，用户可以关闭发送给用户的警报。作为另一个示例而非限制，用户可以增加检测警报的灵敏度，并请求发送更多的查询样本。
[0066]
图7示出了通过面部识别和上下文来识别人的示例方法。在步骤702，该方法可以包括使用面部识别模型从场景图像中识别面部图像。在步骤704，该方法可以包括基于上下文模型确定与面部图像相关联的上下文。在步骤706，该方法可以包括基于上下文和面部图像从数据库中识别人。
[0067]
在适当的情况下，特定实施例可以重复图7的方法的一个或多个步骤。尽管本公开将图7的方法的特定步骤描述和示出为以特定顺序发生，但是本公开设想图7的方法的任何合适的步骤以任何合适的顺序发生。此外，尽管本公开描述并示出了用于将用户输入映射到内容的示例方法，但是本公开设想了用于将用户输入映射到内容的任何合适的方法，其可以在适当的情况下包括图7的方法的所有、一些或没有的步骤。此外，尽管本公开描述和示出了执行图7的方法的特定步骤的特定组件、设备或系统，但是本公开设想了执行图7的方法的任何合适步骤的任何合适的组件、设备或系统的任何合适的组合。
[0068]
在特定实施例中，面部识别系统可以生成多个上下文模型，每个上下文模型对应于面部标识符。作为示例而非限制，面部识别系统可以将面部标识符与一个个人相关联，并确定该个人已经被识别为与之相关联的一个或多个上下文。例如，如果先前已经通过演奏乐器的图像中的面部图像来识别了该人，则该人与包括乐器的上下文相关联。在特定实施例中，可以通过呈现要被标记的面部图像来递增地训练面部识别模型。面部图像也可以与上下文一起呈现(例如，人与包括乐器的上下文相关联)。作为另一个例子，但不作为限制，这个人可能是一个弟弟，通常放学后在他姐姐之后从前门进来。这样，面部识别系统可以将共同存在模式与放学后在他姐姐周围的人相关联。在特定实施例中，当检测到与上下文相关联的新的个体存在模式(例如，视觉一致性、共同存在、连续或场景中的存在)时，面部识别系统可以将新的个体存在模式与图像内识别的该一个或多个个体相关联。在特定实施例中，面部识别系统可以通过呈现具有与人的模式(共存模式)相对应的信息的面部图像来递
增地训练与个体相关联的面部识别模型。在特定实施例中，上下文可以包括与人或人和/或场景相关联的共存模式。作为示例而非限制，上下文可以是同一地点内的相同个体，例如两个人在工作日例行去餐馆吃午饭。作为另一个例子，但不作为限制，上下文可以是用户在工作周的同一时间或类似时间到达某个位置。作为另一个示例而非限制，上下文可以是用户以相同或相似的顺序出现在一系列位置，例如去上班，然后去孩子的学校，然后回家。
[0069]
在特定实施例中，面部识别系统可用于在相册搜索过程中识别个体。作为示例而非限制，面部识别系统能够识别与图像场景相关联的上下文，并识别图像内的人的面部图像。例如，如果两个兄弟通常一起出现在相册中，面部识别系统可能能够基于上下文和面部图像从数据库中识别两个兄弟。作为示例而非限制，对于万圣节照片，如果一个兄弟戴着面具，但是另一个兄弟穿着不同的服装，露出他的脸，则面部识别系统可以通过使用与图像和场景中的人相关联的上下文来将两个人识别为正确的兄弟。在特定实施例中，面部识别系统可以将特定地点与个体相关联。作为示例而非限制，如果在工作环境中识别出个体，面部识别系统可以将该个体与工作环境相关联(例如，作为雇员)。在特定实施例中，面部识别系统可以生成将特定个体与特定地点相关联的空间共同外观图。在特定实施例中，当在相册中识别出特定面部时，面部识别系统可以建议基于上下文建模来找到与其他人的相关照片(例如，通常一起出现在照片中的两个兄弟)。
[0070]
图8示出了示例计算机系统800。在特定实施例中，一个或多个计算机系统800执行这里描述或示出的一个或多个方法的一个或多个步骤。在特定实施例中，一个或多个计算机系统800提供这里描述或示出的功能。在特定实施例中，运行在一个或多个计算机系统800上的软件执行这里描述或示出的一个或多个方法的一个或多个步骤，或者提供这里描述或示出的功能。特定实施例包括一个或多个计算机系统800的一个或多个部分。这里，在适当的情况下，对计算机系统的引用可以包括计算设备，反之亦然。此外，在适当的情况下，对计算机系统的引用可以包括一个或多个计算机系统。
[0071]
本公开设想了任何合适数量的计算机系统800。本公开设想计算机系统800采取任何合适的物理形式。作为示例而非限制，计算机系统800可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(例如，模块上计算机(com)或模块上系统(som))、台式计算机系统、膝上型或笔记本计算机系统、交互式信息亭、大型机、计算机系统网格、移动电话、个人数字助理(pda)、服务器、平板计算机系统、增强/虚拟现实设备或这些中的两个或多个的组合。在适当的情况下，计算机系统800可以包括一个或多个计算机系统800；单独的或分布的；跨越多个位置；跨越多台机器；跨越多个数据中心；或者驻留在云中，云可以包括一个或多个网络中的一个或多个云组件。在适当的情况下，一个或多个计算机系统800可以执行这里描述或示出的一个或多个方法的一个或多个步骤，而没有实质的空间或时间限制。作为示例而非限制，一个或多个计算机系统800可以实时或以批处理模式执行这里描述或示出的一个或多个方法的一个或多个步骤。在适当的情况下，一个或多个计算机系统800可以在不同的时间或不同的位置执行这里描述或示出的一个或多个方法的一个或多个步骤。
[0072]
在特定实施例中，计算机系统800包括处理器802、内存804、存储器806、输入/输出(i/o)接口808、通信接口810和总线812。尽管本公开描述并示出了在特定布置中具有特定数量的特定组件的特定计算机系统，但是本公开设想了在任何合适的布置中具有任何合适数量的任何合适组件的任何合适的计算机系统。
[0073]
在特定实施例中，处理器802包括用于执行指令的硬件，例如构成计算机程序的指令。作为示例而非限制，为了执行指令，处理器802可以从内部寄存器、内部高速缓存、内存804或存储器806中检索(或获取)指令；解码并执行它们；然后将一个或多个结果写入内部寄存器、内部高速缓存、内存804或存储器806。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部高速缓存。本公开预期处理器802在适当的情况下包括任何合适数量的任何合适的内部高速缓存。作为示例而非限制，处理器802可以包括一个或多个指令高速缓存、一个或多个数据高速缓存以及一个或多个转换后备缓冲器(translation lookaside buffer tlb)。指令高速缓存中的指令可以是内存804或存储器806中的指令的副本，并且指令高速缓存可以加速处理器802对那些指令的检索。数据高速缓存中的数据可以是内存804或存储器806中的数据的副本，用于在处理器802上执行的指令进行操作；在处理器802处执行的先前指令的结果，以供在处理器802处执行的后续指令访问或写入内存804或存储装置806；或其他合适的数据。数据高速缓存可以加速处理器802的读或写操作。tlb可以加速处理器802的虚拟地址转换。在特定实施例中，处理器802可以包括用于数据、指令或地址的一个或多个内部寄存器。本公开预期处理器802在适当的情况下包括任何合适数量的任何合适的内部寄存器。在适当的情况下，处理器802可以包括一个或多个算术逻辑单元(alu)；是一个多核处理器；或者包括一个或多个处理器802。尽管本公开描述并示出了特定的处理器，但是本公开预期了任何合适的处理器。
[0074]
在特定实施例中，内存804包括用于存储供处理器802执行的指令或供处理器802操作的数据的主存储器。作为示例而非限制，计算机系统800可以将指令从存储器806或另一个源(例如，另一个计算机系统800)加载到内存804。处理器802然后可以将指令从内存804加载到内部寄存器或内部高速缓存。为了执行指令，处理器802可以从内部寄存器或内部高速缓存中检索指令并解码它们。在指令执行期间或之后，处理器802可以将一个或多个结果(可以是中间或最终结果)写入内部寄存器或内部高速缓存。处理器802然后可以将这些结果中的一个或多个写入内存804。在特定实施例中，处理器802仅执行一个或多个内部寄存器或内部高速缓存或内存804中的指令(与存储器806或其他地方相反)，并且仅对一个或多个内部寄存器或内部高速缓存或内存804中的数据(与存储器806或其他地方相反)进行操作。一个或多个存储器总线(每个可以包括地址总线和数据总线)可以将处理器802耦合到内存804。总线812可以包括一个或多个存储器总线，如下所述。在特定实施例中，一个或多个存储器管理单元(mmu)驻留在处理器802和内存804之间，并且便于处理器802请求的对内存804的访问。在特定实施例中，内存804包括随机存取存储器(ram)。在适当的情况下，该ram可以是易失性存储器。在适当的情况下，该ram可以是动态随机ram(dram)或静态ram(sram)。此外，在适当的情况下，该ram可以是单端口或多端口ram。本公开设想了任何合适的ram。在适当的情况下，内存804可以包括一个或多个内存804。尽管本公开描述并示出了特定的存储器，但是本公开设想了任何合适的存储器。
[0075]
在特定实施例中，存储器806包括用于数据或指令的大容量存储器。作为示例而非限制，存储器806可以包括硬盘驱动器(hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(usb)驱动器或这些中的两个或多个的组合。在适当的情况下，存储器806可以包括可移动或不可移动(或固定)介质。在适当的情况下，存储器806可以在计算机系统800的内部或外部。在特定实施例中，存储器806是非易失性固态存储器。在特定实施例中，存储器
806包括只读存储器(rom)。在适当的情况下，该rom可以是掩模编程rom、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、电可改变rom(earom)或闪存或这些中的两种或多种的组合。本公开设想大容量存储器806采取任何合适的物理形式。在适当的情况下，存储器806可以包括一个或多个便于处理器802和存储器806之间通信的存储控制单元。在适当的情况下，存储器806可以包括一个或多个存储器806。尽管本公开描述并示出了特定的存储器，但是本公开设想了任何合适的存储器。
[0076]
在特定实施例中，i/o接口808包括硬件、软件或两者，为计算机系统800和一个或多个i/o设备之间的通信提供一个或多个接口。在适当的情况下，计算机系统800可以包括这些i/o设备中的一个或多个。这些i/o设备中的一个或多个可以实现人和计算机系统800之间的通信。作为示例而非限制，i/o设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态照相机、指示笔、平板电脑、触摸屏、轨迹球、照相机、另一个合适的i/o设备或这些中的两个或多个的组合。i/o设备可以包括一个或多个传感器。本公开设想了任何合适的i/o设备以及用于它们的任何合适的i/o接口808。在适当的情况下，i/o接口808可以包括一个或多个设备或软件驱动程序，使得处理器802能够驱动这些i/o设备中的一个或多个。在适当的情况下，i/o接口808可以包括一个或多个i/o接口808。尽管本公开描述和说明了特定的i/o接口，但是本公开考虑了任何合适的i/o接口。
[0077]
在特定实施例中，通信接口810包括硬件、软件或两者，为计算机系统800和一个或多个其他计算机系统800或一个或多个网络之间的通信(例如，基于分组的通信)提供一个或多个接口。作为示例而非限制，通信接口810可以包括用于与以太网或其他基于有线的网络通信的网络接口控制器(nic)或网络适配器，或者用于与无线网络(例如wi-fi网络)通信的无线nic(wnic)或无线适配器。本公开设想了任何合适的网络及其任何合适的通信接口810。作为示例而非限制，计算机系统800可以与自组织网络、个人区域网(pan)、局域网(lan)、广域网(wan)、城域网(man)、或者互联网的一个或多个部分或者这些的两个或多个的组合进行通信。这些网络中的一个或多个的一个或多个部分可以是有线的或无线的。作为示例，计算机系统800可以与无线pan(wpan)(例如，蓝牙wpan)、wi-fi网络、wi-max网络、蜂窝电话网络(例如，全球移动通信系统(gsm)网络)或其他合适的无线网络或这些中的两个或多个的组合进行通信。在适当的情况下，计算机系统800可以包括用于任何这些网络的任何合适的通信接口810。在适当的情况下，通信接口810可以包括一个或多个通信接口810。尽管本公开描述并示出了特定的通信接口，但是本公开设想了任何合适的通信接口。
[0078]
在特定实施例中，总线812包括将计算机系统800的组件相互耦合的硬件、软件或两者。作为示例而非限制，总线812可以包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、infiniband互连、低引脚数(lpc)总线、存储器总线、微通道架构(mca)总线、外围组件互连(pci)总线、pci-express(pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线、或另一种合适的总线、或这些中的两种或多种的组合。在适当的情况下，总线812可以包括一个或多个总线812。尽管本公开描述并示出了特定的总线，但是本公开设想了任何合适的总线或互连。
[0079]
这里，在适当的情况下，计算机可读非暂时性存储介质或媒介可以包括一个或多个基于半导体的或其他集成电路(ic)(例如，现场可编程门阵列(fpga)或专用ic(asic))、
硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光盘驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字卡或驱动器、任何其他合适的计算机可读非暂时性存储介质、或这些中的两种或多种的任意合适的组合。在适当的情况下，计算机可读非暂时性存储介质可以是易失性的、非易失性的或者易失性和非易失性的组合。
[0080]
这里，“或”是包含性的而非排他性的，除非另外明确指出或上下文另外指出。因此，在本文中，“a或b”是指“a、b或两个”，除非另有明确说明或上下文另有说明。此外，“和”既是共同的又是分别的，除非另外明确指出或者上下文另外指出。因此，在本文中，“a和b”是指“a和b，共同地或分别地”，除非另有明确说明或上下文另有说明。
[0081]
这里，“自动”及其派生词是指“无需人工干预”，除非另有明确说明或上下文另有说明。
[0082]
本公开的范围包括本领域普通技术人员将理解的对这里描述或示出的示例性实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于这里描述或示出的示例实施例。此外，尽管本公开在此描述和示出了包括特定组件、元件、特征、功能、操作或步骤的各个实施例，但是这些实施例中的任何一个都可以包括在此任何地方描述或示出的任何组件、元件、特征、功能、操作或步骤的任何组合或排列，这是本领域普通技术人员能够理解的。此外，在所附权利要求中，对适于、布置成、能够、配置成、能够、可操作或可操作成执行特定功能的装置或系统或装置或系统的组件的引用包括该装置、系统、组件，无论其或该特定功能是否被激活、开启或解锁，只要该装置、系统或组件如此适于、布置成、能够、配置成、能够、可操作或可操作的。此外，尽管本公开将特定实施例描述或示出为提供特定优点，但是特定实施例可以不提供、提供一些或全部这些优点。