移动通信设备和应用服务器的制作方法

1.本发明涉及移动通信设备、应用服务器、由移动通信设备执行的方法、由应用服务器执行的方法，以及对应的计算机程序、计算机可读存储介质和数据载波信号。


背景技术：

2.近年来，配备有相机的移动通信设备(诸如智能手机、头戴式显示器(hmd)、生活记录器、智能手表和相机眼镜)已经变得无处不在。与此同时，用于分享图像或视频的互联网服务越来越受欢迎。这些服务通常由如facebook、twitter、youtube等的社交网络提供，这些社交网络通常使用基于云的平台。随着第一人称相机设备(诸如相机眼镜(例如，google glass))的广泛使用，可预期图像/视频内容的持续捕获和共享(通过经由无线通信网络上传到基于云的服务)将在一直连接的未来社会中变得更加突出和普遍接受。
3.基于面部识别算法，许多社交网络具有用图像中表示的人的身份来标记这些图像的能力，该面部识别算法应用于由用户捕获的图像以用于经由社交网络共享这些图像的目的。面部识别可在已捕获图像的移动通信设备上执行，即在图像被上传到社交网络平台之前，或者在使用社交网络基础设施来上传之后。在此类情况下，通常只能针对已捕获图像的用户已知的人的面部执行面部识别。通常，这些人是用户的社交网络联系人。


技术实现要素：

4.本发明的目的是提供上述技术和现有技术的改进替代方案。
5.更具体地说，本发明的目的是提供一种改进的解决方案，其用于通过面部识别来识别由移动通信设备捕获的图像中存在的面部。
6.本发明的这些和其他目的通过本发明的不同方面来实现，如由独立权利要求所定义的。本发明的实施例的特征在于从属权利要求。
7.根据本发明的第一方面，提供了一种移动通信设备。移动通信设备包括相机、定位传感器、取向传感器、无线网络接口和处理电路。所述处理电路致使所述移动通信设备操作可操作以：使用所述相机来捕获图像，向应用服务器发送指示捕获所述图像的时间的信息以及与捕获所述图像期间所述相机的视场有关的信息以及从所述应用服务器接收与在所述已捕获图像中可能存在的一个或多个人有关的识别信息。
8.根据本发明的第二方面，提供了一种应用服务器。应用服务器包括网络接口和处理电路。所述处理电路致使所述应用服务器可操作以：接收与人在各时间的位置有关的信息以及在数据库中存储所接收的与人在各时间的位置有关的信息。所述处理电路致使所述应用服务器还可操作以从所述移动通信设备接收指示由被包括在所述移动通信设备中的相机捕获图像的时间的信息以及与捕获所述图像期间所述相机的视场有关的信息。所述处理电路致使所述应用服务器还可操作以选择在所述已捕获图像中可能存在的一个或多个人，获取与在所述已捕获图像中可能存在的一个或多个所选择的人有关的识别信息，以及向所述移动通信设备发送与所述已捕获图像中可能存在的一个或多个人有关的所获取的
识别信息的至少一部分。
9.根据本发明的第三方面，提供了一种由移动通信设备执行的方法。所述方法包括：使用所述移动通信设备中包括的相机来捕获图像，向应用服务器发送指示捕获所述图像的时间的信息以及与捕获所述图像期间所述相机的视场有关的信息以及从所述应用服务器接收与在所述已捕获图像中可能存在的一个或多个人有关的识别信息。
10.根据本发明的第四方面，提供了一种计算机程序。所述计算机程序包括指令，当所述计算机程序由移动通信设备中包括的处理器执行时，所述指令使所述移动通信设备执行根据本发明第三方面的方法。
11.根据本发明的第五方面，提供了一种计算机可读存储介质。所述计算机可读存储介质在其上存储有根据本发明的第四方面的计算机程序。
12.根据本发明的第六方面，提供一种数据载波信号。所述数据载波信号承载根据本发明第四方面的计算机程序。
13.根据本发明的第七方面，提供了一种由应用服务器执行的方法。所述方法包括：接收与人在各时间的位置有关的信息，在数据库中存储所接收的与人在各时间的位置有关的信息。所述方法还包括从所述移动通信设备接收指示由被包括在所述移动通信设备中的相机捕获图像的时间的信息以及与捕获所述图像期间所述相机的视场有关的信息。所述方法还包括：选择在所述已捕获图像中可能存在的一个或多个人，获取与在所述已捕获图像中可能存在的所述一个或多个所选人有关的识别信息，以及向所述移动通信设备发送与所述已捕获图像中可能存在的一个或多个人有关的所获取的识别信息的至少一部分。
14.本发明利用这样的理解，即对由移动通信设备(诸如移动电话、智能电话、平板电脑、智能手表、数字相机、相机眼镜、增强现实/虚拟现实(ar/vr)头戴式装置、头戴显示器或生活记录器)捕获的图像执行的面部识别可通过获取在已捕获图像中可能存在的人(即其面部可能存在在已捕获图像中的人)的识别信息来改进。这通过将此类可能存在的人选择为在捕获图像期间位于相机的视场内的人来实现。所获取的识别信息由面部识别算法用于识别在已捕获图像中存在的面部。
15.尽管在一些情况下已经参考本发明的第一方面和第二方面的实施例描述了本发明的优点，但对应的推理适用于本发明的其他方面的实施例。
16.当研究以下详细公开内容、附图和所附权利要求时，本发明的进一步目的、特征和优点将变得显而易见。本领域技术人员认识到，可组合本发明的不同特征以创建除以下描述的实施例之外的实施例。
附图说明
17.通过以下参照附图的对本发明的实施例的示意性和非限制性详细描述，将更好地理解本发明的上述以及附加目的、特征和优点，其中：
18.图1示出了根据本发明的实施例的在应用服务器的辅助下识别在由移动通信设备捕获的图像中存在的面部；
19.图2示出了根据本发明的实施例的示出识别在由移动通信设备捕获的图像中存在的面部的序列图，其中面部识别在移动通信设备中执行；
20.图3示出了根据本发明的其他实施例的示出识别在由移动通信设备捕获的图像中
存在的面部的序列图，其中面部识别由应用服务器执行；
21.图4示出了根据本发明的实施例的移动通信设备；
22.图5示出了根据本发明的实施例的应用服务器；
23.图6示出了根据本发明的实施例的示出由移动通信设备执行的方法的流程图；以及
24.图7示出了根据本发明的实施例的示出由应用服务器执行的方法的流程图。
25.所有的图都是示意性的，不一定是按比例的，并且通常只示出了为了阐明本发明而必需的部分，其中其他部分可省略或仅是建议。
具体实施方式
26.现在将在参照附图后在此更全面地描述本发明，附图中示出了本发明的某些实施例。然而，本发明可以许多不同的形式体现并且不应被解释为限于本文所述的实施例。相反，这些实施例以示例的方式提供，使得本公开将是透彻和完整的，并且将向本领域技术人员充分传达本发明的范围。
27.在图1中，示出了识别在分别由移动通信设备(mcd)110a和110b捕获的图像112a和112b(统称为112)中存在的面部113c和113d(统称为113)。面部113c和113d是分别携带其他移动通信设备110c和110d的用户的面部。识别在图像中存在的面部的过程被称为面部识别，并且在本领域中是众所周知的。例如，可用于当今智能手机的照片应用程序能够识别智能手机的用户已知的人的面部。
28.在本上下文中，图像被理解为表示由数字相机捕获(即，记录和存储)的数字内容的数据。在本上下文中，术语图像还可包括含有一系列图像的视频。移动通信设备110a
‑
110d(统称为110)可具体体现为用户设备，诸如智能手机、移动电话、平板电脑、智能手表、具有无线连接的数字相机、相机眼镜、增强/虚拟现实(ar/vr)头戴式装置、头戴式显示器、生活记录器等，其具有捕获(即记录和存储)图像以用于使用面部识别算法的后续图像处理的能力。
29.对由用户的移动通信设备110捕获的图像的面部识别可由移动通信设备110在捕获图像之后执行，或者由应用服务器130执行，已捕获图像或表示在已捕获图像中存在的一个或多个人的面部的数据被转移到该应用服务器。应用服务器130可例如是社交网络提供商的服务器，并且可实现为网络节点或云环境中的虚拟实例。如果面部识别已经成功，则被成功识别的面部的名称或其他合适的标识符(或者更确切地说，其面部已经被成功识别的人的名称)可与图像相关联地存储，例如作为元数据，或者存储在数据库中。名称可以是真实姓名、用户名、昵称、别名、电子邮件地址、用户id、名称标记和标签的任意一者或组合。
30.用于识别在由移动通信设备捕获的图像中存在的人的面部的已知解决方案通常限于已捕获该图像的用户已知的人。这些人的联系人信息通常存储在用户的移动通信设备中或可由其访问，并且可包括用户的社交网络联系人。该情况是因为面部识别算法基于从已知(即已识别)的人的面部图像中提取的面部特征来对图像中存在的面部进行分类。例如，这些可以是在这样的图像中存在的面部，该图像已经被用户存储在他/她的移动通信设备中或者在用户的移动通信设备可访问的云存储装置或应用服务器中，并且该图像与联系人信息相关联。例如，此类图像可作为简档图片来与联系人信息关联地存储，或者通过用图
像中可见的一个或多个人的名称标记图像来与联系人信息关联地存储。标记捕获若干面部的图像可通过存储识别图像中的面部的位置的元数据来实现，例如，使用定义面部的中心或包围面部的边界框的坐标集以及识别人的信息(诸如名称或其他合适的标识符)。作为替代方案，识别图像中的面部的位置的信息和识别人的信息可关联地存储在移动通信设备中包括的或可由移动通信设备访问的数据库中。
31.在图1所描绘的场景中，访问位置的两个用户分别用他们的移动通信设备110a和110b(例如，该移动通信设备可以是智能手机)捕获场景的图像112a和112b。移动通信设备110a和110b分别具有视场111a和111b(在图1中示出为由虚线111a/b限定的锐角，并共同标记为111)，其由被包括在移动通信设备110a和110b中的相机410(参见图4)的属性确定。
32.相机的视场可通过修改相机的光学器件来调整，例如，通过改变其焦距(又名光学变焦)或通过裁剪由相机捕获的图像的区域(又名数字变焦)。也就是说，视场是每个已捕获图像的特性，并且可基于相机的当前配置(例如，如果使用光学变焦)或在智能手机上执行的相机应用程序的设置(例如，如果使用数字变焦)来确定。通常，视场可用视锥的角大小来表示(作为视角)。对于常规相机透镜，对角线视场fov可被计算为
[0033][0034]
其中sensorsize是相机传感器的大小并且f是其焦距。
[0035]
在图1中还示出了携带移动通信设备110c和110d的两个其他用户，其被描绘为位于移动通信设备110a的视场111a内。此外，移动通信设备110d的用户被描绘为位于移动通信设备110b的视场111b内。因此，移动通信设备110c的用户可能在由移动通信设备110a捕获的图像112a中存在(即可见)，并且移动通信设备110d的用户可能在分别由移动通信设备110a和110b捕获的图像112a和112b中存在。因此，取决于移动通信设备110c和110d的用户的注视方向，他们的面部113c和113d可在由移动通信设备110a和110b捕获的图像112a和112b中可见。这在图1中举例说明，其示意性地示出由移动通信设备110a捕获的图像112a，分别存在移动通信设备110c和110d的用户的面部113c和113d。对应地，由移动通信设备110b捕获的图像112b可存在移动通信设备110d的用户的面部113d(尽管与图像112a相比以不同的角度)。
[0036]
本文提供的解决方案涉及协助识别在由移动通信设备(诸如移动通信设备110a/b)捕获的图像112中存在的面部113(又名面部识别)，这些面部113是携带其他移动通信设备(诸如移动通信设备110c/d)的用户的面部。如果用户在旅行期间携带他们的移动通信设备110a和110b，例如用于捕获他们正在访问的景象的图像112，则可能是这种情况。作为可能的情况，携带其移动通信设备110c和110d的其他人在捕获图像112期间可能意外地位于相机的视场111内，并且这些人(特别是他们的面部113)可因此有可能存在于已捕获图像112中。
[0037]
下面，参照图2和图3描述了移动通信设备110和应用服务器130的实施例，这些图示出了示出识别在由移动通信设备110捕获的图像112中存在的面部113的序列图，其中面部识别分别由移动通信设备110(图2)或应用服务器130(图3)执行。
[0038]
图4中示意性示出的移动通信设备110的实施例包括相机410、定位传感器420、取向传感器430、无线网络接口440和处理电路450。
[0039]
相机410是例如在目前的智能手机中普遍存在的cmos类型的数字相机，并且被配置为通过视场111捕获图像，该视场由相机410在空间中的当前位置和取向(以及相应地，相机410固定到的移动通信设备110的当前位置和取向)确定。
[0040]
定位传感器420被配置为确定移动通信设备110以及相应地相机410的当前位置。它可基于全球定位系统(gps)、全球导航卫星系统(gnss)、中国北斗导航卫星系统(bds)、glonass或伽利略，或者可经由无线网络接口440例如从定位服务器接收位置信息。位置信息可例如基于与无线通信网络的接入点(例如，小区id或wlan ssid)的已知位置相关联的无线电三角测量、无线电指纹或众包标识符。移动通信设备110的当前位置可例如经由移动通信设备110的操作系统所提供的应用程序编程接口(api)而可用。在捕获图像时的当前位置可作为元数据与图像一起被存储，或者被存储在单独的数据记录中，例如，被存储在移动通信设备110中包括的或可由移动通信设备访问的数据库中。
[0041]
取向传感器430被配置为确定移动通信设备110以及相应地相机410相对于参考系(例如，重力方向)的当前取向。它可包括一个或多个不同类型的传感器，诸如加速度计、陀螺仪和磁强计，这些在目前的智能手机中是常见的。移动通信设备110的当前取向可例如经由移动通信设备110的操作系统所提供的api而可用。在捕获图像时的当前取向可作为元数据与图像一起被存储，或者被存储在单独的数据记录中，例如，被存储在移动通信设备110中包括的或可由移动通信设备访问的数据库中。
[0042]
无线网络接口440被配置为接入无线通信网络120，并且由此使得移动通信设备110能够在任一方向(上行链路或下行链路)上与应用服务器130以及可选地与经由无线通信网络120可访问的任何其他网络节点(例如，定位服务器)通信(即交换数据)。例如，它可包括蜂窝调制解调器(例如，gsm、umts、lte、5g、nr/nx)、wlan/wi
‑
fi调制解调器、蓝牙调制解调器、可见光通信(vlc)调制解调器等中的一者或多者。
[0043]
处理电路450可包括一个或多个处理器451，诸如中央处理单元、微处理器、专用处理器、图形处理单元和包括图像处理器的数字信号处理器，或其组合；以及存储器452，该存储器包括含有指令的计算机程序453。当由处理器451执行时，计算机程序453被配置为致使移动通信设备110根据本文描述的本发明的实施例执行。计算机程序453可作为承载计算机程序453的数据载体信号通过无线网络接口440被下载到存储器452。处理器451还可包括一个或多个专用集成电路(asic)、现场可编程门阵列(fpga)等，其与计算机程序453协作或作为替代地被配置为致使移动通信设备110根据本文描述的本发明的实施例执行。
[0044]
移动通信设备110还可包括数据库(图4中未示出)，作为存储器452的一部分，或者作为单独的数据存储装置(诸如在目前的智能手机中经常用于存储图像的可移除存储卡)。数据库可用于存储由移动通信设备110捕获的图像，以及其他数据(诸如联系人信息、联系人的简档图像、联系人的参考面部特征、被成功识别的面部的名称等)。
[0045]
图5中示意性示出的应用服务器130的实施例包括网络接口510和处理电路520。
[0046]
网络接口510被配置为使得应用服务器130能够经由无线通信网络120在任一方向上与移动通信设备110通信(即交换数据)，并且可选地与其他网络节点通信，其他网络节点例如用于存储人的名称或其他适当标识符、表示这些人的面部的图像、从这些图像中提取的面部特征等的外部数据库140。它可以是任何类型的有线或无线网络接口，例如以太网、wlan/wi
‑
fi等。
[0047]
处理电路520可包括一个或多个处理器521，诸如cpu、微处理器、专用处理器、gpu和包括图像处理器的ds，或其组合；以及存储器522，该存储器包括含有指令的计算机程序523。当由处理器521执行时，计算机程序523被配置为致使应用服务器130根据本文描述的本发明的实施例执行。计算机程序523可作为承载计算机程序523的数据载体信号，通过网络接口510被下载到存储器522。处理器521还可包括一个或多个asic、fpga等，其与计算机程序指令523协作或作为计算机程序指令523的替代以被配置为致使应用服务器130根据本文描述的本发明的实施例执行。
[0048]
参考图2和图3，本文描述的实施例通过以下方式帮助识别由移动通信设备110a/b捕获的图像112中存在的面部113：向应用服务器130发送218/318指示捕获该图像的时间的信息以及与捕获该图像期间的相机410的视场111有关的信息，以及从应用服务器130接收224/324与已捕获图像中可能存在的一个或多个人有关的识别信息。应用服务器130将在已捕获图像中可能存在的一个或多个人选择221为在捕获图像期间位于相机的视场111内的人。更具体地说，可基于指示捕获该图像的时间的信息、与捕获该图像期间相机的视场111有关的信息、以及在捕获该图像期间一个或多个人的位置来选择221他们。一个或多个人的位置可以是应用服务器130从移动通信设备110c和110d接收202的带时间戳的位置信息。
[0049]
将在由移动通信设备110a或110b捕获的图像120中可能存在的一个或多个人选择221为在捕获该图像期间位于相机的视场111内的人是基于这样的理解，即在捕获图像时，这些人一直携带他们的移动通信设备110c和110d。换句话说，移动通信设备110c和110d的位置被假定为其相应用户的位置。
[0050]
在本上下文中，“在已捕获图像中可能存在，并且被应用服务器130将一个或多个人选择为在捕获图像期间位于相机的视场111内的人的”被理解为覆盖这样的场景：其中在捕获图像期间其移动通信设备110c或110d位于相机的视场111内的用户的面部不存在于已捕获图像中。情况可能如此，例如，如果在捕获图像期间用户的面部背离相机，在捕获图像期间用户或他/她的面部被另一个人或物体遮掩，或者用户的面部实际上在相机的视场111之外，这可能是因为在捕获图像期间移动通信设备110c或110d位于用户裤子的口袋中。
[0051]
有利的是，本文提出的解决方案不需要在捕获图像的用户与其面部存在于已捕获图像中的其他用户之间的任何先前关系。由于定位传感器和取向传感器在诸如智能手机的现代移动通信设备中普遍存在，因此所描述的解决方案提供了改进由移动通信设备捕获的图像中的面部识别的有效方式。
[0052]
尽管应用服务器130的实施例在本文中被描述为利用从移动通信设备110c和110d接收的位置信息，但将理解应用服务器130可另选地从由用户携带并且可确定和报告其随时间推移的位置的电子设备(而不是移动通信设备110)接收位置信息。例如，这可能是定位设备，如gps跟踪器、健身可穿戴设备等。
[0053]
更具体地，并且参考图2和图3，移动通信设备110a/b可操作性以使用相机来捕获211图像。捕获图像可由移动通信设备110的用户触发，例如，通过按压相机按钮(该相机按钮可以是设置在移动通信设备110的表面上的硬件按钮)，或者按压虚拟按钮(该虚拟按钮作为相机应用程序的用户界面的一部分显示在移动通信设备110中包括的触摸屏上)，如本领域已知的。另选地，捕获图像可以可重复地、周期性地或有规律地，或者如果移动通信设备110的当前位置已经改变超过阈值(其可以可选地由移动通信设备110的用户配置)时，以
始终在线的相机或生活记录器类型的方式来实现。
[0054]
移动通信设备110还可操作以向应用服务器130发送218/318指示捕获图像的时间的信息以及与捕获该图像期间的相机410的视场111有关的信息。指示捕获图像的时间的信息以及与捕获该图像期间的相机视场有关的信息可在单个消息交换中一起被发送，或者在移动通信设备110和应用服务器130之间的分开的消息交换中被发送。指示捕获图像的时间的信息可例如包括从移动通信设备110中包括的时钟获得的时间戳。例如，可经由移动通信设备110的操作系统所提供的api来获得当前时间。捕获图像的时间可作为元数据与已捕获图像一起被存储，或者被存储在分开的数据记录中。
[0055]
移动通信设备110还可操作以从应用服务器130接收224/324与已捕获图像中可能存在的一个或多个人有关的识别信息。如前所述，应用服务器130将在已捕获图像中可能存在的一个或多个人选择221为在捕获图像期间位于相机的视场111内的人。
[0056]
移动通信设备110可以可操作以基于从定位传感器420和取向传感器430接收的信息来确定在捕获图像期间相机410的视场111。更具体地说，移动通信设备110可以可操作以使用定位传感器420来确定215在捕获图像期间的移动通信设备110的位置，并且使用取向传感器430来确定216在捕获图像期间相机410指向的方向。信息可分别从定位传感器420和取向传感器430直接接收，或者经由移动通信设备110的操作系统的api接收。
[0057]
可选地，移动通信设备110可以可操作以进一步基于从相机410接收的信息来确定在捕获图像期间的相机410的视场111。更具体地说，移动通信设备110可以可操作以基于与相机410的配置有关的信息来确定217在捕获图像期间的相机410的视角。信息可经由操作系统的api直接从相机410接收(如上文所述)，或者经由相机应用程序的api接收，该相机应用程序在移动通信设备110上执行，并且被设置用于经由移动通信设备110的(可选地基于触摸的)用户接口来控制相机410。信息可例如涉及相机410的当前焦距设置、相机410的传感器的尺寸、相机410的当前视角等中的一个或多个。
[0058]
所发送218/318的与捕获图像期间的相机的视场111有关的信息包括所确定215的位置和所确定216的方向。可选地，它可以还包括所确定217的视角。
[0059]
为了帮助其他移动通信设备执行根据本发明的实施例的面部识别的目标，移动通信设备110还可以可操作以使用定位传感器420来确定201移动通信设备110的位置，并且向应用服务器130发送202与所确定的移动通信设备110的位置有关的信息。移动通信设备110的位置可定期地、周期性地、根据应用服务器130的请求地、或在移动通信设备110的位置已改变超过阈值距离的情况下被报告。位置信息可一次一个地发送202，可选地与指示确定201发送位置的时间的信息一起被发送，或者作为位置
‑
时间对的序列被发送。
[0060]
进一步参考图2和图3，应用服务器130可操作以接收202与人在各时间的位置有关的信息，并且将所接收的与人在各时间的位置有关的信息存储203在数据库中。具体地，应用服务器130可以可操作以从人携带的其他移动通信设备110c/d接收202与人在各时间的位置有关的信息作为定位信息。数据库可被包括在应用服务器130中或与应用服务器位于一处(诸如图5所示的数据库530)，或者与应用服务器130分开设置并且由应用服务器130经由网络接口510可访问(诸如图1所示的数据库140)，例如，作为基于云的存储装置。附加地或可选地，应用服务器130可以可操作以从定位设备(诸如gps跟踪器、健身可穿戴设备等)接收202与人在各时间的位置有关的信息作为定位信息。
[0061]
应用服务器130还可操作以从移动通信设备110接收218/318指示由被包括在移动通信设备110中的相机捕获图像的时间的信息以及与在捕获该图像期间的相机的视场111有关的信息。指示捕获图像的时问的信息以及与捕获该图像期间的相机视场111有关的信息可在单个消息交换中一起被接收218/318，或者在移动通信设备110和应用服务器130之间的分开的消息交换中被接收。
[0062]
应用服务器130还可操作以选择221在已捕获图像112中可能存在的一个或多个人，具体地作为在捕获图像期间位于相机的视场111内的人。更具体地说，应用服务器130可以可操作以基于所接收218/318的指示捕获图像的时间的信息、所接收218/318的与捕获图像期间的相机的视场111有关的信息，以及存储203在数据库140/530中的人在各时间的位置，来选择221在已捕获图像中可能存在的一个或多个人。也就是说，如果在捕获图像时人的位置在相机的视场111内，则该人被选择221为在已捕获图像中可能存在的人。
[0063]
如上文所述，所选择221的在已捕获图像中可能存在的一个或多个人或他们的面部可以不一定存在于该已捕获图像中，例如，由于以下事实：在捕获图像期间用户的面部背离相机，在捕获图像期间用户或他/她的面部被另外的一个或多个人或物体遮掩，或者用户的面部实际上在相机的视场111之外，这可能是因为在捕获图像期间移动通信设备110c或110d位于用户裤子的口袋中。也可能是由于较差图像质量而使人的面部无法识别的情况。
[0064]
应用服务器130可以可操作以进一步接收202与人在各时间的注视方向有关的信息，在数据库140/530中存储203所接收到的与人在各时间的注视方向有关的信息，以及进一步基于他们在捕获图像期间的注视方向来选择221在已捕获图像中可能存在的一个或多个人。例如，可优先考虑在捕获图像期间朝向移动通信设备110注视的人，因为更有可能可成功地识别他们的面部。例如，假设一个人在走路时向前看，他的注视方向可根据其移动导出。另选地，注视方向可从用户佩戴的谷歌眼镜或hmd，或从人在捕获图像或进行语音呼叫时握持的移动电话导出，因为可从移动电话的取向(分别握持在用户面部前面或靠近用户耳朵)导出注视方向。
[0065]
可选地，应用服务器130可以可操作以进一步基于在捕获图像期间人与移动通信设备110的位置之间的距离来选择221在已捕获图像中可能存在的一个或多个人。例如，这可通过使用阈值距离或者通过基于距离对所选人进行优先排序来实现。可优先考虑在捕获图像期间被定位在与移动通信设备110相距较短距离处的人，因为更有可能可成功地识别他们的面部。
[0066]
应用服务器130还可操作以获取222与已捕获图像中可能存在的一个或多个所选择221的人有关的识别信息。更具体地说，所获取222的与已捕获图像中可能存在的一个或多个人有关的识别信息包括一个或多个人的参考面部特征，以及与一个或多个人相关联的名称。参考面部特征和名称可例如从数据库140/530检索，该数据库可由社交网络服务器托管。可替换地，应用服务器130能够可操作以从数据库140/530检索存在人的面部的图像，诸如社交网络简档图像，并且从所检索的图像中提取参考面部特征。
[0067]
所获取222的识别信息可不必包括所有所选择221的在已捕获图像中可能存在的人的参考面部特征，例如，因为其他移动通信设备110的用户的面部特征可能不可用，或者只有在其用户已经选择加入(即同意为了面部识别的目的使其面部特征可用)的情况下才可用，或者没有选择退出使其面部特征可用。这可例如通过允许或防止对参考面部特征或
可从中提取参考面部特征的图像的共享的隐私设置来实现。
[0068]
应用服务器130还可操作以向移动通信设备110发送224/324所获取222的与已捕获图像中可能存在的一个或多个人有关的识别信息的至少一部分。
[0069]
在下面，并参考图2，描述本发明的某些实施例，其依赖于由移动通信设备110使用从应用服务器130接收224的识别信息来执行的面部识别。
[0070]
应用服务器130可操作以作为与已捕获图像中可能存在的一个或多个人有关的识别信息，向移动通信设备110发送224一个或多个人的参考面部特征以及与一个或多个人相关联的名称。移动通信设备110还可操作以尝试231通过使用所接收224的参考面部特征对已捕获图像执行面部识别来识别一个或多个人的面部，并且关联地存储232被成功识别的面部的名称，或者更确切地说与其面部已经被成功识别的人相关联的名称。例如，其面部已被成功识别231的人的名称或其他适当标识符可作为元数据与已捕获图像一起被存储232，或被存储在移动通信设备110中包括的或可由移动通信设备访问的数据库中。
[0071]
在下面，并参考图3，描述依赖于由应用服务器130执行的面部识别的本发明可选实施例。
[0072]
移动通信设备110还可操作以检测312在已捕获图像中存在的一个或多个人的面部，并且向应用服务器130发送318表示已捕获图像中存在的一个或多个人的已检测面部的数据。表示已检测面部的数据可与指示捕获图像的时间的信息以及与捕获图像期间的相机的视场111有关的信息一起被发送318，或者在分开的消息交换中被发送。在这种情况下，从应用服务器接收324的识别信息包括与一个或多个人相关联的名称。这些是其面部被应用服务器130成功识别的人的名称。
[0073]
所发送318的表示已捕获图像中存在的一个或多个人的已检测面部的数据可包括表示已检测面部的图像数据。例如，这可以是已捕获图像或从其导出的图像，例如，包围已检测面部的裁剪区域。可选地，已捕获图像或包围一个或多个面部的裁剪区域可以按照与它们被相机410捕获的格式相同的格式(即，以原始数据格式或压缩文件格式)或作为具有减小的分辨率和/或颜色空间的已捕获图像的压缩版本而被发送318，由此减小经由无线通信网络120和任何其他互连通信网络向应用服务器130发送318图像数据所需的带宽。
[0074]
可选地，移动通信设备110可以可操作以提取313已检测面部的面部特征，并且发送318所提取的面部特征作为表示已捕获图像中存在的一个或多个人的已检测面部的所发送数据。
[0075]
可选地，移动通信设备110可以可操作以尝试314使用可由移动通信设备110访问的参考面部特征来识别已检测面部，其中表示已捕获图像中存在的一个或多个人的已检测面部的所发送318数据仅表示尚未成功识别的面部。可由移动通信设备110访问的参考面部特征可具体地包括移动通信设备110的用户已知的人的参考面部特征。例如，这可以是可从存储在移动通信设备110中的或可由移动通信设备访问的图像中提取的参考面部特征，该移动通信设备存在移动该通信设备的用户已知的人的面部。参考面部特征可例如存储在移动通信设备中包括的或可由移动通信设备访问的数据库中，或者与人的简档图像一起作为元数据被存储。另选地，此类参考面部特征也可通过社交网络提供者而可用。
[0076]
进一步参考图3，应用服务器130可操作以从移动通信设备110接收318表示在已捕获图像中存在的一个或多个人的已检测面部的数据。与上述内容相对应，表示已检测面部
的数据可与指示捕获图像的时间的信息以及与捕获图像期间相机的视场111有关的信息一起被接收318，或者在分开的消息交换中被接收。
[0077]
表示已捕获图像中存在的一个或多个人的已检测面部的所接收318数据可包括表示已检测面部的图像数据。例如，这可以是已捕获图像或从其导出的图像，例如，包围已检测面部的裁剪区域。可选地，已捕获图像或包围一个或多个面部的裁剪区域可以按照与它们被移动通信设备110的相机410捕获的格式相同的格式(即，以原始数据格式或压缩文件格式)或作为具有减小的分辨率和/或颜色空间的已捕获图像的压缩版本而被接收318，由此减小经由无线通信网络120和任何其他互连通信网络从移动通信设备110接收318图像数据所需的带宽。
[0078]
另选地，表示已捕获图像中存在的一个或多个人的已检测面部的所接收318数据可包括已检测面部的已提取面部特征。
[0079]
应用服务器130还可操作以尝试323通过以下方式来识别一个或多个人的已检测面部：使用所获取222的参考面部特征对表示已捕获图像中存在的一个或多个人的已检测面部的所接收318数据执行面部识别。发送324到移动通信设备的识别信息包括与其面部已被成功识别的一个或多个人相关联的名称。
[0080]
应当理解，与由应用服务器130接收202的人在各时间的位置有关，并且用于基于在111捕获图像期间的视场来选择221在由移动通信设备110捕获的图像中可能存在的一个或多个人的信息可能与捕获图像的时间不完全一致。在这种情况下，可内插所接收202的与人在各时间的位置有关的信息(位置信息)以估计在捕捉图像的各时间人的近似位置。可替换地，可基于针对在时间上与捕获图像的时间接近的时间接收202的位置信息，并且可选地进一步基于人在相关时间的速度，来选择221人。例如，如果人在特定持续时间期间基本静止，则选择221不需要位置时间戳与捕获时间的精确匹配。
[0081]
移动通信设备110和应用服务器130之间的数据和信息交换，具体地，从移动通信设备110向应用服务器130发送218/318指示捕获图像的时间的信息以及与捕获图像期间相机的视场有关的信息，以及从应用服务器130接收224/324与移动通信设备110捕获的图像中可能存在的一个或多个人有关的识别信息，是经由无线通信网络120来实现，该无线通信网络例如，无线电接入网(ran)，诸如蜂窝电信网络(例如，gsm、umts、lte、5g、nr/nx)、无线局域网(wlan)/wi
‑
fi网络、蓝牙或任何其他类型的基于无线电或基于光的通信技术。除了无线通信网络120之外，移动通信设备110和应用服务器130之间的数据和信息的交换可涉及诸如互联网(图1中未示出)的附加通信网络。
[0082]
移动通信设备110可操作以使用任何合适的网络协议、网络协议的组合或协议栈来与应用服务器130交换信息。例如，移动通信设备110可以可操作以利用超文本传输协议(http)、传输控制协议(tcp)、互联网协议(ip)、用户数据报协议(udp)、受限应用协议(coap)等。应用服务器130可操作以使用一个或多个对应的网络协议来与移动通信设备110以及可选地与外部数据库140交换信息。
[0083]
在下面，参考图6描述了由移动通信设备(诸如移动通信设备110)执行的方法600的实施例。
[0084]
方法600包括：使用移动通信设备中包括的相机来捕获603图像，以及向应用服务器发送610指示捕获所述图像的时间的信息以及与捕获所述图像期间所述相机的视场111
有关的信息。方法600还包括从应用服务器接收612与已捕获图像中可能存在的一个或多个人有关的识别信息。在所述已捕获图像中可能存在的一个或多个人可作为在捕获图像期间位于相机的视场111内的人。具体地，可基于指示捕获所述图像的时间的信息、与捕获所述图像期间所述相机的视场111有关的信息、以及在捕获所述图像期间的一个或多个人的位置，来选择在所述已捕获图像中可能存在的一个或多个人。
[0085]
可选地，所接收的与已捕获图像中可能存在的一个或多个人有关的识别信息包括所述一个或多个人的参考面部特征，以及与所述一个或多个人相关联的名称。方法600还包括：尝试613通过使用所接收的参考面部特征对已捕获图像执行面部识别来识别所述一个或多个人的面部，以及关联地存储614被成功识别的面部的名称。
[0086]
可选地，方法600还包括：检测604在已捕获图像中存在的一个或多个人的面部，以及向应用服务器发送611表示在已捕获图像中存在的一个或多个人的已检测面部的数据。所接收的识别信息包括与所述一个或多个人相关联的名称。表示在已捕获图像中存在的一个或多个人的已检测面部的所发送数据可包括表示已检测面部的图像数据。另选地，方法600还可包括提取605已检测面部的面部特征，其中表示在已捕获图像中存在的一个或多个人的已检测面部的所发送数据包括所提取的面部特征。
[0087]
可选地，方法600还包括尝试606使用可由移动通信设备访问的参考面部特征来识别已检测面部，其中表示在已捕获图像中存在的一个或多个人的已检测面部的所发送数据仅表示尚未成功识别的面部。可由移动通信设备访问的参考面部特征可包括移动通信设备的用户已知的人的参考面部特征。
[0088]
可选地，基于从被包括在移动通信设备中的定位传感器和取向传感器接收的信息来确定在捕获图像期间相机的视场111。可进一步基于从相机接收的信息来确定在捕获图像期间相机的视场111。
[0089]
可选地，方法600还包括：使用被包括在移动通信设备中的定位传感器来确定607在捕获图像期间所述移动通信设备的位置，以及使用被包括在所述移动通信设备中的取向传感器来确定608在捕获图像期间所述相机指向的方向。与捕获图像期间的相机的视场111有关的信息包括所确定的位置和所确定的方向。方法600还可包括基于与相机的配置有关的信息来确定609在捕获图像期间所述相机的视角，其中与捕获图像期间所述相机的视场111有关的信息还包括所确定的视角。
[0090]
可选地，方法600还包括使用被包括在移动通信设备中的定位传感器来确定601移动通信设备的位置，以及向应用服务器发送602与所确定的移动通信设备的位置有关的信息。
[0091]
将理解，方法600可包括根据整个本公开描述的附加的、可替换的或修改的步骤。方法600的实施例可被实现为包括指令的计算机程序453，当计算机程序由被包括在移动通信设备110中的处理器451执行时，该指令致使移动通信设备110执行方法600的实施例。计算机程序453可存储在诸如存储棒、随机存取存储器(ram)、只读存储器(rom)、闪存存储器、cdrom、dvd等的计算机可读存储介质452上。可替换地，例如，当计算机程序经由被包括在移动通信设备110中的无线网络接口440下载到移动通信设备110时，计算机程序453可由数据载波信号承载。
[0092]
下面，参照图7描述由应用服务器(诸如应用服务器130)执行的方法700的实施例。
[0093]
方法700包括接收701与人在各时间的位置有关的信息，并且将所接收的与人在各时间的位置有关的信息存储702在数据库中。方法700还包括：从移动通信设备接收703指示由被包括在移动通信设备中的相机捕获图像的时间的信息以及与在捕获图像期间相机的视场111有关的信息；以及选择705在已捕获图像中可能存在的一个或多个人。方法700还包括：获取706与在已捕获图像中可能存在的一个或多个所选择的人有关的识别信息，以及向移动通信设备发送708所获取的与已捕获图像中可能存在的一个或多个人有关的识别信息的至少一部分。在已捕获图像中可能存在的一个或多个人可以被选择705为在捕获图像期间位于相机的视场111内的人。具体地，可基于指示捕获图像的时间的接收信息、与捕获图像期间相机的视场111有关的接收信息、以及存储在数据库中的人在各时间的位置来选择705在已捕获图像中可能存在的一个或多个人。
[0094]
可选地，方法700还可包括接收与人在各时间的注视方向有关的信息，以及在数据库中存储所接收的与人在各时间的注视方向有关的信息，其中选择705在已捕获图像中可能存在的一个或多个人进一步基于在捕获图像期间他们的注视方向。
[0095]
可选地，所获取的与已捕获图像中可能存在的一个或多个人有关的识别信息可包括一个或多个人的参考面部特征，以及与一个或多个人相关联的名称，并且所获取的识别信息被发送708到移动通信设备。
[0096]
可选地，所获取的与已捕获图像中可能存在的一个或多个所选人有关的识别信息可包括一个或多个人的参考面部特征，以及与一个或多个人相关联的名称，并且方法700还包括：从移动通信设备接收表示在已捕获图像中存在的一个或多个人的已检测面部的数据704，尝试707通过以下方式来识别一个或多个人的已检测面部：使用所获取的参考面部特征对表示在已捕获图像中存在的一个或多个人的已检测面部的所接收数据执行面部识别。所发送708的识别信息包括与其面部已被成功识别的一个或多个人相关联的名称。表示在已捕获图像中存在的一个或多个人的已检测面部的所接收数据可包括表示已检测面部的图像数据。可替换地，表示在已捕获图像中存在的一个或多个人的已检测面部的所接收数据可包括已检测面部的已提取面部特征。
[0097]
可选地，可从人携带的其他移动通信设备接收701与人在各时间的位置有关的信息作为定位信息。
[0098]
可选地，可从社交网络服务器获取与在已捕获图像中可能存在的一个或多个所选择的人有关的识别信息。
[0099]
将理解，方法700可包括根据整个本公开描述的附加的、可替换的或修改的步骤。方法700的实施例可被实现为包括指令的计算机程序523，当计算机程序由应用服务器130中包括的处理器521执行时，该指令致使应用服务器130执行方法700的实施例。计算机程序523可存储在诸如存储棒、随机存取存储器(ram)、只读存储器(rom)、闪存存储器、cdrom、dvd等的计算机可读存储介质522上。可替换地，例如，当计算机程序经由被包括在应用服务器130中的网络接口510下载到应用服务器130时，计算机程序523可由数据载波信号承载。
[0100]
本领域技术人员意识到，本发明绝不限于上述实施例。相反，在所附权利要求的范围内，许多修改和变化是可能的。