用于自动用户标识的电子装置的制作方法

用于自动用户标识的电子装置
1.相关申请的交叉引用
2.本技术要求于2019年9月27日提交的题为“用于自动用户标识的电子装置(electronic device for automated user identification)”的美国专利申请第16/585,328号的优先权，所述美国专利申请的全部内容通过引用并入本文。


背景技术：

3.零售商、批发商和其它产品分销商通常管理利用收银员或专用自助结账台与客户完成交易的实体店。在这些传统的结账过程期间，客户可能必须携带和使用实物进行支付或标识，如信用卡或借记卡、驾照、电话等。未来，实体店可能会利用各种类型的传感器，让用户在没有收银员或专门自助结账台的情况下就可以获取和支付物品。在一些实例中，可能期望使用不需要使用实物的方法来标识客户并且对客户从实体店取走的物品收取适当的客户账户费用。
附图说明
4.参考随附图式阐述详细描述。在图中，附图标记的最左边的一个或更多个数字识别附图标记首次出现的图。在不同图式中使用相同参考标号指示类似或相同的项目或特征。
5.图1a-1b共同展示了用于在捕获生物特征数据时提供指令的示例过程。
6.图2a-2f展示了示例用户接口，所述示例用户接口提供用于将手放置在用户识别装置之上的目标位置的指令。
7.图3a-3f展示了示例用户接口，所述示例用户接口提供用于在捕获生物特征数据时输入附加信息的指令。
8.图4a-4d展示了用于放置用户的部分以便用户识别装置可以捕获生物特征数据的目标位置的实例。
9.图5展示了分析手以便标识手掌中心的实例。
10.图6展示了包含用户识别装置以确定用户想要向用户识别系统注册的示例环境。
11.图7展示了示例环境，所述示例环境包含被配置成支持用户识别系统的功能的至少一部分的一个或更多个服务器的框图，以及系统内用于向用户识别系统注册用户的示例数据流。
12.图8展示了示例环境，所述示例环境包含被配置成支持用户识别系统的功能的至少一部分的一个或更多个服务器的框图，以及系统内用于标识用户识别系统的用户，并且可能更新用户的注册的示例数据流。
13.图9展示了被配置成支持用户识别系统的功能的至少一部分的用户识别装置的示例组件。
14.图10a-10b共同展示了用于提供与将手放置在相对于用户识别装置的目标位置处相关联的指令的示例过程的流程图。
15.图11展示了用于提供与输入生物特征数据相关联的指令的示例过程的流程图。
16.图12展示了用于确定用户的部分相对于电子装置的位置的示例过程的流程图。
17.图13是包含传感器和库存管理系统的示例材料处置设施的框图，所述库存管理系统被配置成使用传感器数据生成关于在设施中发生的事件的输出。
18.图14展示了被配置成支持设施的操作的一个或更多个服务器的框图。
具体实施方式
19.本公开描述了用于使用生物特征识别技术来标识用户的系统、技术和用户接口。如下文所描述的，用户可以注册用户识别系统，所述用户识别系统利用各种基于生物特征的识别技术，因此用户可以在没有携带或使用传统的标识形式的情况下被标识，如示出id或访问他们的个人电话。用户识别系统可以针对各种目的识别或标识注册用户，如通过对购买设施中注册用户选择的物品收取适当的用户账户费用，使材料处置设施(或“设施”)中的传统结账体验自动。
20.在一个说明性实例中，系统和技术用于识别或标识材料处置设施内的用户，所述材料处置设施可以包含或可以访问库存管理系统。库存管理系统可以被配置成维护关于物品、用户、设施状况等的信息。例如，库存管理系统可以维护指示设施内发生的不同事件的结果的数据，如特定用户挑选或归还什么物品、特定用户的位置等。
21.库存管理系统的操作可以由一个或更多个传感器获取的传感器数据支持。传感器数据可以包含由如照相机等成像装置获取的图像数据、从射频标签、重量传感器等获取的信息。例如，库存管理系统可以自动标识从库存位置移除的物品以及移除所述物品的用户。作为响应，库存管理系统可以自动更新用户的虚拟购物车。
22.传统上，当用户完成他们的购物会话时，用户必须通过让收银员扫描他们的物品或使用专门的自助结账台来支付他们的物品。本文所描述的技术通过识别或标识注册使用用户识别系统的用户并且对所述用户的用户账户收取其虚拟购物车中包含的物品的费用来减少传统结账体验中的摩擦。根据本文所描述的技术，注册到用户识别系统的用户可能只需要通过例如在成像装置处扫描用户的手掌、扫描用户的指纹、查看定位于设施中的用户识别装置的相机等来提供生物特征信息，以便被以下用户识别系统标识。
23.为了利用用户识别系统，用户可以通过与定位于设施中的用户识别装置交互来请求注册。例如，用户可以在用户识别装置的显示器上选择注册选项，发出要求注册的语音或基于gui的命令，将用户id卡插入用户识别装置和/或简单地在用户识别装置前呈现他们的手或手掌以提示注册过程。
24.在请求注册到用户识别系统中时，用户识别装置可以在用户许可和/或在用户明确请求的情况下开始为用户收集各种类型的生物特征数据和/或其它数据。例如，用户识别装置可以包含一个或更多个成像传感器(例如，照相机)，所述成像传感器开始捕获用户的至少一部分的图像数据(例如，单个图像、一系列图像、视频等)，如用户的手掌、用户的面部等。在手掌的实例中，当用户识别装置捕获图像数据时，用户识别装置可以请求用户将他们的手移动到不同的角度和/或定向，并且还可以在不同的照明条件下(例如，无闪光、闪光、不同的光偏振等)捕获图像数据，以生成表示不同环境条件下用户手掌的图像数据。
25.在一些实例中，用户可能已经具有向库存管理系统注册的账户以支付在购物会话
期间选择的物品。在此类实例中，用户识别装置可以通过各种方式确定用户注册的用户账户，如通过请求用户插入个人id卡(例如，驾照)、扫描可以呈现在用户电话显示器上的条形码，使用他或她的登录凭证登录等。
26.一旦用户识别装置已经获得了表示用户手掌或其它部分的图像数据，用户识别装置就可以利用此数据向用户识别系统注册用户。在一些实例中，用户识别系统可以完全在用户识别装置上实施，所述用户识别装置可以包含软件、固件和/或硬件组件以实施本文所描述的技术。然而，在一些实例中，用户识别系统可以根据分离架构实施，其中用户识别装置执行客户端注册和标识技术，并且可以使用基于后端服务器的实施方案来执行更密集和/或高级的处理。例如，用户识别系统可以包含一个或更多个基于网络的计算装置，所述基于网络的计算装置定位于设施中的单独位置处和/或远程、基于云的位置处。基于网络的装置可以包含用于实施用户识别系统的各种组件。
27.在此类实例中，用户识别装置可以将图像数据和/或由用户识别装置使用图像数据生成的特征数据发送到基于网络的装置以向用户识别系统注册用户。用户识别系统的基于网络的装置可以对图像数据和/或特征数据执行各种处理技术，使得用户识别系统能够从随后接收的图像数据和/或特征数据中标识用户。
28.用户识别系统可以分析图像数据以确定用户的各种特征。例如，用户识别系统可以基于图像数据提取和/或生成表示用户手掌的手掌特征数据。此手掌特征数据可以表示用户手掌可能唯一的信息，如用户手掌中的折痕图案、用户手掌的静脉图案、用户手的一个或更多个部分的几何形状(例如，手指大小/形状、手掌大小/形状等)等。用户识别系统可以利用任何类型的处理技术来生成手掌特征数据，并且可以使用如特征向量等各种类型的数据结构来表示图像数据中描绘的用户手掌。在一些实例中，用户识别系统可以包含一个或更多个经训练的模型(例如，机器学习模型)，所述经训练的模型已经被训练以接收用户的图像数据作为输入，以及表示用户手掌的输出特征向量。通常，经训练的模型可以包括任何类型的模型，如机器学习模型(例如，人工神经网络、卷积神经网络(cnn)、分类器、随机森林模型等)，所述模型可以被训练为标识用户手掌和/或用户的一个或更多个其它部分(例如，面部等)。
29.在获得表示用户手掌的特征数据时，用户识别系统可以将特征数据存储在注册数据库中，并且将特征数据与所述特定用户的用户简档相关联。以此方式，当在用户识别装置处接收到用户的后续图像数据时，可以将注册数据库中存储的特征数据与从后续图像数据生成的特征数据进行比较，以为用户标识后续图像数据和音频数据中表示的用户简档。
30.以此方式，用户可以注册使用用户识别系统，使得在完成后续购物会话之后，用户可以通过将他或她的手掌放置在用户识别装置的成像组件之上以允许用户识别系统自动识别用户来结账。用户识别装置可以检测用户的存在(例如，检测手掌、检测面部、检测语音话语、检测通过触摸显示器的触摸输入等)，并且开始将图像数据和音频数据流式传输到用户识别系统的后端装置。用户识别系统的后端装置然后可以利用经训练的模型来提取特征数据，并且将所述特征数据与所存储的用于注册用户的用户简档的特征数据进行比较。另外或可替代地，用户可以在进入设施时扫描他或她的手掌以进行识别，并且在一些情况下，可以简单地带着他或她挑选的物品离开设施而无需再次扫描他或她的手掌。在这些情况下，用户可以在进入时被标识并且在用户在设施周围移动时被系统定位，使得用户可以在
不与设施处的员工或装置进行进一步交互的情况下“直接走出”。
31.如上文所描述的，当用户识别装置捕获图像数据时，用户识别装置可以请求用户将他们的手移动到不同的位置、角度和/或定向。在一些情况下，用户识别装置可以提供帮助指导用户将手移动到不同的位置、角度和/或定向的一个或更多个用户接口。例如，用户识别装置可以显示用户接口(称为“第一用户接口”)，所述用户接口包含将用户的手放置在用户识别装置的成像组件之上的指令。第一用户接口可以进一步包含接口元件，如果用户尚未创建用户简档，则用户可以选择所述接口元件来创建新的用户简档。另外，在一些情况下，第一用户接口可以包含如何将手放置在成像组件之上的展示。当用户第一次接近用户识别装置时，用户识别装置可以显示此第一用户接口。
32.在显示第一用户接口时，用户识别装置可以检测到定位于成像组件之上的用户的手。在一些实例中，用户识别装置可以使用距离传感器检测手。在其它实例中，用户识别装置可以使用一个或更多个成像传感器来检测手。在任一实例中，基于检测到用户的手，用户识别装置可以显示用户接口(称为“第二用户接口”)，所述用户接口提供用于将手放置在成像组件之上的目标位置处的指令。
33.如本文所描述的，成像组件之上的目标位置可以包含相对于成像组件的目标竖直位置(例如，z方向)和相对于成像组件的目标水平位置(例如，x方向和y方向)。在一些实例中，目标竖直位置可以与成像组件上方的竖直距离相关联，如成像组件上方八十五毫米。然而，在其它实例中，目标竖直位置可以与成像组件上方的任何其它竖直距离相关联。另外，在一些实例中，目标水平位置可以在x方向和y方向两者上与成像组件的中部相关联。在一些情况下，目标竖直位置和/或目标水平位置还可以在捕获生物特征数据时允许一些偏移。例如，目标竖直位置可以允许手定位于成像组件上方七十五毫米与九十五毫米之间。另外，目标竖直位置可以允许手在x方向或y方向上定位为二十毫米。
34.第二用户接口可以包含与成像组件之上的目标位置相关联的第一图形元件。在一些实例中，第一图形元件包含定位成接近第二用户接口的中心的圆圈。所述圆圈可以包含实线、虚线和/或任何其它类型的线。在其它实例中，第一图形元件可以包含不同类型的形状。例如，第一图形元件可以包含但不限于正方形、矩形、五边形、六边形、手形和/或任何其它形状。另外，在其它实例中，第一图形元件可以定位于第一用户接口上的任何方位处。
35.第二用户接口可以进一步包含与用户的手在成像组件上方的位置相关联的第二图形元件。例如，当用户的手定位于成像组件上方时，用户识别装置可以使用一个或更多个传感器来检测用户的手在成像组件上方的位置。用户的手的位置可以包含相对于成像组件的竖直位置和相对于成像组件的水平位置。在一些实例中，用户识别装置可以以设定的时间间隔检测用户的手的位置。例如，用户识别装置可以每毫秒、每秒等检测用户的手的位置。在一些实例中，如当用户识别装置正在使用一个或更多个成像传感器来检测位置时，用户识别装置可以使用由图像数据表示的每一帧、由图像数据表示的每隔一帧、由图像数据表示的每隔五帧等来检测用户的手的位置。
36.然后，用户识别装置可以基于检测到的用户的手的位置来更新第二图形元件。例如，用户识别装置可以基于用户的手的竖直位置来更新第二图形元件的大小。例如，如果用户的手的竖直位置接近成像组件的目标竖直位置(例如，成像组件上方八十五毫米)，则用户识别装置可以使第二图形元件的大小与第一图形元件的大小相匹配。然而，如果用户的
手的竖直位置比设定的竖直位置更远离成像组件(例如，成像组件上方一百毫米)，则用户识别装置可以使第二图形元件大于第一图形元件的大小。这可以通知用户将手降低到更靠近成像组件。此外，如果用户的手的竖直位置比目标竖直位置更靠近成像组件(例如，成像组件上方五十毫米)，则用户识别装置可以使第二图形元件小于第一图形元件。这可以通知用户将手进一步举到成像组件上方。
37.用户识别装置还可以基于用户的手的水平位置来更新第二图形元件的方位。例如，如果用户的手的水平位置接近成像组件的目标水平位置(例如，靠近成像组件的中部)，则用户识别装置可以使第二图形元件在第一图形元件内居中。然而，如果用户的手的水平位置位于成像组件的设定的水平位置的左侧或右侧(例如，在x方向上偏移)，则用户识别装置可以使第二图形元件在左侧或右侧方向上从第一图形元件的中心偏移。这可以通知用户将用户的手相对于成像组件向左或右移动。此外，如果用户的手的水平位置位于成像组件的目标水平位置的前面或后面(例如，在y方向上偏移)，则用户识别装置可以使第二图形元件在上或下方向上从第一图形元件的中心偏移。这可以通知用户将用户的手相对于成像组件向前面或后面方向移动。尽管这些只是基于用户的手的位置来更新第二图形元件的几个实例，但是在其它实例中，用户识别装置可以使用附加的和/或替代性技术来更新第二图形元件。
38.在一些情况下，第二用户接口可以进一步包含用于将手放置在目标位置处的指令。对于第一实例，如果用户的手的水平位置在成像组件的目标水平位置的左侧，则第二用户接口可以包含指示用户需要将手移动到“右侧”的指令。对于第二实例，如果用户的手的水平位置在成像组件的目标水平位置的右侧，则第二用户接口可以包含指示用户需要将手移动到“左侧”的指令。对于第三实例，如果用户的手的水平位置在成像组件的目标水平位置的前面，则第二用户接口可以包含指示用户需要将手“向后”移动的指令。对于第四实例，如果用户的手的水平位置在成像组件的目标水平位置的后面，则第二用户接口可以包含指示用户需要将手“向前”移动的指令。
39.对于第五实例，如果用户的手的竖直位置比目标竖直位置更靠近成像组件，则第二用户接口可以包含指示用户需要将手移动“更高”的指令。此外，对于第六实例，如果用户的手的竖直位置比目标竖直位置更远离成像组件，则第二用户接口可以包含指示用户需要将手移动“更低”的指令。尽管这些只是第二用户接口可以提供给用户的几个示例指令，但在其它实例中，第二用户接口可以提供附加的和/或替代性指令以帮助指导用户将手放在哪里。
40.在一些情况下，用户识别装置可以使用一种或更多种附加的和/或替代性技术来更新第二图形元件。例如，用户识别装置可以基于手的位置(例如，竖直位置或水平位置)、手的姿势、手的定向、手的倾斜度等来更新第二图形元件的大小、形状、方位和/或颜色。另外，第二用户接口可以提供指示用户需要改变手的姿势、手的定向和/或手的倾斜度的指令。这些指令可以进一步帮助用户确定将手放置在用户识别装置之上的正确位置、方位、定向和/或倾斜度。
41.用户识别装置可以继续向用户提供指令，直到用户识别装置检测到用户的手接近目标位置。在一些实例中，用户识别装置可以基于确定手的竖直位置处于(例如，小于)距目标竖直位置的阈值距离内和手的水平位置处于距目标水平位置的阈值距离内来检测手接
近目标位置。如本文所描述的，阈值距离可以包含但不限于十毫米、二十毫米、三十毫米和/或任何其它距离。
42.在一些情况下，在用户识别装置检测到用户的手被定位成接近目标位置后，用户识别装置可以显示指示手在正确位置处的用户接口(称为“第三用户接口”)。另外，在用户已经注册到用户识别系统的情况下，用户识别系统可以执行本文所描述的过程来标识与用户相关联的用户简档。在用户尚未向用户识别系统注册的情况下，用户识别装置可以提供一个或更多个附加的用户接口，用于接收用于向用户识别系统注册的另外信息。
43.对于第一实例，用户识别装置可以显示用于输入与用户相关联的信息的用户接口(称为“第四用户接口”)。信息可以包含但不限于用户的标识符(例如，姓名、用户名等)、与在线市场相关联的账户的标识符、与用户相关联的电话号码、与用户相关联的电子邮件地址和/或任何其它信息。对于第二实例，用户识别装置可以显示指示用户将支付工具插入用户识别装置的读取器的用户接口(称为“第五用户接口”)。例如，第五用户接口可以指示用户将借记卡或信用卡插入用户识别装置的读卡器。在一些情况下，在将支付工具插入读取器之后，第五用户接口可以显示已经接收到来自支付工具的支付信息的指示。
44.如上文所讨论的，用户识别装置可以使用一个或更多个传感器确定用户的手相对于成像组件的位置。在一些实例中，用户识别装置可以使用一个或更多个距离传感器确定用户的手的竖直位置。一个或更多个距离传感器可以包含但不限于红外传感器(ir传感器)、lidar传感器和/或任何其它类型的可以检测用户的手相对于成像组件的距离的传感器。例如，一个或更多个距离传感器可以定位于成像组件内和/或接近成像组件，并且定位成使得一个或更多个距离传感器在竖直方向(例如，在z方向上)上指向上方。在一些实例中，用户识别装置可以使用一个或更多个附加的和/或替代类型的传感器确定用户的手的竖直位置。
45.用户识别装置可以使用一个或更多个成像传感器确定用户的手的水平位置。例如，如上文所描述的，用户识别装置可以使用一个或更多个经训练的模型来使用描绘用户的手的图像数据来生成特征数据。特征数据可以至少指示与手相关联的属性，如但不限于手掌上的各种位置、手掌中心的位置、手指上的位置(例如，手指的起点、手指上的关节位置、手指之间的交叉点等)、拇指上的位置、手的方向、手的姿势、手的定向和/或与手相关联的任何其它属性。使用特征数据，用户识别装置可以确定用户的手的水平位置。例如，用户识别装置可以使用手掌中心来确定用户的手相对于成像组件的水平位置。
46.在一些情况下，在接受表示手的图像数据之前和/或在确定手相对于成像组件的水平位置之前，用户识别装置可以使用由一个或更多个经训练的模型生成的特征数据执行一项或多项附加的检查。对于第一实例，用户识别装置可以确定被一个或更多个成像传感器检测到的对象是实际的手和/或手定位于一个或更多个成像传感器的视场内。例如，一个或更多个经训练的模型可以输出指示手定位于一个或更多个成像传感器的视场内、对象是手、对象不是手或手不定位于一个或更多个成像传感器的视场内的数据。
47.对于第二实例，用户识别装置可以确定手的角度度数相对于成像组件处于阈值度数内。用户识别装置可以使用属性来确定手的角度度数，如手上的一个或更多个点的位置。阈值度数可以包含但不限于2度、5度、10度和/或任何其它角度。对于第三实例，用户识别装置可以确定手的姿势是可接受的。在一些情况下，当手包含沿着成像组件的平面定位的平
面形状时，用户识别装置确定姿势是可接受的。另外，当手定位于杯子、拳头和/或手正在做手势时，用户识别装置可以确定手的姿势是不可接受的。
48.对于第四实例，用户识别装置可以确定手的倾斜度处于阈值倾斜度内。在一些情况下，当手平行于成像组件的平面和/或处于与成像组件的平面平行的阈值角度内时，用户识别装置可以确定手的倾斜度处于阈值倾斜度内。另外，当手不处于与成像组件的平面平行的阈值角度内时，用户识别装置可以确定手的倾斜度不处于阈值倾斜度内。此外，对于第五实例，用户识别装置可以确定手是否包含右手或左手。
49.在一些实例中，当执行一项或多项附加的检查时，用户识别装置可以在检查中的至少一项检查失败时确定需要捕获和分析附加的图像数据。例如，如果用户识别装置确定手的姿势包含拳头，则用户识别装置可以确定生成附加的图像数据用于分析以确定手的水平位置。又例如，如果用户识别装置确定手的角度度数超过阈值角度，则用户识别装置可以确定生成附加的图像数据用于分析以确定手的水平位置。
50.在一些情况下，用户识别系统可以为单个用户存储对应于在不同时间点捕获的图像数据的多条图像数据或手掌特征数据。例如，当特定用户首次向用户识别系统注册时，系统可以与用户的账户相关联地存储用户手掌的图像数据和/或基于图像数据生成的手掌特征数据中的至少一种。因此，当用户返回使用用户识别系统进行标识并且提供用户手掌的图像数据的设施时，可以将使用此新图像数据生成的手掌特征数据与存储的手掌特征数据进行比较以确定设施处的用户何时对应于与简档相关联的用户。应当理解，此新手掌特征数据可以和与多个不同用户简档相关联的手掌特征数据进行比较，以标识用户。
51.尽管出于对选自材料处置设施的物品标识要收费的用户账户的目的，本文所描述的技术主要参考标识用户以标识用户账户，但是所述技术同样适用于用户识别可能有帮助的任何行业。例如，用户识别系统可以出于安全目的而实施，如访问锁定的位置、通过计算装置访问用户账户、访问银行账户等。进一步地，虽然本文讨论了某些类型的机器学习模型和算法，但所述技术可以使用其它类型的技术来采用，并且通常可扩展到不同的基于计算机的实施方案。
52.另外，尽管上文所描述的技术包含确定手的位置的用户识别装置，但在其它实例中，后端装置可以确定手的位置。例如，用户识别装置可以将使用一个或更多个传感器生成的传感器数据发送到后端装置。然后，后端装置可以针对用户识别装置执行本文所描述的过程，以确定手的位置。另外，后端装置可以向用户识别装置发送指示手的位置的数据。然后，用户识别装置可以在向用户提供指令时使用数据来更新用户接口。
53.以下描述描述了在材料处置设施内使用所述技术。本文所描述的设施可以包含但不限于仓库、配送中心、交叉对接设施、订单履行设施、包装设施、运输设施、租赁设施、图书馆、零售商店、批发商店、博物馆或其它设施或用于执行一种或多种材料(库存)处置功能的设施的组合。在其它实施方案中，本文所描述的技术可以在其它设施或情况中实施。
54.将在下面参考附图更充分地描述本公开的某些实施方案和实施例，其中示出了各个方面。然而，各个方面可以被以许多不同的形式实现，而不应该被解释为限于本文阐述的实施方案。本公开包含如本文所描述的实施例的变化。贯穿全文以相似的数字指代相似的要素。
55.图1a-1b共同展示了用于在捕获生物特征数据时提供指令的示例过程100。在102
处，用户识别装置104可以检测到定位于装置之上的手106。例如，用户识别装置104可以显示第一用户接口108，其包含将手106放置在用户识别装置104之上的指令。在图1a-1b的实例中，指令指示用户应该将手悬停在用户识别装置104的部分(例如，环)上方。然而，在其它实例中，指令可以包含指示用户将手106放置在用户识别装置104之上的任何其它指令。用户识别装置104然后可以使用一个或更多个传感器来检测手106。例如，用户识别装置104可以使用距离传感器来检测定位于用户识别装置104之上的手106。对于另一个实例，用户识别装置104可以使用一个或更多个成像传感器来生成表示手106的图像数据。用户识别装置104然后可以分析图像数据以确定手106定位于用户识别装置104之上。
56.在110处，用户识别装置104可以显示指示用于放置手106的目标位置的第一图形元件112。例如，基于检测到手106，用户识别装置104可以显示包含第一图形元件112的第二用户接口114。第一图形元件112可以与用于将手106放置在用户识别装置104之上的目标位置相关联。在一些情况下，目标位置可以与用户识别装置104之上的目标竖直位置和目标水平位置相关联。
57.在116处，用户识别装置104可以显示指示手106的第一位置的第二图形元件118。例如，用户识别装置104可以确定手106在用户识别装置104之上的第一位置。在一些情况下，用户识别装置104使用一个或更多个传感器确定第一位置。例如，用户识别装置104可以使用一个或更多个成像传感器来生成表示手106的图像数据。然后，用户识别装置104可以使用图像数据生成特征数据，其中特征数据表示与手106相关联的一个或更多个属性。一个或更多个属性可以包含但不限于手掌上的各种位置、手掌中心的位置、手指上的位置(例如，手指的起点、手指上的关节位置、手指之间的交叉点的位置等)、拇指上的位置、手106的方向、手106的姿势、手106的定向和/或与手106相关联的任何其它属性。使用特征数据，用户识别装置104可以确定用户的手的水平位置。
58.另外，用户识别装置104可以使用距离传感器来确定手106在用户识别装置104上方的竖直位置。至少部分地基于水平位置和竖直位置，用户识别装置104可以在第二用户接口114上显示第二图形元件118，其中第二图形元件118指示水平位置和竖直位置。例如，并且如图1a-1b的实例所示，第二图形元件118相对于第二用户接口114上的第一图形元件112向下定位。这可以表明手106相对于用户识别装置104定位在比目标水平位置更靠后的位置处。另外，第二图形元件118小于第一图形元件112。这可以表明手106定位在比目标竖直位置更靠近用户识别装置104的位置处。
59.在120处，用户识别装置104可以确定手106在装置之上的第二位置，并且在122处，用户识别装置104可以显示指示手106的第二位置的第二图形元件118。例如，用户识别装置104可以检测手106在用户识别装置104之上的水平移动124。在一些情况下，用户识别装置104通过使用一个或更多个成像传感器生成附加的图像数据来检测水平移动124。用户识别装置104然后可以使用附加的图像数据生成特征数据。使用特征数据，用户识别装置104可以确定手106的第二位置。用户识别装置104然后可以更新第二图形元件118在第二用户接口114上的方位以指示手106的新水平位置。如所示出的，第二图形元件118现在在第一图形元件112内居中。这可以表明手106被定位成接近目标水平位置。
60.在126处，用户识别装置104可以确定手106在装置之上的第三位置，并且在128处，用户识别装置104可以显示指示手106的第三位置的第二图形元件118。例如，用户识别装置
104可以检测手106在用户识别装置104之上的竖直移动130。在一些情况下，用户识别装置104使用距离传感器检测竖直移动130。用户识别装置104然后可以更新第二图形元件118在第二用户接口114上的大小以指示手106的新竖直位置。如所示出的，第二图形元件118的大小大约是第一图形元件112的大小。这可以表明手106定位于目标竖直位置处。
61.在132处，用户识别装置104可以确定手106被定位成接近目标位置。例如，用户识别装置104可以确定手106的水平位置定位于距目标水平位置的阈值距离内，并且手106的竖直位置定位于距目标竖直位置的阈值距离内。因此，用户识别装置104可以确定手106被定位成接近目标位置。在一些情况下，并且如图1a-1b的实例所展示的，用户识别装置104然后可以更新第一图形元件112以指示手106被定位成接近目标位置。例如，用户识别装置104可以更新第一图形元件112的线以包含实线。
62.图2a-2f展示了用户识别装置104的实例，所述用户识别装置提供用于将手放置在用户识别装置104之上的目标位置的指令。如所示出的，用户识别装置104可以显示包含第一图形元件204的用户接口202。第一图形元件204可以指示用于将手放置在用户识别装置104之上的目标位置。例如，第一图形元件204可以指示用户识别装置104之上的目标竖直位置和目标水平位置。在一些情况下，并且如图2a-2f的实例所示出的，第一图形元件204包含带有虚线的圆圈。然而，在其它实例中，第一图形元件204可以包含具有任何其它类型的线的任何其它形状。
63.用户接口202进一步包含第二图形元件206，所述第二图形元件指示手在用户识别装置104之上的位置。另外，用户识别装置104包含用于将手放置在目标位置处的指令208。例如，在图2a的实例中，第二图形元件206定位于第一图形元件204下方。这可能是因为手的水平位置相对于用户识别装置104的成像组件定位在比目标水平位置更靠后的位置处(例如，在负y方向上)。因此，指令208(1)可以表明用户需要相对于成像组件将手“向前”移动(例如，在正y方向上)。
64.在图2b的实例中，第二图形元件206定位于第一图形元件204上方。这可能是因为手的水平位置相对于成像组件定位在比目标水平位置更靠前的位置处(例如，在正y方向上)。因此，指令208(2)可以表明用户需要相对于成像组件将手“向后”移动(例如，在负y方向上)。
65.在图2c的实例中，第二图形元件206定位于第一图形元件204左侧。这可能是因为手的水平位置相对于成像组件定位在比目标水平位置更靠左的位置处(例如，在负x方向上)。因此，指令208(3)可以表明用户需要相对于成像组件将手“向右”移动(例如，在正x方向上)。
66.在图2d的实例中，第二图形元件206定位于第一图形元件204右侧。这可能是因为手的水平位置相对于成像组件定位在比目标水平位置更靠右的位置处(例如，在正x方向上)。因此，指令208(4)可以表明用户需要相对于成像组件将手“向左”移动(例如，在负x方向上)。
67.在图2e的实例中，第二图形元件206的大小小于第一图形元件204的大小。这可能是因为手的竖直位置定位在比目标竖直位置更靠近成像组件的位置处(例如，在负z方向上)。因此，指令208(5)可以表明用户需要相对于成像组件“更高”移动手(例如，在正z方向上)。
68.在图2f的实例中，第二图形元件206的大小大于第一图形元件204的大小。这可能是因为手的竖直位置定位在比目标竖直位置更远离成像组件的位置处(例如，在正z方向上)。因此，指令208(6)可以表明用户需要相对于成像组件“更低”移动手(例如，在负z方向上)。
69.图3a-3f展示了示例用户接口，所述示例用户接口提供用于在捕获生物特征数据时输入附加的信息的指令。例如，并且如图3a所展示的，用户识别装置104可以提供用户接口302，所述用户接口包含与将手掌悬停在用户识别装置104之上以支付交易相关联的指令304。用户接口302进一步包含用户识别装置104的图像306和用户可以选择以注册新账户的图形元件308。在一些情况下，当用户最初接近用户识别装置104时，用户识别装置104可以正在显示用户接口302。
70.在图3b的实例中，用户识别装置104可以提供用户接口310，所述用户接口包含与将用户的手掌悬停在用户识别装置104之上以支付交易相关联的指令312。另外，用户接口310包含用户将手掌放置在用户识别装置104之上的图像314。换句话说，图像314提供了用户应该如何将手掌放置在用户识别装置104之上的表示。在一些情况下，用户识别装置104可以在检测到用户的手掌之前显示用户接口310。
71.在图3c的实例中，用户识别装置104可以提供用户接口316，所述用户接口包含将借记卡或信用卡插入用户识别装置104的指令318。用户接口316进一步包含如何将借记卡或信用卡插入用户识别装置104的读卡器的图像320。在一些情况下，用户识别装置104可以在用户创建新账户和/或更新现有账户的支付信息时显示用户接口316。
72.在图3d的实例中，用户识别装置104可以提供用户接口322，所述用户接口包含取走借记卡或信用卡的指令324。用户接口322还包含图像326，所述图像展示了借记卡或信用卡仍在用户识别装置104的读卡器中。在一些情况下，在用户识别装置104从借记卡或信用卡读取支付信息并且借记卡或信用卡仍然插入读卡器中之后，用户识别装置104显示用户接口322。
73.在图3e的实例中，用户识别装置104可以提供用户接口328，所述用户接口包含选择账户的指令330。用户接口328进一步包含可由用户选择的图形元件332(1)-(3)，其中每个图形元件332(1)-(3)与用户的可能账户相关联。在一些情况下，每个图形元件332(1)-(3)可以包含与账户相关联的信息。信息可能包含但不限于电话号码、电子邮件地址、用户名和/或任何其它类型的信息。虽然图3e的实例包含三个图形元件332(1)-(3)，但在其它实例中，用户接口328可以包含任何数量的图形元件。
74.在图3f的实例中，用户识别装置104可以提供用户接口334，所述用户接口包含输入与账户相关联的信息的指令336。虽然图3f的实例用于输入电话号码，但在其它实例中，用户接口334可以允许输入附加的和/或替代类型的信息。如所示出的，用户接口334在信息338被输入到用户识别装置104时显示所述信息。用户接口334进一步包含用户可以用来输入信息的图形元件340。
75.图4a-4b展示了用于放置手以便用户识别装置可以捕获生物特征数据的目标位置的实例。例如，并且如图4a的实例所示出的，用户识别装置104包含显示器402(其可以显示本文所描述的用户接口)、光环404和成像组件406。为了使用户识别装置104捕获如图像数据等生物特征数据，用户将手(例如，手掌的中心点)放置在目标水平位置处的成像组件406
之上。目标水平位置可以与x方向和y方向两者相关联。例如，目标水平位置可以包含成像组件406的中心，所述中心由x方向上的第一线408和y方向上的第二线410的交叉点来展示。
76.在一些情况下，用户识别装置104可以在捕获生物特征数据时允许手接近目标水平位置。例如，用户识别装置104可以允许手处于目标水平位置(例如，从目标水平位置在正y方向上移动)前面的第一阈值距离412、目标水平位置后面的第二阈值距离414(例如，从目标水平位置在负y方向上移动)、目标水平位置左侧的第三阈值距离416(例如，从目标水平位置在负x方向上移动)和/或目标水平位置右侧的第四阈值距离418(例如，从目标水平位置在正x方向上移动)。在一些情况下，第一阈值距离412、第二阈值距离414、第三阈值距离416和第四阈值距离418可以包含相同的阈值距离。在一些情况下，第一阈值距离412、第二阈值距离414、第三阈值距离416和第四阈值距离418中的一个或更多个可以包含不同的阈值距离。如本文所描述的，阈值距离可以包含但不限于五毫米、十毫米、二十毫米和/或任何其它距离。
77.另外，并且如图4b的实例所示出的，用户识别装置104可以包含目标竖直位置，所述目标竖直位置定位于成像组件406上方距离420(例如，在z方向上)。在一些实例中，距离420包含八十五毫米。然而，在其它实例中，距离420可以包含任何其它距离。在一些情况下，用户识别装置104可以允许手接近目标竖直位置。例如，用户识别装置104可以允许手处于目标竖直位置上方的第一阈值距离422和/或目标竖直位置下方的第二阈值距离424。在一些情况下，第一阈值距离422与第二阈值距离424相同。在其它情况下，第一阈值距离422与第二阈值距离424不同。
78.如图4b的实例中进一步展示的那样，用户识别装置104可以能够在成像组件406上方的最小距离426与成像组件406上方的最大距离428之间检测用户的手。例如，距离传感器可以被配置成检测最小距离426与最大距离428之间的如手等对象。在一些情况下，最小距离426可以包含但不限于五毫米、十毫米、二十毫米和/或任何其它距离。另外，最大距离428可以包含但不限于一百毫米、一百二十毫米、一百五十毫米和/或任何其它距离。
79.在图4c的实例中，用户识别装置104可以包含目标位置，所述目标位置包含体积形状430，如成像组件406上方的圆锥体的体积形状。例如，目标竖直位置仍可以定位于成像组件406上方的距离420，并且包含第一阈值距离422和第二阈值距离424。目标水平位置然后可以定位于体积形状430内和目标竖直位置内的位置处。在一些情况下，手掌可能需要定位于目标位置内，而在其它实例中，整只手可能需要定位于目标位置内。
80.在图4d的实例中，用户识别装置104可以包含目标位置，所述目标位置包含成像组件406上方的体积形状432。例如，目标竖直位置仍可以定位于成像组件406上方的距离420，并且包含第一阈值距离422和第二阈值距离424。目标水平位置然后可以定位于体积形状432内和目标竖直位置内的位置处。在一些情况下，手掌可能需要定位于目标位置内，而在其它实例中，整只手可能需要定位于目标位置内。
81.图5展示了分析手502以便标识手502的手掌中心的实例。例如，用户识别装置104可以生成表示描绘手502的图像504的图像数据。用户识别装置104然后可以生成对应于图像数据的特征数据，其中特征数据表示与手502相关联的各种属性。各种属性可以至少包含定位于手502上的点506-518。例如，用户识别装置104可以标识定位于手腕第一端上的点506和定位于手腕相对的第二端上的点508。用户识别装置104可以进一步标识定位于手502
的手指底部上的点510-518。如所示出的，点512-518定位于手指之间的交叉点处。
82.在标识点506-518之后，用户识别装置104可以生成包含所有标识的点506-518的边界框520。边界框520可以与表示边界框520的角的四个附加的点522-528相关联。用户识别装置104然后可以使用边界框520来标识手502的手掌的中心点530。例如，用户识别装置104可以确定手掌的中心点530包含边界框520的中心。因此，在一些实例中，手掌的中心点530可以对应于手502的水平位置。
83.在一些情况下，并且如本文所描述的，用户识别装置104可以使用图像504标识与手502相关联的一个或更多个附加的属性。例如，由于手502在y方向上定向，所以用户识别装置104可以确定手502的定向得到满足。用户识别装置104可以进一步确定手502的平面形状得到满足，因为手502不是杯子、拳头的形状和/或手502正在做手势。相反，手502张开使得用户识别装置104可以分析图像504以确定属性。此外，用户识别装置104可以确定手502平行于用户识别装置104的成像组件。这可能是因为，基于手502相对于成像组件的定向，手502的手掌指向成像组件。
84.虽然图5的实例描述了标识点506-518并且然后使用点506-518来确定手掌的中心点，但在其它实例中，用户识别装置104可以标识手502上的附加的和/或替代的点，并且然后使用附加的和/或替代的点标识手掌的中心点530。
85.图6展示了材料处置设施602的示例环境600，所述材料处置设施包含用于捕获用户的生物特征数据的用户识别装置104。在此实例中，用户识别装置104生成描绘用户606的手掌的图像数据，并且将图像数据发送到一个或更多个后端服务器608以用于注册用户606从而使用用户识别系统。通常，用户识别系统可以包含用户识别装置104和/或服务器608。
86.在一些情况下，用户识别系统中的一些或全部驻留远离材料处置设施602，而在其它情况下，用户识别系统中的一些或全部驻留材料处置设施602内或附近。如图6所描绘的，用户606可能已经参与或即将参与材料处置设施602中的购物会话。例如，用户606可能已经从库存位置612(例如，货架、过道等)选择了物品610，并且将物品610放置在手提箱614(例如，购物车)中。库存位置612可以容纳一种或多种不同类型的物品610，并且用户606可以挑选(即，取走)这些物品610之一。
87.如所展示的，材料处置设施602(或“设施”)可以包含一个或更多个传感器，如所展示的成像传感器616和/或定位于库存位置612上或靠近其的其它传感器阵列。在此实例中，成像传感器616被配置成捕获设施602内的视频数据以用于确定与事件相关联的结果，如用户606挑选物品610。尽管图6展示了各种示例传感器，但设施602中的传感器可以包括任何其它类型的传感器，如重量传感器(例如，称重传感器)、麦克风等，如下文详细描述的。如关于图13和14更详细地描述的，设施602可以被监测和/或以其它方式与库存管理系统相关联，所述库存管理系统被配置成确定设施602中与用户606相关联的事件，如取走用户606想要购买的物品610。库存管理系统可以跟踪由用户606选择的物品610，并且维护虚拟购物车，所述虚拟购物车包含由用户606取走的所有物品610。因此，当用户606想要带着他们已经取走的物品610离开设施602时，库存管理系统可以向与用户606相关联的用户账户收取取走的物品610的费用。
88.如图6所示出的，用户606可以接近与用户识别装置104相关联的结账位置618。用户606可以确定他们想要注册以使用用户识别系统以便进行设施602的结账，并且支付他们
的物品610。可替代地或另外地，用户可以在进入设施602时与用户识别装置104交互。在任一情况下，用户606可以确定他们想要用户识别系统收集可用于标识用户606的数据。此数据可以被用户识别系统使用，使得一旦注册，用户606只需要扫描他或她的手掌以被用户识别系统标识，以便向他们的用户账户收取购买他们的物品610的费用。
89.图6展示了示例注册过程640，所述示例注册过程在高级别下描述了用于注册用户606以使用用户识别系统以及用于用户识别系统随时间更新用户606的注册的技术。用户识别装置104可以包括用于执行注册过程640的技术的至少一部分的组件，服务器也可以。下文参考后续附图更详细地描述服务器608的组件。例如，用户识别装置104可以包括一个或更多个处理器620，所述一个或更多个处理器被配置成为用户识别装置104的组件供电，并且可以进一步包含存储器622，所述存储器存储至少部分地可由处理器620执行的组件，以及其它数据662。例如，存储器622可以包含检测用户606的存在的存在检测组件630、被配置成执行用于注册用户606以使用用户识别系统的各种操作的前端注册组件632以及被配置成控制通过显示器636提供给用户606的用户接口的用户接口组件634。
90.在642处，前端注册组件632可以接收注册用户606以使用用户识别系统的请求。所述请求可以包括各种类型的输入，如通过i/o接口628(例如，触摸屏、鼠标、键盘等)对呈现在显示器636上的用户接口元件进行选择以开始注册过程。另外，前端注册组件632可以检测来自用户606的指示注册请求的语音话语(例如，“请让我注册”、“我想结账”等)。另一个请求实例可以包含用户606将用户id卡滑入i/o接口628，如信用卡、驾照等。然而，任何类型的输入都可以被前端注册组件632检测为请求。
91.在一些实例中，在注册过程640的644处，存在检测组件630可由处理器620执行以检测指示用户606存在的触发因素。存在检测组件630检测到的触发因素可以包括一种或多种类型的输入。例如，存在检测组件630可以包含使用一个或更多个成像组件626和/或一个或更多个距离组件638来检测用户606在用户识别装置104之上或附近的手掌的逻辑。由存在检测组件630检测到的可以指示用户606存在的触发因素的其它实例可以包含通过用户识别装置104的一个或更多个i/o接口628接收触摸输入(或其它输入，如鼠标点击)。然而，在644处，存在检测组件630可以将任何类型的输入检测为触发因素。在一些实例中，在644处触发因素检测可以不执行或者可以包含在接收注册请求中或与接收注册请求相同。
92.在从用户606接收到注册请求之后，前端注册组件632可以在646处开始使用一个或更多个成像组件626(例如，相机)来生成图像数据658。例如，前端注册组件632可以利用成像组件626来获得图像数据658，如图像或图片、一系列连续图像和/或视频数据。图像数据658可以表示用户606的手掌，并且可以用于标识手掌中的折痕、手掌中的静脉、关于手掌和手的其它部分或用户606的几何信息等。在一些情况下，在获得图像数据658的同时，用户接口组件634可以使用户识别装置104提供用于如何放置用户606的手的指令。一旦前端注册组件632已经获得表示用户606的手掌或其它部分的图像数据658，用户识别装置104可以使用一个或更多个通信接口624通过一个或更多个网络660将图像数据658发送(例如，上传、流式传输等)到服务器608。
93.网络660可以包含如机构或个人内联网等专用网络、如互联网等公共网络或其组合。网络660可以利用有线技术(例如，电线、光缆等)、无线技术(例如，射频、红外线、声学、光学等)或其它连接技术。网络660表示任何类型的通信网络，包含数据网络或语音网络中
的一种或多种。网络660可以使用有线基础设施(例如，铜缆、光电缆等)、无线基础设施(例如，蜂窝、微波、卫星等)或其它连接技术来实施。
94.通信接口624可以包含被配置成耦接到个域网(pan)、有线和无线局域网(lan)、有线和无线广域网(wan)等的装置。例如，通信接口624可以包含与以太网、wi-fi
tm
等兼容的装置。在一些实例中，通信接口624可以根据所使用的协议或标准的类型，在通过网络660发送之前，对由用户识别装置104生成的图像数据658和/或其它数据662(例如，来自距离传感器的距离数据)进行编码。
95.在接收到图像数据658时，后端服务器608的一个或更多个组件可以使用图像数据658生成特征数据。此特征数据可以呈矢量形式，并且可以表示关于用户手掌的特性，所述特性可以用于将手掌与其它用户手掌区分开来。应当理解，虽然此注册过程640描述了生成特征数据的服务器608，但在其它情况下，用户识别装置104可以被配置成生成特征数据并且可以将除了图像数据658之外或代替其的特征数据发送到服务器。
96.在650处，服务器608的一个或更多个组件将特征数据存储在与用户606的用户简档相关联的注册数据库中。换言之，此手掌特征数据被存储为使得所述手掌特征数据可以与根据随后的图像数据生成的特征数据进行比较，以便稍后在设施602或与用户识别系统相关联的其它设施处标识用户606。
97.例如，在652处，成像组件626接收用户606手掌的附加的图像数据658，如在用户606在稍后日期返回设施602的时间。在服务器608从用户识别装置104接收到附加的图像数据658之后，服务器可以基于附加的图像数据生成附加的特征数据。此时，出于标识与附加的图像数据658相关联的用户606的目的，服务器608的一个或更多个组件可以将附加的特征数据与存储在相应用户简档中的特征数据进行比较。在此实例中，用户识别系统将在654处生成的附加的特征数据与在648处生成并且与用户606的用户简档相关联地存储的特征数据进行比较，并且因此在656处确定标识用户简档。在一些情况下，除了标识用户简档之外，用户识别系统然后可以将附加的特征数据与用户606的用户简档相关联地存储在注册数据库中。
98.图7展示了示例环境700，所述示例环境包含被配置成支持用户识别系统的功能的至少一部分的服务器608的框图，以及系统内用于注册用户606以使用用户识别系统的示例数据流。
99.如所展示的，环境700包含客户端702和服务器端704。然而，这仅仅是说明性的，并且所述技术中的一些或全部可以完全在客户端702上或者完全在服务器端704上执行。在“1”处，前端注册组件632可以接收注册用户606以使用用户识别系统的请求。例如，所述请求可以包括各种类型的输入，如通过i/o接口628(例如，触摸屏、鼠标、键盘等)对呈现在显示器上的用户接口元件进行选择以开始注册过程。另外，前端注册组件632可以检测来自用户606的指示注册请求的语音话语(例如，“请让我注册”、“我想结账”等)。另一个请求实例可以包含用户606将用户id卡滑入i/o接口628，如信用卡、驾照等。然而，任何类型的输入都可以被前端注册组件632检测为请求。
100.在接收到注册请求时，前端注册组件632可以激活或以其它方式利用成像组件626来生成表示用户606的手掌的图像数据658。在“2”处，用户识别装置104然后捕获图像数据658，并且在“3”处，将图像数据658发送到服务器608。例如，用户识别装置104可以对图像数
据658进行编码，并且通过网络660将图像数据发送到服务器608。进一步地，在一些情况下，如果没有聚焦、不具有用户手掌特性的可辨别性的阈值水平或类似物，则可以移除图像中的一些。这种移除可以发生在客户端702和/或服务器端704上。
101.在“4”处，服务器608接收图像数据，并且在“5”处，手掌标识组件708的手掌特征生成组件706可以从图像数据658中提取手掌特征数据。在一些实例中，在提取手掌特征数据之前，手掌特征生成组件706可以在提取手掌特征数据之前执行用于处理图像数据658的各种操作。例如，手掌特征生成组件706可以最初执行用户检测以确定图像数据658表示用户606的手掌。例如，手掌特征生成组件706可以利用执行基于硬件的用户检测技术的集成传感器处理器(isp)。在一些实例中，可以另外地或可替代地执行各种软件技术。在任一情况下，对于描绘用户606的至少一部分并且由图像数据658表示的图像，可以在检测到的用户606的手周围输出边界框。进一步地，手掌特征生成组件706可以执行手姿势估计以便将用户606的手掌与公共坐标系对齐。在将手的图像对齐到公共坐标部分之后，可以标识和裁剪图像数据与手掌对应的部分。此图像数据的剩余部分随后可以用于从其中提取特征，例如，通过在图像数据的裁剪部分上运行神经网络。在一些实例中，手姿势估计可以改进表示用户606手掌的特征的提取。一旦用户606的手已经对齐，手掌特征生成组件706可以从图像数据658中提取特征(例如，手掌特征数据)。在一些实例中，经训练的模型可以利用三元组损失函数，所述三元组损失函数将图像数据658转换为嵌入度量空间中的特征(例如，手掌特征数据)，这可以允许使用例如平方距离计算与后续特征向量进行比较。
102.在“6”处，手掌特征聚合组件710可以聚合来自各种图像数据658的特征数据(例如，手掌特征数据)。例如，图像数据658可以在不同的角度、在不同的照明条件下或其它不同的特性下表示用户606的手。手掌特征聚合组件710可以将手掌特征数据聚合在一起，如通过对特征向量进行平均。
103.在“7”处，质量检查组件712可以对手掌特征数据执行质量检查。例如，质量检查组件712可以利用经训练的模型来确定提取的手掌特征数据的质量的总体度量。如果整体度量差或者低于阈值质量水平，则用户识别系统可以请求获取附加的图像数据658。另外或可替代地，质量检查组件712可以执行去重复过程以确保与手掌特征数据相关联的用户尚未在系统中注册。如果整体质量度量良好或是可接受的，并且如果去重复过程没有揭示用户先前已经在系统中注册，则后端注册组件714可以在“8”处聚合数据。
104.例如，在“8”处，后端注册组件714可以聚合手掌特征数据，并且在“9”处在注册数据库716中注册用户。后端注册组件714可以存储手掌特征数据与请求注册以使用用户识别系统的用户606的用户简档之间的关联(例如，映射)。
105.图8展示了示例环境800，所述示例环境包含被配置成支持用户识别系统的功能的至少一部分的服务器608的框图，以及系统内用于标识用户识别系统的用户606，并且可能更新用户的注册的示例数据流。如所展示的，环境800包含客户端802和服务器端804。然而，这仅仅是说明性的，并且所述技术中的一些或全部可以完全在客户端802上或者完全在服务器端804上执行。
106.在“1”处，用户请求使用用户识别系统登录。例如，存在检测组件630可由处理器620执行以检测指示用户606存在的触发因素。存在检测组件630检测到的触发因素可以包括一种或多种类型的输入。例如，存在检测组件630可以包含使用一个或更多个成像组件
626来检测用户606的部分(例如，用户识别装置104的成像组件626之上的手)的逻辑。由存在检测组件630检测到的可以指示用户606存在的触发因素的其它实例可以包含通过用户识别装置104的一个或更多个i/o接口628接收触摸输入(或其它输入，如鼠标点击)。然而，存在检测组件630可以将任何类型的输入检测为触发因素。
107.在标识来自用户的登录请求时，在“2”处，一个或更多个成像组件626可以生成表示用户606的手掌和/或用户的另一部分的图像数据658。在“3”处，用户识别装置104可以将图像数据658发送到服务器608。例如，用户识别装置104可以对图像数据658进行编码，并且通过网络660将图像数据发送到服务器608。同样，可以基于图像数据失焦、具有小于阈值的可辨别性等，丢弃图像数据658中的一些。
108.在“4”处，服务器可以接收图像数据658，并且在“5”处，手掌特征生成组件706可以从图像数据658中提取手掌特征数据。在一些实例中，在提取手掌特征数据之前，手掌特征生成组件706可以在提取手掌特征数据之前执行用于处理图像数据658的各种操作。例如，手掌特征生成组件706可以最初执行手掌检测以确定图像数据658表示用户606的手。例如，手掌特征生成组件706可以利用执行基于硬件的用户检测技术的集成传感器处理器(isp)。在一些实例中，可以另外地或可替代地执行各种软件技术。在任一情况下，对于描绘用户606并且由图像数据658表示的图像，可以在检测到的用户606的手周围输出边界框。进一步地，手掌特征生成组件706可以执行手姿势估计以将用户606的面部与公共坐标系对齐。在一些实例中，手姿势估计可以改进表示用户606的手的特征的提取。一旦用户606的手已经对齐，手掌特征生成组件706可以从图像数据658中提取特征(例如，手掌特征数据)。在一些实例中，经训练的模型可以利用三元组损失函数，所述三元组损失函数将所述图像数据658转换为嵌入度量空间中的特征(例如，手掌特征数据)，这可以允许使用例如平方距离计算与后续特征向量进行比较。
109.在“6”处，手掌特征聚合组件710可以聚合来自各种图像数据658的特征数据(例如，手掌特征数据)。例如，图像数据658可以在不同的角度、在不同的照明条件下或其它不同的特性下表示用户606的手。手掌特征聚合组件710可以将手掌特征数据聚合在一起，如通过对特征向量进行平均。
110.在“7”处，手掌特征对应组件806可以生成一个或更多个评分，所述评分指示与图像数据658相关联的聚合特征和与相应用户简档相关联地存储的相应特征数据之间的类似性。在一些实例中，这些对应评分可以至少部分地根据与图像数据相关联的特征向量和与注册数据库716中用户简档相关联地存储的相应手掌特征数据的相应特征向量之间的“距离”来确定。
111.在“8”处，身份确定组件808可以基于对应评分来确定用户的身份。例如，身份确定组件808可以标识与和图像数据658相关联的特征向量具有最近距离的特征向量相关联的用户简档，并且可以将相关联的用户视为与图像数据658相关联的用户。
112.在“9”处，在一些情况下，注册更新组件810可以使用最近接收到的与图像数据相关联的手掌特征数据来更新所标识用户的注册。例如，注册更新组件810可以检测导致注册数据更新的预定义事件的发生。这可以包含：基于在设施处发生的与图像数据658相关联的交易的特性(例如，物品的费用或数量)、基于与用户简档相关联的当前特征数据与先前特征数据之间的阈值变化量、基于来自用户的与用户简档相关联的明确请求等，最近最常用
或最近最少用的特征数据与简档相关联以来已经过去了预定义时间量。在一些情况下，预定义事件可以包括审计组件，所述审计组件确定接收到的手掌特征数据对应于置信水平大于先前讨论的高阈值置信水平的所标识用户。换言之，虽然可以参考注册数据执行参考步骤“7
”‑“
8”描述的识别过程，但审计组件可以使用注册数据和与先前识别尝试相关联的图像和/或特征数据两者确定置信水平。如果审计组件此后计算出大于相对较高置信水平的置信水平，则注册更新组件810可以确定更新所标识用户的注册数据。
113.在“10”处，注册更新组件810更新与注册数据库716中的对应用户简档相关联的注册数据。如上文所描述的，这可以包含将特征数据和/或图像数据和与简档相关联的现有特征数据和/或图像数据一起存储、将现有特征数据与新特征数据进行平均等。
114.图9展示了被配置成支持用户识别系统的功能的至少一部分的用户识别装置104的示例组件。在一些实例中，本文所描述的用户识别系统可以完全或至少部分地由用户识别装置104连同服务器608来支持。用户识别装置104可以包含一个或更多个硬件处理器620(处理器)，所述一个或更多个硬件处理器被配置成执行一个或更多个存储的指令。处理器620可以包括一个或更多个核心。用户识别装置104可以包含一个或更多个输入/输出(i/o)接口628以允许处理器620或用户识别装置104的其它部分与其它装置进行通信。i/o接口628可以包括内部集成电路(i2c)、串行外围接口总线(spi)、如由usb实施者论坛颁布的通用串行总线(usb)、rs-232等。
115.用户识别装置104还可以包含一个或更多个通信接口624。通信接口624被配置成提供用户识别装置104与其它装置，如服务器608、接口装置、路由器等之间的通信。通信接口624可以包含被配置成耦接到个域网(pan)、有线和无线局域网(lan)、有线和无线广域网(wan)等的装置。例如，通信接口308可以包含与以太网、wi-fi
tm
等兼容的装置。
116.用户识别装置104可以进一步包含一个或更多个距离组件638。距离组件638可以包含但不限于ir传感器、lidar传感器和/或可以检测对象距离的任何其它类型的传感器。另外，用户识别装置104可以包含一个或更多个照明组件902。在一些情况下，照明组件902包含定位于成像组件(例如，成像组件406)周围的光环。在一些情况下，用户识别装置104使用照明组件902来向用户提供反馈。例如，当用户识别装置104检测到用户的手、确定用户的手定位于目标位置、标识与用户相关联的用户简档等时，用户识别装置104可以使照明组件902使用一种或多种图案发光。
117.用户识别装置104还可以包含允许在用户识别装置104的各种模块与组件之间传输数据的一个或更多个总线或其它内部通信硬件或软件。
118.如图9所示出的，用户识别装置104包含一个或更多个存储器622。存储器622包括一个或更多个计算机可读存储介质(crsm)。crsm可以是电子存储介质、磁存储介质、光存储介质、量子存储介质、机械计算机存储介质等中的一种或多种。存储器622为用户识别装置104的操作提供计算机可读指令、数据结构、程序模块和其它数据的存储。一些示例功能模块被示出存储在存储器622中，但是相同功能可替代地在硬件、固件中实施或被实施为片上系统(soc)。
119.存储器622可以包含至少一个操作系统(os)904。os 904被配置成管理硬件资源装置，如i/o接口628、成像组件626、显示器636、距离组件638和照明组件902，并且向在处理器620上执行的应用或模块提供各种服务。os 904可以实施由freebsd项目发布的freebsd
tm
操
作系统的变体；其它unix
tm
或类unix变体；由linus torvalds发布的linux
tm
操作系统的变型；来自美国华盛顿雷德蒙德市的微软公司(microsoft corporation of redmond,washington,usa)的服务器操作系统；等。
120.以下组件中的一个或更多个也可以存储在存储器622中。这些模块可以作为前台应用、后台任务、守护进程等执行。
121.通信组件906可以被配置成与服务器608和/或其它装置建立通信。可以对通信进行认证、加密等。
122.注册组件908可以被配置成执行用于注册用户以使用用户识别系统的各种操作(例如，类似于后端注册组件714)。例如，注册组件908可以执行各种操作和/或使其它组件执行各种操作，以用户识别系统中注册用户。在一些实例中，注册组件908可以至少部分地控制手掌标识组件910，所述手掌标识组件执行用于分析描绘用户的手掌或其它部分的图像数据658的操作。在一些实例中，注册组件908可以使手掌标识组件910分析图像数据658，并且提取如手掌特征数据912等表示用户手掌的特征。
123.在获得、确定和/或生成手掌特征数据912之后，注册组件908可以在注册数据库914中注册用户，这指示用户被注册以使用用户识别系统。在一些实例中，注册组件908可以将各种数据关联或映射到与用户相关联的用户简档/账户916。例如，注册组件908可以针对每个注册用户将相应手掌特征数据912映射到注册数据库914中的对应用户简档916。因此，注册数据库914可以存储用户简档916的指示，以及与用户简档916中的每个用户简档相关联的用户的数据。当用户注册以使用用户识别系统时，注册组件908可以映射或存储用户的手掌特征数据912与所述用户的用户简档916之间的关联。
124.进一步地，注册组件908可以使训练组件918训练一个或更多个经训练的模型920。训练组件918可以利用手掌特征数据912来训练经训练的模型920以执行用于从图像数据658中提取和/或生成手掌特征数据912的各种操作。经训练的模型920可以包括任何类型的模型，如机器学习模型，包含但不限于人工神经网络、分类器、决策树、支持向量机、贝叶斯网络(bayesian network)等。
125.作为具体实例，经训练的模型920可以包含或包括一个或更多个卷积神经网络(cnn)、递归神经网络和/或任何其它人工网络，其被训练以分析作为输入接收的图像数据658，并且提取、确定、标识、生成等表示用户手掌的手掌特征数据912。作为具体实例，手掌特征数据912可以包括表示用户手掌的128维特征向量。在经训练的模型920包含一个或更多个cnn的实例中，可以利用各种函数来将图像数据658转换为度量空间，如三元组损失函数。因此，训练组件918可以使用如三元组损失函数等各种函数来训练经训练的模型920的cnn，以从输入图像数据658中提取、标识以其它方式确定手掌特征数据912。一旦在度量空间中，可以通过计算提取的特征数据与存储在注册数据库914中的特征数据之间的距离来比较或匹配提取的特征数据。例如，当特征数据被经训练的模型920从图像数据658提取到手掌特征数据912中时，提取的手掌特征数据912然后可以与注册数据库914中存储的数据进行比较以标识在输入图像数据658中表示的用户的用户简档。例如，提取的手掌特征数据912可以包括与注册数据库914中存储的向量进行比较的向量，以标识哪些存储的向量在提取的特征数据之间具有最小的“距离”。距离越小，提取的特征数据与存储的表示注册以使用用户识别系统的用户的特征数据之间的对应强度越接近。在一些实例中，可以执行其它
计算，如找到两个向量之间的角度的余弦，这取决于经训练的模型920使用的网络。然而，任何类型的模型都可以用于经训练的模型920。
126.手掌标识组件910可以包含用于执行各种操作的各种子组件。例如，手掌标识组件910可以包含手掌特征生成组件922以从图像数据658提取或以其它方式生成特征数据(例如，类似于手掌特征生成组件706)。手掌特征生成组件910可以利用经训练的模型920和/或包含算法来执行任何类型的特征提取方法或嵌入，以分析图像数据658并且提取手掌特征数据912。例如，手掌特征生成组件922可以利用最先进的模型，如聚类、人工神经网络、尺度不变特征变换、边缘检测或任何其它类型的提取或嵌入技术来从图像数据658提取手掌特征数据912。
127.手掌标识组件910可以进一步包含手掌特征聚合组件924，所述手掌特征聚合组件被配置成聚合用户的特征数据(例如，类似于手掌特征聚合组件710)。例如，手掌特征聚合组件924可以组合已经从描绘用户的一组图像中提取的手掌特征数据912，如通过对手掌特征数据912中的特征进行平均。
128.一旦用户注册以使用用户识别系统，身份确定组件926可以用于确定和/或验证与用户识别装置104交互的用户的身份。例如，用户识别装置104可以使用图像数据658和身份确定组件926(其可以类似于身份确定组件808)确定用户的身份，其中注册数据库914指示例如通过指示与所述用户的身份相关联的用户简档916确定用户的身份。
129.身份确定组件926可以使手掌特征对应组件928执行各种操作，用于确定或标识其手掌在接收到的图像数据658中描绘的用户。例如，手掌特征对应组件928可以将接收到的图像数据658的手掌特征数据912与针对在用户识别系统中注册的用户的不同用户简档916存储在注册数据库914中的手掌特征数据912进行比较以便确定其相应手掌特征数据912对应于提取的手掌特征数据912的一个或更多个用户的用户简档916。在一些情况下，可以将由手掌特征对应组件928计算的评分与阈值进行比较，并且如果评分大于阈值，则可以导致用户的标识。如果多个用户简档与大于阈值的评分相关联，则与最高相关联的用户简档可以被认为与图像数据658相关联和/或可以执行进一步分析以标识适当用户。进一步地，在一些情况下，用户识别系统可以采用集合缩减技术来基于初始比较来标识用户的前“n”组用户简档916，用户的相应手掌特征数据912最强烈地对应于提取的手掌特征数据912。在一些实例中，单个用户身份/简档916可以被确定为对应于输入手掌特征数据912。然而，在一些实例中，一组前“n”个候选者可以被经训练的模型920标识为与提取的手掌特征数据912的强度阈值量(例如，50％对应、95％对应等)对应。然后可以执行第二级更深入的分析以从“n”个候选者标识单个用户。
130.进一步地，存储器622可以存储注册更新组件930，所述注册更新组件被配置成更新与用户简档相关联存储的手掌特征数据912，以允许移除陈旧的特征数据和使用更新的特征数据(例如，类似于注册更新组件810)。如上文所介绍的，由于用户随时间推移提供用户手掌的图像数据，注册更新组件930可以使用来自此新图像数据的特征数据来生成和存储与用户相关联的附加的特征数据。进一步地，注册更新组件930可以移除或减少与较旧特征数据相关联的权重。
131.另外，存储器622可以存储审计组件932，所述审计组件被配置成响应于一个或更多个预定义事件的发生而执行一个或更多个审计过程。例如，审计组件932可以执行夜间审
计过程，所述夜间审计过程包括将与相应用户简档相关联的手掌特征数据与彼此进行丰富的比较，以标识系统先前犯下的任何错误。在标识错误之后，系统可以纠正错误并且此信息还可以利用与注册组件908所执行的技术类似的技术来进一步训练经训练的模型920。
132.另外，存储器622可以存储质量检查组件934，其确定提取的手掌特征数据912的质量的总体度量。例如，质量检查组件934可以确定出于各种原因需要为用户获取附加的图像数据658。
133.存储器622还可以存储位置检测组件936，所述位置检测组件被配置成确定手相对于用户识别装置104(和/或用户识别装置104的成像组件)的位置。例如，并且如本文所描述的，位置检测组件936可以确定定位于手上的一个或更多个点。然后位置检测组件936可以使用一个或更多个点来标识手掌相对于用户识别装置104的中心。在一些情况下，位置检测组件936以给定的时间间隔确定手的位置。例如，位置检测组件936可以每毫秒、每秒等确定用户的手的位置。在一些实例中，位置检测组件936使用由图像数据658表示的每一帧、由图像数据658表示的每隔一帧、由图像数据658表示的每五帧等来确定用户的手的位置。
134.存储器622还可以存储被配置成生成和/或更新本文所描述的用户接口的用户接口组件634。例如，一旦检测到手，用户接口组件634可以使显示器636呈现用户接口，所述用户接口包含指示用于放置手的目标位置的图形元件。用户接口组件634然后可以使用由位置检测组件936确定的位置来呈现和/或更新指示手的当前位置的图形元件。一旦位置检测组件936确定手的位置接近目标位置，用户接口组件634就可以使用户接口指示用户识别装置104已经捕获了生物特征数据。
135.图10a-12展示了用于提供与输入生物特征数据相关联的指令的各种过程。本文所描述的过程被展示为逻辑流程图中的框的集合，其表示一系列操作，所述一系列操作中的一些或全部可以在硬件、软件或其组合中实施。在软件的上下文中，框可以表示存储在一个或更多个计算机可读介质上的计算机可执行指令，当由一个或更多个处理器执行时，该计算机可执行指令对处理器进行编程以执行所叙述的操作。通常，计算机可执行指令包含执行特定功能或实施特定数据类型的例程、程序、物体、组件、数据结构等。除非特别指出，否则描述框的顺序不应理解为限制。可以以任何顺序和/或并行地组合任意数量的所描述的框以实现该过程或替代过程，并且不是所有的框都需要被执行。
136.图10展示了用于提供与将手放置在相对于用户识别装置104的目标位置处相关联的指令的示例过程1000的流程图。在1002处，过程1000可以包含显示与将手放置在电子装置之上相关联的指令。例如，用户识别装置104可以显示用户接口，所述用户接口包含将手放置在用户识别装置104之上的指令。在一些情况下，用户接口进一步包含展示如何将手放置在用户识别装置104之上的图像。在一些情况下，用户识别装置104在检测到用户之前显示用户接口。
137.在1004处，过程1000可以包含检测定位于电子装置之上的手。例如，用户识别装置104可以检测定位于用户识别装置104之上的手。当手定位于用户识别装置104的成像组件上方的阈值距离内时，用户识别装置104可以检测手。在一些情况下，用户识别装置104使用距离传感器检测手。在一些情况下，用户识别装置104使用一个或更多个成像传感器检测手。
138.在1006处，过程1000可以包含显示第一图形元件，所述第一图形元件指示用于将
手放置在电子装置之上的第一位置。例如，用户识别装置104可以显示包含第一图形元件的用户接口。第一图形元件可以与成像组件上方的第一竖直位置和第一水平位置两者相关联。在一些情况下，第一图形元件包含圆圈。然而，在其它情况下，第一图形元件可以包含任何其它形状。
139.在1008处，过程1000可以包含生成表示手的第一传感器数据，并且在1010处，过程1000可以包含分析对应于第一传感器数据的第一特征数据以确定与手相关联的一个或更多个第一属性。例如，用户识别装置104可以基于检测到手来生成第一传感器数据。第一传感器数据可以至少包含表示手的第一图像数据和指示距手的第一距离的第一距离数据。用户识别装置104然后可以生成对应于第一传感器数据的第一特征数据。例如，第一特征数据可以指示手上的一个或更多个关键点(例如，使用第一图像数据确定)和距手的第一距离(例如，使用第一距离数据确定)。用户识别装置104然后可以使用第一特征数据确定一个或更多个第一属性。一个或更多个第一属性可以包含一个或更多个关键点和第一距离。
140.在1012处，过程1000可以包含至少部分地基于一个或更多个第一属性确定手的第二位置。例如，用户识别装置104可以分析一个或更多个第一特征以确定手掌的中心和距手的第一距离。用户识别装置104然后可以使用手掌的中心和第一距离来确定第二位置。例如，用户识别装置104可以使用第一距离确定手的第二竖直位置并且使用手掌的中心确定手的第二水平位置。
141.在1014处，过程1000可以包含确定第二位置不接近第一位置。例如，用户识别装置104可以确定第二位置不接近第一位置。在一些情况下，为了做出确定，用户识别装置104可以确定第二竖直位置在(例如，大于)距第一竖直位置的阈值距离之外(例如，在z方向上)和/或第二水平位置在距第一水平位置的阈值距离之外(例如，在x方向和/或y方向上)。
142.在1016处，过程1000可以包含显示指示手的第二位置的第二图形元件。例如，用户识别装置104可以使用用户接口显示第二图形元件以及第一图形元件。在一些情况下，第二图形元件的大小可以对应于手的第二竖直位置，并且第二图形元件的方位可以对应于手的第二水平位置。在一些情况下，用户识别装置104可以进一步显示用于将手移动到第一位置的一个或更多个指令。
143.在1018处，过程1000可以包含生成表示手的第二传感器数据，并且在1020处，过程1000可以包含分析对应于第二传感器数据的第二特征数据以确定与手相关联的一个或更多个第二属性。例如，用户识别装置104可以生成第二传感器数据。第二传感器数据可以至少包含表示手的第二图像数据和指示距手的第二距离的第二距离数据。用户识别装置104然后可以生成对应于第二传感器数据的第二特征数据。例如，第二特征数据可以指示手上的一个或更多个关键点(例如，使用第二图像数据确定)和距手的第二距离(例如，使用第二距离数据确定)。用户识别装置104然后可以使用第二特征数据确定一个或更多个第二属性。一个或更多个第二属性可以包含一个或更多个关键点和第二距离。
144.在1022处，过程1000可以包含至少部分地基于一个或更多个第二属性确定手的第三位置。例如，用户识别装置104可以分析一个或更多个第二特征以确定手掌的中心和距手的第二距离。用户识别装置104然后可以使用手掌的中心和第二距离来确定第三位置。例如，用户识别装置104可以使用第二距离确定手的第三竖直位置并且使用手掌的中心确定手的第三水平位置。
145.在1024处，过程1000可以包含确定第三位置接近第一位置。例如，用户识别装置104可以确定第三位置接近第一位置。在一些情况下，为了做出确定，用户识别装置104可以确定第三竖直位置处于距第一竖直位置的阈值距离内(例如，在z方向上)和第三水平位置处于距第一水平位置的阈值距离内(例如，在x方向和y方向上)。
146.在1026处，过程1000可以包含处理第二传感器数据。例如，在一些实例中，基于确定第三位置接近第一位置，用户识别装置104可以针对与一个或更多个用户简档相关联的特征数据来分析第二特征数据。基于所述分析，用户识别装置104可以确定第二特征数据对应于与用户简档相关联的第三特征数据。另外或可替代地，在一些实例中，基于确定第三位置接近第一位置，用户识别装置104可以将第二传感器数据发送到服务器608以进行处理。
147.图11展示了用于提供与输入生物特征数据相关联的指令的示例过程1100的流程图。在1102处，过程1100可以包含检测用户的位于电子装置之上的部分。例如，用户识别装置104可以检测定位于用户识别装置104之上的用户的部分。当用户的部分定位于用户识别装置104的成像组件上方的阈值距离内时，用户识别装置104可以检测用户的部分。在一些情况下，用户识别装置104使用距离传感器检测用户的部分。在一些情况下，用户识别装置104使用一个或更多个成像传感器检测用户的部分。
148.在1104处，过程1100可以包含显示指示与电子装置相关联的第一位置的第一图形元件。例如，基于检测到用户的部分，用户识别装置104可以显示包含第一图形元件的用户接口。第一图形元件可以与用户识别装置104的成像组件上方的第一竖直位置和第一水平位置相关联。在一些情况下，第一图形元件包含圆圈。然而，在其它情况下，第一图形元件可以包含任何其它形状。
149.在1106处，过程1100可以包含生成表示用户的部分的传感器数据，并且在1108处，过程1100可以包含分析对应于传感器数据的特征数据以确定用户的部分的第二位置。例如，用户识别装置104可以基于检测到用户的部分来生成传感器数据。传感器数据可以至少包含表示用户的部分的图像数据和指示距用户的部分的距离的距离数据。用户识别装置104然后可以生成对应于传感器数据的特征数据。例如，特征数据可以指示用户的部分上的一个或更多个关键点(例如，使用图像数据确定)和距用户的部分的距离(例如，使用距离数据确定)。用户识别装置104然后可以使用一个或更多个关键点和距离来确定第二位置。第二位置可以与第二竖直位置和第二水平位置相关联。
150.在1110处，过程1100可以包含确定第二位置是否接近第一位置。例如，用户识别装置104可以确定第二位置是否接近第一位置。在一些情况下，用户识别装置104可以基于确定第二竖直位置处于距第一竖直位置的阈值距离内(例如，在z方向上)并且第二水平位置处于阈值距离第一水平位置内(例如，在x方向和y方向上)来确定第二位置接近第一位置。
151.如果在1110处确定第二位置不接近第一位置，则在1112处，过程1100可以包含显示指示第二位置的第二图形元件。例如，用户识别装置104可以使用用户接口显示第二图形元件以及第一图形元件。在一些情况下，第二图形元件的大小可以对应于用户的部分的第二竖直位置，并且第二图形元件的方位可以对应于用户的部分的第二水平位置。在一些情况下，用户识别装置104可以进一步显示用于将用户的部分移动到第一位置的一个或更多个指令。在一些情况下，过程1100然后可以重复1106-1110，直到用户识别装置104确定第二位置接近第一位置。
152.然而，如果在1110处确定第二位置接近第一位置，则在1114处，过程1100可以包含执行与传感器数据相关联的动作。例如，基于确定第二位置接近第一位置，用户识别装置104可以执行动作。在一些情况下，所述动作可以包含使用传感器数据和/或特征数据生成用户简档。在一些情况下，所述动作可以包含标识与传感器数据和/或特征数据相关联的用户简档。此外，在一些情况下，所述动作可以包含将传感器数据和/或特征数据发送到服务器608。
153.图12展示了用于确定用户的部分相对于电子装置的位置的示例过程1200的流程图。在1202处，过程1200可以包含生成表示用户的部分的图像数据，并且在1204处，过程1200可以包含生成对应于图像数据的特征数据。例如，用户识别装置104可以生成表示用户的部分的图像数据，如用户的手。用户识别装置104然后可以生成对应于图像数据的特征数据。特征数据可以指示用户的部分上的一个或更多个点。
154.在1206处，过程1200可以包含至少部分地基于特征数据确定与用户的部分相关联的一个或更多个点，并且在1208处，过程1200可以包含至少部分地基于一个或更多个点确定用户的部分的水平位置。例如，用户识别装置104可以确定由特征数据表示的一个或更多个点。用户识别装置104然后可以确定包含一个或更多个点的边界框。使用边界框，用户识别装置104可以确定用户的部分的中心点。在一些情况下，用户的部分的中心点可以包含边界框的中心。用户识别装置104然后可以使用用户的部分的中心来确定用户的部分的水平位置。
155.在1210处，过程1200可以包含生成传感器数据，并且在1212处，过程1200可以包含至少部分地基于传感器数据确定用户的部分的竖直位置。例如，用户识别装置104可以生成传感器数据，如距用户的部分的距离数据。用户识别装置104然后可以使用传感器数据确定距用户的部分的竖直距离。另外，用户识别装置104可以基于竖直距离确定用户的部分的竖直位置。在一些情况下，用户识别装置104然后可以基于水平位置和竖直位置确定用户的部分的位置。
156.图13和14表示说明性材料处置环境，如材料处置设施602，其中本文所描述的技术可以应用于如下文所描述的监测环境的相机。然而，以下描述仅仅是其中可以利用本文所描述的技术的行业和环境的一个说明性实例。
157.图13展示了被配置成存储和管理库存物品的材料处置设施1302(例如，设施1302)的实施方案。材料处置设施1302包括一个或更多个物理结构或区域，其中可以容纳一个或更多个物品1304(1)、1304(2)、...、1304(q)(通常表示为1304)。如在本公开中使用的，括号中的字母例如“(q)”指示整数结果。物品1304包括实物商品，如书籍、药品、维修零件、电子装置、杂货等。
158.设施1302可以包含一个或更多个被指定用于关于库存处置的不同功能的区域。在此展示中，设施1302包含接收区域1306、存储区域1308和转移区域1310。接收区域1306可以被配置成接收如来自供应商的物品1304，以供进入设施1302。例如，接收区域1306可以包含装卸台，卡车或其它货运交通工具在装卸台处卸下物品1304。
159.存储区域1308被配置成存储物品1304。存储区域1308可以以各种物理配置来布置。在一种实施方案中，存储区域1308可以包含一个或更多个过道1312。过道1312可以配置有过道1312的一侧或两侧上的库存位置1314或由其限定。库存位置1314可以包含货架、架
子、箱子、柜子、箱柜、地板位置或用于保持或存储物品1304的其它合适的存储机构中的一个或更多个。库存位置1314可以固定到地板或设施结构的另一部分或者可以是可移动的，使得过道1312的布置可以是可重新配置的。在一些实施方案中，库存位置1314可以被配置成独立于外部操作者移动。例如，库存位置1314可以包括具有电源和马达的架子，其可由计算装置操作以允许架子从设施1302内的一个位置移动到另一个位置。
160.一个或更多个用户1316(1)、1316(2)、...、1316(u)(通常表示为1316)、手提箱1318(1)、1318(2)、...、1318(t)(通常表示为1318)或其它材料处置设备可以在设施1302内移动。例如，用户1316可以在设施1302内四处移动以在各种库存位置1314中挑选或放置物品1304，将物品放置在手提箱1318上以便于运输。单个手提箱1318被配置成携带或以其它方式运输一件或多件物品1304。例如，手提箱1318可以包含篮子、手推车、袋子等。在其它实施方案中，如机器人、叉车、起重机、空中无人机等其它机构可以在设施1302周围移动以挑选、放置或以其它方式移动物品1304。
161.一个或更多个传感器1320可以被配置成获取设施1302中的信息。设施1302中的传感器1320可以包含固定在环境中的传感器(例如，安装在天花板上的相机)或以其它方式，如用户拥有的传感器(例如，移动电话、平板电脑等)。传感器1320可以包含但不限于相机1320(1)、重量传感器、射频(rf)接收器、温度传感器、湿度传感器、振动传感器等。传感器1320相对于设施1302可以是静止的或移动的。例如，库存位置1314可以含有相机1320(1)，所述相机被配置成获取物品1304在货架上的挑选或放置的图像、用户1316(1)和1316(2)在设施1302中的图像等。在另一个实例中，设施1302的地板可以包含重量传感器，所述重量传感器被配置成确定用户1316或其上的其它对象的重量。
162.在设施1302的操作期间，传感器1320可以被配置成提供适合于标识设施1302内的对象或其它发生的新位置的信息。例如，由相机1320(1)获取的一系列图像可以指示用户1316之一从特定库存位置1314移除物品1304以及将物品1304放置在手提箱1318之一上或至少部分地放置在手提箱之一内。
163.虽然存储区域1308被描绘为具有一个或更多个过道1312、存储物品1304的库存位置1314、传感器1320等，但是应当理解，接收区域1306、转移区域1310或设施的其它区域1302可以类似地配备。此外，设施1302内的各个区域的布置是功能性地而不是示意性地描绘的。例如，多个不同的接收区域1306、存储区域1308和转移区域1310可以散布而不是分开在设施1302中。
164.设施1302可以包含或耦接到库存管理系统1322。库存管理系统1322被配置成在接收区域1306、存储区域1308或转移区域1310中的一个或更多个中标识与用户1316、如传感器1320等装置、机器人、材料处置设备、计算装置等的交互以及它们之间的交互。这些交互可以包含一个或更多个事件1324。例如，事件1324可以包含用户1316进入设施1302、在库存位置1314处储存物品1304、从库存位置1314挑选物品1304、将物品1304返回到库存位置1314、将物品1304放置在手提箱1318内、用户1316相对于彼此移动、用户1316的手势等。涉及用户1316的其它事件1324可以包含用户1316在设施1302中提供认证信息、使用设施1302处的计算装置向库存管理系统1322认证身份等。一些事件1324可能涉及设施1302内的一个或更多个其它对象。例如，事件1324可以包括库存位置1314，如安装在轮子上的柜台在设施1302内的移动。事件1324可能涉及一个或更多个传感器1320。例如，传感器1320的操作变
化，如传感器故障、对齐变化等，可以被指定为事件1324。继续所述实例，导致视场1328的定向改变的相机1320(1)的移动(如由于某人或某物碰撞相机1320(1))(例如相机)可以被指定为事件1324。
165.通过确定事件1324中的一个或更多个的发生，库存管理系统1322可以生成输出数据1326。输出数据1326包括关于事件1324的信息。例如，在事件1324包括从库存位置1314移除物品1304的情况下，输出数据1326可以包括指示从库存位置1314移除的特定物品1304的物品标识符和移除了物品的用户的用户标识符。
166.库存管理系统1322可以使用一个或更多个自动系统来生成输出数据1326。例如，人工神经网络、一个或更多个分类器或其它自动机器学习技术可以用于处理来自一个或更多个传感器1320的传感器数据以生成输出数据1326。自动系统可以使用概率或非概率技术进行操作。例如，自动系统可以使用贝叶斯网络。在另一个实例中，自动系统可以使用支持向量机来生成输出数据1326或暂定结果。自动系统可以生成提供指示输出数据1326或暂定数据对应于物理世界的准确性或置信度的信息的置信水平数据。
167.置信水平数据可以至少部分地基于所使用的自动系统的类型使用多种技术生成。例如，使用贝叶斯网络的概率系统可以使用分配给输出的概率作为置信水平。继续所述实例，贝叶斯网络可以表明图像数据中描绘的物品对应于先前存储在存储器中的物品的概率是135％。此概率可以用作所述物品的置信水平，如图像数据中所描绘的。
168.在另一个实例中，来自如支持向量机等非概率技术的输出可以具有基于数学空间中的距离的置信水平，在所述数学空间内物品的图像数据和先前存储的物品的图像已经被分类。此空间中从如先前存储的图像等参考点到发生期间获取的图像数据的距离越大，置信水平越低。
169.在又另一个实例中，可以将如物品1304、用户1316等对象的图像数据与一组先前存储的图像进行比较。可以评估图像数据与先前存储的图像之间的差异。例如，形状、颜色、图像中特征之间的相对比例等的差异。差异可以用数学空间的距离来表示。例如，图像数据中描绘的对象的颜色和先前存储的图像中描绘的对象的颜色可以表示为颜色空间内的坐标。
170.可以至少部分地基于这些差异来确定置信水平。例如，用户1316可以从库存位置1314挑选物品1304(1)，如通常为立方体形状的香水瓶。附近库存位置1314处的其它物品1304可以主要是球形的。基于与相邻物品的形状差异(立方体与球体)以及与香水瓶物品1304(1)的先前存储的图像的形状(立方体和立方体)对应，用户606挑选香水瓶物品1304(1)的置信水平高。
171.在一些情况下，自动技术可能无法生成置信水平高于阈值结果的输出数据1326。例如，自动技术可能无法区分一群用户1316中的哪个用户1316从库存位置1314挑选了物品1304。在其它情况下，可能期望提供对事件1324或输出数据1326的准确性的人工确认。例如，一些物品1304可以被视为年龄限制的，使得所述物品将仅由高于最小年龄阈值的用户1316处置。
172.在期望人工确认的情况下，可以处理与事件1324相关联的传感器数据以生成查询数据。查询数据可以包含与事件1324相关联的传感器数据的子集。查询数据还可以包含如由自动技术确定的一种或多种暂定结果或补充数据中的一种或多种。可以使用关于一个或
更多个传感器1320的信息来确定传感器数据的子集。例如，如相机1320(1)在设施1302内的位置、照相机1320(1)的定向和相机1320(1)的视场1328等相机数据可以用于确定设施1302内的特定位置是否处于视场1328内。传感器数据的子集可以包含可以示出库存位置1314或物品1304被装载的图像。传感器数据的子集还可以省略来自在视场1328中不具有所述库存位置1314的其它相机1320(1)的图像。视场1328可以包括传感器1320能够生成关于其的传感器数据的设施1302中的场景的一部分。
173.继续所述实例，传感器数据的子集可以包括由具有包含物品1304的视场1328的一个或更多个相机1320(1)获取的视频剪辑。暂定结果可以包括关于哪些物品1304可能已经涉及事件1324的“最佳猜测”。例如，暂定结果可以包括由自动系统确定的置信水平高于最小阈值的结果。
174.设施1302可以被配置成从各个供应商接收不同种类的物品1304，并且存储所述物品直到客户订购或取回物品1304中的一个或更多个。通过设施1302的物品1304的一般流程由图13的箭头指示。具体地，如此实例中所展示的，可以在接收区域1306处从一个或更多个供应商，如制造商、分销商、批发商等接收物品1304。在各个实施方案中，物品1304可以包含货品、商品、易腐物品或任何合适类型的物品1304，这取决于操作设施1302的企业的性质。物品1304的接收可以包括一个或更多个事件1324，库存管理系统1322可以针对其生成输出数据1326。
175.在接收区域1306处从供应商接收物品1304后，物品可以准备存储。例如，物品1304可以被拆包或以其它方式重新布置。库存管理系统1322可以包含在计算机系统上执行的一个或更多个软件应用，以基于与拆包或重新布置相关联的事件1324来提供库存管理功能。这些库存管理功能可以包含维护指示关于物品1304的类型、数量、条件、费用、位置、重量或任何其它合适参数的信息。物品1304可以按照可计数的单个单元或多个单元如包装、纸箱、板条箱、托盘或其它合适的聚合体来储存、管理或分配。可替代地，如散装产品、商品等一些物品1304可以以可以不固有地组织成可计数的单元的连续或任意可分割的数量存储。此类物品1304可以根据可测量的数量来管理，如长度、面积、体积、重量、时间、持续时间的单位或以测量单位为特征的其它尺寸特性。一般而言，物品1304的数量可以酌情指代物品1304的单个或聚合单位的可计数数量或物品1304的可测量的量。
176.在通过接收区域1306到达之后，物品1304可以被存储在存储区域1308中。在一些实施方案中，类似物品1304可以一起存储或一起显示在库存位置1314中，如在箱柜中、货架上、挂在钉板上等。在此实施方案中，给定种类的所有物品1304都存储在一个库存位置1314中。在其它实施方案中，类似物品1304可以存储在不同的库存位置1314中。例如，为了优化在大型物理设施1302内具有频繁周转的某些物品1304的检索，那些物品1304可以存储在几个不同的库存位置1314中以减少可能发生在单个库存位置1314处的拥塞。物品1304的存储和它们相应的库存位置1314可以包括一个或更多个事件1324。
177.当接收到指定一个或更多个物品1304的客户订单时或者在用户1316前进通过设施1302时，可以从含有那些物品1304的库存位置1314中选择或“挑选”对应的物品1304。在各个实施方案中，物品挑选的范围可以从手动挑选到完全自动挑选。例如，在一个实施方案中，用户1316可以具有他们期望的物品1304的列表，并且可以通过设施1302前进，从存储区域1308内的库存位置1314挑选物品1304，并且将那些物品1304放置在手提箱1318中。在其
它实施方案中，设施1302的雇员可以使用从客户订单导出的书面或电子挑选列表来挑选物品1304。在雇员通过设施1302前进时，这些挑选的物品1304可以被放置在手提箱1318中。挑选可以包括一个或更多个事件1324，如用户1316移动到库存位置1314、从库存位置1314取回物品1304等。
178.在物品1304已经被挑选之后，物品可以在转移区域1310处被处理。转移区域1310可以是设施1302内的任何指定区域，其中物品1304从一个位置转移到另一个位置或从一个实体转移到另一个实体。例如，转移区域1310可以是设施1302内的包装站。当物品1304到达转移区域1310处时，物品1304可以从存储区域1308转移到包装站。转移可以包括一个或更多个事件1324。关于转移的信息可以由库存管理系统1322使用与那些事件1324相关联的输出数据1326来维护。
179.在另一个实例中，如果物品1304正在离开设施1302，则可以获得物品1304的列表并且由库存管理系统1322使用以将物品1304的责任或保管从设施1302转移到另一个实体。例如，承运人可以接受要运输的物品1304，其中所述承运人对列表中指示的物品1304承担责任。在另一个实例中，客户可以购买或租赁物品1304，并且从设施1302中移除物品1304。购买或租赁可以包括一个或更多个事件1324。
180.库存管理系统1322可以访问或生成关于设施1302的传感器数据和其中的内容，包含物品1304、用户1316、手提箱1318等。传感器数据可以由传感器1320中的一个或更多个、由其它系统提供的数据等获取。例如，传感器1320可以包含被配置成获取设施1302中场景的图像数据的相机1320(1)。图像数据可以包括静止图像、视频或其组合。图像数据可以由库存管理系统1322处理以确定用户1316的位置、手提箱1318、用户1316的身份等。如本文所使用的，用户的身份可以表示用户的唯一标识符(例如，姓名、与用户相关联的号码、用户名等)、将用户与被环境标识的其它用户区分开来的标识符等。
181.库存管理系统1322或与其耦接的系统可以被配置成标识用户1316，以及确定其它候选用户。在一个实施方案中，此确定可以包括将传感器数据与先前存储的身份数据进行比较。例如，用户1316可以通过向面部识别系统示出他们的脸、通过呈现携带认证凭证的令牌、提供指纹、在进入设施时扫描条形码或其它类型的唯一标识符等来标识。可以在进入设施1302之前、期间或之后确定用户1316的身份。用户1316身份的确定可以包括将与设施1302中的用户1316相关联的传感器数据与先前存储的用户数据进行比较。
182.在一些情况下，库存管理系统将设施内的用户分组到相应的会话中。换言之，库存管理系统1322可以利用传感器数据来确定有效地“一起”(例如，一起购物)的用户组。在一些情况下，特定会话可以包含一起进入设施1302并且可能一起浏览设施的多个用户。例如，当两个成人和两个孩子的家庭一起进入设施时，库存管理系统可以将每个用户与特定会话相关联。除了单个用户之外，定位会话可能有助于确定单个事件的结果，因为会话内的用户不仅可以单独挑选或返回或以其它方式与物品交互，而且还可以在彼此之间来回传递物品。例如，上文实例中的孩子可能会在将盒子交给她的母亲之前挑选一盒谷物，母亲可以将盒子放在她的手提箱1318中。注意到孩子和母亲属于同一会话可能会增加成功将一盒谷物添加到母亲的虚拟购物车的机会。
183.通过确定一个或更多个事件1324的发生和与其相关联的输出数据1326，库存管理系统1322能够向设施1302的用户1316提供一项或多项服务。通过利用一个或更多个人类员
工来处理查询数据并且生成然后可以用于产生输出数据1326的响应数据，可以增强系统的整体准确性。增强的准确性可以改进设施1302的一个或更多个用户1316的用户体验。在一些实例中，输出数据1326可以通过网络1330传输到一个或更多个服务器608。
184.图14展示了一个或更多个服务器608的框图。服务器608可以物理地存在于设施1402处，可以由网络1430访问或者两者的组合。服务器608不需要终端用户知道递送服务的系统的物理位置和配置。与服务器608相关联的常见表达可以包含“按需计算”、“软件即服务(saas)”、“云服务”、“数据中心”等。由服务器608提供的服务可以分布在一个或更多个物理或虚拟装置上。
185.服务器608可以包含一个或更多个硬件处理器1402(处理器)，所述一个或更多个硬件处理器被配置成执行一个或更多个存储的指令。处理器1402可以包括一个或更多个核心。服务器608可以包含一个或更多个输入/输出(i/o)接口1404以允许处理器1402或服务器608的其它部分与其它装置进行通信。i/o接口1404可以包括内部集成电路(i2c)、串行外围接口总线(spi)、如由usb实施者论坛颁布的通用串行总线(usb)等。
186.服务器608还可以包含一个或更多个通信接口1406。通信接口1406被配置成提供服务器608与其它装置，如传感器1420、接口装置、路由器等之间的通信。通信接口1406可以包含被配置成耦接到个域网(pan)、有线和无线局域网(lan)、有线和无线广域网(wan)等的装置。例如，通信接口1406可以包含与以太网、wi-fi
tm
等兼容的装置。服务器608还可以包含允许在服务器608的各种模块与组件之间传输数据的一个或更多个总线或其它内部通信硬件或软件。
187.服务器608还可以包含电源1440。电源1440被配置成提供适合于操作服务器608中的组件的电力。
188.如图14所示出的，服务器608包含一个或更多个存储器1410。存储器1410包括一个或更多个计算机可读存储介质(crsm)。crsm可以是电子存储介质、磁存储介质、光存储介质、量子存储介质、机械计算机存储介质等中的一种或多种。存储器1410为服务器608的操作提供计算机可读指令、数据结构、程序模块和其它数据的存储。一些示例功能模块被示出存储在存储器1410中，但是相同功能可替代地在硬件、固件中实施或被实施为片上系统(soc)。
189.存储器1410可以包含至少一个操作系统(os)组件1412。os组件1412被配置成管理硬件资源装置，如i/o接口1404、通信接口1408，并且向在处理器1402上执行的应用或组件提供各种服务。os组件1412可以实施由freebsd项目发布的freebsd
tm
操作系统的变体；其它unix
tm
或类unix变体；由linus torvalds发布的linux
tm
操作系统的变型；来自美国华盛顿雷德蒙德市的微软公司的服务器操作系统；等。
190.以下组件中的一个或更多个也可以存储在存储器1410中。这些组件可以作为前台应用、后台任务、守护进程等执行。通信组件1414可以被配置成与传感器1220中的一个或更多个、一个或更多个用户识别装置104、员工使用的装置中的一个或更多个、其它服务器608或其它装置建立通信。可以对通信进行认证、加密等。
191.存储器1410可以存储库存管理系统1416。库存管理系统1416被配置成提供如本文关于库存管理系统1322所描述的库存功能。例如，库存管理系统1416可以确定物品1304在设施1202中的移动、生成用户接口数据等。
192.库存管理系统1416可以访问存储在存储器1410中的一个或更多个数据存储区1418中的信息。数据存储区1418可以使用平面文件、数据库、链表、树、可执行代码、脚本或其它数据结构来存储信息。在一些实施方案中，数据存储区1418或数据存储区1418的一部分可以分布在一个或更多个其它装置上，包含其它服务器608、网络附接存储装置等。
193.数据存储区1418可以包含物理布局数据1420。物理布局数据1420提供装置和对象的物理布局内的物理位置的映射，如传感器1320、库存位置1314等。物理布局数据1420可以指示库存位置1314在设施1302内的坐标、所述库存位置1314的视场内的传感器1320等。例如，物理布局数据1420可以包含相机数据，所述相机数据包括相机1320(1)在设施1302内的位置、相机1320(1)的定向、操作状态等中的一项或多项。继续实例，物理布局数据1420可以指示相机1320(1)的坐标、指示视场1328沿其定向的方向的平移和倾斜信息、相机1320(1)是否正在操作或故障等。
194.在一些实施方案中，库存管理系统1416可以访问物理布局数据1420以确定与事件1324相关联的位置是否在一个或更多个传感器1320的视场1328内。继续上文的实例，给定事件1324在设施1302内的位置和相机数据，库存管理系统1416可以确定可能已经生成事件1324的图像的相机1320(1)。
195.物品数据1422包括与物品1304相关联的信息。所述信息可以包含指示一个或更多个库存位置1314的信息，在所述库存位置处存储物品1304中的一个或更多个。物品数据1422还可以包含订单数据、sku或其它产品标识符、价格、现有数量、重量、到期日期、物品1304的图像、详细描述信息、评级、排名等。库存管理系统1416可以将与库存管理功能相关联的信息存储在物品数据1422中。
196.数据存储区1418还可以包含传感器数据1424。传感器数据1424包括从一个或更多个传感器1320获取的或基于所述一个或更多个传感器的信息。例如，传感器数据1424可以包括关于设施1302中的对象的3d信息。如上文所描述的，传感器1320可以包含相机1320(1)，所述相机被配置成获取一个或更多个图像。这些图像可以被存储为图像数据1426。图像数据1426可以包括描述多个图片元件或像素的信息。非图像数据1428可以包括来自其它传感器1320的信息，如来自麦克风1320、重量传感器1320等的输入。
197.用户数据1430还可以存储在数据存储区1418中。用户数据1430可以包含身份数据、指示简档的信息、购买历史、位置数据、用户1316的图像、人口统计数据等。单个用户1316或成组的用户1316可以选择性地提供用户数据1430以供库存管理系统1322使用。单个用户1316或成组的用户1316还可以授权在使用设施1302期间收集用户数据1430或访问从其它系统获得的用户数据1430。例如，用户1316可以选择加入用户数据1430的收集以在使用设施1302时接收增强的服务。
198.在一些实施方案中，用户数据1430可以包含指定用户1316用于特殊处置的信息。例如，用户数据1430可以表明特定用户1316已经与关于输出数据1326的增加数量的错误相关联。库存管理系统1416可以被配置成使用此信息来对与此用户1316相关联的事件1324应用附加的审查。例如，可以将包含费用或结果高于阈值量的物品1304的事件1324提供给员工以进行处理，而不管如由自动系统生成的输出数据1326中确定的置信水平如何。
199.库存管理系统1416可以包含定位组件1432、标识组件1434、事件确定组件1436和查询组件1438中的一个或更多个。
200.定位组件1432用于定位设施环境内的物品或用户，以允许库存管理系统1416将某些事件分配给正确的用户。换言之，定位组件1432可以在用户进入设施时向用户分配唯一标识符，并且在用户同意的情况下，可以在用户停留在设施1302中的时间内定位用户在设施1302中的方位。定位组件1432可以使用如图像数据1426等传感器数据1424来执行此定位。例如，定位组件1432可以接收图像数据1426并且可以使用面部识别技术从图像中标识用户。在标识设施内的特定用户之后，定位组件1432然后可以在用户移动穿过设施1302时在图像内定位用户。进一步地，如果定位组件1432暂时“失去”特定用户，则定位组件1432可以再次尝试基于面部识别和/或使用如语音识别等其它技术来标识设施内的用户。
201.因此，在接收到所讨论的事件的时间和位置的指示时，定位组件1432可以查询数据存储区1418以确定在事件的特定时间哪些一个或更多个用户在事件位置的阈值距离处或处于事件位置的阈值距离内。进一步地，定位组件1432可以向不同用户分配不同的置信水平，其中置信水平指示每个对应用户是实际上与所关注的事件相关联的用户的可能性有多大。
202.定位组件1432可以访问传感器数据1424以便确定用户和/或物品的此位置数据。位置数据提供指示如物品1304、用户1316、手提箱1318等对象的位置的信息。位置相对于设施1302或者相对于另一个对象或参考点可以是绝对的。绝对项可以包括相对于大地参考点的纬度、经度和高度。相对项可以包含如设施1302的平面图所指定的沿x轴25.4米(m)和沿y轴75.2m、沿169
°
航向距库存位置1314 5.2m等的位置。例如，位置数据可以表明用户1316(1)沿过道1312(1)25.2m并且站在库存位置1314前面。相比之下，相对位置可以表明用户1316(1)在相对于手提箱1318的73
°
航向处距离手提箱1318 32cm。位置数据可以包含定向信息，如用户1316面向哪个方向。定向可以由用户1316的身体所面向的相对方向来确定。在一些实施方案中，定向可以是相对于接口装置的。继续所述实例，位置数据可以表明用户1316(1)以0
°
航向定向或向北看。在另一个实例中，位置数据可以表明用户1316正面向接口装置。
203.标识组件1434被配置成标识对象。在一个实施方案中，标识组件1434可以被配置成标识物品1304。在另一个实施方案中，标识组件1434可以被配置成标识用户1316。例如，标识组件1434可以使用面部识别技术来处理图像数据1426，并且通过将图像数据1426中的特性与先前存储的结果进行比较来确定图像中描绘的用户1316的身份数据。标识组件1434还可以访问来自其它传感器1320的数据，如来自rfid读取器1320、rf接收器1320、指纹传感器等。
204.事件确定组件1436被配置成处理传感器数据1424并且生成输出数据1326。事件确定组件1436可以访问存储在数据存储区1418中的信息，包含但不限于事件描述数据1442、置信水平1444或阈值1446。
205.事件描述数据1442包括指示一个或更多个事件1324的信息。例如，事件描述数据1442可以包括预定义的简档，所述预定义的简档指定物品1304从库存位置1314移动，其中事件1324是“挑选”。事件描述数据1442可以手动生成或自动生成。事件描述数据1442可以包含指示与在设施1302中发生的事件相关联的触发因素的数据。在检测到触发因素时可以确定事件发生。例如，传感器数据1424，如来自库存位置1314处的重量传感器1320(6)的重量变化可以触发对从库存位置1314添加或移除物品1304的事件的检测。在另一个实例中，
触发因素可以包括用户1316将手伸向库存位置1314的图像。在又另一个实例中，触发因素可以包括两个或更多用户1316在彼此的阈值距离内接近。
206.事件确定组件1436可以使用一种或多种技术处理传感器数据1424，所述技术包含但不限于人工神经网络、分类器、决策树、支持向量机、贝叶斯网络等。例如，事件确定组件1436可以使用决策树来基于传感器数据1424确定“挑选”事件1324的发生。事件确定组件1436可以进一步使用传感器数据1424来确定一个或更多个暂定结果1448。一个或更多个暂定结果1448包括与事件1324相关联的数据。例如，在事件1324包括用户1316的消歧的情况下，暂定结果1448可以包括可能的用户身份的列表。在另一个实例中，在事件1324包括物品之间的消歧的情况下，暂定结果1448可以包括可能的物品标识符的列表。在一些实施方案中，暂定结果1448可以指示可能的动作。例如，动作可以包括用户1316挑选、放置、移动物品1304、损坏物品1304、提供手势输入等。
207.在一些实施方案中，暂定结果1448可以由其它组件生成。例如，如事件1324中涉及的用户1316的一个或更多个可能的身份或位置等暂定结果1448可以由定位组件1432生成。在另一个实例中，如事件1324中可能涉及的可能物品1304等暂定结果1448可以由标识组件1434生成。
208.事件确定组件1436可以被配置成提供与暂定结果1448的确定相关联的置信水平1444。置信水平1444提供关于暂定结果1448的预期准确度水平的标记。例如，低置信水平1444可以表明暂定结果1448具有对应于事件1324的实际情况的低概率。相比之下，高置信水平1444可以表明暂定结果1448具有对应于事件1324的实际情况的高概率。
209.在一些实施方案中，具有超过阈值结果1446的置信水平1444的暂定结果1448可以被认为足够准确，并且因此可以用作输出数据1326。例如，事件确定组件1436可以提供指示对应于“挑选”事件1324的三个可能物品1304(1)、1304(2)和1304(3)的暂定结果1448。与可能物品1304(1)、1304(2)和1304(3)相关联的置信水平1444可以分别为25％、70％、142％。继续所述实例，可以设定阈值结果使得140％的置信水平1444被认为足够准确。因此，事件确定组件1436可以将“挑选”事件1324指定为涉及物品1304(3)。
210.查询组件1438可以被配置成使用与事件1324相关联的传感器数据1424的至少一部分来生成查询数据1450。在一些实施方案中，查询数据1450可以包含暂定结果1448或补充数据1452中的一个或更多个。查询组件1438可以被配置成将查询数据1450提供给与一个或更多个人类员工相关联的一个或更多个装置。
211.在员工的相应装置上呈现员工用户接口。员工可以通过选择特定的暂定结果1448、输入新信息、指示员工无法回答查询等来生成响应数据1454。
212.补充数据1452包括与事件1224相关联的或可以用于解释传感器数据1424的信息。例如，补充数据1452可以包括物品1304的先前存储的图像。在另一个实例中，补充数据1452可以包括一个或更多个图形覆盖。例如，图形覆盖可以包括图形用户接口元件，如描绘所关注的对象的标记的覆盖。这些标记可以包括在呈现给员工期间已经叠加或放置在图像数据1426之上的突出显示、边界框、箭头等。
213.查询组件1438处理由一个或更多个员工提供的响应数据1454。所述处理可以包含计算与响应数据1454相关联的一个或更多个统计结果。例如，统计结果可以包含员工选择特定暂定结果1448的次数计数、选择特定暂定结果1448的员工的百分比的确定等。
214.查询组件1438被配置成至少部分地基于响应数据1454来生成输出数据1326。例如，假设大多数员工返回指示与“挑选”事件1324相关联的物品1304是物品1304(5)的响应数据1454，则输出数据1326可以表明物品1304(5)被挑选。
215.查询组件1438可以被配置成选择性地将查询分发给特定员工。例如，一些员工可能更适合回答特定类型的查询。如关于员工性能的统计数据等性能数据可以由查询组件1438根据员工提供的响应数据1454来确定。例如，可以维护指示不同查询的百分比的信息，其中特定员工选择了不同意大多数员工的响应数据1454。在一些实施方案中，可以将具有先前已知正确答案的测试或实践查询数据1450提供给员工用于培训或质量保证目的。确定要使用的员工组可以至少部分地基于性能数据。
216.通过使用查询组件1438，事件确定组件1436能够提供准确表示事件1324的高可靠性输出数据1326。查询组件1438从响应数据1454生成的输出数据1326还可以用于进一步训练库存管理系统1416使用的自动系统。例如，基于响应数据1454的传感器数据1424和输出数据1326可以被提供给库存管理系统1416的组件中的一个或更多个以用于过程改进的训练。继续所述实例，此信息可以提供给人工神经网络、贝叶斯网络等，以进一步训练这些系统，从而提高未来针对相同或类似输入产生的置信水平1444和暂定结果1448。
217.在一些情况下，服务器608可以进一步包含关于用户识别装置104在图9中所展示的组件中的一个或更多个。在此类情况下，服务器608可以执行本文关于用户识别装置104所描述的过程中的一个或更多个。另外，服务器608可以向用户识别装置104发送与所执行的过程相关联的数据(例如，其它数据662)。例如，当用户使用用户识别装置104时，数据可以指示用户的部分的位置。
218.虽然相对于特定实施例描述了前面的发明，但是应当理解，本发明的范围不限于这些特定实施例。由于为适应特定的操作要求和环境而改变的其它修改和改变对本领域技术人员将是显而易见的，因此本发明不被认为限于为公开目的而选择的实例，并且涵盖了不构成偏离本发明的真实精神和范围的所有改变和修改。
219.尽管本技术描述了具有特定结构特征和/或方法动作的实施例，但是应当理解，权利要求书不一定限于所描述的特定特征或动作。相反，特定特征和行为仅仅说明落在本技术的权利要求的范围内的一些实施例。
220.示例条款
221.a：一种电子装置，其包括：一个或更多个距离传感器；一个或更多个成像装置；显示器；一个或更多个网络接口；一个或更多个处理器；以及一个或更多个计算机可读介质，所述一个或更多个计算机可读介质存储指令，所述指令当由所述一个或更多个处理器执行时使所述一个或更多个处理器执行包括以下的操作：在第一时间并且使用所述一个或更多个距离传感器检测定位于所述电子装置之上的手；使所述显示器呈现第一图形元件，所述第一图形元件指示用于将所述手定位在所述电子装置之上的目标竖直位置和目标水平位置；在第二时间并且使用所述一个或更多个距离传感器基于距所述手的第一距离生成第一距离数据；至少部分地基于所述第一距离数据确定所述手在所述电子装置上方的第一竖直位置；在第三时间并且使用所述一个或更多个成像装置生成表示所述手的第一图像数据；分析对应于所述第一图像数据的第一特征数据以确定与所述手相关联的一个或更多个第一属性；至少部分地基于所述一个或更多个第一属性确定所述手在所述电子装置之上的第
一水平位置；确定所述第一竖直位置大于距所述目标竖直位置的第一阈值距离或所述第一水平位置大于距所述目标水平位置的第二阈值距离中的至少一个；使所述显示器呈现指示所述第一竖直位置和所述第一水平位置的第二图形元件；在第四时间并且使用所述一个或更多个距离传感器基于距所述手的第二距离生成第二距离数据；至少部分地基于所述第二距离数据确定所述手在所述电子装置上方的第二竖直位置；在第四时间并且使用所述一个或更多个成像装置生成表示所述手的第二图像数据；分析对应于所述第二图像数据的第二特征数据以确定与所述手相关联的一个或更多个第二属性；至少部分地基于所述一个或更多个第二属性确定所述手在所述电子装置之上的第二水平位置；确定所述第二竖直位置距所述目标竖直位置小于所述第一阈值距离；确定所述第二水平位置距所述目标水平位置小于所述第二阈值距离；以及使用所述一个或更多个网络接口将所述第二图像数据或所述第二特征数据中的至少一个发送到远程系统。
222.b：根据段落a所述的电子装置，所述操作进一步包括：至少部分地基于所述第一竖直位置确定所述第二图形元件的大小；以及至少部分地基于所述第一水平位置确定所述第二图形元件在所述显示器上的方位，并且其中使所述显示器呈现所述第二图形元件包括使所述显示器根据所述大小和所述方位呈现所述第二图形元件。
223.c：根据段落a或段落b所述的电子装置，其中确定所述手的所述第一水平位置包括至少：至少部分地基于所述一个或更多个第一属性确定定位于所述手上的一个或更多个点；至少部分地基于所述一个或更多个点确定所述手掌的中心；以及使用所述手掌的中心确定所述第一水平位置。
224.d：一种方法，其包括：由电子装置显示第一图形元件；由所述电子装置生成表示用户的部分的第一传感器数据；分析对应于所述第一传感器数据的第一特征数据以确定所述用户的所述部分相对于所述电子装置的第一位置；确定所述第一位置大于距目标位置的阈值距离；至少部分地基于所述第一位置确定第二图形元件的大小或方位中的至少一个；由所述电子装置根据形状或所述方位中的所述至少一个连同所述第一图形元件一起显示所述第二图形元件；由所述电子装置生成表示所述用户的所述部分的第二传感器数据；分析对应于所述第二传感器数据的第二特征数据以确定所述用户的所述部分的第二位置；确定所述第二位置小于所述目标位置的所述阈值距离；以及将所述第二传感器数据或所述第二特征数据中的至少一个发送到远程系统。
225.e：根据段落d所述的方法，其进一步包括：确定与所述第一位置相关联的竖直位置；并且其中确定所述第二图形元件的所述大小或所述方位中的所述至少一个包括至少部分地基于所述竖直位置确定所述第二图形元件的所述大小。
226.f：根据段落d或段落e所述的方法，其进一步包括：确定与所述第一位置相关联的水平位置；并且其中确定所述第二图形元件的所述大小或所述方位中的所述至少一个包括至少部分地基于所述水平位置确定所述第二图形元件的所述方位。
227.g：根据段落d到f中任一项所述的方法，其进一步包括：确定所述第一位置与所述目标位置之间的竖直差；以及确定所述第一位置与所述目标位置之间的水平差异，并且其中确定所述第二位置大于距所述目标位置的所述阈值距离包括以下中的至少一个：确定所述竖直差大于所述阈值距离；或确定所述水平差大于所述阈值距离。
228.h：根据段落d到g中任一项所述的方法，其中所述第一传感器数据包含表示所述用
户的所述部分的图像数据，并且其中分析对应于所述图像数据的所述第一特征数据以确定所述用户的所述部分相对于所述电子装置的所述第一位置包括至少：分析所述第一特征数据以确定定位于所述用户的所述部分上的一个或更多个点；至少部分地基于所述一个或更多个点确定与所述用户的所述部分相关联的中心点；以及至少部分地基于所述中心点确定所述第一位置。
229.i：根据段落d到h中任一项所述的方法，其中所述第一传感器数据包含表示距所述用户的所述部分的距离的距离数据，并且其中分析对应于所述距离数据的所述第一特征数据以确定所述用户的所述部分相对于所述电子装置的所述第一位置包括至少分析所述第一特征数据以确定所述电子装置与所述用户的所述部分之间的所述距离，所述第一位置与所述距离相关联。
230.j：根据段落d到i中任一项所述的方法，其进一步包括：生成表示所述用户的所述部分的第三传感器数据；分析对应于所述第三传感器数据的第三特征数据以确定所述用户的所述部分相对于所述电子装置的第三位置；确定所述第三位置大于距所述目标位置的所述阈值距离；至少部分地基于所述第三位置确定所述第二图形元件的附加的大小或附加的方位中的至少一个；以及根据所述附加的大小或所述附加的方位中的所述至少一个，沿所述第一图形元件显示所述第二图形元件。
231.k：根据段落d到j中任一项所述的方法，其中：确定所述第二图形元件的所述大小或所述方位中的所述至少一个包括至少：至少部分地基于与所述第一位置相关联的竖直位置确定所述第二图形元件的所述大小；至少部分地基于与所述第一位置相关联的第一水平位置确定所述第二图形元件的所述方位，确定所述第二图形元件的所述附加的大小或所述附加的方位中的所述至少一个包括至少：至少部分地基于与所述第三位置相关联的第二竖直位置确定所述第二图形元件的所述附加的大小；至少部分地基于与所述第三位置相关联的第二水平位置确定所述第二图形元件的所述附加的方位。
232.l：根据段落d到k中任一项所述的方法，其进一步包括：显示与将所述用户的所述部分放置在所述电子装置之上相关联的指令；生成第三传感器数据；以及至少部分地基于所述第三传感器数据检测到所述用户的所述部分定位于所述电子装置之上，并且其中显示所述第一图形元件至少部分地在检测到所述用户的所述部分之后发生。
233.m：根据段落d到l中任一项所述的方法，其进一步包括连同所述第二图形元件一起显示与将所述用户的所述部分移动到环境内的所述目标位置相关联的指令。
234.n：根据段落d到fm中任一项所述的方法，其进一步包括至少部分地基于确定所述第二位置小于距所述目标位置的所述阈值距离，向远程系统发送所述第二传感器数据或所述第二特征数据中的至少一个。
235.o：根据段落d到n中任一项所述的方法，其进一步包括分析所述第二特征数据以确定以下中的至少一个：所述用户的所述部分的姿势；所述用户的所述部分的方向；或所述用户的所述部分的定向。
236.p：一种电子装置，其包括：一个或更多个距离传感器；一个或更多个成像装置；显示器；一个或更多个处理器；以及一个或更多个计算机可读介质，所述一个或更多个计算机可读介质存储指令，所述指令当由所述一个或更多个处理器执行时使所述一个或更多个处理器执行包括以下的操作：使所述显示器呈现第一图形元件；使用所述一个或更多个距离
传感器确定用户的部分相对于所述电子装置的竖直位置；使用所述一个或更多个成像装置生成表示所述用户的所述部分的图像数据；分析对应于所述图像数据的特征数据以确定所述用户的所述部分相对于所述电子装置的水平位置；以及使所述显示器连同所述第一图形元件一起呈现第二图形元件，所述第二图形元件表示所述竖直位置和所述水平位置。
237.q：根据段落p所述的电子装置，所述操作进一步包括：至少部分地基于所述竖直位置确定所述第二图形元件的大小；以及至少部分地基于所述水平位置确定所述第二图形元件的方位，并且其中使所述显示器呈现所述第二图形元件包括至少使所述显示器根据所述大小和所述方位连同所述第一图形元件一起呈现所述第二图形元件。
238.r：根据段落p或段落q所述的电子装置，所述操作进一步包括：使用所述一个或更多个距离传感器确定所述用户的所述部分相对于所述电子装置的附加的竖直位置；使用所述一个或更多个成像装置生成表示所述用户的所述部分的附加的图像数据；分析对应于所述附加的图像数据的附加的特征数据以确定所述用户的所述部分相对于所述电子装置的附加的水平位置；以及使所述显示器连同所述第一图形元件一起呈现指示所述附加的竖直位置和所述附加的水平位置的所述第二图形元件。
239.s：根据段落p到r中任一项所述的电子装置，所述操作进一步包括：使用所述一个或更多个距离传感器确定所述用户的所述部分相对于所述电子装置的附加的竖直位置；使用所述一个或更多个成像装置生成表示所述用户的所述部分的附加的图像数据；分析对应于所述附加的图像数据的附加的特征数据以确定所述用户的所述部分相对于所述电子装置的附加的水平位置；确定所述附加的竖直位置距目标竖直位置小于第一阈值距离；确定所述附加的水平位置距目标水平位置小于第二阈值距离；以及使所述显示器指示输入已被接收。
240.t：根据段落p到s中任一项所述的电子装置，所述操作进一步包括：确定所述竖直位置距目标竖直位置大于第一阈值距离或所述水平位置距目标水平位置大于第二阈值距离中的至少一个，并且其中以下中的至少一个：至少部分地基于所述竖直位置距所述目标竖直位置大于所述第一阈值距离，所述第二图形元件的第一大小不同于所述第一图形元件的第二大小；或至少部分地基于所述水平位置距所述目标水平位置大于所述第二阈值距离，所述第二图形元件的至少一部分定位成比所述第一图形元件更多。