基于隐私保护的人机交互方法及人机交互装置与流程

1.本说明书实施例涉及计算机技术领域，具体地，涉及基于隐私保护的人机交互方法及人机交互装置。


背景技术：

2.人机交互是人与计算机之间以一定的交互方式为完成确定任务的人与计算机之间的信息交换过程，人机交互是计算机技术发展的产物。人机交互被广泛地应用于各个领域中，比如，可穿戴设备、浸入式游戏、指纹识别等。
3.目前，在人机交互的场景中，主要通过2d摄像头来采集针对用户的2d图像，然后，对用户的2d图像进行分析，人机交互设备根据分析结果与用户进行交互。例如，在浸入式游戏中，人机交互设备实时地通过2d摄像头采集游戏者的动作图像，并根据动作图像分析游戏者的游戏动作，人机交互设备根据游戏者的游戏动作使得游戏角色执行相应地操作，比如，换弹夹的动作。这样，便能实现人机交互，使用户体验到浸入式游戏的真实感。


技术实现要素：

4.鉴于上述，本说明书实施例提供了基于隐私保护的人机交互方法及人机交互装置。通过本说明书实施例的技术方案，通过3d摄像头采集的深度图像来实现人机交互，实现了用户的隐私安全。
5.根据本说明书实施例的一个方面，提供了一种基于隐私保护的人机交互方法，由人体感知系统来执行，所述人机交互方法包括：在所述人体感知系统所具有的3d摄像头的视野范围内有用户时，利用所述3d摄像头获取所述用户的深度图像；将所述深度图像中基于像素坐标系的各个像素点转换成基于空间坐标系的3d点云；根据转换得到的3d点云得到所述用户的空间位置和/或人体姿态；以及基于所述空间位置和/或所述人体姿态执行针对所述用户的交互操作。
6.根据本说明书实施例的另一方面，还提供一种基于隐私保护的人机交互装置，应用于人体感知系统，所述人机交互装置包括：深度图像获取单元，在所述人体感知系统所具有的3d摄像头的视野范围内有用户时，利用所述3d摄像头获取所述用户的深度图像；坐标系转换单元，将所述深度图像中基于像素坐标系的各个像素点转换成基于空间坐标系的3d点云；3d点云计算单元，根据转换得到的3d点云得到所述用户的空间位置和/或人体姿态；以及交互执行单元，基于所述空间位置和/或所述人体姿态执行针对所述用户的交互操作。
7.根据本说明书实施例的另一方面，还提供一种电子设备，包括：至少一个处理器，与所述至少一个处理器耦合的存储器，以及存储在所述存储器上的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上述任一所述的人机交互方法。
8.根据本说明书实施例的另一方面，还提供一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的人机交互方法。
9.根据本说明书实施例的另一方面，还提供一种计算机程序产品，包括计算机程序，
所述计算机程序被处理器执行时实现如上任一所述的人机交互方法。
附图说明
10.通过参照下面的附图，可以实现对于本说明书实施例内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
11.图1示出了根据本说明书实施例的基于隐私保护的人机交互方法的一个示例的流程图。
12.图2示出了相机坐标系与图像坐标系之间的位置关系的一个示例的示意图。
13.图3示出了根据本说明书实施例的执行针对用户的交互操作的一个示例的流程图。
14.图4示出了根据本说明书实施例的基于隐私保护的人机交互装置的一个示例的方框图。
15.图5示出了本说明书实施例的用于实现人机交互方法的电子设备的方框图。
具体实施方式
16.以下将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书实施例内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
17.如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
18.人机交互是人与计算机之间以一定的交互方式为完成确定任务的人与计算机之间的信息交换过程，人机交互是计算机技术发展的产物。人机交互被广泛地应用于各个领域中，比如，可穿戴设备、浸入式游戏、指纹识别等。
19.目前，在人机交互的场景中，主要通过2d摄像头来采集针对用户的2d图像，然后，对用户的2d图像进行分析，人机交互设备根据分析结果与用户进行交互。例如，在浸入式游戏中，人机交互设备实时地通过2d摄像头采集游戏者的动作图像，并根据动作图像分析游戏者的游戏动作，人机交互设备根据游戏者的游戏动作使得游戏角色执行相应地操作，比如，换弹夹的动作。这样，便能实现人机交互，使用户体验到浸入式游戏的真实感。
20.然而，2d摄像头所采集的用户的2d图像蕴含了大量的用户隐私信息，并且2d图像中的用户隐私信息是直接呈现出，通过肉眼可辨识的，这导致侵害了用户隐私，以及导致用户隐私泄漏。
21.鉴于上述，本说明书实施例提供了基于隐私保护的人机交互方法及人机交互装置。在该人机交互方法中，在人体感知系统所具有的3d摄像头的视野范围内有用户时，利用
3d摄像头获取该用户的深度图像；将深度图像中基于像素坐标系的各个像素点转换成基于空间坐标系的3d点云；根据转换得到的3d点云得到用户的空间位置和/或人体姿态；以及基于空间位置和/或人体姿态执行针对用户的交互操作。通过本说明书实施例的技术方案，通过3d摄像头采集的深度图像来实现人机交互，实现了用户的隐私安全。
22.下面结合附图对本说明书实施例提供的基于隐私保护的人机交互方法及人机交互装置进行说明。
23.图1示出了根据本说明书实施例的基于隐私保护的人机交互方法的一个示例100的流程图。
24.本说明书实施例提供的人机交互方法可以由人体感知系统来执行，人体感知系统可以用于感知人体的空间位置、人体姿态等信息，以便于与其进行人机交互操作。人体感知系统可以包括有若干感应器，比如，红外感应器、温感器、摄像头等。人体感知系统可以应用于不同的人机交互场景中，在不同的人机交互场景中，人体感知系统可以运行在不同设备中。例如，人体感知系统可以应用于蜻蜓刷脸机具、刷脸售货机、自助刷脸点餐机、校园团餐支付宝刷脸支付、刷脸门禁等智能机具中。
25.如图1所示，在110，在人体感知系统所具有的3d摄像头的视野范围内有用户时，利用3d摄像头获取该用户的深度图像。
26.在本说明书实施例中，人体感知系统可以配置有至少一个3d摄像头，所配置的3d摄像头可以包括基于结构光(structured light)的3d摄像头、基于tof(time of flight，光飞行时间)的3d摄像头以及基于双目视觉的3d摄像头等中的至少一种。下面以基于结构光的3d摄像头为例进行说明。基于结构光的3d摄像头是可以利用结构光和三角测量的原理进行深度测量的3d摄像头。
27.3d摄像头所采集的图像是深度图像(depth image)，深度图像是将从3d摄像头到被拍摄用户上各点的距离作为像素值的图像，从而深度图像中的每个像素点所表征的真实空间中的位置点相对于3d摄像头的深度距离。基于此，深度图像可以直接反映被拍摄用户的可见表面的几何形状。
28.3d摄像头采集的深度图像相比于2d摄像头采集的图像来说，实现了极小化地采集用户信息，并且凭借肉眼从深度图像中无法辨识用户的隐私信息，从而保护了用户隐私，实现了用户的隐私安全。
29.在本说明书实施例中，在3d摄像头处于运行状态时，在一个示例中，可以实时监测3d摄像头的视野范围内是否有用户，在检测到有用户时，可以利用3d摄像头采集该用户的深度图像。在该示例中，监测用户的方式可以通过其他感应器进行监测，比如红外感应、温感等，用于监测用户的感应器与3d摄像头通信连接。
30.例如，在通过温感监测用户时，当通过温感方式检测到出现在3d摄像头的视野范围内的影像的温度接近于人体温度时，可以确定该影像是用户的人体影像，从而可以确定在3d摄像头的视野范围内存在用户。在感应器监测到有用户时，可以触发3d摄像头采集用户的深度图像。
31.在另一个示例中，3d摄像头可以实时采集视野范围内的深度图像，然后，针对每个深度图像检测是否存在用户，检测的方式可以包括基于深度学习的检测模型、关键点检测等。当检测出深度图像中存在用户时，获取包括该用户的深度图像。
32.在120，将深度图像中基于像素坐标系的各个像素点转换成基于空间坐标系的3d点云。
33.在本说明书实施例中，三维空间中的每个点的信息可以用3d点云来表示。像素坐标系是以深度图像为基准的二维坐标系。在一个示例中，空间坐标系可以是世界坐标系。在另一个示例中，空间坐标系可以是以3d摄像头为基准的相机坐标系，例如，相机坐标系以3d摄像头作为坐标原点。世界坐标系和相机坐标系均是三维坐标系。
34.当空间坐标系是以相机坐标系时，可以将像素坐标系通过平移的方式转换成以图像的中心为原点的图像坐标系。基于3d摄像头与成像平面之间的关系，图像坐标系的所在平面与成像平面平行，空间坐标系中的其中两个轴所构成的平面也与成像平面平行，从而图像坐标系的所在平面与空间坐标系中的该两个轴所构成的平面也平行。此外，空间坐标系中的除该两个轴以外的另一个轴经过图像坐标系的原点。
35.图2示出了相机坐标系与图像坐标系之间的位置关系的一个示例的示意图。如图2所示，相机坐标系以0c为原点，xc轴、yc轴和zc轴为构成相机坐标系的三个轴，图像坐标系以0为原点，x轴和y轴作为二维的图像坐标系两个轴。其中，图像坐标系所在的平面与xc和yc构成的平面平行，zc轴经过图像坐标系的原点。
36.基于相机坐标系与图像坐标系之间的位置关系，可以利用相似三角形的关系将图像坐标系转换成相机坐标系。在一个示例中，相机坐标系中的任一点与原点之间的直线经过图像坐标系所在的平面，从而相机坐标系中的原点、图像坐标系中的原点以及图像坐标系所在平面中经过的点可以构成一个三角形(以下称为第一三角形)，此外，相机坐标系中的原点、图像坐标系中的原点以及相机坐标系中的该点可以构成另一个三角形(以下称为第二三角形)。第一三角形和第二三角形为相似三角形，从而基于两个相似三角形之间的关系，可以将图像坐标系的各个像素点转换成相机坐标系的3d点云。
37.以图2为例，相机坐标系中的一点p与原点0c之间的直线经过图像坐标系所在的平面的点为p’，从而第一三角形0c0 p’与第二三角形0c0p是相似三角形，从而基于相似三角形，可以将图像坐标系中的p’转换成相机坐标系中p点的3d点云。
38.当空间坐标系是以世界坐标系时，还需要将相机坐标系转换成世界坐标系。相机坐标系与世界坐标系之间的关系可以表示为：
[0039][0040]
其中，相机坐标系中的点用xc、yc和zc表示，空间坐标系中的点用xw、yw和zw表示。r表示旋转，t表示平移。即，针对相机坐标系中的每个点，可以将其进行一次旋转以及一次平移，可以转换成基于世界坐标系中的对应点。
[0041]
通过上述转换方式，可以将相机坐标系中的每个点转换成基于世界坐标系中的点，从而可以得到基于世界坐标系的3d点云。
[0042]
经过上述转换操作后，可以得到深度图像中每个像素点对应的3d点云。
[0043]
在本说明书实施例的一个示例中，在进行坐标系转换之前，还可以利用双边滤波的方式对深度图像进行去噪处理。在双边滤波方式中，针对深度图像中的每个像素点，可以将该像素点周边的各个像素点的距离值进行加权平均，再将经过加权平均得到的距离值作
为该像素点的距离值。
[0044]
通过双边滤波的方式对深度图像进行去噪，可以对深度图像做边缘保存，从而能够得到更加清晰的人像轮廓，进而便于后续进行空间位置以及人体姿态的计算。
[0045]
在130，可以根据转换得到的3d点云得到用户的空间位置和/或人体姿态。
[0046]
在本说明书实施例中，用户的空间位置可以是真实空间中基于世界坐标系的位置，还可以相对于3d摄像头的相对位置。
[0047]
在本说明书实施例的一个示例中，可以利用神经网络模型根据转换得到的3d点云得到用户的空间位置和/或人体姿态。用于输出空间位置的神经网络模型可以是基于深度学习得到的目标检测模型，用于输出人体姿态的神经网络模型可以是基于深度学习得到的关键点检测模型。
[0048]
在该示例中，目标检测模型可以用于针对人体的目标检测，以确定人体所在的空间位置，目标检测模型所检测的目标是人体。关键点检测模型可以用于检测人体的各个关键点，所检测的各个关键点可以指定。人体的各个关键点之间相互组合可以用于确定人体姿态，人体的关键点可以包括各个关节上的点、器官上的点、人体部位上的点等，比如，人体的关键点可以包括头、脖子、肩、手肘、手腕、臀、膝盖、脚踝等。
[0049]
在一个示例中，可以将转化得到的3d点云输入给目标检测模型，利用目标检测模型对输入的3d点云进行以人体为目标的目标检测，以检测用户的空间位置，并输出该空间位置。在一个示例中，可以将转化得到的3d点云输入给关键点检测模型，利用关键点检测模型对输入的3d点云进行关键点检测，以检测出深度图像中的用户人体上的各个关键点，并输出所检测出的各个关键点。
[0050]
在关键点检测模型检测关键点的一个示例中，可以按照人体部位来分别检测各个部位中的关键点，各个部位中的关键点可以指定。例如，头部的关键点可以包括五官中的至少一个对应的关键点。当深度图像中不显示某个部位时，则可以不对该部分的关键点进行检测，从而可以不输出该部位的关键点。
[0051]
在另一个示例中，可以将转化得到的3d点云输入给目标检测模型，利用目标检测模型对输入的3d点云进行目标检测，以检测用户的空间位置，并输出该空间位置。然后，再将用户的空间位置以及转化得到的3d点云输入关键点检测模型，利用关键点检测模型对输入的空间位置和3d点云进行关键点检测，以确定深度图像中的用户人体上的各个关键点，并输出所确定的各个关键点。
[0052]
在140，基于空间位置和/或人体姿态执行针对用户的交互操作。
[0053]
在本说明书实施例中，针对用户的交互操作可以包括与该用户进行交互的操作以及与其他对象进行的针对该用户的交互操作等。在与其他对象进行的针对该用户的交互操作中，交互操作的内容可以涉及该用户，比如，用户的行为等。例如，在安防场景中，当3d摄像头拍摄到的用户涉及到违规行为时，此时所执行的交互操作可以包括报警操作、向负责人(比如，老板)发送警报信息等。
[0054]
针对用户的交互操作可以包括多种类型的交互操作，不同应用场景下的交互操作可以不同，比如，交互操作可以包括推送消息、发出警报等。不同应用场景下的交互操作的交互对象也可以不同。例如，在有的应用场景下，交互操作的对象可以是3d摄像头所拍摄到的用户，在另一些应用场景下，交互操作的对象可以是除3d摄像头所拍摄到的用户以外的
其他对象。
[0055]
在本说明书实施例的一个示例中，可以基于空间位置执行针对用户的交互操作。在该示例中，可以仅根据空间位置来执行对应的交互操作，用户的空间位置不同，对应执行的交互操作可以不同。
[0056]
在一个应用场景中，可以根据用户的空间位置来确定用户与3d摄像头之间的距离，或者用户与运行人体感知系统的交互设备之间的距离。当所确定的距离小于指定的距离阈值时，可以执行与用户的交互操作，或者执行针对用户与其他对象的交互操作。
[0057]
在一个示例中，交互设备可以是与用户交互、且为用户提供相应功能的设备，比如，自助点餐机等，当用户与交互设备之间的距离小于距离阈值时，可以认为该用户有与该交互设备进行交互的意图，从而交互设备可以执行与用户的交互操作，该交互操作可以包括打招呼、显示欢迎信息、推送信息、发送优惠券或红包等。
[0058]
在另一个示例中，交互设备可以是用于监控的设备，比如，安防设备。在该示例中，交互设备可以预先设置有警戒区域，当用户与交互设备之间的距离小于距离阈值时，可以认为进入警戒区域，此时，交互设备可以执行与其他对象的交互操作，比如，报警、发送警示信息等。
[0059]
在本说明书实施例的另一个示例中，可以基于人体姿态执行针对用户的交互操作。在该示例中，可以仅根据人体姿态来执行对应的交互操作，用户的人体姿态不同，对应执行的交互操作可以不同。
[0060]
在一个示例中，可以设置各个人体姿态对应的交互操作类型，从而当确定出用户的人体姿态时，可以执行该人体姿态对应的交互操作。例如，当用户的人体姿态是用户朝向交互设备时，交互设备所执行的交互操作包括推送信息、发送优惠券或红包等。其中，用户朝向交互设备的人体姿态可以包括用户的整个身体都朝向交互设备、用户的上半身部分朝向交互设备、以及用户的头部朝向交互设备等。当用户的完整面部朝向3d摄像头时，交互设备所执行的交互操作包括结算操作、显示结算金额以及显示订单内容等。
[0061]
在本说明书实施例的另一个示例中，可以基于用户空间位置和人体姿态执行针对用户的交互操作。在该示例中，可以根据空间位置和人体姿态共同来确定所需执行的交互操作类型，用户的空间位置和人体姿态中存在至少一项不同，对应执行的交互操作也可以不同。
[0062]
在一个示例中，交互设备可以是与用户交互、且为用户提供相应功能的设备，当用户与交互设备之间的距离小于距离阈值、且用户人体姿态是用户朝向交互设备时，可以认为该用户有与该交互设备进行交互的意图，从而交互设备可以执行与用户的交互操作。
[0063]
在另一个示例中，交互设备是用于监控的设备，当用户与交互设备之间的距离小于距离阈值、且用户人体姿态是用户的真个身体都朝向交互设备时，可以认为进入警戒区域，此时交互设备可以执行报警、发送警示信息等操作。
[0064]
图3示出了根据本说明书实施例的执行针对用户的交互操作的一个示例300的流程图。
[0065]
如图3所示，在142，可以根据空间位置和/或人体姿态确定用户的行为。
[0066]
在该示例中，在不同的应用场景下，空间位置不同和/或人体姿态不同，所确定的用户行为可以不同。
[0067]
在一个示例中，可以仅根据用户的空间位置确定用户的行为。例如，在安防的应用场景下，当用户与交互设备之间的距离小于距离阈值时，可以认为该用户的行为是违规行为。又例如，当用户的空间位置位于预先设定的禁止区域时，可以认为该用户的行为是违规行为。
[0068]
在另一个示例中，可以根据用户的空间位置以及时间等其他因素来确定用户的行为。在不同的时间，所设置的警戒区域的管控等级不同。比如，在晚上的管控等级高，在白天的管控等级较低。又比如，在营业时间的管控等级低，而在非营业时间的管控等级高。当用户的空间位置位于警戒区域内、且处于管控等级高的时间段内时，可以认为用户的行为是违规行为。当用户的空间位置位于警戒区域内、且处于管控等级低的时间段内时，可以不认为用户的行为是违规行为。
[0069]
在另一个示例中，可以仅根据用户的人体姿态来确定用户的行为，用户的行为可以分为走、跑、跳、说话等常规行为，还可以分为违规行为和不违规行为。例如，用户的人体姿态中的一条腿位于另一条腿前面，所确定的用户行为是走或跑。例如，交互设备是与用户交互、且为用户提供相应功能的设备，当用户的人体姿态是用户朝向交互设备、且其中一条腿位于另一条腿前方时，可以认为该用户的行为是以走或跑的方式靠近交互设备。当用户的人体姿态是用户面朝交互设备、且嘴呈张开状态时，可以认为该用户的行为是说话。
[0070]
在另一个示例中，可以根据用户的空间位置和人体姿态来确定用户的行为。例如，当用户与交互设备之间的距离小于预设距离阈值、且用户的人体姿态是用户朝向交互设备且其中一条腿位于另一条腿前方时，可以认为该用户的行为是以走或跑的方式靠近交互设备。又例如，当用户位于警戒区域、且用户的人体姿态是非正常行走、站立等状态时，则可以认为该用户的行为是违规行为。
[0071]
在确定出用户的行为后，在144，可以根据用户的行为来执行针对该行为的交互操作。
[0072]
在一个示例中，用户的行为不同，对应执行的交互操作类型可以不同。用户的行为与交互操作类型之间的对应关系可以预设，在一个示例中，可以预先构建用户的行为与交互操作类型之间的对应关系表，当确定出用户的行为时，通过在对应关系表中查询对应的交互操作类型，从而执行所查询到的交互操作类型对应的交互操作。
[0073]
所执行的交互操作可以根据用户的行为以及应用场景来确定，在不同应用场景中，用户的同一行为也可以对应执行不同的交互操作。
[0074]
在一个示例中，应用场景可以包括安防场景和信息推送场景。当用户的行为是朝向运行人体感知系统的交互设备靠近时，在安防场景下，用户的该行为可以认为是违规行为，尤其是用户处于警戒区域的情况下，更可能被确定为违规行为，从而执行报警的操作。在信息推送场景下，此时用户的行为可以认为是有交互意图，从而可以向该用户推送信息，所推送的信息可以包括营销内容、优惠券、红包等。
[0075]
通过本说明书实施例提供的人机交互方法，通过3d摄像头采集的深度图像来实现人机交互，极小化地采集用户信息，最大化地保护用户隐私，从而实现了用户的隐私安全。
[0076]
图4示出了根据本说明书实施例的基于隐私保护的人机交互装置400的一个示例的方框图。
[0077]
人机交互装置400可以应用于人体感知系统，如图4所示，人机交互装置400包括深
度图像获取单元410、坐标系转换单元420、3d点云计算单元430和交互执行单元440。
[0078]
深度图像获取单元410，被配置为在人体感知系统所具有的3d摄像头的视野范围内有用户时，利用3d摄像头获取用户的深度图像。
[0079]
坐标系转换单元420，被配置为将深度图像中基于像素坐标系的各个像素点转换成基于空间坐标系的3d点云。
[0080]
在一个示例中，人机交互装置400还可以包括图像去噪单元，图像去噪单元可以被配置为利用双边滤波的方式对深度图像进行去噪处理。
[0081]
3d点云计算单元430，被配置为根据转换得到的3d点云得到用户的空间位置和/或人体姿态。
[0082]
在一个示例中，3d点云计算单元430还可以被配置为：利用神经网络模型根据转换得到的3d点云得到用户的空间位置和/或人体姿态。
[0083]
在一个示例中，3d点云计算单元430还可以被配置为：利用目标检测模型对所得到的3d点云进行目标检测，以确定用户的空间位置；以及利用关键点检测模型对所得到的3d点云以及用户的空间位置进行人体的关键点检测，以确定用户的人体姿态。
[0084]
交互执行单元440，被配置为基于空间位置和/或人体姿态执行针对用户的交互操作。
[0085]
在一个示例中，空间位置不同和/或人体姿态不同，对应执行的交互操作类型不同。
[0086]
在一个示例中，交互执行单元440还可以包括行为确定模块和交互执行模块。行为确定模块被配置为：根据空间位置和/或人体姿态确定用户的行为。交互执行模块被配置为：根据行为执行针对行为的交互操作。
[0087]
在一个示例中，所述行为不同，对应执行的交互操作类型不同。
[0088]
在一个示例中，交互执行模块还可以被配置为：在安防的应用场景下，当行为被确定为违规行为时，触发报警；或者在信息推送的应用场景下，当行为被确定为用户朝向运行人体感知系统的交互设备时，向用户推送信息。
[0089]
以上参照图1到图4，对根据本说明书实施例的基于隐私保护的人机交互方法及人机交互装置的实施例进行了描述。
[0090]
本说明书实施例的基于隐私保护的人机交互装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。在本说明书实施例中，基于隐私保护的人机交互装置例如可以利用电子设备实现。
[0091]
图5示出了本说明书实施例的用于实现人机交互方法的电子设备500的方框图。
[0092]
如图5所示，电子设备500可以包括至少一个处理器510、存储器(例如，非易失性存储器)520、内存530和通信接口540，并且至少一个处理器510、存储器520、内存530和通信接口540经由总线550连接在一起。至少一个处理器510执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
[0093]
在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器510：在人体感知系统所具有的3d摄像头的视野范围内有用户时，利用3d摄像头获取用户的深度图像；将深度图像中基于像素坐标系的各个像素点转换成基于空间坐标系的3d
点云；根据转换得到的3d点云得到用户的空间位置和/或人体姿态；以及基于空间位置和/或人体姿态执行针对用户的交互操作。
[0094]
应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器510进行本说明书的各个实施例中以上结合图1-4描述的各种操作和功能。
[0095]
根据一个实施例，提供了一种例如机器可读介质的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本说明书的各个实施例中以上结合图1-4描述的各种操作和功能。
[0096]
具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
[0097]
在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
[0098]
本说明书各部分操作所需的计算机程序代码可以用任意一种或多种程序语言编写，包括面向对象编程语言，如java、scala、smalltalk、eiffel、jade、emerald、c 、c#、vb、net以及python等，常规程序化编程语言如c语言、visual basic 2003、perl、cobol2002、php以及abap，动态编程语言如python、ruby和groovy，或者其他编程语言等。该程序编码可以在用户计算机上运行，或者作为独立的软件包在用户计算机上运行，或者部分在用户计算机上运行另一部分在远程计算机运行，或者全部在远程计算机或服务器上运行。在后一种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)，或连接至外部计算机(例如通过因特网)，或者在云计算环境中，或者作为服务使用，比如软件即服务(saas)。
[0099]
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd-rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
[0100]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0101]
上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
[0102]
在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
[0103]
以上结合附图详细描述了本说明书的实施例的可选实施方式，但是，本说明书的实施例并不限于上述实施方式中的具体细节，在本说明书的实施例的技术构思范围内，可以对本说明书的实施例的技术方案进行多种简单变型，这些简单变型均属于本说明书的实施例的保护范围。
[0104]
本说明书内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本说明书内容。对于本领域普通技术人员来说，对本说明书内容进行的各种修改是显而易见的，并且，也可以在不脱离本说明书内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本说明书内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。