用户行为交互方法、用户行为交互装置及电子设备

1.本发明涉及增强现实技术领域，尤其涉及一种用户行为交互方法、用户行为交互装置及电子设备。


背景技术：

2.在增强现实(augmented reality，ar)地图中，头戴式ar设备已不支持键盘、鼠标或触摸等传统交互方式。而且在ar虚实融合制图中，用户的制图空间和交互空间不再处于割裂状态，而是实现了制图可视化空间与交互空间的统一。
3.因此，用户可以在三维交互空间中查看、操作时空数据，用户在真实环境中自由活动的过程，也是与ar地图实时交互的过程。用户与ar地图场景的交互方式不再是隐喻的，而是基于人行为的自然人机交互，用户行为数据成为驱动ar地图场景动态更新的主要驱动。然而如何通过自然交互方式，自动识别地图中浏览、漫游、检索等常规交互模式，实现用户与ar地图场景的高效交互，当前还没有系统的、可行的解决方案。


技术实现要素：

4.本发明提供一种用户行为交互方法、用户行为交互装置及电子设备，用以解决现有技术中用户无法与增强现实地图场景交互的技术问题。
5.本发明提供一种用户行为交互方法，包括：
6.在增强现实地图中生成待识别用户位姿数据；
7.基于所述待识别用户位姿数据对应的目标交互行为模式，更新所述增强现实地图中的场景数据，所述目标交互行为模式基于目标交互行为网络确定，所述目标交互行为网络是基于用户位姿数据样本和所述用户位姿数据样本对应的交互行为模式训练得到的。
8.在一些实施例中，所述基于所述待识别用户位姿数据对应的目标交互行为模式，更新所述增强现实地图中的场景数据之前，还包括：
9.将所述待识别用户位姿数据输入至所述目标交互行为网络进行行为预测，得到所述待识别行为数据属于不同的交互行为模式的概率；
10.将所述属于不同的交互行为模式的概率中的最大值对应的交互行为模式确定为所述目标交互行为模式。
11.在一些实施例中，所述目标交互行为网络基于多个长短期记忆网络隐藏层、多个全连接层和softmax层构建。
12.在一些实施例中，所述将所述待识别用户位姿数据输入至所述目标交互行为网络进行行为预测，得到所述待识别行为数据属于不同的交互行为模式的概率，包括：
13.将所述待识别用户位姿数据对应的三维向量输入至所述多个长短期记忆网络隐藏层进行特征提取，得到用户行为特征向量；
14.将所述用户行为特征向量输入至所述多个全连接层进行特征融合，得到融合特征向量；
15.将所述融合特征向量输入至所述softmax层进行分类，得到所述待识别用户位姿数据属于不同的交互行为模式的概率。
16.在一些实施例中，所述用户位姿数据包括以下至少一项：
17.用户位置数据、用户头部朝向数据、用户眼球位置数据和用户目视方向数据。
18.在一些实施例中，所述交互行为模式包括以下至少一项：
19.自由站立模式、站立搜索模式、自由行走模式、行走前往模式、行走搜索模式、上台阶模式和下台阶模式。
20.本发明还提供一种用户行为交互装置，包括：
21.生成模块，用于在增强现实地图中生成待识别用户位姿数据；
22.更新模块，用于基于所述待识别用户位姿数据对应的目标交互行为模式，更新所述增强现实地图中的场景数据，所述目标交互行为模式基于目标交互行为网络确定，所述目标交互行为网络是基于用户位姿数据样本和所述用户位姿数据样本对应的交互行为模式训练得到的。
23.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述用户行为交互方法。
24.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述用户行为交互方法。
25.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述用户行为交互方法。
26.本发明提供的用户行为交互方法、用户行为交互装置及电子设备，通过目标交互行为网络对待识别用户位姿数据进行自动识别，分析预测用户的目标交互行为模式，可以在用户无感知的情况下实现与增强现实地图的智能交互，驱动增强现实地图场景数据响应用户交互行为，从而及时更新增强现实地图中的场景数据。
附图说明
27.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1是本发明提供的用户行为交互方法的流程示意图；
29.图2是本发明提供的用户行为交互方法的目标交互行为网络的结构示意图；
30.图3是本发明提供的用户行为交互方法的识别结果混淆矩阵示意图；
31.图4是本发明提供的用户行为交互方法的行为模式识别流程示意图；
32.图5是本发明提供的用户行为交互方法的数据传输协议的结构示意图；
33.图6是本发明提供的用户行为交互装置的结构示意图；
34.图7是本发明提供的电子设备的实体结构示意图。
具体实施方式
35.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.随着增强现实(augmented reality，ar)技术发展和商业化软、硬件设备日渐成熟，尤其是头戴式(head mounted display，hmd)ar设备成功轻量化应用。利用ar技术作为空间数据的可视化表达媒介，通过真三维的沉浸式虚实融合方式渲染时空数据，形成了一种新的地理时空数据表达模式，即ar地图。然而区别于传统的二维地图和屏幕三维地图，ar地图是具身的、沉浸式的可视化和交互环境，通常没有键盘、鼠标等交互设备，因此交互方式也与传统地图不同。传统的二维地图和三维地图中，通常采用wimp(windows、icons、menus、pointers，窗口、图标、菜单、指针)交互范式，设计符合二三维地图功能的交互方式。例如，通过滑动鼠标滚轮，进行地图场景缩放；通过点击输入框和按钮进行空间目标检索；通过菜单选项控制数据图层等操作。
37.在传统电子地图中，用户通过操作鼠标、键盘与制图环境实时交互，驱动地图场景动态更新。这类基于wimp范式的交互多是隐喻性的，在二维场景中由于交互环境和地图可视化环境均属于二维空间，该交互范式具有较高的效率，但在屏幕三维地图中，由于涉及到场景旋转、缩放等三维操作，基于鼠标、键盘的交互模型已经有很大的局限性。例如，通过鼠标、键盘的复杂组合进行场景旋转操作。
38.本发明实施例基于传统二维地图和三维地图中的中地图缩放、平移、旋转、信息检索等操作，在ar地图中设计了高频使用的交互行为模式，并利用深度学习算法，设计了用户典型行为数据的自动识别模型。该模型将用户行为数据作为输入，通过选取一段时间内的用户行为数据，分析预测用户的交互行为模式，从而实现用户自然的、无感的智能交互，驱动ar地图场景响应用户交互行为。
39.需要说明的是，本发明提供的用户行为交互方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本发明不作具体限定。
40.下面以终端执行本发明提供的用户行为交互方法为例，详细说明本发明的技术方案。
41.终端可以是ar设备，ar设备的类型可以为单目式、双目式、插入式、隐形眼镜式、静态全息显示器和车载ar设备等。
42.相关技术中，传统地图交互模式多是基于隐喻的交互模式。
43.例如：用“放大镜”图标表示地图场景的缩放，用“手”的图标表示平移等的图标隐喻交互，以及在三维地图中用鼠标滚轮控制视野大小等的交互隐喻。而且，隐喻交互需要用户主动触发，即通过点击图标、滑动滚轮等方式主动进行场景交互。
44.但是这类基于隐喻的交互模式在ar地图中不再适用，主要原因有两点：
45.(1)在三维ar地图中图标的布局和交互均不易实现，且交互效率低、体验差；
46.(2)通过ar设备的各类传感器，在ar地图使用过程中，系统可以获取大量用户参数，系统可以通过自动识别用户的行为判断当前用户行为的语义信息，然后再根据ar地图场景特征和行为语义，驱动场景响应用户的自然行为。
47.以用户使用ar设备为例来说明本发明实施例。
48.图1是本发明提供的用户行为交互方法的流程示意图。参照图1，本发明提供的用户行为交互方法可以包括：步骤110和步骤120。
49.步骤110、在增强现实地图中生成待识别用户位姿数据；
50.步骤120、基于待识别用户位姿数据对应的目标交互行为模式，更新增强现实地图中的场景数据，目标交互行为模式基于目标交互行为网络确定，目标交互行为网络是基于用户位姿数据样本和用户位姿数据样本对应的交互行为模式训练得到的。
51.可以理解的是，在ar设备对应的头戴式显示器中显示有ar地图，用户可以在头戴式显示器看到ar地图。
52.ar地图可以显示有虚拟用户模型以及预设地图场景数据，使用户可以感知到自己身在何处。
53.虚拟用户模型可以是用户对应的虚拟人像，也可以是对用户进行定位的标识，本发明对此不作具体限定。预设地图场景数据可以是预先导入的现实世界对应的实景地图数据。
54.在步骤110中，用户在现实世界中的动作经ar设备处理可以转换为用户位姿数据，用户动作例如包括转动头部等。
55.ar设备可以通过各类传感器采集到用户的动作，进而实时生成用户位姿数据。待识别用户位姿数据为需要进行识别的用户位姿数据。
56.ar设备还可以利用各类传感器采集与地理位置相关的参数，以对用户进行实时定位。
57.在步骤120中，ar设备接收到待识别用户位姿数据后，将待识别用户数据输入至目标交互行为网络进行用户行为预测，得到识别结果。识别结果即为待识别用户位姿数据对应的目标交互行为模式。
58.基于目标交互行为网络确定的目标交互行为模式，可以驱动ar地图中的场景数据更新，即使得用户视野中的ar地图场景根据用户动作触发的目标行为模式进行相应变化。其中，目标交互行为网络是基于人工智能算法构建的神经网络模型。
59.在传统地图中，交互行为通常是有限的，主要包括地图平移、地图缩放、地图旋转和空间信息检索等。
60.而在ar地图中，人们的行为模式复杂多样，并不是所有行为均含有明确的交互语义信息，即并不是所有的行为都是有效的交互行为。因此，本发明实施例参照传统地图中漫游、导航和检索等常规操作，结合融合制图场景特点，选取了如下几种与融合ar地图交互相关的行为模式，具体如下。
61.在一些实施例中，交互行为模式包括以下至少一项：
62.自由站立模式、站立搜索模式、自由行走模式、行走前往模式、行走搜索模式、上台
阶模式和下台阶模式。
63.(1)自由站立模式，该交互行为模式是指用户原地站立，并没有明确交互行为，其行为特点是空间位置变化较小，头部、目视方向不变或小范围轻微变化。
64.(2)站立搜索模式，该交互行为模式是指用户原地站立或小范围移动，通过转动头部或身体，寻找兴趣目标。
65.(3)自由行走模式，该交互行为模式是指用户在制图场景中没有目的随意行走，与传统地图中漫游操作类似。
66.(4)行走前往模式，该交互行为模式是指用户跟随某目标进行目的性的行走，例如跟随导航路径或朝向目标点定向行走。
67.(5)行走搜索模式，该交互行为模式是行走与寻找的复合行为，用户在行走过程中寻找兴趣目标，该行为是融合制图中的高频行为模式。
68.(6)上台阶模式，区别于上述五种交互行为模式均为水平方向的活动，上台阶模式包含垂直方向运动，比例天桥、户外楼梯等场景。
69.(7)下台阶模式，与上台阶模式类似，下台阶模式也包含垂直方向运动，主要场景是地下通道、户外楼梯等场景。
70.在一些实施例中，默认状态下ar地图会显示视野内所有地图符号，但在交互行为模式为“自由行走模式”时，为确保用户对真实环境的感知能力，ar地图会减少符号数量，优先确保用户对真实环境的感知视野。
71.在ar地图中通过上述典型交互行为模式，将自由行为约束为有效的交互行为，使得通过深度学习等人工智能方法识别交互行为成为可能。上述交互行为模式反映的是与融合制图场景不同的信息交互过程，在不同行为模式下关注的重点也不同。例如“自由站立”更关注真实环境，搜索的同时关注ar地图和真实环境。不同的交互行为模式下对场景内制图要素的要求也不同，因此ar地图场景可以根据交互行为进行自动适应。
72.本发明提供的用户行为交互方法，通过目标交互行为网络对待识别用户位姿数据进行自动识别，分析预测用户的目标交互行为模式，可以在用户无感知的情况下实现与增强现实地图的智能交互，驱动增强现实地图场景数据响应用户交互行为，从而及时更新增强现实地图中的场景数据。
73.在一些实施例中，基于待识别用户位姿数据对应的目标交互行为模式，更新增强现实地图中的场景数据之前，还包括：
74.将待识别用户位姿数据输入至目标交互行为网络进行行为预测，得到待识别行为数据属于不同的交互行为模式的概率；
75.将属于不同的交互行为模式的概率中的最大值对应的交互行为模式确定为目标交互行为模式。
76.针对传统交互方法在ar地图中的局限性以及ar地图中交互需求，为实现ar地图自然人机交互，本发明实施例提出了一种基于交互行为模式识别的ar地图自然人机交互方式。
77.交互行为模式识别是通过采集用户在一段时间内位置、姿态等时序数据，提取用户在该时间区间内的行为特征，最终将该行为识别为具有特定语义的交互行为模式。在本发明中，主要识别类型为上述实施例中提及的交互行为模式，并采用人工智能算法，利用ar
设备中传感器获取的数据，进行交互行为模式自动识别。
78.在实际执行中，将待识别行为数据输入至训练完成的目标交互行为网络中。在识别时间内，得到目标交互行为网络输出的待识别行为数据属于不同的交互行为模式的概率。在本发明实施例中，选取概率最大值对应的目标交互行为模式作为识别结果
79.需要说明的是，在目标交互行为网络运行之前，需要先构建对应的网络结构。
80.在一些实施例中，目标交互行为网络基于多个长短期记忆网络隐藏层、多个全连接层和softmax层构建。
81.根据行为识别需求，可以参考长短期记忆(long short-term memory，lstm)网络结构，设计了针对交互行为模式的目标交互行为网络(behavior interaction net，binet)。
82.图2是本发明提供的用户行为交互方法的目标交互行为网络的结构示意图。
83.binet网络结构如图2所示，网络中包含至少两层堆叠的lstm隐藏层。在行为识别应用中，多隐藏层识别效果优于单隐藏层。
84.在最后一个lstm单元连接至少两个全连接层，并最终利用softmax层的softmax分类器将用户动作映射到预设的行为集中。
85.lstm隐藏层用于进行特征提取，全连接层用于特征融合，softmax层用户对融合后的特征向量进行分类和输出。
86.可以理解的是，目标交互行为网络还包括输入层。在网络训练过程中，输入层为通过ar设备传感器获取历史时段内的用户位姿数据。
87.在一些实施例中，用户位姿数据包括以下至少一项：
88.用户位置数据、用户头部朝向数据、用户眼球位置数据和用户目视方向数据。
89.(1)用户位置数据，用于指示用户在ar地图场景中的位置信息，反应的是在动作识别时间范围内的用户位置变化信息，数据进行归一化处理。该数据可以通过系统中相机对象的位置信息获取，或全球定位系统(global positioning system，gps)等绝对定位设备获取。
90.(2)用户头部朝向数据，用户在ar地图场景中的头部朝向，反应的是用户查看ar地图的角度信息，数据进行归一化处理。该数据可通过系统中相机对象的角度信息获取，或电子罗盘设备获取。
91.(3)用户眼球位置数据，用于指示ar设备传感器捕获的眼睛位置信息，作为用户位置的补充数据，数据进行归一化处理。
92.(4)用户目视方向数据，用于指示ar设备传感器捕获的眼睛注视方向信息，作为用户查看ar地图的重要数据拓展，解决头部朝向表征注视方向不准确的问题，数据进行归一化处理。
93.可以理解的是，根据不同的用户位姿数据可以判断用户对应不同的交互行为模式。
94.交互行为模式识别需要依赖目标时段t内的用户位姿数据样本以及用户位姿数据样本对应的交互行为模式进行计算，识别精度与目标时间段t有一定的相关性。通常目标时段t越长，识别结果越准确。
95.但同时要考虑动作识别的时效性，因此本发明实施例中的目标时段t由如下时间
组成：
96.历史时段中的某个时间段t0内的用户位姿数据与最新时刻t＇之前的某些时刻tn(n≥1)内的用户位姿数据相结合的方式，实现识别精度和效率的平衡。
97.在实际执行中，目标时段t＝t0 tn。
98.由于不同ar设备采集的数据特征和质量不同，因此本发明实施例并未约束t、t0和t＇的具体数值。
99.例如：在利用全息透镜hololens设备训练目标交互行为网络时，可以设置t＝3秒，其中，t0＝2.5秒，t＇＝0.5秒时，训练完成的目标交互行为网络取得了较好的识别结果。
100.目标交互行为网络训练过程如下：
101.将目标时段内的用户位姿数据样本和用户位姿数据样本对应的交互行为模式对应的三维向量输入至多个lstm网络隐藏层进行特征提取，得到目标用户行为特征向量；
102.将目标用户行为特征向量输入至多个全连接层(fully connected layers，fc)进行特征融合，得到目标融合特征向量；
103.将目标融合特征向量输入至softmax层进行分类，得到目标时段内的用户位姿数据属于不同的交互行为模式的概率；
104.通过梯度下降算法对初始交互行为网络进行训练，在达到训练时间或网络模型满足模型收敛条件时，得到训练完成的目标交互行为网络。
105.训练后的目标交互行为网络总体识别精度为86％，识别时间小于10毫秒，可满足ar地图场景交互需求。为更加准确的评估不同行为模式的识别能力，本发明计算了识别结果的混淆矩阵，结果如图3所示，“自由站立模式”、“行走搜索模式”、“上台阶模式”和“下台阶模式”四种交互行为模式识别精度较高，均超过90％。
106.本发明提供的用户行为交互方法，通过目标交互行为网络高效地将用户行为识别为ar地图中的交互行为模式，为人机交互提供了基础条件，同时可以提高用户行为识别的识别精度和识别速度。
107.在一些实施例中，将待识别用户位姿数据输入至目标交互行为网络进行行为预测，得到待识别行为数据属于不同的交互行为模式的概率，包括：
108.将待识别用户位姿数据对应的三维向量输入至多个长短期记忆网络隐藏层进行特征提取，得到用户行为特征向量；
109.将用户行为特征向量输入至多个全连接层进行特征融合，得到融合特征向量；
110.将融合特征向量输入至softmax层进行分类，得到待识别用户位姿数据属于不同的交互行为模式的概率。
111.在得到训练完成的目标交互行为网络后，通过ar设备传感器实施获取当前时刻的用户位姿数据，当前时刻的用户位姿数据可以包括：用户位置数据、用户头部朝向数据、用户眼球位置数据和用户目视方向数据。当前时刻的用户位姿数据即为目标交互行为网络的输入数据，即为待识别用户位姿数据。其中，每个输入数据均为x、y和z三个方向的三维向量。
112.将待识别用户位姿数据对应的三维向量输入至多个长短期记忆网络隐藏层进行特征提取，得到用户行为特征向量；
113.将用户行为特征向量输入至多个fc进行特征融合，得到融合特征向量；
114.将融合特征向量输入至softmax层进行分类，得到待识别用户位姿数据属于不同的交互行为模式的概率。
115.在实际执行中，基于深度学习的目标交互行为识别网络binet具有较高的识别精度，但其训练和运行环境通常是在借助图形处理器(graphics processing unit，gpu)加速的服务器中。受限于硬件计算能力，在移动终端中运行网络模型效率较低。
116.此外，在ar设备中实时位姿估算和三维场景渲染消耗大量计算资源，再增加神经网络推理计算会进一步加大计算资源消耗。
117.基于此本发明实施例在虚实融合制图中采取“云 端”的方式实现用户行为模式识别。
118.图4是本发明提供的用户行为交互方法的行为模式识别流程示意图。如图4所示，将行为模式识别部署于云端，ar端将用户行为数据上传至目标交互行为网络binet服务器后，接收识别结果。
119.在实际执行中，为保护ar地图中用户位置隐私，首先根据原始的行为数据计算相对位置，使用户行为数据不与真实环境中具体位置发生关联。
120.行为识别需要持续高频向服务器传输用户行为数据，为提高数据传输效率，本发明实施例定义了数据传输协议，通过该协议以0.5秒为周期，将多帧数据压缩为一个二进制包。
121.图5是本发明提供的用户行为交互方法的数据传输协议的结构示意图。如图5所示，1b表示长度为1byte的字节。其中，数据类型值为0表示该帧数据为用户行为数据，值为1时表示为识别结果数据。相应的帧数据也为多组行为数据或一个代表交互行为模式的整数值(取值区间为[0,6])。ar端获取服务端返回的交互行为模式后，驱动制图场景内制图要素动态更新。
[0122]
本发明提供的用户交互行为方法，通过参考传统二、三维地图中的地图缩放、平移、旋转、信息检索等操作，在ar地图中设计了多种高频使用的交互行为模式，并利用深度学习算法，设计了对应用户典型行为的自动识别模型。该模型将用户位置、头部朝向、目视方向、眼动等用户行为数据作为输入，通过选取一段时间内的用户行为数据，分析预测用户的交互行为模式，从而实现用户自然的、无感的智能交互，驱动ar地图场景响应用户交互行为。
[0123]
下面对本发明提供的用户行为交互装置进行描述，下文描述的用户行为交互装置与上文描述的用户行为交互方法可相互对应参照。
[0124]
图6是本发明提供的用户行为交互装置的结构示意图。参照图6，本发明提供的用户行为交互装置可以包括：生成模块610和更新模块620。
[0125]
生成模块610，用于在增强现实地图中生成待识别用户位姿数据；
[0126]
更新模块620，用于基于所述待识别用户位姿数据对应的目标交互行为模式，更新所述增强现实地图中的场景数据，所述目标交互行为模式基于目标交互行为网络确定，所述目标交互行为网络是基于用户位姿数据样本和所述用户位姿数据样本对应的交互行为模式训练得到的。
[0127]
本发明提供的用户行为交互装置，通过目标交互行为网络对待识别用户位姿数据进行自动识别，分析预测用户的目标交互行为模式，可以在用户无感知的情况下实现与增
强现实地图的智能交互，驱动增强现实地图场景数据响应用户交互行为，从而及时更新增强现实地图中的场景数据。
[0128]
在一些实施例中，所述用户行为交互装置，还包括：
[0129]
预测模块，用于将所述待识别用户位姿数据输入至所述目标交互行为网络进行行为预测，得到所述待识别行为数据属于不同的交互行为模式的概率；
[0130]
将所述属于不同的交互行为模式的概率中的最大值对应的交互行为模式确定为所述目标交互行为模式。
[0131]
在一些实施例中，所述目标交互行为网络基于多个长短期记忆网络隐藏层、多个全连接层和softmax层构建。
[0132]
在一些实施例中，所述预测模块，还用于：
[0133]
将所述待识别用户位姿数据对应的三维向量输入至所述多个长短期记忆网络隐藏层进行特征提取，得到用户行为特征向量；
[0134]
将所述用户行为特征向量输入至所述多个全连接层进行特征融合，得到融合特征向量；
[0135]
将所述融合特征向量输入至所述softmax层进行分类，得到所述待识别用户位姿数据属于不同的交互行为模式的概率。
[0136]
在一些实施例中，所述用户位姿数据包括以下至少一项：
[0137]
用户位置数据、用户头部朝向数据、用户眼球位置数据和用户目视方向数据。
[0138]
在一些实施例中，所述交互行为模式包括以下至少一项：
[0139]
自由站立模式、站立搜索模式、自由行走模式、行走前往模式、行走搜索模式、上台阶模式和下台阶模式。
[0140]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行用户行为交互方法，该方法包括：
[0141]
在增强现实地图中生成待识别用户位姿数据；
[0142]
基于所述待识别用户位姿数据对应的目标交互行为模式，更新所述增强现实地图中的场景数据，所述目标交互行为模式基于目标交互行为网络确定，所述目标交互行为网络是基于用户位姿数据样本和所述用户位姿数据样本对应的交互行为模式训练得到的。
[0143]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0144]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行
时，计算机能够执行上述各方法所提供的用户行为交互方法，该方法包括：
[0145]
在增强现实地图中生成待识别用户位姿数据；
[0146]
基于所述待识别用户位姿数据对应的目标交互行为模式，更新所述增强现实地图中的场景数据，所述目标交互行为模式基于目标交互行为网络确定，所述目标交互行为网络是基于用户位姿数据样本和所述用户位姿数据样本对应的交互行为模式训练得到的。
[0147]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的用户行为交互方法，该方法包括：
[0148]
在增强现实地图中生成待识别用户位姿数据；
[0149]
基于所述待识别用户位姿数据对应的目标交互行为模式，更新所述增强现实地图中的场景数据，所述目标交互行为模式基于目标交互行为网络确定，所述目标交互行为网络是基于用户位姿数据样本和所述用户位姿数据样本对应的交互行为模式训练得到的。
[0150]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0151]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0152]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。