一种机器人交互方法、装置、存储介质及设备与流程

1.本技术涉及机器人技术领域，尤其涉及一种机器人交互方法、装置、存储介质及设备。


背景技术：

2.随着机器人技术的进步，机器人的种类越来越丰富，功能也越来越强大，其中，交互式机器人的使用也越来越广泛，通过与机器人的交互，能够为人们的生活带来极大的便利和舒适的体验。
3.目前，传统的机器人交互方法是用户基于外部传感器或人体肢体运动来进行机器人的控制。其中，基于外部传感器进行机器人交互时需要额外的设备，成本较高且扩展性较差，需要设备佩戴者做出规定的标准动作才能正确指引机器人的移动；而基于人体肢体运动进行机器人交互时，由于人体的不确定性较高，肢体动作变化程度较大，导致算法精度不高，使得机器人移动定位不准。所以这两种机器人交互方法在使用上存在不便性且控制精度上也存在不稳定性，会导致交互效果较差，影响用户与机器人的交互体验。
4.因此，如何实现更加精准、便捷的机器人交互，以提高交互效果和用户的交互体验是目前亟待解决的技术问题。


技术实现要素：

5.本技术实施例的主要目的在于提供一种机器人交互方法、装置、存储介质及设备，能够根据用户的视线移动，准确确定出机器人移动的终点位置，便于机器人进行准确移动，从而实现了更加精准、便捷的机器人交互，进而提高了交互效果和用户的交互体验。
6.本技术实施例提供了一种机器人交互方法，包括：
7.获取目标用户的人脸图像；
8.利用所述目标用户的人脸图像，确定所述目标用户的视线角度；
9.根据所述目标用户的人脸图像和所述目标用户的视线角度，确定目标机器人移动的终点位置信息；
10.控制所述目标机器人移动到所述终点位置。
11.一种可能的实现方式中，在获取目标用户的人脸图像之前，所述方法还包括：
12.接收预设启动指令，并根据所述预设启动指令控制所述目标机器人进入交互模式。
13.一种可能的实现方式中，所述预设启动指令包括预设语音启动指令；所述接收预设启动指令，并根据所述预设启动指令控制所述目标机器人进入交互模式，包括：
14.接收预设语音启动指令，并根据语音所属的麦克风阵列，确定与所述目标机器人进行交互的目标用户的位置信息；
15.根据所述目标用户的位置信息，控制所述目标机器人进行转动，使得所述目标用户的脸部出现在所述目标机器人的拍摄设备中，以便与所述目标用户进行交互。
16.一种可能的实现方式中，所述获取目标用户的人脸图像，包括：
17.根据所述目标用户的位置信息和所述目标机器人的当前位置信息，控制所述目标机器人进行转动，以使得所述目标机器人和目标用户之间的距离在预设范围内；
18.利用所述目标机器人的拍摄设备，拍摄得到所述目标用户的人脸图像。
19.一种可能的实现方式中，所述利用所述目标用户的人脸图像，确定所述目标用户的视线角度，包括：
20.将所述目标用户的人脸图像输入预先构建的视线角度识别模型，识别得到所述目标用户的视线角度；
21.其中，所述视线角度识别模型包括骨干网络和全连接层；所述视线角度包括垂直方向角度和水平方向角度。
22.一种可能的实现方式中，所述视线角度识别模型的构建方式如下：
23.获取样本用户的人脸图像；
24.将所述样本用户的人脸图像输入初始视线角度识别模型，利用预设的目标函数进行训练，生成所述视线角度识别模型；
25.其中，所述初始视线角度识别模型包括初始骨干网络和初始全连接层。
26.一种可能的实现方式中，所述预设的目标函数为均方误差函数mse。
27.一种可能的实现方式中，所述将所述目标用户的人脸图像输入预先构建的视线角度识别模型，识别得到所述目标用户的视线角度，包括：
28.将所述目标用户的人脸图像输入所述视线角度识别模型的骨干网络，得到所述目标用户的人脸图像的骨干特征向量；
29.将目标用户的人脸图像的骨干特征向量输入所述视线角度识别模型的全连接层进行角度回归处理，得到所述目标用户的视线的垂直方向角度和水平方向角度。
30.一种可能的实现方式中，所述根据所述目标用户的人脸图像和所述目标用户的视线角度，确定所述目标机器人移动的终点位置信息，包括：
31.根据所述目标用户的人脸图像，确定所述目标用户的人脸中心点位置信息；
32.根据所述目标用户的人脸中心点位置信息和所述目标用户的视线角度，计算所述目标机器人移动的终点位置信息。
33.本技术实施例还提供了一种机器人交互装置，所述装置包括：
34.第一获取单元，用于获取目标用户的人脸图像；
35.第一确定单元，用于利用所述目标用户的人脸图像，确定所述目标用户的视线角度；
36.第二确定单元，用于根据所述目标用户的人脸图像和所述目标用户的视线角度，确定目标机器人移动的终点位置信息；
37.第一控制单元，用于控制所述目标机器人移动到所述终点位置。
38.一种可能的实现方式中，所述装置还包括：
39.第二控制单元，用于接收预设启动指令，并根据所述预设启动指令控制所述目标机器人进入交互模式。
40.一种可能的实现方式中，所述预设启动指令包括预设语音启动指令；所述第二控制单元包括：
41.第一确定子单元，用于接收预设语音启动指令，并根据语音所属的麦克风阵列，确定与所述目标机器人进行交互的目标用户的位置信息；
42.第一控制子单元，用于根据所述目标用户的位置信息，控制所述目标机器人进行转动，使得所述目标用户的脸部出现在所述目标机器人的拍摄设备中，以便与所述目标用户进行交互。
43.一种可能的实现方式中，所述第一获取单元包括：
44.第二控制子单元，用于根据所述目标用户的位置信息和所述目标机器人的当前位置信息，控制所述目标机器人进行转动，以使得所述目标机器人和目标用户之间的距离在预设范围内；
45.拍摄子单元，用于利用所述目标机器人的拍摄设备，拍摄得到所述目标用户的人脸图像。
46.一种可能的实现方式中，所述第一确定单元具体用于：
47.将所述目标用户的人脸图像输入预先构建的视线角度识别模型，识别得到所述目标用户的视线角度；
48.其中，所述视线角度识别模型包括骨干网络和全连接层；所述视线角度包括垂直方向角度和水平方向角度。
49.一种可能的实现方式中，所述装置还包括：
50.第二获取单元，用于获取样本用户的人脸图像；
51.训练单元，用于将所述样本用户的人脸图像输入初始视线角度识别模型，利用预设的目标函数进行训练，生成所述视线角度识别模型；
52.其中，所述初始视线角度识别模型包括初始骨干网络和初始全连接层。
53.一种可能的实现方式中，所述预设的目标函数为均方误差函数mse。
54.一种可能的实现方式中，所述第一确定单元包括：
55.第一输入子单元，用于将所述目标用户的人脸图像输入所述视线角度识别模型的骨干网络，得到所述目标用户的人脸图像的骨干特征向量；
56.第二输入子单元，用于将目标用户的人脸图像的骨干特征向量输入所述视线角度识别模型的全连接层进行角度回归处理，得到所述目标用户的视线的垂直方向角度和水平方向角度。
57.一种可能的实现方式中，所述第二确定单元包括：
58.第二确定子单元，用于根据所述目标用户的人脸图像，确定所述目标用户的人脸中心点位置信息；
59.计算子单元，用于根据所述目标用户的人脸中心点位置信息和所述目标用户的视线角度，计算所述目标机器人移动的终点位置信息。
60.本技术实施例还提供了一种机器人交互设备，包括：处理器、存储器、系统总线；
61.所述处理器以及所述存储器通过所述系统总线相连；
62.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述机器人交互方法中的任意一种实现方式。
63.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述机器人交互方法
中的任意一种实现方式。
64.本技术实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述机器人交互方法中的任意一种实现方式。
65.本技术实施例提供的一种机器人交互方法、装置、存储介质及设备，首先获取目标用户的人脸图像，然后，利用目标用户的人脸图像，确定目标用户的视线角度；接着，根据目标用户的人脸图像和目标用户的视线角度，确定目标机器人移动的终点位置信息；进而可以控制目标机器人移动到终点位置。可见，由于本技术实施例是根据用户的视线移动，确定出机器人移动的终点位置，再控制机器人移动到该终点位置，从而能够实现更加精准、便捷的机器人交互，进而提高了交互效果和用户的交互体验。
附图说明
66.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
67.图1为本技术实施例提供的一种机器人交互方法的流程示意图；
68.图2为本技术实施例提供的一种机器人交互场景的示意图；
69.图3为本技术实施例提供的视线方向角度的示意图；
70.图4为本技术实施例提供的利用目标用户的人脸图像，确定目标用户的视线角度的流程示意图；
71.图5为本技术实施例提供的一种机器人交互装置的组成示意图。
具体实施方式
72.随着机器人技术的快速发展，交互式机器人的使用也越来越广泛，通过与机器人的交互，能够为人们的生活带来极大的便利和舒适的体验。现有的机器人交互方法通常包括以下两种：
73.第一种是基于穿戴式设备进行机器人交互的方法，该交互方法需要额外的硬件传感器，通过佩戴传感器实施对应的指定动作来控制机器人的移动。例如，用户可以通过对手环的移动、点击等操作，或者利用手环发射激光线等操作，来控制机器人进行相应的移动。但在实际生活中由于设备和环境的影响，该方法的交互精准度极大的依赖于硬件设备，且由于需要额外的设备，导致成本较高且扩展性较差，还需要设备佩戴者做出规定的标准动作才能正确指引机器人的移动，不仅存在不便性且控制精度上也存在不稳定性，导致交互效果较差。
74.第二种是基于人体肢体运动进行机器人交互的方法，该交互方法需要根据人体关键点检测来判断肢体运动，从而进行机器人的控制。例如，用户可以通过手臂或手指的手势动作，来控制机器人进行相应的移动。但由于人体的不确定性较高，肢体动作变化程度较大，导致交互算法的精度不高、机器人移动定位不够准确，造成交互效果较差。
75.所以，上述两种机器人交互方法在使用上存在不便性且控制精度上也存在不稳定性，会导致交互效果较差，影响用户与机器人的交互体验。
76.为解决上述缺陷，本技术提供了一种机器人交互方法，首先获取目标用户的人脸图像，然后利用目标用户的人脸图像，确定目标用户的视线角度；接着，根据目标用户的人脸图像和目标用户的视线角度，确定目标机器人移动的终点位置信息；进而可以控制目标机器人移动到终点位置。可见，由于本技术实施例是根据用户的视线移动，确定出机器人移动的终点位置，再控制机器人移动到该终点位置，从而能够实现更加精准、便捷的机器人交互，进而提高了交互效果和用户的交互体验。
77.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
78.第一实施例
79.参见图1，为本实施例提供的一种机器人交互方法的流程示意图，该方法包括以下步骤：
80.s101：获取目标用户的人脸图像。
81.在本实施例中，将采用本技术提供的交互方法进行人机交互的任一机器人定义为目标机器人，并将与其进行交互的用户定义为目标用户。需要说明的是，本技术不限定目标机器人的类型，比如目标机器人可以是服务型机器人或者操作型机器人等，并且本技术也不限定目标机器人的应用场景，比如目标机器人可以是家庭机器人或者在餐厅服务的机器人等。
82.图2示出了可以应用于本技术实施例的机器人交互方法的示例性场景示意图。如图2所示，目标机器人201和目标用户202位于同一房间。目标机器人201可以是各种家庭机器人，例如扫地机器人等。目标用户202可以是家中的任意家庭成员。应该理解，图2中的目标机器人和目标用户的数量和位置仅仅是示意性的。根据实现需要，可以具有任意数量的目标机器人和目标用户。
83.本技术实施例所提供的机器人交互方法一般由目标机器人201中的控制器执行，相应地，机器人交互装置可以设置于目标机器人201中。但本领域技术人员容易理解的是，本技术实施例所提供的机器人交互方法也可以由其他终端设备执行。
84.为了能够实现更加精准、便捷的机器人交互，进而提高了交互效果和用户的交互体验。首先，需要获取目标用户的人脸图像，用以执行后续步骤s102。
85.具体来讲，一种可选的实现方式是，在获取目标用户的人脸图像之前，还需要接收预设启动指令，并根据所述预设启动指令控制所述目标机器人进入交互模式，即根据预设启动指令进行目标机器人的唤醒，具体预设启动指令的内容(即唤醒方式)不做限定，比如可以利用语音、手势动作或者其他设备(如手环等)作为预设启动指令，来唤醒目标机器人，并且，在唤醒后，控制目标机器人可以停下当前工作，进入交互模式，等待与目标用户进行交互。
86.具体来讲，一种可选的实现方式是，当预设启动指令包括预设语音启动指令时，如在利用语音唤醒目标机器人后，首先，可以利用语音所属的麦克风阵列，确定出与目标机器人进行交互的目标用户的位置信息，即可以利用现有或未来出现的定位方式，结合麦克风阵列定位到目标用户所在的位置信息，然后，为了能够实现更加精准、便捷的机器人交互，
以提高交互效果和用户的交互体验，进一步还可以根据目标用户的位置信息，利用现有或未来出现的图像获取方法，获取目标用户的人脸图像，用以执行后续步骤s103和s104。
87.具体来讲，在确定出目标用户的位置信息之后，若判断出目标用户并未出现在目标机器人的拍摄设备(如镜头等)中，则为了实现目标用户与目标机器人的便捷、准确交互，进一步可以根据目标用户的位置信息，控制目标机器人进行机体转动，以使得目标用户的脸部能够出现在目标机器人的拍摄设备(如镜头)中，便于目标机器人和目标用户进行交互。
88.进一步可以利用目标机器人的拍摄设备(如摄像机)，拍摄目标用户的整体图像，并利用该整体图像进行人体分割，同时，在利用深度传感器获得的深度图信息，确定出目标用户的人体深度信息后，可以确定出目标用户与目标机器人之间的距离。为了更准确的获取目标用户的视线移动信息，若判断出目标用户与目标机器人之间的距离较远，则需要控制目标机器人进行转动，以使得目标机器人和目标用户之间的距离在预设范围内，进而可以利用目标机器人的拍摄设备，拍摄得到目标用户的人脸图像，并保证拍摄到的目标用户的人脸图像足够清晰，以便能够通过后续步骤s102-s104，利用该人脸图像实现更精准、便捷的机器人交互。
89.其中，预设范围的具体取值可根据实际情况和经验值进行深度，本技术实施例对此不进行限定，比如，可以将预设范围设定为3米范围内等。
90.并且，需要说明的是，本实施例也不限制目标用户的整体图像和目标用户的人脸图像的类型，比如，目标用户的整体图像和目标用户的人脸图像均可以是由红(r)、绿(g)、蓝(b)三原色组成的彩色图像、也可以是灰度图像等。
91.此外，本实施例也不限制目标用户的整体图像和目标用户的人脸图像的分辨率，比如，目标用户的整体图像可以是分辨率为720*480rgb图像、目标用户的人脸图像可以是高分辨率1920*1280rgb图像等。
92.s102：利用目标用户的人脸图像，确定目标用户的视线角度。
93.在本实施例中，通过步骤s101获取到目标用户的人脸图像后，为了能够实现目标用户与目标机器人的便捷、准确交互，进一步需要利用现有或未来出现的图像识别技术，对该目标用户的人脸图像进行识别，以根据识别结果，确定出目标用户的视线角度。
94.具体来讲，一种可选的实现方式是，可以将目标用户的人脸图像输入预先构建的视线角度识别模型，以识别得到目标用户的视线角度。其中，视线角度识别模型包括骨干网络和全连接层。视线角度包括垂直方向角度和水平方向角度。
95.在本实现方式中，可以通过预先构建的视线角度识别模型来识别出目标用户的视线角度。对于三维视线的估计来说，是从目标用户的人脸提醒中推导出目标用户的视线方向。需要说明的是，在相机坐标系下，目标用户的视线方向不仅取决于眼睛的状态(眼珠位置，眼睛开合程度等)，还取决于头部姿态，通常，目标用户的视线方向是由垂直方向(如图3所示的α)和水平方向(如图3所示的θ)这两个角度来表示的。
96.需要说明的是，由于目标用户的视线角度是由视线方向(包括垂直方向α和水平方向θ)和头部朝向共同决定的，因此，获取到目标用户的人脸图像(如高分辨率1920*1280rgb图像)后，可以将其输入至视线角度识别模型的骨干网络(如resnet backbone)，得到目标用户的人脸图像的骨干特征向量，然后，可以将该骨干特征向量输入至视线角度识别模型
的全连接层(fully connected layer，简称fc层)进行角度回归处理，得到目标用户的视线的垂直方向角度(此处将其定义为α')和水平方向角度(此处将其定义为θ')，如图4所示，用以执行后续步骤s103。
97.接下来，本实施例将对视线角度识别模型的构建过程进行介绍，该构建过程具体可以包括以下步骤a1-a2：
98.步骤a1：获取样本用户的人脸图像。
99.在本实施例中，为了构建视线角度识别模型，需要预先进行大量的准备工作，首先，需要收集大量用户的人脸图像作为样本用户的人脸图像，比如，可以预先收集100幅不同用户的人脸图像，并将收集到的不同用户的每一幅人脸图像分别作为样本用户的人脸图像，并预先通过人工标注出这些样本用户的人脸图像对应的样本用的视线角度(包括垂直方向角度和水平方向角度)，用以训练视线角度识别模型。
100.步骤a2：将样本用户的人脸图像输入初始视线角度识别模型，利用预设的目标函数进行训练，生成视线角度识别模型。
101.在本实施例中，在本实施例中，通过步骤a1获取到样本用户的人脸图像后，进一步的，可以依次将一幅样本用户的人脸图像输入初始视线角度识别模型，得到样本用户的视线角度识别结果，并利用该识别结果与对应的人工标注结果进行比较，并根据二者的差异，以及预设的目标函数(可根据实际情况和经验值进行设定，本技术不做限定)进行多轮模型训练，直到满足训练结束条件为止，此时，即可生成视线角度识别模型。其中，初始视线角度识别模型可以包括初始骨干网络和初始全连接层。但初始视线角度识别模型的具体构成不做限制，比如初始视线角度识别模型可以是残差网络(residual network,，简称resnet)或循环神经网络(recurrent neural network，简称rnn)等深度神经网络模型。
102.在训练过程中，一种可选的实现方式是，预设的目标函数可以采用均方误差函数(mean squared error，简称mse)。进而可以通过groundtruth计算mse-loss，并通过adam参数优化器进行模型参数更新，即，在模型训练过程中，可以根据mse-loss值的变化，对视线角度识别模型的模型参数进行不断更新，直至mse-loss值满足要求，比如变化幅度很小，则停止模型参数的更新，完成视线角度识别模型的训练，以得到训练后的视线角度识别模型。
103.通过上述实施例，可以利用样本用户的人脸图像训练生成视线角度识别模型，则进一步的，可以利用验证用户的人脸图像对生成的视线角度识别模型进行验证，具体验证过程可以包括以下步骤b1-b3：
104.步骤b1：获取验证用户的人脸图像。
105.在实际应用中，为了实现对视线角度识别模型进行验证，首先需要获取验证用户的人脸图像，其中，验证用户的人脸图像指的是可以用来进行视线角度识别模型验证的人脸图像，在获取到验证用户的人脸图像后，可继续执行步骤b2。
106.步骤b2：将验证用户的人脸图像输入视线角度识别模型，获得验证用户的视线角度。
107.在具体实现过程中，通过步骤b1获取到验证用户的人脸图像后，进一步的，可以将验证用户的人脸图像输入视线角度识别模型，获得验证用户的视线角度(包括垂直方向角度和水平方向角度)，进而可继续执行步骤b3。
108.步骤b3：当验证用户的视线角度(包括垂直方向角度和水平方向角度)识别结果与
验证用户的人脸图像对应的验证用户的视线角度标记结果不一致，将验证用户的人脸图像重新作为样本用户的人脸图像，对视线角度识别模型进行更新。
109.通过上述实施例，可以利用验证用户的人脸图像对视线角度识别模型进行有效验证，当验证用户的视线角度的识别结果与对应的验证用户的视线角度的人工标注结果不一致(或误差不在预设角度范围内)时，可以及时调整更新视线角度识别模型，进而有助于提高识别模型的识别精度和准确性。
110.s103：根据目标用户的人脸图像和目标用户的视线角度，确定目标机器人移动的终点位置信息。
111.在本实施例中，通过步骤s101获取到目标用户的人脸图像，以及通过步骤s102确定出目标用户的视线角度后，进一步可以目标用户的人脸图像和目标用户的视线角度进行分析处理，以根据处理结果，确定出目标机器人移动的终点位置信息，用以执行后续步骤s104。
112.具体来讲，一种可选的实现方式是，首先可以根据目标用户的人脸图像，确定出目标用户的人脸中心点位置信息。具体的，在本实现方式中，可以通过对目标用户的人脸图像和目标用户的人体深度信息进行处理，以确定出目标用户的人脸中心点位置，作为人体位置，并将其坐标定义为(x
p
,y
p
,z
p
)。
113.然后，再结合通过步骤s103得到的目标用户的视线角度(包括垂直方向角度α'和水平方向角度θ')，通过下述计算公式，可以计算出目标机器人移动的终点位置信息：
[0114][0115]
其中，(xg,yg,zg)表示目标机器人移动的终点位置的坐标信息。
[0116]
需要说明的是，(xg,yg,zg)表示的目标机器人移动的终点位置即为目标用户对地面的注视点位置，具体的，可以将目标用户的视线看成是射向地面的射线，进而可以将该射线与地平面的交点作为目标用户对地面的注视点位置。且该地面的注视点也为机器人在相机坐标系下需移动到的空间终点位置。其中，还需要说明的是，也可以根据实际需要将相机坐标系转换为以机器人(躯干)中心点为零点的机器人坐标系等，本技术对此不进行限定。
[0117]
需要说明的是，在将目标用户的视线看成是射向地面的射线后，当该射线与地平面的交点(即目标用户对地面的注视点位置)超出了目标机器人和目标用户所在的房间时，可以将在房间外该射线与地平面的交点(即目标用户对地面的注视点位置)和目标机器人当前所在位置的连接线与房间墙壁的交点作为目标机器人移动的终点位置，即可以通过后续步骤s104控制目标机器人移动到该房间墙壁旁边，尽可能靠近该与房间墙壁的交点的位置。
[0118]
s104：控制目标机器人移动到终点位置。
[0119]
在本实施例中，通过步骤s103确定出目标机器人移动的终点位置信息后，进一步可以结合目标机器人的当前位置信息、终点位置信息、以及网格地图等，规划出移动路线，以避开路线中的障碍物，进而可以控制目标机器人按照该移动路线，移动到终点位置，从而实现了更加精准、便捷的机器人交互，进而提高了交互效果和用户的交互体验。
[0120]
进一步的，当目标机器人移动到终点位置后，还可以接收目标用户发出的各种指
令信息，如语音、手势等指令信息，并根据对该指令信息进行解析得到的解析结果来实施对应的操作，如测温、充电、取物、清扫等。
[0121]
举例说明：当目标机器人是扫地机器人时，在其移动到终点位置后，可以接收目标用户通过语音、手势或者其他设备(如手机客户端等)发出的清扫指令，并根据该清扫指令确定清扫范围进行清扫。例如，可以将扫地机器人移动到的终点位置作为圆心，利用预设半径(或用户通过清扫指令指定的半径大小)划定的圆形区域作为清扫范围，进行清扫；或者，目标用户也可以通过手机客户端在扫地机器人移动到的终点位置附近自定义圈定清扫范围(如矩形、圆形或其他不规则多边形等的范围)，并将该自定义的清扫范围通过清扫指令发送至扫地机器人，以便扫地机器人按照该自定义的清扫范围进行清扫等。
[0122]
综上，本实施例提供的一种机器人交互方法，首先获取目标用户的人脸图像，然后，利用目标用户的人脸图像，确定目标用户的视线角度；接着，根据目标用户的人脸图像和目标用户的视线角度，确定目标机器人移动的终点位置信息；进而可以控制目标机器人移动到终点位置。可见，由于本技术实施例是根据用户的视线移动，确定出机器人移动的终点位置，再控制机器人移动到该终点位置，从而能够实现更加精准、便捷的机器人交互，进而提高了交互效果和用户的交互体验。
[0123]
第二实施例
[0124]
本实施例将对一种机器人交互装置进行介绍，相关内容请参见上述方法实施例。
[0125]
参见图5，为本实施例提供的一种机器人交互装置的组成示意图，该装置500包括：
[0126]
第一获取单元501，用于获取目标用户的人脸图像；
[0127]
第一确定单元502，用于利用所述目标用户的人脸图像，确定所述目标用户的视线角度；
[0128]
第二确定单元503，用于根据所述目标用户的人脸图像和所述目标用户的视线角度，确定目标机器人移动的终点位置信息；
[0129]
第一控制单元504，用于控制所述目标机器人移动到所述终点位置。
[0130]
在本实施例的一种实现方式中，所述装置还包括：
[0131]
第二控制单元，用于接收预设启动指令，并根据所述预设启动指令控制所述目标机器人进入交互模式。
[0132]
在本实施例的一种实现方式中，所述预设启动指令包括预设语音启动指令；所述第二控制单元包括：
[0133]
第一确定子单元，用于接收预设语音启动指令，并根据语音所属的麦克风阵列，确定与所述目标机器人进行交互的目标用户的位置信息；
[0134]
第一控制子单元，用于根据所述目标用户的位置信息，控制所述目标机器人进行转动，使得所述目标用户的脸部出现在所述目标机器人的拍摄设备中，以便与所述目标用户进行交互。
[0135]
在本实施例的一种实现方式中，所述第一获取单元501包括：
[0136]
第二控制子单元，用于根据所述目标用户的位置信息和所述目标机器人的当前位置信息，控制所述目标机器人进行转动，以使得所述目标机器人和目标用户之间的距离在预设范围内；
[0137]
拍摄子单元，用于利用所述目标机器人的拍摄设备，拍摄得到所述目标用户的人
脸图像。
[0138]
在本实施例的一种实现方式中，所述第一确定单元502具体用于：
[0139]
将所述目标用户的人脸图像输入预先构建的视线角度识别模型，识别得到所述目标用户的视线角度；
[0140]
其中，所述视线角度识别模型包括骨干网络和全连接层；所述视线角度包括垂直方向角度和水平方向角度。
[0141]
在本实施例的一种实现方式中，所述装置还包括：
[0142]
第二获取单元，用于获取样本用户的人脸图像；
[0143]
训练单元，用于将所述样本用户的人脸图像输入初始视线角度识别模型，利用预设的目标函数进行训练，生成所述视线角度识别模型；
[0144]
其中，所述初始视线角度识别模型包括初始骨干网络和初始全连接层。
[0145]
在本实施例的一种实现方式中，所述预设的目标函数为均方误差函数mse。
[0146]
在本实施例的一种实现方式中，所述第一确定单元502包括：
[0147]
第一输入子单元，用于将所述目标用户的人脸图像输入所述视线角度识别模型的骨干网络，得到所述目标用户的人脸图像的骨干特征向量；
[0148]
第二输入子单元，用于将目标用户的人脸图像的骨干特征向量输入所述视线角度识别模型的全连接层进行角度回归处理，得到所述目标用户的视线的垂直方向角度和水平方向角度。
[0149]
在本实施例的一种实现方式中，所述第二确定单元503包括：
[0150]
第二确定子单元，用于根据所述目标用户的人脸图像，确定所述目标用户的人脸中心点位置信息；
[0151]
计算子单元，用于根据所述目标用户的人脸中心点位置信息和所述目标用户的视线角度，计算所述目标机器人移动的终点位置信息。
[0152]
进一步地，本技术实施例还提供了一种机器人交互设备，包括：处理器、存储器、系统总线；
[0153]
所述处理器以及所述存储器通过所述系统总线相连；
[0154]
所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行上述机器人交互方法的任一种实现方法。
[0155]
进一步地，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行上述机器人交互方法的任一种实现方法。
[0156]
进一步地，本技术实施例还提供了一种计算机程序产品，所述计算机程序产品在终端设备上运行时，使得所述终端设备执行上述机器人交互方法的任一种实现方法。
[0157]
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到上述实施例方法中的全部或部分步骤可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者诸如媒体网关等网络通信设备，等等)执行本技术各个实施例或者实施例的某些部分所述的方法。
[0158]
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0159]
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0160]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。