一种用于机器人交互的目标选择模型和机器人交互系统的制作方法

1.本发明涉及机器人领域，尤其涉及一种用于机器人交互的目标选择模型和机器人交互系统。


背景技术：

2.机器人服务已经在很多领域应用。但是，目前用于服务领域的机器人主动性差，功能单一，尤其是在复杂的人流场合中，机器人不能主动发起人机交互，机器人服务效果并不理想。


技术实现要素：

3.为了解决上述现有技术中机器人不适用于复杂的人流场合的缺陷，本发明提出了一种用于机器人交互的目标选择模型和机器人交互系统。
4.本发明的目的之一采用以下技术方案：
5.一种用于机器人交互的目标选择模型，所述模型的获得包括以下步骤：
6.s1、定义用于判断人与机器人交互需求的信息记作交互需求信息，其包括语音、肢体语言和面部表情中的至少一项；
7.从机器人与人交互的工作记录中提取相对应的交互需求信息和交互结果，筛选部分交互需求信息作为样本，根据样本对应的交互结果对样本标注交互期望值；构建输入为交互需求信息，输出为交互期望值的第一神经网络；
8.s2、结合标注样本对第一神经网络进行训练，获得训练完成的第一神经网络作为目标选择模型。
9.本发明的目的之二采用以下技术方案：
10.一种机器人交互系统，包括目标选择模块，目标选择模块内设有如权利要求1所述的目标选择模型；目标选择模块用于获取现场人员的交互需求信息，并结合目标选择模型计算现场人员的交互期望值；目标选择模块根据交互期望值从现场人员中筛选目标对象。
11.优选的，还包括目标导航模块；目标导航模块与目标选择模块连接；目标导航模块用于获取目标对象的运动信息，并结合机器人位置和目标对象的运动信息生成使机器人与目标对象遭遇的导航路径。
12.优选的，目标导航模块还用于在机器人遭遇移动障碍物时控制机器人原地等待，并用于统计机器人原地等待时间，且在机器人原地等待时间达到设定的等待时间阈值时通知目标选择模块重新选择目标对象。
13.优选的，还包括目标跟踪模块，目标跟踪模块连接目标选择模块；目标跟踪模块中设置有目标丢失判断条件，目标丢失判断条件包括：目标对象脱离机器人视野、目标对象背向机器人运动和/或目标对象进入不可干扰状态；不可干扰状态包括：打电话状态和人与人交互状态；
14.目标跟踪模块用于实时跟踪目标对象并判断目标对象是否符合目标丢失判断条
件，目标跟踪模块用于在目标对象符合目标丢失判断条件时通知目标选择模块重新选择目标对象。
15.优选的，还包括麦克风阵列和摄像装置，目标选择模块和目标导航模块均分别连接麦克风阵列和摄像装置，目标选择模块通过麦克风阵列和摄像装置获得交互需求信息，目标导航模块根据音源信息和/或图像信息获得目标对象的位置。
16.优选的，还包括问候模块和应答模块；问候模块内设有多组问候语与问候条件的映射关系，问候条件包括天气、日期和场景中的至少一项，问候模块用于结合问候条件筛选问候语以主动发起人机交互；应答模块用于根据目标对象输出的信息进行应答；目标对象输出的信息为语音、文字或者肢体语言。
17.优选的，还包括显示屏，显示屏还连接问候模块，问候模块中至少部分问候语关联有互动图像，显示屏根据问候模块输出的问候语同步显示对应的互动图像；所述显示屏采用触控显示屏，所述显示屏还连接应答模块，人可通过显示屏与机器人互动；所述显示屏位于机器人脸部。
18.优选的，目标选择模块用于选择获得的第一个交互期望值大于或等于设定的期望阈值的的现场人员作为目标对象，或者目标选择模块用于选择设定的筛选区域内交互期望值最高的人员作为目标对象。
19.优选的，目标选择模块中还设有优先回应条件，优先回应条件包括：主动招呼机器人和主动拦截机器人；目标选择模块还用于实时检测现场是否有符合优先回应条件的人，如果出现符合优先回应条件的人，则目标选择模块将目标对象更换为该符合优先回应条件的人。
20.本发明的优点在于：
21.(1)训练获得的目标选择模型可结合现场任一人员的交互需求信息判断交互期望值，以便根据交互期望值从现场人员中自动筛选具有与机器人的交互需求的人，以便机器人主动寻找所述具有与机器人的交互需求的人，从而由机器人发起交互，提高了机器人服务的主动性。
22.(2)标注样本中的标注信息即交互期望值可由人工标注，即领域专家标注，被标注的交互期望值与实际的交互结果相关联，保证了标注样本中交互需求信息与交互期望值的适配性，从而保证了最终的目标选择模型的可靠性。
23.(3)通过交互需求信息的设置，实现了对符合机器人服务场景的特定人群的筛选，使得最终筛选出的目标对象是即有与机器人交流的期望又符合活动主题的人，从而即保证了机器人服务效率，又保证了服务质量和活动效果。
24.(4)目标选择模块用于选择获得的第一个交互期望值大于或等于设定的期望阈值的的现场人员作为目标对象，以提高目标对象的筛选效率。通过期望阈值的设置，也保证了筛选目标对象的准确程度，从而保证机器人主动发起交互的成功率。或者，目标选择模块用于选择设定的筛选区域内交互期望值最高的人员作为目标对象。具体的，所述筛选区域可以是机器人视野范围内的区域，例如以机器人为圆心的圆形区域或者扇形区域，以保证机器人在筛选出目标对象后可快速遭遇目标对象，从而发起交互并确保主动交互的成功率。
25.(5)目标导航模块的设置，方便了机器人快速准确的与目标选择模块确定的目标对象遭遇，从而保证机器人主动交互的实施基础。
26.(6)目标导航模块中等待时间阈值的设置，避免了机器人在同一个目标对象上浪费大量时间，提高了机器人筛选目标对象的灵活性，从而进一步提高了机器人服务效率。
27.(7)通过目标丢失判断条件的设置，考虑到了人的不可控性，从而及时在目标对象丢失时寻找新的目标对象，有利于减少机器人闲置时间，提高机器人服务效率。目标丢失判断条件可根据场景等灵活设置，从而提高机器人选择目标对象的灵活性，使得机器人更加适应服务场合。
28.(8)通过优先回应条件的设置，使得机器人在没有与人交互的情况下，即机器人处于闲置状态或者寻找目标对象的状态时，均可随时响应发起交互需求的人，即机器人优先处理被动交互需求，从而提高人的主观感受。
29.(9)问候语和问候条件的设置，方便了机器人根据实际情况发起主动交互并拟人化的与目标对象打招呼，提高目标对象的交互体验，进一步提升目标对象对机器人的兴趣，从而提高机器人服务质量和成功率。
附图说明
30.图1为一种用于机器人交互的目标选择模型的训练方法流程图；
31.图2为一种机器人交互系统模块连接图。
具体实施方式
32.一种用于机器人交互的目标选择模型
33.本实施方式提出的一种用于机器人交互的目标选择模型，所述模型的获得包括以下步骤。
34.s1、定义用于判断人与机器人交互需求的信息记作交互需求信息，其包括语音、肢体语言和面部表情中的至少一项；
35.从机器人与人交互的工作记录中提取相对应的交互需求信息和交互结果，筛选部分交互需求信息作为样本，根据样本对应的交互结果对样本标注交互期望值；构建输入为交互需求信息，输出为交互期望值的第一神经网络。
36.s2、结合标注样本对第一神经网络进行训练，获得训练完成的第一神经网络作为目标选择模型。
37.本实施方式中，训练获得的目标选择模型可结合现场任一人员的交互需求信息判断交互期望值，以便根据交互期望值从现场人员中自动筛选具有与机器人的交互需求的人，以便机器人主动寻找所述具有与机器人的交互需求的人，从而由机器人发起交互，提高了机器人服务的主动性。
38.本实施方式中，标注样本中的标注信息即交互期望值可由人工标注，即领域专家标注，被标注的交互期望值与实际的交互结果相关联，保证了标注样本中交互需求信息与交互期望值的适配性，从而保证了最终的目标选择模型的可靠性。
39.具体实施时，可设置交互需求信息为由多个参考项组成集合，每一个参考项由包括多个子项，例如：
40.[0041][0042][0043][0044]
具体的，上述子项中，“与机器人互动的肢体动作”包括招手、搞怪动作等。结合以上参考项可知，目标选择模型筛选出的具有与机器人的交互需求的人即目标对象，至少是召唤机器人、对机器人做动作或者长时间/频繁注视机器人的人，即通过目标选择模型筛选出的目标对象必然是对机器人有兴趣的人。
[0045]
具体实施时，根据机器人服务场景，还可设置交互需求信息包括特定人群，例如针对六一活动场合，可设置：
[0046][0047]
针对三八妇女节活动场合，可设置：
[0048][0049]
如此，通过交互需求信息的设置，实现了对符合机器人服务场景的特定人群的筛选，使得最终筛选出的目标对象是即有与机器人交流的期望又符合活动主题的人，从而即保证了机器人服务效率，又保证了服务质量和活动效果。
[0050]
一种机器人交互系统
[0051]
本实施方式提出的一种机器人交互系统，包括目标选择模块、目标导航模块、目标跟踪模块、问候模块、应答模块和显示屏。
[0052]
目标选择模块内设有上述的目标选择模型。目标选择模块用于获取现场人员的交互需求信息，并结合目标选择模型计算现场人员的交互期望值。目标选择模块根据交互期望值从现场人员中筛选目标对象。
[0053]
具体的，本实施方式中，目标选择模块用于选择获得的第一个交互期望值大于或等于设定的期望阈值的的现场人员作为目标对象，以提高目标对象的筛选效率。通过期望阈值的设置，也保证了筛选目标对象的准确程度，从而保证机器人主动发起交互的成功率。
[0054]
具体实施时，也可设置，目标选择模块用于选择设定的筛选区域内交互期望值最高的人员作为目标对象。具体的，所述筛选区域可以是机器人视野范围内的区域，例如以机器人为圆心的圆形区域或者扇形区域，以保证机器人在筛选出目标对象后可快速遭遇目标对象，从而发起交互并确保主动交互的成功率。
[0055]
目标导航模块与目标选择模块连接。目标导航模块用于获取目标对象的运动信息，并结合机器人位置和目标对象的运动信息生成使机器人与目标对象遭遇的导航路径。具体的，当目标对象静止时，目标导航模块根据机器人与目标对象之间的相对位置以及现场障碍物信息，通过现有的路径优化算法获得机器人朝向目标对象运动的最优路径作为导航路径。当目标对象运动时，目标导航模块结合目标对象的运动方向和运动速度生成目标对象在预设时间值内的运动轨迹，目标导航模块根据机器人与所述运动轨迹之间的相对位置和机器人的运动速度获得机器人与目标对象遭遇的位置记作遭遇位置，目标导航模块根据机器人与遭遇位置之间的相对位置以及现场障碍物信息，通过现有的路径优化算法获得
机器人朝向目标对象运动的最优路径作为导航路径。
[0056]
具体的，本实施方式中，所述机器人交互系统通过摄像装置对现场进行视觉监控，摄像装置采用深度相机，深度相机拍摄的每一帧图像包括红绿蓝三个颜色通道和一个深度通道四个维度的信息，得到图像后通过基于深度神经网络的目标检测模型例如现有的yolov3模型识别图像中的行人，确定他们的位置信息，通过追踪多帧视频图像中行人在场馆中位置的变化历史，得到行人的运动轨迹和速度信息，从而获得所述运动轨迹。
[0057]
且本实施方式中，机器人交互系统还包括麦克风阵列，以便通过麦克风阵列进行音源定位，从而锁定通过语音召唤机器人的目标对象。
[0058]
值得注意的是，由于该载有该机器人交互系统的机器人可能服务于人流复杂的环境，即可能频繁遭遇移动障碍物，所以机器人移动过程中需要根据遭遇到的移动障碍物实时调整导航路径。导航路径的生成和调整均为现有技术，在此不做赘述。
[0059]
本实施方式中，当机器人遭遇大面积移动障碍例如大批行人时，为确保行人和机器人安全，则目标导航模块控制机器人原地等待，以便在大面积移动障碍脱离导航路径后机器人继续运动。
[0060]
目标跟踪模块连接目标选择模块。目标跟踪模块中设置有目标丢失判断条件，目标丢失判断条件包括：目标对象脱离机器人视野、目标对象背向机器人运动和/或目标对象进入不可干扰状态。不可干扰状态包括：打电话状态和、人与人交互状态、以及人与机器人交互状态，以上三种状态可统称为聊天状态。具体设置时，如果一定区域内只有一个机器人，则不可干扰状态中不需要设置人与机器人交互状态。具体实施时，目标丢失判断条件和不可打扰状态等都可以人工编辑调整。
[0061]
目标跟踪模块用于实时跟踪目标对象并判断目标对象是否符合目标丢失判断条件，目标跟踪模块用于在目标对象符合目标丢失判断条件时通知目标选择模块重新选择目标对象。
[0062]
本实施方式中，通过目标丢失判断条件的设置，考虑到了人的不可控性，从而及时在目标对象丢失时寻找新的目标对象，有利于减少机器人闲置时间，提高机器人服务效率。
[0063]
本实施方式中，目标丢失判断条件可根据场景等灵活设置，从而提高机器人选择目标对象的灵活性，使得机器人更加适应服务场合。
[0064]
具体实施时，目标导航模块还可用于在机器人遭遇移动障碍物例如行人时控制机器人原地等待；目标导航模块还用于统计机器人原地等待时间，并用于在机器人原地等待时间达到设定的等待时间阈值时通知目标选择模块重新选择目标对象。等待时间阈值的设置，避免了机器人在同一个目标对象上浪费大量时间，提高了机器人筛选目标对象的灵活性，从而进一步提高了机器人服务效率。
[0065]
本实施方式中，目标选择模块中还设有优先回应条件，优先回应条件包括：主动招呼机器人和主动拦截机器人；目标选择模块还用于实时检测现场是否有符合优先回应条件的人，如果出现符合优先回应条件的人，则目标选择模块将目标对象更换为该符合优先回应条件的人。如此，通过优先回应条件的设置，使得机器人在没有与人交互的情况下，即机器人处于闲置状态或者寻找目标对象的状态时，均可随时响应发起交互需求的人，即机器人优先处理被动交互需求，从而提高人的主观感受。
[0066]
问候模块内设有多组问候语与问候条件的映射关系，问候条件包括天气、日期和
场景中的至少一项，问候模块用于结合问候条件筛选问候语以主动发起人机交互。例如，夏天，机器人找到目标对象时，可说“今天很热哦，您一定需要一杯冷饮”；六一儿童节，机器人可对小朋友说“今天是你的节日，节日快乐哦”等。
[0067]
本实施方式中，还可在机器人身上例如脸部设置显示屏，从而在机器人打招呼时显示对应的画面，例如机器人可对小朋友说“今天是你的节日，节日快乐哦”时，可设置显示屏显示动态爱心图片等，以提高目标对象的视觉体验和主观感受。具体的，本实施方式中，显示屏还连接问候模块，问候模块中至少部分问候语关联有互动图像，显示屏根据问候模块输出的问候语同步显示对应的互动图像。
[0068]
问候语和问候条件的设置，方便了机器人根据实际情况发起主动交互并拟人化的与目标对象打招呼，提高目标对象的交互体验，进一步提升目标对象对机器人的兴趣，从而提高机器人服务质量和成功率。
[0069]
应答模块用于根据目标对象输出的信息进行应答。目标对象输出的信息为语音、文字或者肢体语言。具体的，机器人可通过阵列麦克风获得目标对象的语义输入，通过键盘或者触摸屏获得文字输入，通过摄像装置获得肢体语言输入。
[0070]
本实施方式中，所述显示屏采用触控显示屏，所述显示屏还连接应答模块，人可通过显示屏与机器人互动。
[0071]
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。