基于多模态感知融合的机器人交互系统及方法与流程

本发明涉及机器人交互，具体涉及基于多模态感知融合的机器人交互系统及方法。

背景技术：

1、机器人手势交互方式多是在摄像头视野内直接检测手部区域或识别手势类别，当画面中仅存在单个用户时，该方式通常能够完成基本控制。在多人同时出现在机器人摄像头视野内时，摄像头可能同时采集到多个候选用户的人体区域和手部动作，若机器人直接对全画面手势或所有手部区域进行统一识别，则难以确定当前手势实际来自哪一个用户，容易出现机器人响应非目标用户手势、将路过人员的手部动作误认为控制指令、或者在多名用户同时靠近时无法确定控制对象的问题。

2、仅依据候选用户与机器人之间的距离确定交互对象，也可能将距离较近但背对机器人、侧身经过机器人或者仅短暂转头的候选用户误判为交互对象；仅依据二维人脸检测或人体检测框判断用户朝向，又容易受到二维投影、人体遮挡、头部摆动和检测框变化的影响。此外，在多人贴近、手臂交叉或其他候选用户手部伸入目标用户人体区域的情况下，手部区域框还可能与候选用户索引发生错配，导致虽然机器人已经确定了交互对象，但实际参与手势识别的手部区域却并非该交互对象的真实手部区域。

技术实现思路

1、针对现有技术所存在的上述缺点，本发明提供了基于多模态感知融合的机器人交互系统及方法，能够有效解决现有技术中多人同时处于机器人摄像头视野内时，机器人难以准确锁定唯一交互对象，并容易因非目标用户手势或手部区域错配而发生误识别、误响应的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、本发明提供基于多模态感知融合的机器人交互方法，至少包括：

4、获取彩色图像帧、深度图像帧以及候选用户的三维关键点；

5、根据左眼中心点与右眼中心点求平均得到双眼中点，根据双眼中点与鼻尖点得到人脸中心三维坐标，根据人脸中心三维坐标与机器人光心坐标之间的欧氏距离经滑动平均输出平滑距离值；

6、依据右眼中心点三维坐标与左眼中心点三维坐标作差得到人脸横向向量，由鼻尖点三维坐标与双眼中点三维坐标作差得到面部中轴向量，将两向量结合并归一化，与人脸中心指向机器人光心的单位方向向量点乘建立人脸朝向一致度；

7、依据右肩点三维坐标与左肩点三维坐标作差得到肩线向量，由颈部点三维坐标与双肩中点三维坐标作差得到上身中轴向量，结合两向量并归一化，与双肩中点指向机器人光心的单位方向向量点乘建立身体朝向一致度；

8、依据鼻尖点三维坐标与双眼中点三维坐标作差并归一化后，与双眼中点指向机器人光心的单位方向向量结合建立注视一致度；

9、根据平滑距离值、人脸朝向一致度、身体朝向一致度和注视一致度确定唯一交互对象索引，判断对应的有效手部区域框手势并识别输出交互动作。

10、通过获取候选用户的三维关键点，依次计算平滑距离值、人脸朝向一致度、身体朝向一致度和注视一致度，从距离、头部朝向、身体姿态及关注方向多个方面筛选候选用户，并结合对象确认窗口稳定确定唯一交互对象索引；仅对唯一交互对象对应的有效手部区域框进行手势识别和动作输出，从而降低多人同时出现在机器人视野内时因非目标用户干扰、短时姿态变化或手部区域错配造成的误识别和误响应，提高机器人交互对象判定及手势控制的准确性与稳定性。

11、本发明提供的技术方案，与已知的现有技术相比，具有如下有益效果：

12、1.通过根据左眼中心点、右眼中心点和鼻尖点计算人脸中心三维坐标，并对候选用户距离进行滑动平均，降低深度测距噪声和单个关键点抖动对距离判断的影响；分别计算人脸朝向一致度、身体朝向一致度和注视一致度，并结合平滑距离值筛选满足交互条件的候选用户，预先排除虽然距离较近但未面向机器人、仅短暂转头或注意力未指向机器人的候选用户，使机器人确定的初始优先对象更符合真实交互状态。

13、2.通过在对象确认窗口内统计候选用户成为初始优先对象的次数，并在达到最小确认次数后再确定唯一交互对象，抑制单帧误检或偶然姿态变化造成的交互对象跳变；通过以候选用户左腕点和右腕点为基础生成左手初步手部区域框和右手初步手部区域框，并利用腕部邻近校验和深度一致校验确认左手有效手部区域框和右手有效手部区域框，避免其他候选用户的手部因遮挡、交叉或重叠而被错误作为目标用户手部区域。仅从唯一交互对象对应的有效手部区域框中进行手势识别，减少多人干扰场景下的误响应，提高机器人手势控制的稳定性、准确性和安全性。

14、3.通过彩色图像帧检测候选用户、人体关键点和手部区域，并结合深度图像帧将候选用户关键点转换至机器人本体坐标系，使距离、朝向和注视判断均在统一空间坐标下完成，避免仅依赖二维图像造成的空间判断不准确；通过根据左眼中心点、右眼中心点和鼻尖点计算人脸中心三维坐标，并对候选用户距离进行滑动平均，降低深度测距噪声和单个关键点抖动对距离判断的影响。

1.基于多模态感知融合的机器人交互方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述三维关键点的确定方法为：

3.根据权利要求2所述的方法，其特征在于，所述平滑距离值的确定方法为：

4.根据权利要求1所述的方法，其特征在于，所述人脸朝向一致度的计算包括：

5.根据权利要求1所述的方法，其特征在于，所述身体朝向一致度的计算包括：

6.根据权利要求1所述的方法，其特征在于，所述注视一致度的计算包括：

7.根据权利要求1所述的方法，其特征在于，在对象确认窗口内统计每一候选用户成为初始优先对象的次数，包括：

8.根据权利要求1所述的方法，其特征在于，所述有效手部区域框的获得包括：

9.机器人交互系统，应用于权利要求1-8中任一项所述的方法，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。