用于机器人控制的经由文本、语音和视频的多模态机器人-人类交互的制作方法
本公开总体上涉及自动化服务机器人,更具体地,涉及用于多模态机器人-人类交互的系统和方法,该系统和方法使用手部手势和面部识别以用于自动化服务机器人。
背景技术:
1、在自动化服务机器人领域,人类和机器人之间的有效交互对于增强用户体验和操作效率至关重要。传统的交互方法(诸如基于文本的命令或简单的语音识别等),通常不能提供无缝和直观的用户界面。对更自然和多模态交互方法的需求变得越来越明显,特别是在机器人被期望执行复杂任务和响应动态人类输入的环境中。
2、当前面部检测和手部手势检测的技术已应用于多个领域,包括安全、生物认证和人机交互领域。面部检测广泛用于安全和访问控制的面部识别系统,以及用于情感识别和增强现实等应用中。另一方面,手部手势检测促进了虚拟和增强现实环境中的人机交互、手语识别和手势控制设备。这些技术通过提供更直观和自然的界面,展示了增强用户交互的潜力。
3、尽管在面部检测和手部手势检测方面取得了进步,但现有解决方案在准确率、适应性和集成到复杂系统方面经常面临限制。许多当前的系统在多样化和动态环境中难以进行实时处理和识别,导致性能不一致。此外,由于同步和有效处理不同数据流的复杂性,多种模式(诸如结合面部和手势识别等)的集成,仍然是一个挑战。
4、鉴于这些挑战,非常需要一种可无缝集成多模态交互方法的系统,以改善机器人-人类交互。所提出的本发明通过提供利用计算机视觉和机器学习的进步来增强服务机器人的交互能力的系统和方法来解决这些缺陷。
5、通过将所描述的系统与本公开的一些方面进行比较(如本申请其余部分所概述并结合附图所示),传统方法的其他局限性和缺点对于本领域技术人员而言将变得显而易见。
6、一些示例实施例的简要概述
7、为了解决前述问题,本公开可以提供一种用于多模态机器人-人类交互的系统和方法,该方法和系统使用手部手势和面部识别以用于自动化服务机器人。
8、一方面,提供了一种多模态机器人-人类交互系统,该系统使用手部手势和面部识别以用于自动化服务机器人。该系统包括机器人系统、存储器、计算机处理器、通信接口和多个传感器。机器人系统配备有安装在自动服务机器人上的摄像机,优选地,摄像机安装在自动服务机器人的手腕上。摄像机被配置为:捕获用于手部手势识别和面部轮廓分析(facial profiling)的视觉数据。存储器可操作地连接至机器人系统,以存储关于手部手势识别和面部轮廓分析的一组程序指令。计算机处理器耦接至存储器以执行该组程序指令。存储器包括控制模块、手势识别模块和面部识别模块。控制模块处理视觉数据以识别用户的手部手势和面部轮廓(facial profile)。手势识别模块解释手部手势以控制机器人系统的一组操作,其中,该组操作包括暂停、恢复和错误处理。面部识别模块基于面部轮廓来识别用户客户,并促进一个或更多个个性化交互。通信接口使得能够经由文本、语音和视频中的一个或更多个进行交互。控制模块被配置为:响应于所识别的手部手势和面部轮廓来执行一组预定义的动作,从而实现实时交互和决策。传感器与机器人系统集成以提供准确的手部手势识别和面部轮廓分析。
9、在附加系统实施例中,手势识别模块被配置为识别多个手部手势。每个手部手势与机器人系统的特定命令相关联,其中,多个手势包括用于暂停的张开的手、用于恢复的竖起大拇指和用于错误处理的拳头。
10、在附加系统实施例中,面部识别模块被配置为访问客户简档的数据库。
11、在附加系统实施例中,存储器可以包括显示模块,该显示模块可操作地连接至通信接口。显示模块被配置为:在交互期间向用户呈现视觉反馈。
12、在附加系统实施例中,控制模块被配置为集成手部手势控制和面部识别以促进快速订购和确认过程。
13、在附加系统实施例中,机器人系统被配置为模仿人类手臂的运动,提供处理各种任务所需的灵活性和灵巧性。
14、另一方面,提供了一种用于多模态机器人-人类交互的方法,该方法使用手部手势和面部识别以用于自动化服务机器人。该方法包括步骤:由计算机处理器使用安装在机器人系统上的摄像机捕获视觉数据。该方法包括步骤:由计算机处理器处理视觉数据以识别手部手势和面部轮廓。该方法包括步骤:由计算机处理器解释手部手势以控制机器人系统的一组操作,其中,该组操作包括暂停、恢复和错误处理。该方法包括步骤:由计算机处理器基于面部轮廓来识别用户客户以促进个性化交互。该方法包括步骤:响应于识别的手部手势和面部轮廓,由计算机处理器来执行一组预定义动作,从而实现实时交互和决策。该方法包括步骤:由计算机处理器通过通信接口经由文本、语音和视频中的一个或更多个来实现交互。
15、在附加方法实施例中,该方法包括步骤:由计算机处理器访问客户简档的数据库。
16、在附加方法实施例中,解释手部手势的步骤包括步骤:由计算机处理器识别多个手势,每个手势与机器人系统的特定命令相关联,其中,多个手势包括用于暂停的张开的手、用于恢复的竖起大拇指和用于错误处理的拳头。
17、在附加方法实施例中,该方法包括步骤:由计算机处理器集成手部手势控制和面部识别,以促进快速订购和确认过程。
18、因此,本发明的一个优点是,通过更直观的交互方法改善了用户体验,提高了操作机器人系统的效率,并通过个性化交互提高了客户满意度。手部手势和面部识别技术的集成允许对机器人系统进行无缝和直观的控制,从而增强用户体验和操作效率两者。
19、前述概述仅为说明性的并且不旨在以任何方式进行限制。除了上述说明性的方面、实施例和特征之外,通过参考附图和以下详细描述,进一步的方面、实施例和特征将变得显而易见。
技术实现思路
1.一种用于多模态机器人-人类交互的系统,包括:
2.根据权利要求1所述的系统,其中,所述机器人系统从以下中选择一个或更多个:
3.根据权利要求1所述的系统,其中,所述摄像机安装在以下至少一个上:所述机器人系统的手腕、人形机器人的头部和操作环境中的外部固定位置。
4.根据权利要求3所述的系统,其中,安装在所述手腕上的所述摄像机提供由所述机器人系统握持的一组对象的近距离视图。
5.根据权利要求3所述的系统,其中,安装在所述人形机器人头部的所述摄像机能够实现广角人类交互和环境感知。
6.根据权利要求1所述的系统,其中,所述机器人系统的手被配置为:与类人手套兼容,同时保持有效的手势识别和对象操纵。
7.根据权利要求1所述的系统,其中,所述机器人系统被配置为:集成手部手势控制和面部识别,以促进快速订购和确认过程。
8.根据权利要求1所述的系统,其中,所述机器人系统通过包括以下的三阶段训练过程来训练:
9.根据权利要求1所述的系统,其中,所述机器人系统被配置为通过以下中的一个或更多个从所述用户接收一组指令:
10.根据权利要求1所述的系统,其中,所述机器人系统被配置为在执行任务时通过利用视觉传感器、位置传感器和深度传感器中的一个或更多个来自主地导航所述环境以避开一个或更多个障碍物。
11.根据权利要求1所述的系统,包括多个传感器,所述多个传感器与所述机器人系统集成,其中,所述多个传感器被配置为提供准确的手部手势识别和面部轮廓。
12.根据权利要求1所述的系统,其中,所述手势识别模块被配置为识别多个手部手势,其中,每个手部手势与用于所述机械臂的特定命令相关联。
13.根据权利要求1所述的系统,其中,所述面部识别模块被配置为访问客户简档的数据库。
14.根据权利要求1所述的系统,其中,所述控制模块被配置为集成手部手势控制和面部识别来促进快速订购和确认过程。
15.根据权利要求2所述的系统,其中,所述机械臂被配置为模仿人类手臂的运动。
16.根据权利要求1所述的系统,其中,所述机器人系统被训练为基于多个参数来区分一组对象类别,所述多个参数包括在所述人类演示期间学习到的位置、外观和特征。
17.根据权利要求1所述的系统,其中,所述自动化服务机器人被配置为在执行任务时通过利用视觉传感器、位置传感器和深度传感器中的一个或更多个来自主地导航所述环境以避开一个或更多个障碍物。
18.一种用于多模态机器人-人类交互的方法,包括:
19.根据权利要求18所述的方法,进一步包括:由所述计算机处理器访问客户简档的数据库。
20.根据权利要求18所述的方法,其中,解释所述手部手势的步骤包括:由所述计算机处理器识别多个手势,每个手势与所述机器人系统的特定命令相关联。
21.根据权利要求18所述的方法,进一步包括:由所述计算机处理器集成手部手势控制和面部识别,以促进快速订购和确认过程。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com