基于负载等级反馈的机器人多模态协同控制方法及系统与流程

摘要: 本发明涉及人机交互控制,特别涉及基于负载等级反馈的机器人多模态协同控制方法及系统。背景技术:1、多模态机械手广泛应用于陪伴机器人交互场景,机械手联动视觉、触摸、...
基于负载等级反馈的机器人多模态协同控制方法及系统与流程

本发明涉及人机交互控制,特别涉及基于负载等级反馈的机器人多模态协同控制方法及系统。

背景技术:

1、多模态机械手广泛应用于陪伴机器人交互场景,机械手联动视觉、触摸、屏幕、语音多通道完成人机互动,多模态交互流畅度直接影响使用体验。现有机械手多模态控制多采用分通道独立调度、固定动作输出的方案,在算力充足环境下可稳定运行,但面对多任务并发场景时缺陷凸显。视觉推理、机械手多轴动作、动画渲染、触摸响应同步抢占算力带宽,无统一负载管控机制;视觉推理占用资源时无法反向约束机械手动作幅度,易出现机械手运动卡顿、表情停帧;触摸触发、人体问候无资源门控,高负载下机械手动作与语音互相打断,交互逻辑混乱,难以实现机械手多模态协同稳定输出。

技术实现思路

1、本申请提供了基于负载等级反馈的机器人多模态协同控制方法及系统,解决了陪伴机器人在同时执行视觉识别、动作输出和主动交互时,因内部资源竞争而导致的响应卡顿、执行冲突及交互时机不当的技术问题。

2、本申请的第一个方面,提供了基于负载等级反馈的机器人多模态协同控制方法,所述方法包括:搭建陪伴机器人系统,所述陪伴机器人系统中设备端至少包括主控模块、视觉采集模块、触摸或压力采集模块、人体存在检测模块、头部动作执行模块、尾部动作执行模块和显示模块,服务端至少包括对话生成模块;在所述主控模块配置原子型重负载计数器,结合所述原子型重负载计数器和所述视觉采集模块得到目标运行时负载等级;所述显示模块、所述头部动作执行模块和尾部动作执行模块及所述触摸或压力采集模块,基于所述目标运行时负载等级,解析得到机器人表情指令和机器人动作指令;当所述人体存在检测模块检测到存在信号时,基于所述对话生成模块对主动问候候选事件进行解析,生成主动问候语音;所述主控模块将所述机器人表情指令、所述机器人动作指令和所述主动问候语音,按照预设优先级顺序整合下发至执行器进行机器人多模态协同闭环控制。

3、本申请的第二个方面,提供了基于负载等级反馈的机器人多模态协同控制系统,所述系统包括:机器人系统构建模块,用于搭建陪伴机器人系统,所述陪伴机器人系统中设备端至少包括主控模块、视觉采集模块、触摸或压力采集模块、人体存在检测模块、头部动作执行模块、尾部动作执行模块和显示模块,服务端至少包括对话生成模块;运行负载等级获取模块,用于在所述主控模块配置原子型重负载计数器,结合所述原子型重负载计数器和所述视觉采集模块得到目标运行时负载等级;表情动作指令获取模块,所述显示模块、所述头部动作执行模块和尾部动作执行模块及所述触摸或压力采集模块,基于所述目标运行时负载等级,解析得到机器人表情指令和机器人动作指令;主动问候语音生成模块,用于当所述人体存在检测模块检测到存在信号时,基于所述对话生成模块对主动问候候选事件进行解析,生成主动问候语音;闭环控制执行模块,所述主控模块将所述机器人表情指令、所述机器人动作指令和所述主动问候语音,按照预设优先级顺序整合下发至执行器进行机器人多模态协同闭环控制。

4、本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:

5、本申请通过实时统计设备高开销任务并结合视觉处理运行状态判定整机资源负载,依据负载状态自适应调整屏幕画面、多轴机械动作输出复杂度,对触摸、人体靠近触发交互设置多层资源校验过滤机制,同时短时复用视觉场景信息减少重复云端计算,实现机器人多模态感知与表达联动有序调度,保障设备资源紧张时交互不卡顿、无无效误触发,提升陪伴机器人整体交互流畅度与稳定性,达到了在有限的计算资源下,实现视觉、动作、表情和语音等多模态交互的流畅协同执行,并提升主动交互的准确性和合理性的技术效果。

1.基于负载等级反馈的机器人多模态协同控制方法,应用于由设备端与服务端组成的陪伴机器人系统,其特征在于,所述方法包括:

2.如权利要求1所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,结合所述原子型重负载计数器和所述视觉采集模块得到目标运行时负载等级,包括:

3.如权利要求2所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,所述运行时负载等级动态反馈规则具体包括:

4.如权利要求1所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,基于所述目标运行时负载等级,解析得到机器人表情指令和机器人动作指令,包括:

5.如权利要求4所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,结合所述目标运行时负载等级所述头部动作执行模块和尾部动作执行模块进行多轴动作合成参数解析,生成第一动作指令,包括:

6.如权利要求5所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,所述头部动作执行模块和尾部动作执行模块基于所述动作段进行多轴动作合成参数解析,生成第一动作指令,包括:

7.如权利要求1所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,基于所述对话生成模块对主动问候候选事件进行解析,生成主动问候语音,包括:

8.如权利要求7所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,所述四级级联门控的具体级联顺序包括:第一级门控为状态与资源门控、第二级门控为通信通道引导、第三级门控为视觉置信度门控、第四级门控为冷却窗口对齐与离开重置。

9.如权利要求1所述的基于负载等级反馈的机器人多模态协同控制方法,其特征在于,所述方法还包括:

10.基于负载等级反馈的机器人多模态协同控制系统,其特征在于,用于实施权利要求1-9任意一项所述的基于负载等级反馈的机器人多模态协同控制方法,所述系统包括: