基于多模态交互的人机协同机器人控制系统的制作方法

摘要: 本发明涉及人机协同的,尤其涉及基于多模态交互的人机协同机器人控制系统。背景技术:1、目前,在人机协同机器人控制领域中,传统的交互方式通常依赖于单一模态的感知输入...
基于多模态交互的人机协同机器人控制系统的制作方法

本发明涉及人机协同的,尤其涉及基于多模态交互的人机协同机器人控制系统。

背景技术:

1、目前,在人机协同机器人控制领域中,传统的交互方式通常依赖于单一模态的感知输入,这种单一模态的感知机制在面对复杂、动态的工作环境时,极易因环境噪声干扰、传感器遮挡或用户表达不清而导致意图理解出现偏差甚至错误。此外,现有的人机协同系统往往采用固定的控制权分配策略,即要么完全由人类操作者控制,要么完全由机器人自主执行,缺乏根据用户意图的明确程度和任务关键度进行动态权限调整的能力,导致在意图模糊时系统响应僵化,容易引发安全隐患或任务失败。同时,多模态感知系统在运行时通常全量开启所有传感器通道,未考虑系统算力负载与当前任务复杂度的匹配关系,造成算力资源浪费并在高负载时引发处理延迟,进而影响控制的实时性与稳定性。因此,急需一种能够准确融合多模态感知数据、动态分配人机控制权并优化感知资源调度的人机协同机器人控制系统及方法。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

2、为此,本发明的目的在于提出基于多模态交互的人机协同机器人控制系统,实现多源感知数据的跨模态融合与意图置信度评估,并基于此动态分配控制权限与优化感知资源,从而提升人机协同的准确性、顺应性与系统运行效率。

3、为达到上述目的,本发明提出了一种基于多模态交互的人机协同机器人控制系统,包括多模态人机交互模块、意图理解与决策融合模块、人机协同控制模块和机器人执行与反馈模块,其中,

4、所述多模态人机交互模块,所述多模态人机交互模块配置为采集人机交互过程中的多模态感知数据,所述多模态感知数据包括用户行为特征数据、用户生理特征数据、语音意图数据和环境状态数据中的至少两种以上模态的数据;

5、所述意图理解与决策融合模块,与所述多模态人机交互模块通信连接,所述意图理解与决策融合模块配置为对所述多模态感知数据进行多层级特征提取与跨模态融合处理,生成融合后的多模态交互意图向量及用户意图置信度评估值;

6、所述人机协同控制模块,与所述意图理解与决策融合模块通信连接,所述人机协同控制模块配置为根据所述多模态交互意图向量和用户意图置信度评估值,执行人机控制权动态分配与共享协同控制,生成机器人协同控制指令;以及

7、所述机器人执行与反馈模块,与所述人机协同控制模块通信连接,所述机器人执行与反馈模块配置为执行所述机器人协同控制指令,并将执行状态实时反馈至所述多模态人机交互模块,形成闭环控制系统。

8、另外,根据本发明上述提出的基于多模态交互的人机协同机器人控制系统还可以具有如下附加的技术特征:

9、具体地,所述多模态人机交互模块包括视觉采集单元、语音采集单元、生理信号采集单元和触觉感知单元,其中,

10、所述视觉采集单元,包括至少一个rgb摄像头、深度传感器和激光雷达,用于采集用户的肢体动作、手部姿态、面部表情及视线方向,以及机器人工作环境的三维环境数据;

11、所述语音采集单元,包括麦克风阵列,用于采集用户的语音指令并进行声源定位;

12、所述生理信号采集单元,包括脑电信号采集设备和/或眼动追踪设备,用于采集用户的大脑神经信号和/或视线凝视数据;

13、所述触觉感知单元,设置于机器人末端执行器上,包括多维力传感器和触觉传感器,用于采集机器人与环境及用户的物理交互力数据。

14、具体地,所述意图理解与决策融合模块包括单模态特征提取子模块、多模态对齐子模块、跨模态注意力融合子模块和置信度评估子模块,其中,

15、所述单模态特征提取子模块,配置为对每一模态的感知数据进行特征提取,输出各模态的特征向量;

16、所述多模态对齐子模块,配置为对不同模态的特征向量进行时间同步和空间对齐处理,生成统一的时间空间坐标下的多模态特征矩阵;

17、所述跨模态注意力融合子模块,部署有预训练的多模态特征融合模型,配置为采用跨模态注意力机制对所述多模态特征矩阵进行加权融合处理,得到用户交互意图向量和用户情绪状态向量;

18、所述置信度评估子模块,配置为基于各模态数据的质量评价指标和跨模态一致性分析结果,计算用户意图置信度评估值,并在多模态数据存在冲突时输出意图模糊标识。

19、具体地,所述多模态特征融合模型为基于transformer架构构建的跨模态融合神经网络,该模型的输入为经过时间同步和空间对齐处理后的多模态特征矩阵,输出为融合后的多维意图特征向量,所述跨模态融合神经网络通过多头自注意力机制捕获不同模态特征之间的长程依赖关系,采用模态间注意力加权策略对各模态特征进行动态权重分配。

20、具体地,所述人机协同控制模块包括意图解析子模块、控制权限分配子模块、共享控制律生成子模块和机器人运动规划子模块,其中,

21、所述意图解析子模块,配置为接收所述用户交互意图向量并解析为目标操作意图类型和意图强度指示参数;

22、所述控制权限分配子模块,配置为基于用户意图置信度评估值以及任务关键度参数,执行人机控制权分级分配策略,所述分级分配策略包括完全人类控制模式、共享协作控制模式和完全自主控制模式三种控制状态;

23、所述共享控制律生成子模块,配置为在共享协作控制模式下,对人类控制输入和机器人自主控制输入进行加权融合,生成融合控制信号;

24、所述机器人运动规划子模块,配置为根据所述融合控制信号或分级控制状态生成底层的机器人关节运动指令。

25、具体地,所述人机协同控制模块还包括阻抗参数调节子模块,所述阻抗参数调节子模块配置为基于人类操作意图和物理交互力数据动态调节机器人的刚度和阻尼参数,以提升机器人系统在人机物理交互过程中的顺应性和操作安全性。

26、具体地,还包括多模态调度优化模块,所述多模态调度优化模块分别与所述多模态人机交互模块和所述意图理解与决策融合模块通信连接,配置为基于机器人实时运行状态和系统算力资源状态,动态调整多模态感知通道的激活集与采样频率。

27、具体地,所述多模态调度优化模块包括状态监测子单元、模态选择子单元和模态切换管理子单元,其中,

28、所述状态监测子单元,配置为实时获取机器人系统算力负载状态、传感器数据质量和任务复杂度;

29、所述模态选择子单元,配置为基于所述状态监测子单元的输出,采用稀疏激活策略从所述多模态交互模块的多个感知通道中选择性地激活目标模态子集,其中对于与当前任务无关或数据质量低于预设阈值的模态通道进行降采样或关闭处理;

30、所述模态切换管理子单元,配置为在感知模态切换过程中执行状态空间维度平滑过渡,当检测到模态切换事件时,基于任务复杂度构建状态评估窗口,在所述状态评估窗口内对机器人任务状态进行缓冲和重建,以避免模态切换引发的控制抖动。

31、具体地,还包括环境感知与建图模块,所述环境感知与建图模块与所述多模态人机交互模块通信连接,配置为基于激光雷达和图像传感器获取工作环境的多模态环境数据,执行实时定位与地图构建,并生成包含几何信息和语义信息的三维环境语义地图,所述三维环境语义地图用于支撑机器人在复杂环境中的自主导航和动态避障。

32、一种基于多模态交互的人机协同机器人控制方法,包括以下步骤:

33、步骤s1:采集多模态感知数据,包括用户行为特征数据、用户生理特征数据、语音意图数据和环境状态数据中的至少两种以上模态的数据;

34、步骤s2:对各模态感知数据进行多层级特征提取与跨模态融合处理,生成融合后的多模态交互意图向量及用户意图置信度评估值;

35、步骤s3:根据所述多模态交互意图向量和用户意图置信度评估值,执行人机控制权动态分配与共享协同控制,生成机器人协同控制指令;

36、步骤s4:根据所述机器人协同控制指令控制机器人执行相应动作,并将执行状态实时反馈,形成闭环控制;

37、步骤s5:基于机器人实时运行状态和系统算力资源状态,动态调整多模态感知通道的激活集与采样频率,实现感知资源的最优调度。

38、与现有技术相比,本发明提供的技术方案具有如下有益效果:

39、1. 本发明通过采集至少两种以上模态的多模态感知数据并进行多层级特征提取与跨模态融合处理,生成融合后的多模态交互意图向量及用户意图置信度评估值,克服了单一模态感知易受环境干扰和表达局限的缺陷,利用跨模态信息的互补性与一致性校验,显著提升了复杂交互场景下意图理解的准确性与鲁棒性。

40、2. 本发明通过根据多模态交互意图向量和用户意图置信度评估值执行人机控制权动态分配与共享协同控制,打破了传统固定权限分配的僵化机制,系统能够在意图明确时赋予人类高控制权、在意图模糊或任务关键时平滑过渡至机器人自主控制或共享协作,从而在保障操作安全性的前提下最大化人机协同的灵活性与任务执行效率。

41、3. 本发明通过设置多模态调度优化模块,基于机器人实时运行状态和系统算力资源状态动态调整多模态感知通道的激活集与采样频率,采用稀疏激活策略关闭无关或低质量通道,并在模态切换时执行状态空间维度平滑过渡与任务状态缓冲重建,有效避免了算力资源浪费与处理延迟,同时消除了模态切换引发的控制抖动,保障了系统运行的实时性与稳定性。

42、4. 本发明通过在共享协作控制模式下引入阻抗参数调节子模块,基于人类操作意图和物理交互力数据动态调节机器人的刚度和阻尼参数,使得机器人在人机物理交互过程中具备更好的顺应性,有效降低了碰撞冲击力,进一步提升了操作的安全性与人机交互的自然度。

43、本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。