一种示教器界面布局方法、装置、系统及计算机程序产品与流程

摘要: 本发明涉及信息技术产业,特别涉及一种示教器界面布局方法、装置、系统及计算机程序产品。背景技术:1、随着工业与智能制造的持续推进,人机协作(human-robot...
一种示教器界面布局方法、装置、系统及计算机程序产品与流程

本发明涉及信息技术产业,特别涉及一种示教器界面布局方法、装置、系统及计算机程序产品。

背景技术:

1、随着工业与智能制造的持续推进,人机协作(human-robot collaboration,hrc)已成为智能制造的重要趋势。机器人示教器作为操作员与机器人进行交互的核心终端,其界面布局设计的合理性直接影响示教作业的操作效率与安全性。在复杂的工业现场中,操作员常面临高噪音、强震动等环境干扰,容易因长时间作业产生疲劳,或因面对复杂的编程任务产生困惑、焦虑等负面情绪。

2、现有技术中,示教器的界面布局主要基于预设的规则或固定的菜单层级进行组织。当操作员处于疲劳或困惑等情感状态时,示教器仍按照常规逻辑推送复杂指令或允许执行高风险操作,极易引发误操作,导致设备损坏甚至人身伤害。

3、可见,现有技术中,操作员在疲劳或困惑状态下易引发误操作,难以保障人机交互过程中的操作安全性。

技术实现思路

1、本发明实施例提供了一种示教器界面布局方法、装置、系统及计算机程序产品,旨在解决现有技术中,操作员在疲劳或困惑状态下仍被推送复杂指令或允许执行高风险操作、易引发误操作的技术问题。

2、第一方面,本发明实施例提供了一种示教器界面布局方法,包括:

3、通过示教器分别采集操作员的面部图像序列与语音音频流,并传输至边缘计算单元,得到多模态原始数据;

4、通过所述边缘计算单元对所述多模态原始数据提取情感特征,对应得到视觉情感向量与听觉情感向量;

5、将所述视觉情感向量与所述听觉情感向量分别输入预设多模态情感分类器得到情感指数,并确定所述操作员的情感状态;

6、根据所述情感状态匹配对应的交互策略,并将所述交互策略的指令内容封装为策略切换请求;

7、通过安全仲裁模块校验所述策略切换请求,在校验通过后调整界面布局并向机器人控制器下发控制指令;

8、在策略切换后持续监测所述情感状态,当满足预设恢复条件时解除所述控制指令并恢复常规界面布局。

9、第二方面,本发明实施例提供了一种示教器界面布局装置,包括:

10、数据采集单元,用于通过示教器分别采集操作员的面部图像序列与语音音频流,并传输至边缘计算单元,得到多模态原始数据;

11、向量提取单元,用于通过所述边缘计算单元对所述多模态原始数据提取情感特征,对应得到视觉情感向量与听觉情感向量;

12、情感确定单元,用于将所述视觉情感向量与所述听觉情感向量分别输入预设多模态情感分类器得到情感指数,并确定所述操作员的情感状态;

13、策略切换单元,用于根据所述情感状态匹配对应的交互策略,并将所述交互策略的指令内容封装为策略切换请求;

14、指令下发单元,用于通过安全仲裁模块校验所述策略切换请求,在校验通过后调整界面布局并向机器人控制器下发控制指令;

15、指令解除单元,用于在策略切换后持续监测所述情感状态,当满足预设恢复条件时解除所述控制指令并恢复常规界面布局。

16、第三方面,本发明实施例提供了一种示教器界面布局系统,包括如所述第二方面的示教器界面布局装置。

17、第四方面,本发明实施例提供了一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使该计算机执行所述第一方面的示教器界面布局方法。

18、本发明实施例提供一种示教器界面布局方法,包括通过示教器分别采集操作员的面部图像序列与语音音频流,并传输至边缘计算单元,得到多模态原始数据;通过所述边缘计算单元对所述多模态原始数据提取情感特征,对应得到视觉情感向量与听觉情感向量;将所述视觉情感向量与所述听觉情感向量分别输入预设多模态情感分类器得到情感指数,并确定所述操作员的情感状态;根据所述情感状态匹配对应的交互策略,并将所述交互策略的指令内容封装为策略切换请求;通过安全仲裁模块校验所述策略切换请求,在校验通过后调整界面布局并向机器人控制器下发控制指令;在策略切换后持续监测所述情感状态,当满足预设恢复条件时解除所述控制指令并恢复常规界面布局。本发明通过示教器采集操作员的面部图像序列与语音音频流,并通过边缘计算单元提取视觉情感向量与听觉情感向量,实现了对操作员情感状态的非接触式实时感知;通过预设多模态情感分类器将操作员的情感状态量化为情感指数并确定情感状态,再根据情感状态匹配对应的交互策略,使示教器的界面布局能够随操作员的困惑、疲劳等情感状态自适应调整,降低了操作员的认知负荷;同时,通过安全仲裁模块对策略切换请求进行校验,在校验通过后才调整界面布局并向机器人控制器下发控制指令,确保由情感触发的操作变更符合安全要求,避免了因情感误判而切断正常的生产流程;并且,在满足预设恢复条件时解除控制指令并恢复常规界面布局,保障了生产的连续性。由此,本发明有效预防了操作员在疲劳或困惑状态下的误操作,提高了人机交互的安全性与操作效率。

19、本发明实施例还提供一种示教器界面布局装置、示教器界面布局系统和计算机程序产品,同样具有上述有益效果。

1.一种示教器界面布局方法,其特征在于,包括:

2.根据权利要求1所述的示教器界面布局方法,其特征在于,所述通过示教器分别采集操作员的面部图像序列与语音音频流,并传输至边缘计算单元,得到多模态原始数据,包括:

3.根据权利要求1所述的示教器界面布局方法,其特征在于,所述通过所述边缘计算单元对所述多模态原始数据提取情感特征,对应得到视觉情感向量与听觉情感向量,包括:

4.根据权利要求1所述的示教器界面布局方法,其特征在于,所述将所述视觉情感向量与所述听觉情感向量分别输入预设多模态情感分类器得到情感指数,并确定所述操作员的情感状态,包括:

5.根据权利要求4所述的示教器界面布局方法,其特征在于,所述根据所述情感状态匹配对应的交互策略,并将所述交互策略的指令内容封装为策略切换请求,包括:

6.根据权利要求1所述的示教器界面布局方法,其特征在于,所述通过安全仲裁模块校验所述策略切换请求,在校验通过后调整界面布局并向机器人控制器下发控制指令,包括:

7.根据权利要求4所述的示教器界面布局方法,其特征在于,所述在策略切换后持续监测所述情感状态,当满足预设恢复条件时解除所述控制指令并恢复常规界面布局,包括:

8.一种示教器界面布局装置,其特征在于,包括:

9.一种示教器界面布局系统,其特征在于,包括如权利要求8所述的示教器界面布局控制装置。

10.一种计算机程序产品,其特征在于,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使该计算机执行权利要求1-7任一所述的示教器界面布局方法。