人机协同动作控制系统、方法、设备及存储介质与流程

本申请涉及模块化建筑装配，尤其涉及一种人机协同动作控制系统、方法、设备及存储介质。

背景技术：

1、模块化建筑具有施工效率高、环境影响小和标准化程度高等优势，但其现场安装过程仍高度依赖塔吊与人工协同完成。由于建筑模块通常具有大尺寸、大质量和较高装配精度要求，塔吊难以单独完成最后阶段的精确落位。现有施工方式通常需要多名工人通过观察、拉拽、推动、手势和口头指挥等方式辅助模块安装。该过程不仅效率较低，而且需要工人靠近大质量悬吊模块、高空边缘或狭小安装空间，存在较高安全风险。

2、为减少人工干预，现有技术中可采用塔吊智能控制系统、吊装位姿调整设备或智能吊架等装配执行设备辅助建筑模块安装。该类设备能够在一定程度上改变建筑模块的位置或姿态，但通常需要操作人员输入明确的操作量、目标位置或控制命令，难以直接处理施工现场中常见的模糊语音指令。

3、例如，现场指挥人员常使用“往前一点”、“再下降一点”、“左边低一点”、“先停一下”等经验性表达，该类指令包含施工人员对偏差、方向和风险的判断，但通常不包含精确数值，不能直接作为塔吊或智能吊架的执行指令。

技术实现思路

1、本申请提供一种人机协同动作控制系统、方法、设备及存储介质，能够将施工人员的模糊经验性指令与机器环境感知相结合，将传统依赖人工默契完成的多人参与的模块装配过程转化为结构化、可验证和可反馈的控制过程，从而提高模块化建筑装配的安全性、可解释性和智能化水平。

2、为达到上述目的，本申请采用如下技术方案：

3、第一方面，提供一种体能认知协同训练自适应生成方法，包括：

4、人机语音交互模块，用于采集现场指挥人员的模糊语音指令，并将所述模糊语音指令转换为包含控制意图、运动方向、调整幅度、姿态调整意图或停止意图的结构化语音语义信息；

5、多模态感知模块，用于获取建筑模块位姿、目标安装区域、人员状态、障碍物信息及施工环境信息，并转换为结构化环境语义信息；

6、视觉语言动作决策模块，分别与所述人机语音交互模块、所述多模态感知模块及装配执行设备连接，用于融合所述结构化语音语义信息、所述结构化环境语义信息以及装配执行设备状态信息，生成候选控制指令；

7、安全验证与反馈模块，分别与所述视觉语言动作决策模块、所述多模态感知模块及所述装配执行设备连接，用于在所述候选控制指令执行前，对所述候选控制指令进行安全验证，得到验证结果，并根据所述验证结果执行对应的反馈动作。

8、第二方面，提供一种体能认知协同训练自适应生成装置，包括：

9、s1、采集现场指挥人员模糊语音指令，转换为携带控制意图、运动方向、调整幅度、停止意图的结构化语音语义信息；

10、s2、通过多传感器组采集施工现场数据，识别建筑模块、人员、障碍物、目标安装区域信息，生成结构化环境语义信息；

11、s3、融合所述结构化语音语义信息、所述结构化环境语义信息、装配执行设备实时状态及历史控制信息，生成待校验的候选控制指令；

12、s4、对所述候选控制指令开展碰撞、空间、人员安全距离、设备可行性校验；

13、s5、若校验不通过，反馈风险信息至决策模块重新生成候选控制指令，达到重试上限仍无可行指令则推送不可执行提示；

14、s6、若校验通过，下发控制指令至装配执行设备完成模块装配动作。

15、第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面中任一项所述的体能认知协同训练自适应生成方法。

16、第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面中任一项所述的体能认知协同训练自适应生成方法。

17、第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的体能认知协同训练自适应生成方法。

18、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

19、由上可知，本申请提供的一种体能认知协同训练自适应生成系统及方法，能够将现场指挥人员的模糊经验性指令、多模态机器感知信息和装配执行设备状态相结合，并通过安全验证与反馈机制，将传统依赖人工默契完成的多人协同装配过程转化为可验证、可执行和可反馈的装配控制过程，从而减少工人靠近大质量悬吊模块或危险区域的需求，提高模块化建筑装配过程的安全性、可解释性和现场适配能力。

20、上述说明仅是本申请技术方案的概述，为了能够更清楚地了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

1.一种人机协同动作控制系统，其特征在于，所述系统包括：

2.根据权利要求1所述的系统，其特征在于，所述安全验证是指对碰撞风险、工作空间、运动约束、人员安全距离、执行器状态和物理可行性中的至少一个的验证；所述安全验证与反馈模块配置为：

3.根据权利要求1所述的系统，其特征在于，所述人机语音交互模块包括语音采集单元、语音识别单元和语义整理单元；

4.根据权利要求1所述的系统，其特征在于，所述多模态感知模块配套设置有传感器组，所述传感器组包括相机、深度相机、激光雷达、位置传感器、姿态传感器、测距传感器中的至少一种；

5.根据权利要求1所述的系统，其特征在于，所述视觉语言动作决策模块基于大语言模型、多模态大模型、视觉语言动作模型、规则库或任务规划器中的至少一种实现；

6.根据权利要求1所述的系统，其特征在于，所述装配执行设备为塔吊、智能吊架中的任意一种或二者组合；

7.根据权利要求1所述的系统，其特征在于，所述装配执行设备实时采集并向所述视觉语言动作决策模块、安全验证与反馈模块反馈设备状态信息；所述设备状态信息包含设备当前位置、实时运动状态、吊具姿态、负载重量、制动状态、故障报警信息中的至少一项。

8.一种人机协同动作控制方法，其特征在于，应用于权利要求1-7任一项所述的人机协同动作控制系统，包括如下步骤：

9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求7所述的方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求7所述的方法中的步骤。