基于人体位姿估计的智能工厂作业行为监测方法及系统

本发明涉及计算机视觉，具体的是基于人体位姿估计的智能工厂作业行为监测方法及系统。

背景技术：

1、当前，智能工厂作业行为安全监测技术主要分为三大类：基于计算机视觉的行为识别、基于传感器的行为监测和基于定位技术的行为分析。基于计算机视觉的行为识别技术主要利用摄像头采集视频数据，通过深度学习算法分析人员行为，基于传感器的行为监测技术则通过穿戴式设备采集人员生理数据和运动数据，基于定位技术的行为分析系统则通过uwb、rfid或蓝牙信标等技术对人员和资产进行精确定位。

2、现有技术存在一定不足，现有行为识别算法在复杂环境下的适应性和泛化能力不足，针对于实际工业环境中，由于光线变化、遮挡、背景杂乱等因素，导致最终识别监测的准确率较低。

技术实现思路

1、为解决上述背景技术中提到的不足，本发明的目的在于提供基于人体位姿估计的智能工厂作业行为监测方法及系统。

2、第一方面，本发明的目的可以通过以下技术方案实现：基于人体位姿估计的智能工厂作业行为监测方法，方法包括以下步骤：

3、获取工厂现场多维感知数据，所述工厂现场多维感知数据包括视觉感知数据、人员生理状态和运动数据以及人员位置数据；

4、将视觉感知数据输入至预先建立的轻量化的ai模型内，输出得到不安全行为类型；

5、将不安全行为类型与人员生理状态和运动数据以及人员位置数据进行多模态融合关联分析，对不安全行为是否成立进行验证，若不成立，则无不安全行为，否则输出实时预警指令，基于实时预警指令控制执行设备进行预警监测。

6、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述预先建立的轻量化的ai模型的表达式，如下：

7、轻量化的ai模型采用基于transformer的编码器及解码器架构，如下：

8、

9、其中，z为注意力加权输出特征，q为查询矩阵，k为键矩阵，v为值矩阵，dk为键向量的维度，softmax()为注意力权重分布函数；

10、轻量化的ai模型通过多层多头注意力机制对输入的视觉感知数据进行特征提取，并输出不安全行为类型，其分类决策表达式为：

11、

12、式中，为不安全行为类型，ffn()为前馈神经网络，argmax()为输出最大值。

13、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述轻量化的ai模型为通过基于transformer的序列分析算法进行构建改进，通过准确识别停止位置，消除行人和车辆之间的相位差异，并通过注意力机制量化违规决策中的模糊性，实现自动化违规检测。

14、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述不安全行为类型包括未佩戴安全帽、闯入危险区域、人员跌倒及操作姿态异常。

15、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述将不安全行为类型与人员生理状态和运动数据以及人员位置数据进行多模态融合关联分析的过程，包括：

16、若不安全行为类型为人员未佩戴安全帽时，基于人员位置数据和人员生理状态和运动数据确认人员身份，判断人员是否有权限进入对应区域，当人员有权限进入对应区域且人员生理状态和运动数据正常时，有权限进入对应区域，否则无权限进入对应区域。

17、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述工厂现场多维感知数据和不安全行为类型通过云平台进行聚合处理，得到训练样本数据，基于训练样本数据对轻量化的ai模型进行训练优化，得到训练后的轻量化的ai模型。

18、结合第一方面，在第一方面的某些实现方式中，该方法还包括：所述工厂现场多维感知数据的采集过程，如下：

19、视觉感知设备采用具有动作捕捉和人脸识别功能的高清网络摄像机，部署在车间进出口、绿色通道以及各个作业区域，用于采集视觉感知数据；

20、传感器设备通过布置智能手环、智能安全帽的可穿戴式设备采集人员生理状态和运动数据；

21、定位设备通过基于uwb、rfid或蓝牙信标技术，对人员和移动资产进行精确定位，用于采集人员位置数据。

22、第二方面，为了达到上述目的，本发明公开了基于人体位姿估计的智能工厂作业行为监测系统，包括：

23、数据获取模块，用于获取工厂现场多维感知数据，所述工厂现场多维感知数据包括视觉感知数据、人员生理状态和运动数据以及人员位置数据；

24、数据处理模块，用于将视觉感知数据输入至预先建立的轻量化的ai模型内，输出得到不安全行为类型；

25、监测输出模块，用于将不安全行为类型与人员生理状态和运动数据以及人员位置数据进行多模态融合关联分析，对不安全行为是否成立进行验证，若不成立，则无不安全行为，否则输出实时预警指令，基于实时预警指令控制执行设备进行预警监测。

26、本发明的有益效果：

27、本发明通过终端感知层的多源信息采集、边缘处理层的实时分析响应和云平台层的全局优化，实现了对不安全行为的准确识别和及时预警。

1.基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，方法包括以下步骤：

2.根据权利要求1所述的基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，所述预先建立的轻量化的ai模型的表达式，如下：

3.根据权利要求2所述的基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，所述轻量化的ai模型为通过基于transformer的序列分析算法进行构建改进，通过准确识别停止位置，并通过注意力机制量化违规决策中的模糊性，实现自动化违规检测。

4.根据权利要求1所述的基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，所述不安全行为类型包括未佩戴安全帽、闯入危险区域、人员跌倒及操作姿态异常。

5.根据权利要求1所述的基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，所述将不安全行为类型与人员生理状态和运动数据以及人员位置数据进行多模态融合关联分析的过程，包括：

6.根据权利要求1所述的基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，所述工厂现场多维感知数据和不安全行为类型通过云平台进行聚合处理，得到训练样本数据，基于训练样本数据对轻量化的ai模型进行训练优化，得到训练后的轻量化的ai模型。

7.根据权利要求1所述的基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，所述工厂现场多维感知数据的采集过程，如下：

8.基于人体位姿估计的智能工厂作业行为监测系统，采用了权利要求1至7中任一项所述的基于人体位姿估计的智能工厂作业行为监测方法，其特征在于，包括：

9.一种终端设备，包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序，其特征在于，所述存储器中存储有能够在处理器上运行的计算机程序，所述处理器加载并执行计算机程序时，采用了权利要求1至7中任一项所述的基于人体位姿估计的智能工厂作业行为监测方法。

10.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于，所述计算机程序被处理器加载并执行时，采用了权利要求1至7中任一项所述的基于人体位姿估计的智能工厂作业行为监测方法。