一种生产线生产状态的识别方法、装置、设备及介质与流程

本技术属于状态监管，具体涉及一种生产线生产状态的识别方法、装置、设备及介质。

背景技术：

1、生产线生产状态的识别是指对生产线在当前或特定时间段内的运作负荷情况进行识别的操作。通过对生产线运作负荷情况进行监测与分析，判断当前生产线的忙闲状态，以确定对生产线生产能力的利用程度，有利于优化生产管理、提高效率和调配生产资源，提高对生产线运维的合理性，对生产线生产状态的识别逐渐成为行业热点。

2、相关技术中，对生产线生产状态的识别通常是利用人机协同的现场观测法，通过定时获取生产线上设备的电流、电压以及温度等运行参数分析各个设备的运行状态，并人工记录各个设备的停滞时长，根据停滞时长确定生产线的忙闲状态，或者通过人工现场观察确定物料以及生产者的停滞时长确定生产线的忙闲状态。

3、然而，相关技术依赖于人工分析，对生产线生产状态的分析效率较低，并且设备运行参数的获取需要大量的监测装置，设备运行状态的分析结果也无法准确反映生产线的运行状态，存在对生产线生产状态识别成本高以及识别结果不够准确的问题。

技术实现思路

1、本技术实施例的目的是提供一种生产线生产状态的识别方法、装置、设备及介质，能够解决利用现有技术进行生产线生产状态的识别时，存在的识别效率低、识别成本高以及识别结果不够准确的问题，通过对生产线监控图像帧中识别到的工位区域进行生产者和关联的生产资料检测确定生产者的有效动作时长，并根据有效动作时长以及与生产资料的运动学状态进行生产工位空闲状态识别，可以达到在无需设置设备参数检测装置以及人工参与的前提下，结合自动识别生产线生产状态的目的，降低识别成本，提高对生产线生产状态的识别的效率以及识别结果的准确性。

2、第一方面，本技术实施例提供了一种生产线生产状态的识别方法，所述方法包括：

3、获取生产线监控视频；

4、识别监控图像帧中的工位区域，监控图像帧为生产线监控视频中的图像帧；

5、对识别到的工位区域进行生产者识别及生产资料检测，得到工位区域中的生产者以及与生产者关联的生产资料；

6、对工位区域中的生产者进行关键点检测和动作拟合，确定生产者的动作序列，并基于动作序列确定生产者的有效动作时长；

7、识别与生产者关联的生产资料在生产线监控视频中的运动学状态；

8、根据有效动作时长以及运动学状态，进行生产工位空闲状态识别，并触发生产线空闲状态告警。

9、本方案，通过对生产线监控图像帧中识别到的工位区域进行生产者和关联的生产资料检测确定生产者的有效动作时长，并根据有效动作时长以及与生产资料的运动学状态进行生产工位空闲状态识别，可以达到在无需设置设备参数检测装置以及人工参与的前提下，结合自动识别生产线生产状态的目的，降低了识别成本，提高了对生产线生产状态的识别的效率以及识别结果的准确性。

10、进一步的，对识别到的工位区域进行生产者识别及生产资料检测，得到工位区域中的生产者以及与生产者关联的生产资料，包括：

11、利用关联检测模型对识别到的工位区域进行生产者识别及生产资料检测，得到工位区域中的生产者以及与生产者关联的生产资料；

12、其中，关联检测模型是基于训练样本训练得到的，训练样本中与生产者无关联的生产资料带有负样本标签。

13、本方案的有益效果在于，通过带有负样本标签的训练样本预先对关联检测模型进行训练，以利用关联检测模型进行生产者以及与生产者关联的生产资料识别，可以达到将工位区域中与生产者无关联的生产资料进行滤除的目的，避免了其他工位生产资料对当前工位运行状态识别结果的影响，提高了对每个生产工位运行状态识别结果的准确性。

14、进一步的，利用关联检测模型进行生产资料检测，得到与生产者关联的生产资料，包括：

15、利用关联检测模型中的全局注意力机制计算工位区域中的生产者与生产资料之间的关联权重；

16、基于关联权重确定与生产者关联的生产资料。

17、本方案的有益效果在于，通过利用关联检测模型中的全局注意力机制计算工位区域中的生产者与生产资料之间的关联权重，确定与生产者关联的生产资料，可以进一步提高对关联的生产资料识别的全面性以及图像识别结果的准确性。

18、进一步的，对工位区域中的生产者进行关键点检测和动作拟合，确定生产者的动作序列，包括：

19、读取对工位区域中的生产者进行关键点检测的结果中的躯干关节关键点坐标和手部关键点坐标；

20、将躯干关节关键点坐标和手部关键点坐标与预先构建的生产者立体模型进行融合计算，得到生产者在监控图像帧中的瞬时姿态；

21、基于瞬时姿态确定生产者的动作序列。

22、本方案的有益效果在于，通过读取关键点检测结果中的躯干关节关键点坐标和手部关键点坐标，将关键点坐标与预先构建的生产者立体模型进行融合计算，得到生产者在监控图像帧中的瞬时姿态，确定生产者的动作序列，可以达到对生产者动作序列进行连续建模的目的，提高了对生产者动作序列识别的及时性和准确性。

23、进一步的，在基于瞬时姿态确定生产者的动作序列之后，方法还包括：

24、识别生产线监控视频对应的生产阶段；

25、获取生产阶段的标准动作序列；

26、基于标准动作序列对生产者的动作序列进行规范性校验；

27、在基于规范性校验的结果确定生产者的动作序列违规的情况下，停止有效动作时长确定流程并发出生产线违规操作告警。

28、本方案的有益效果在于，通过识别生产线监控视频对应的生产阶段获取标准动作序列，对生产者的动作序列进行规范性校验，在生产者的动作序列违规的情况下，停止有效动作时长确定流程并发出生产线违规操作告警，可以避免由于生产者动作序列违规导致的生产线生产安全以及后续有效动作时长误判的问题，提高了对生产线生产状态监测的智能化和监测结果的准确性。

29、进一步的，基于动作序列确定生产者的有效动作时长，包括：

30、识别动作序列中存在动作变化的监控图像帧；

31、基于监控图像帧的时序信息确定生产者的有效动作时长。

32、本方案的有益效果在于，通过识别动作序列中存在动作变化的监控图像帧，基于监控图像帧的时序信息确定生产者的有效动作时长，可以简化对有效动作识别的步骤，提高了计算有效动作时长的效率。

33、进一步的，识别与生产者关联的生产资料在生产线监控视频中的运动学状态，包括：

34、基于与生产者关联的生产资料在生产线监控视频的多个连续监控图像帧中的位置信息确定生产资料是否发生位置变化；

35、在生产资料不发生位置变化的情况下，确定生产资料的运动学状态为静止状态。

36、本方案的有益效果在于，通过根据生产资料在多个连续监控图像帧中的位置信息确定生产资料是否发生位置变化，在生产资料不发生位置变化的情况下，确定生产资料的运动学状态为静止状态，可以提高对生产资料运动学状态识别的效率和准确性。

37、第二方面，本技术实施例提供了一种生产线生产状态的识别装置，所述装置包括：

38、视频获取模块，用于获取生产线监控视频；

39、工位识别模块，用于监控图像帧中的工位区域，监控图像帧为生产线监控视频中的图像帧；

40、图像识别模块，用于对识别到的工位区域进行生产者识别及生产资料检测，得到工位区域中的生产者以及与生产者关联的生产资料；

41、动作拟合模块，用于对工位区域中的生产者进行关键点检测和动作拟合，确定生产者的动作序列，并基于动作序列确定生产者的有效动作时长；

42、运动学状态识别模块，用于识别与生产者关联的生产资料在生产线监控视频中的运动学状态；

43、状态告警模块，用于根据有效动作时长以及运动学状态，进行生产工位空闲状态识别，并触发生产线空闲状态告警。

44、本方案，通过对生产线监控图像帧中识别到的工位区域进行生产者和关联的生产资料检测确定生产者的有效动作时长，并根据有效动作时长以及与生产资料的运动学状态进行生产工位空闲状态识别，可以达到在无需设置设备参数检测装置以及人工参与的前提下，结合自动识别生产线生产状态的目的，降低了识别成本，提高了对生产线生产状态的识别的效率以及识别结果的准确性。

45、进一步的，图像识别模块，具体用于：

46、利用关联检测模型对识别到的工位区域进行生产者识别及生产资料检测，得到工位区域中的生产者以及与生产者关联的生产资料；

47、其中，关联检测模型是基于训练样本训练得到的，训练样本中与生产者无关联的生产资料带有负样本标签。

48、本方案的有益效果在于，通过带有负样本标签的训练样本预先对关联检测模型进行训练，以利用关联检测模型进行生产者以及与生产者关联的生产资料识别，可以达到将工位区域中与生产者无关联的生产资料进行滤除的目的，避免了其他工位生产资料对当前工位运行状态识别结果的影响，提高了对每个生产工位运行状态识别结果的准确性。

49、进一步的，图像识别模块，具体用于：

50、利用关联检测模型中的全局注意力机制计算工位区域中的生产者与生产资料之间的关联权重；

51、基于关联权重确定与生产者关联的生产资料。

52、本方案的有益效果在于，通过利用关联检测模型中的全局注意力机制计算工位区域中的生产者与生产资料之间的关联权重，确定与生产者关联的生产资料，可以进一步提高对关联的生产资料识别的全面性以及图像识别结果的准确性。

53、进一步的，动作拟合模块，具体用于：

54、读取对工位区域中的生产者进行关键点检测的结果中的躯干关节关键点坐标和手部关键点坐标；

55、将躯干关节关键点坐标和手部关键点坐标与预先构建的生产者立体模型进行融合计算，得到生产者在监控图像帧中的瞬时姿态；

56、基于瞬时姿态确定生产者的动作序列。

57、本方案的有益效果在于，通过读取关键点检测结果中的躯干关节关键点坐标和手部关键点坐标，将关键点坐标与预先构建的生产者立体模型进行融合计算，得到生产者在监控图像帧中的瞬时姿态，确定生产者的动作序列，可以达到对生产者动作序列进行连续建模的目的，提高了对生产者动作序列识别的及时性和准确性。

58、进一步的，装置还包括：

59、生产阶段识别模块，用于识别生产线监控视频对应的生产阶段；

60、标准动作序列获取模块，用于获取生产阶段的标准动作序列；

61、规范性校验模块，用于基于标准动作序列对生产者的动作序列进行规范性校验；

62、违规告警模块，用于在基于规范性校验的结果确定生产者的动作序列违规的情况下，停止有效动作时长确定流程并发出生产线违规操作告警。

63、本方案的有益效果在于，通过识别生产线监控视频对应的生产阶段获取标准动作序列，对生产者的动作序列进行规范性校验，在生产者的动作序列违规的情况下，停止有效动作时长确定流程并发出生产线违规操作告警，可以避免由于生产者动作序列违规导致的生产线生产安全以及后续有效动作时长误判的问题，提高了对生产线生产状态监测的智能化和监测结果的准确性。

64、进一步的，动作拟合模块，具体用于：

65、识别动作序列中存在动作变化的监控图像帧；

66、基于监控图像帧的时序信息确定生产者的有效动作时长。

67、本方案的有益效果在于，通过识别动作序列中存在动作变化的监控图像帧，基于监控图像帧的时序信息确定生产者的有效动作时长，可以简化对有效动作识别的步骤，提高了计算有效动作时长的效率。

68、进一步的，运动学状态识别模块，具体用于：

69、基于与生产者关联的生产资料在生产线监控视频的多个连续监控图像帧中的位置信息确定生产资料是否发生位置变化；

70、在生产资料不发生位置变化的情况下，确定生产资料的运动学状态为静止状态。

71、本方案的有益效果在于，通过根据生产资料在多个连续监控图像帧中的位置信息确定生产资料是否发生位置变化，在生产资料不发生位置变化的情况下，确定生产资料的运动学状态为静止状态，可以提高对生产资料运动学状态识别的效率和准确性。

72、第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

73、第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

74、第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

75、在本技术实施例中，获取生产线监控视频；识别监控图像帧中的工位区域，监控图像帧为生产线监控视频中的图像帧；对识别到的工位区域进行生产者识别及生产资料检测，得到工位区域中的生产者以及与生产者关联的生产资料；对工位区域中的生产者进行关键点检测和动作拟合，确定生产者的动作序列，并基于动作序列确定生产者的有效动作时长；识别与生产者关联的生产资料在生产线监控视频中的运动学状态；根据有效动作时长以及运动学状态，进行生产工位空闲状态识别，并触发生产线空闲状态告警。通过上述生产线生产状态的识别方法，能够解决利用现有技术进行生产线生产状态的识别时，存在的识别效率低、识别成本高以及识别结果不够准确的问题，通过对生产线监控图像帧中识别到的工位区域进行生产者和关联的生产资料检测确定生产者的有效动作时长，并根据有效动作时长以及与生产资料的运动学状态进行生产工位空闲状态识别，可以达到在无需设置设备参数检测装置以及人工参与的前提下，结合自动识别生产线生产状态的目的，降低识别成本，提高对生产线生产状态的识别的效率以及识别结果的准确性。