产线作业工序的检测方法、设备及存储介质与流程

本发明涉及视觉检测领域，尤其涉及一种产线作业工序的检测方法、设备及存储介质。

背景技术：

1、在现代化制造业中，标准作业流程（sop）是保证产品质量一致性和产线安全运行的基础。目前，大部分产线对工人sop执行情况的监控主要依赖人工巡检、事后视频抽检或传感器方案，存在监控效率低、无法实时纠错以及无法感知具体操作行为等问题。

2、近年来，计算机视觉技术被引入产线sop监控场景中，通过对工位视频流进行目标检测来判断工序步骤的执行情况。然而，发明人在实施过程中发现，现有视觉检测方案至少存在以下缺陷：

3、其一，单帧检测易受干扰而产生误报。产线环境中存在大量干扰因素，例如：工人手臂的快速移动导致目标在视频帧中瞬时出现又消失；摄像头抖动或光照突变导致目标短暂丢失；多人协作场景下其他工人的手臂或工具反复进入同一检测区域。现有方案采用逐帧判断方式，缺乏对帧间检测结果抖动的抑制手段，导致误触发率居高不下。

4、其二，固定阈值的判定方式缺乏灵活性。单一固定阈值无法同时兼顾响应速度与抗干扰能力，阈值过低则误报增多，阈值过高则响应变慢甚至产生漏检。而不同工序对检测灵敏度的要求差异较大，瞬时动作需要快速响应，持续动作需要避免中间抖动造成的误触发，固定阈值难以适应上述差异化需求。

5、因此，针对现有技术中产线作业工序视觉检测易受帧间干扰而产生误触发、且固定阈值判定方式难以兼顾响应速度与抗干扰能力的技术问题，需要一种新的技术解决当前问题。

技术实现思路

1、本发明的主要目的在于解决产线作业工序视觉检测易受帧间干扰而产生误触发、且固定阈值判定方式难以兼顾响应速度与抗干扰能力的技术问题。

2、本发明第一方面提供了一种产线作业工序的检测方法，包括步骤：

3、采集工位视频流，并根据预设目标检测模型，对所述工位视频流进行逐帧推理，得到各视频帧中预设类别目标的检测结果；

4、根据所述工位视频流对应目标工序步骤的预设触发条件，对各视频帧的所述检测结果进行求值，得到逐帧的条件信号，其中，所述条件信号用于表征当前视频帧是否满足对应目标工序步骤的所述触发条件；

5、将逐帧的所述条件信号写入滑动窗口，统计所述滑动窗口内表征满足所述触发条件的所述条件信号所占比例，得到条件满足率；

6、将所述条件满足率与预设活跃阈值和预设非活跃阈值进行比较，在所述条件满足率不小于所述活跃阈值时，生成目标工序步骤开始的判定结果；在所述条件满足率不大于所述非活跃阈值时，生成目标工序步骤完成的判定结果，其中，所述活跃阈值大于所述非活跃阈值；

7、根据所述判定结果，生成目标工序步骤的检测结果。

8、可选的，在本发明第一方面的第一种实现方式中，所述检测结果包括：预设类别目标的种类名称、所述种类名称对应的边界框，所述根据所述工位视频流对应目标工序步骤的预设触发条件，对各视频帧的所述检测结果进行求值，得到逐帧的条件信号的步骤包括：

9、将当前视频帧的所述检测结果按种类名称聚合，得到各种类名称对应的边界框集合；

10、将所述工位视频流对应目标工序步骤的预设触发条件表示为条件表达式树，其中，所述条件表达式树的叶节点为预设类别目标的出现或区域位置进行判断的原子条件，所述条件表达式树的内部节点为对子节点的判断结果进行逻辑组合的节点；

11、基于所述边界框集合，对所述条件表达式树的各叶节点进行求值，得到各叶节点的求值结果，以及将各叶节点的求值结果沿所述条件表达式树自底向上递归组合，生成组合结果，并将所述组合结果确定为当前视频帧的条件信号。

12、可选的，在本发明第一方面的第二种实现方式中，所述原子条件包括：类别出现条件，所述基于所述边界框集合，对所述条件表达式树的各叶节点进行求值，得到各叶节点的求值结果的步骤包括：

13、

14、其中，为类别出现条件在第帧视频帧的求值结果，为视频帧的帧序号，为预设的种类名称，为第帧视频帧中种类名称为对应的边界框集合，为边界框集合中边界框的数量，为预设的最小目标数量阈值，为指示函数，括号内判断成立时取值为1，不成立时取值为0。

15、可选的，在本发明第一方面的第三种实现方式中，所述原子条件还包括：类别位于区域条件，所述基于所述边界框集合，对所述条件表达式树的各叶节点进行求值，得到各叶节点的求值结果的步骤包括：

16、计算预设种类名称对应的边界框与预设感兴趣区域之间的交并面积比；

17、在所述预设种类名称对应的边界框集合中，存在至少一个边界框的交并面积比不小于预设面积比阈值时，生成判定类别位于区域条件成立的判定结果，并将判定结果作为对应叶节点的求值结果。

18、可选的，在本发明第一方面的第四种实现方式中，所述统计所述滑动窗口内表征满足所述触发条件的所述条件信号所占比例，得到条件满足率的步骤包括：

19、

20、其中，表示处理第t帧视频帧的条件满足率，为视频帧的帧序号，为所述滑动窗口队列的长度，为滑动窗口队列内条件信号对应的帧序号，为第帧的条件信号写入滑动窗口队列后的取值，取值为0或1，为1表征第帧的条件信号满足所述触发条件的，为0表征第帧的条件信号不满足所述触发条件。

21、可选的，在本发明第一方面的第五种实现方式中，所述将所述条件满足率与预设活跃阈值和预设非活跃阈值进行比较的步骤包括：

22、记录所述目标工序步骤的当前判定状态，所述当前判定状态包括：未开始状态、进行中状态；

23、在所述当前判定状态为未开始状态且所述条件满足率不小于所述活跃阈值时，生成目标工序步骤开始的判定结果，并将所述当前判定状态更新为进行中状态；

24、在所述当前判定状态为进行中状态且所述条件满足率不大于所述非活跃阈值时，生成目标工序步骤完成的判定结果，并将所述当前判定状态更新为未开始状态；

25、在所述条件满足率介于所述非活跃阈值与所述活跃阈值之间时，维持所述当前判定状态不变。

26、可选的，在本发明第一方面的第六种实现方式中，所述根据所述判定结果，生成目标工序步骤的检测结果的步骤包括：

27、根据目标工序步骤的工序语义，选择触发模式，其中，所述触发模式包括：上升沿触发模式、下降沿触发模式；

28、在选择上升沿触发模式时，则根据目标工序步骤开始的判定结果，生成目标工序步骤执行到位的检测结果；

29、在选择下降沿触发模式时，则根据目标工序步骤完成的判定结果，生成目标工序步骤执行到位的检测结果。

30、可选的，在本发明第一方面的第七种实现方式中，在所述采集工位视频流之前，还包括步骤：

31、接收配置文件，所述配置文件包含：各目标工序步骤的触发条件、滑动窗口的窗口长度、活跃阈值、非活跃阈值、参考分辨率；

32、解析所述配置文件，在所述触发条件包含区域位置条件时，按照实际推理分辨率与所述配置文件的参考分辨率之间的比例，对所述区域位置条件对应区域的顶点坐标进行等比例缩放，生成缩放顶点坐标，其中，所述缩放顶点坐标用于对各视频帧的所述检测结果进行求值。

33、本发明第二方面提供了一种产线作业工序的检测设备，包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述产线作业工序的检测设备执行上述的产线作业工序的检测方法。

34、本发明的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的产线作业工序的检测方法。

35、在本发明实施例中，通过预设目标检测模型对工位视频流进行逐帧推理，并根据目标工序步骤的预设触发条件对逐帧检测结果进行求值，将逐帧的条件信号写入滑动窗口统计条件满足率，再将条件满足率与预设活跃阈值和预设非活跃阈值进行比较，在条件满足率不小于活跃阈值时判定目标工序步骤开始、不大于非活跃阈值时判定目标工序步骤完成，进而生成目标工序步骤的检测结果。滑动窗口统计将单帧判断转化为窗口内的比例判断，通过窗口对瞬时抖动信号的平滑作用，实现了对目标瞬时出现、消失及检测区域被短暂侵入等帧间干扰的抑制，降低了误触发率；同时，活跃阈值与非活跃阈值构成迟滞比较区间，判定结果在两个阈值之间保持前一状态不翻转，通过两个阈值的独立设置，实现了响应速度与抗干扰能力的解耦，能够根据不同工序的灵敏度需求分别配置，从而解决了产线作业工序视觉检测易受帧间干扰而产生误触发、且固定阈值判定方式难以兼顾响应速度与抗干扰能力的技术问题。