时空联合多目标关联检测方法、装置、设备及存储介质与流程

本申请涉及一种基于目标检测算法与目标跟踪算法的复杂作业场景时空联合多目标关联检测方法、装置、设备及存储介质，属于计算机视觉和工业安全监控。

背景技术：

1、在特种工业与大型装备试验领域，基于计算机视觉的作业人员安全规范监控，已成为保障安全生产的核心管理手段。在常规开阔场景下，传统视觉监控系统主要通过目标检测算法对视频流进行单帧解析，识别作业人员及其安全装备（如安全帽、安全绳等）的佩戴情况。然而，在航空发动机高空模拟试车台（简称高空台）这类具有大型复杂物理架构的特种作业场景中，空间环境狭窄受限，设备管线纵横交错，加之机械运动与人员流转频繁，作业人员与设备间极易形成遮挡，导致目标识别丢失；单纯依赖静态图像单帧检测，会引发目标漏检、身份跳变及人与装备归属关系模糊等严重问题，进而造成系统大量误报。

技术实现思路

1、针对现有技术存在的单帧检测误报率偏高、人与装备归属关系模糊不清，以及在人员密集、频繁遮挡环境下易出现瞬时漏检等问题，本发明旨在提出一种基于目标检测算法与目标跟踪技术的复杂作业场景时空联合多目标关联检测方法、装置、设备及存储介质，通过构建精准的空间拓扑约束及时序状态容错机制，在保障实时性的前提下，显著提升复杂工况下人与安全装备归属关系识别的准确率与鲁棒性。

2、本申请实施例第一方面公开了一种时空联合多目标关联检测方法，所述方法包括：获取监控视频流；基于监控视频流，根据目标检测网络，识别画面中的第一要素及第二要素，得到第一要素边界框及第二要素边界框；对第一要素边界框进行跨帧跟踪，为第一要素分配唯一标识；每一帧中，计算第一要素边界框与第二要素边界框的空间重叠度量值，当空间重叠度量值满足预设的空间约束条件时，建立第一要素与第二要素的关联关系；构建异常状态缓存池，对未关联到第二要素的第一要素计算未匹配帧计数；当未匹配帧计数达到预设的容错阈值时，判定对应第一要素唯一标识违规并触发告警；当第一要素成功关联到第二要素时，重置第一要素唯一标识对应的未匹配帧计数，并移出异常状态缓存池。

3、进一步，计算第一要素边界框与第二要素边界框的空间重叠度量值，当空间重叠度量值满足预设的空间约束条件时，建立第一要素与第二要素的关联关系，包括：遍历第一要素边界框周围的第二要素边界框，计算两者之间的交集面积与并集面积的比值；当比值大于预设的经验阈值时，建立第一要素与第二要素的关联关系。

4、进一步，遍历第一要素边界框周围的第二要素边界框之前，包括：确定第一要素边界框的坐标中心点；以坐标中心点为基准，建立扩展边界范围，扩展边界范围包围第一要素边界框且面积大于第一要素边界框；响应于第二要素边界框与扩展边界范围相交，确定该第二要素边界框为待遍历对象，相交定义为第二要素边界框与扩展边界范围之间存在非空的交集区域。

5、进一步，第一要素与第二要素构成强制绑定关系，所述方法还包括：对第二要素边界框进行跨帧跟踪，为第二要素分配唯一标识；当建立第一要素与第二要素的关联关系时，同步绑定第一要素唯一标识与第二要素唯一标识；当未匹配帧计数达到预设的容错阈值时，根据当前未关联时间点和设定追溯时间，向前追溯未关联的第二要素的流转路径并判定流转状态，流转状态包括第二要素遗留在非作业区域、第二要素违规混用或转借、第二要素异常丢失或损坏中的其中之一。

6、进一步，第一要素与第二要素构成非强制绑定关系，所述方法还包括：当检测到第二要素唯一标识连续多帧未与任何第一要素唯一标识建立关联关系时，判定第二要素处于闲置状态并将其从活跃关联列表中移除。

7、进一步，监控视频流为高空台固定或环视视角摄像头的监控视频流；未匹配帧计数为连续帧的未匹配帧计数。

8、进一步，第一要素为人员，第二要素包括安全设备；安全设备包括安全帽及安全绳。

9、本申请实施例第二方面公开了一种时空联合多目标关联检测装置，所述装置包括：获取模块，用于获取监控视频流；识别模块，用于基于监控视频流，根据目标检测网络，识别画面中的第一要素及第二要素，得到第一要素边界框及第二要素边界框；跟踪模块，用于对第一要素边界框进行跨帧跟踪，为第一要素分配唯一标识；关联模块，用于每一帧中，计算第一要素边界框与第二要素边界框的空间重叠度量值，当空间重叠度量值满足预设的空间约束条件时，建立第一要素与第二要素的关联关系；构建模块，用于构建异常状态缓存池，对未关联到第二要素的第一要素计算未匹配帧计数；告警模块，用于当未匹配帧计数达到预设的容错阈值时，判定对应第一要素唯一标识违规并触发告警；重置模块，用于当第一要素成功关联到第二要素时，重置第一要素唯一标识对应的未匹配帧计数，并移出异常状态缓存池。

10、本申请实施例第三方面公开了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所在设备的处理器中执行上述实施例的时空联合多目标关联检测方法。

11、本申请实施例第四方面公开了一种计算机设备，所述计算机设备包括处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的时空联合多目标关联检测方法。

12、与现有技术相比，本申请实施例具有如下有益效果：

13、（1）高鲁棒性与低误报率：突破传统单帧检测局限，引入跨帧时序约束与连续帧状态计数机制，有效克服因频繁遮挡引发的偶发性漏检问题，显著降低误报率。

14、（2）精准的归属判定：采用iou（交并比）空间匹配逻辑，将目标检测框的空间拓扑约束转化为可量化指标，清晰界定人员与安全装备（安全帽、安全绳）的对应关系，有效解决人员密集场景下设备归属模糊的难题。

15、（3）计算效率与抗干扰能力的平衡：在计算iou前引入扩展边界范围筛选机制，预先排除画面远端非关联区域的干扰目标。在确保关联准确性的前提下，大幅削减无效计算量，显著提升算法在人流量大情况下的实时处理能力，使其更适配于高空台等复杂工业场景的边缘计算设备部署需求。

16、（4）动态流转路径的可视化与审计：基于绑定的双id关系，本申请支持违规事件的逆向追溯。当未佩戴告警触发时，可自动调取该人员历史绑定的装备id，回溯该装备在前序帧中的位置与状态。这为事故调查提供了可视化证据链，满足航空、化工等高等级工业场景对安全审计的严苛要求。

1.一种时空联合多目标关联检测方法，其特征在于，包括：

2.根据权利要求1所述时空联合多目标关联检测方法，其特征在于，计算第一要素边界框与第二要素边界框的空间重叠度量值，当空间重叠度量值满足预设的空间约束条件时，建立第一要素与第二要素的关联关系，包括：

3.根据权利要求2所述时空联合多目标关联检测方法，其特征在于，遍历第一要素边界框周围的第二要素边界框之前，包括：

4.根据权利要求1所述时空联合多目标关联检测方法，其特征在于，第一要素与第二要素构成强制绑定关系，所述方法还包括：

5.根据权利要求1所述时空联合多目标关联检测方法，其特征在于，第一要素与第二要素构成非强制绑定关系，所述方法还包括：

6.根据权利要求1所述时空联合多目标关联检测方法，其特征在于，监控视频流为高空台固定或环视视角摄像头的监控视频流；

7.根据权利要求1所述时空联合多目标关联检测方法，其特征在于，第一要素为人员，第二要素包括安全设备；

8.一种时空联合多目标关联检测装置，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序在被处理器执行时实现如权利要求1~7任一项所述时空联合多目标关联检测方法。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行程序时实现如权利要求1~7任一项所述时空联合多目标关联检测方法。