施工现场违章行为检测方法、装置、存储介质和电子设备与流程

摘要: 本申请涉及人工智能、图像处理、视频分析和安全监测的,尤其涉及一种施工现场违章行为检测方法、装置、存储介质和电子设备。背景技术:1、建筑施工工地的安全监测是保障施...
施工现场违章行为检测方法、装置、存储介质和电子设备与流程

本申请涉及人工智能、图像处理、视频分析和安全监测的,尤其涉及一种施工现场违章行为检测方法、装置、存储介质和电子设备。

背景技术:

1、建筑施工工地的安全监测是保障施工人员生命安全、预防生产事故的关键环节。随着无人机技术的发展,部分工地开始采用无人机进行巡检。

2、然而,采用无人机进行巡检的相关技术通常采用全帧推理模式,即对采集到的每一视频帧均进行深度学习推理检测。由于无人机搭载的嵌入式边缘计算模块算力远低于桌面级gpu,全帧推理会产生较高的计算延迟,难以满足实时检测需求,同时高负载运算也大幅缩短了无人机的续航时间。此外,工地违章行为如高空抛物、违规攀爬等多为瞬时性动作,单帧图像难以完整捕捉行为过程,容易造成误检和漏检。

技术实现思路

1、本申请提供了一种施工现场违章行为检测方法、装置、介质和电子设备,在无人机边缘算力受限条件下实现了对瞬时违章行为的实时精准识别,兼顾了低计算负载与低误检漏检率。

2、根据本申请的第一方面,提供了施工现场违章行为检测方法,所述方法包括:

3、获取巡检无人机针对目标施工现场采集的现场视频流,并基于所述巡检无人机的当前运行参数和所述现场视频流中相邻视频帧之间的像素运动信息,在所述现场视频流中确定至少两帧候选违章帧;

4、确定所述候选违章帧对应的运动特征图,并将所述候选违章帧及其对应的运动特征图,输入预先训练的违章检测网络;

5、通过所述违章检测网络基于所述运动特征图对从所述候选违章帧中提取到的原始特征图进行运动显著区域增强得到特征增强图,并基于所述特征增强图进行目标检测与姿态估计,输出所述候选违章帧对应的目标检测结果和姿态估计结果;

6、基于所述目标检测结果和姿态估计结果对至少两帧候选违章帧进行跨帧目标关联,生成目标的行为时序特征,并基于所述行为时序特征确定所述目标施工现场的违章检测结果。

7、根据本申请的第二方面,提供了施工现场违章行为检测装置,所述装置包括:

8、数据获取模块,用于获取巡检无人机针对目标施工现场采集的现场视频流,并基于所述巡检无人机的当前运行参数和所述现场视频流中相邻视频帧之间的像素运动信息,在所述现场视频流中确定至少两帧候选违章帧;

9、特征输入模块,用于确定所述候选违章帧对应的运动特征图,并将所述候选违章帧及其对应的运动特征图,输入预先训练的违章检测网络;

10、运动增强模块,用于通过所述违章检测网络基于所述运动特征图对从所述候选违章帧中提取到的原始特征图进行运动显著区域增强得到特征增强图,并基于所述特征增强图进行目标检测与姿态估计,输出所述候选违章帧对应的目标检测结果和姿态估计结果;

11、结果确定模块,用于基于所述目标检测结果和姿态估计结果对至少两帧候选违章帧进行跨帧目标关联,生成目标的行为时序特征,并基于所述行为时序特征确定所述目标施工现场的违章检测结果。

12、根据本申请的第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例所述的施工现场违章行为检测方法。

13、根据本申请的第四方面,本申请实施例提供了一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例所述的施工现场违章行为检测方法。

14、根据本申请的第五方面,本申请实施例提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如本申请实施例所述的施工现场违章行为检测方法。

15、本申请技术方案,通过结合巡检无人机的当前运行参数与相邻视频帧之间的像素运动信息,从现场视频流中筛选出候选违章帧,而非对全帧进行推理,显著降低了边缘计算模块的推理负载与延迟,在算力受限条件下保证了实时检测与续航能力。将候选违章帧对应的运动特征图与候选违章帧共同输入违章检测网络,利用运动特征图对从候选违章帧中提取到的原始特征图进行运动显著区域增强,使网络关注帧间运动显著区域,提升了对高空抛物、违规攀爬等瞬时违章动作的捕获灵敏度。进一步基于目标检测结果和姿态估计结果对至少两帧候选违章帧进行跨帧目标关联,生成行为时序特征,利用多帧间的时序关联信息判定违章行为,有效区分正常作业与违章动作,降低了误检率和漏检率,在无人机移动巡检场景下兼顾算力、实时性和检测精度。

16、应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。

1.一种施工现场违章行为检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述巡检无人机的当前运行参数和所述现场视频流中相邻视频帧之间的像素运动信息,在所述现场视频流中确定至少两帧候选违章帧,包括:

3.根据权利要求2所述的方法,其特征在于,所述确定所述巡检无人机的当前运行参数,并基于所述当前运行参数和所述交集像素的运动向量确定采样间隔,包括:

4.根据权利要求1所述的方法,其特征在于,所述违章检测网络包括骨干网络、颈部网络、检测头、卷积层和非线性激活函数;所述检测头包括目标检测分支和姿态估计分支;

5.根据权利要求4所述的方法,其特征在于,确定所述候选违章帧对应的运动特征图,包括:

6.根据权利要求 5所述的方法,其特征在于,基于所述目标检测结果和姿态估计结果对至少两帧候选违章帧进行跨帧目标关联,生成目标的行为时序特征,并基于所述行为时序特征确定所述目标施工现场的违章检测结果,包括:

7.根据权利要求1所述的方法,其特征在于,所述方法还包括:

8.一种施工现场违章行为检测装置,其特征在于,所述装置包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一项所述的施工现场违章行为检测方法。

10.一种电子设备,包括存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的施工现场违章行为检测方法。