一种智慧工地的多阶段目标检测方法及系统与流程

本发明属于电子信息与人工智能，具体涉及一种智慧工地的多阶段目标检测方法及系统。

背景技术：

1、在小散型智慧工地中，通常仅部署单一摄像头进行大场景监控，摄像头多采用俯拍方式。施工现场人员、设备等目标在距离摄像头较远的位置成像尺寸极小，属于典型的小目标检测难题。传统安全检测算法大多采用yolo、rt-detr等框架，为获得较高处理速度，通常将输入图像统一缩放至640×640像素再送入网络。这一过程中，原本在摄像头远段仅占极少像素的目标被进一步压缩，成为32×32像素以下的小目标，使得现有算法难以保证检测精度，漏检率居高不下。

2、rt-detr框架采用cnn与transformer混合架构，虽在泛化能力上有所提升，但其cnn backbone仍基于多层下采样的金字塔结构。小目标在逐层下采样过程中，浅层位置信息和细节纹理容易被严重削弱甚至完全丢失，高层特征图上几乎无法保留有效表征。此外，单一检测策略面向全图处理，无法针对不同距离的目标尺度差异进行自适应调整，难以在检测精度与计算效率间取得平衡。单摄像头限制更进一步放大了远段检测能力不足的问题。

3、因此，如何设计一种提升远距离小目标检测精度及检测效率的智慧工地的多阶段目标检测方法及系统，是亟需解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种智慧工地的多阶段目标检测方法及系统，旨在解决现有技术中在单摄像头、大场景的小散型智慧工地中，远段目标尺寸过小、传统cnn特征提取易丢失信息、单一检测策略难以适配多尺度目标等问题，导致漏检严重、检测精度低的问题。

2、第一方面，本技术实施例提供了一种智慧工地的多阶段目标检测方法，包括以下步骤：

3、获取智慧工地在当前时刻的单帧监控图像；

4、对所述单帧监控图像进行空间维度划分，获得互不重叠的前段区域、中段区域和远段区域；

5、对所述前段区域、所述中段区域和所述远段区域进行差异化图像增强；

6、基于预设的目标检测模型对图像增强后的所述前段区域、所述中段区域和所述远段区域进行特征提取与目标识别，获得初步检测结果；

7、将所述初步检测结果进行坐标映射与还原，获得坐标统一后的所述初步检测结果；

8、将坐标统一后的所述初步检测结果进行空间去重与融合，获得最终目标检测结果；

9、其中，所述前段区域为所述图像的中心区域，所述中段区域为所述图像的下半部分中去除与所述前段区域重叠部分后的剩余区域，所述远段区域为所述图像的上半部分中去除与所述前段区域重叠部分后的剩余区域；

10、其中，对所述前段区域、所述中段区域和所述远段区域进行差异化图像增强包括：对所述前段区域，保留原始分辨率；对所述中段区域，执行第一倍率的超分辨率图像增强；对所述远段区域，执行第二倍率的超分辨率图像增强；所述第二倍率大于所述第一倍率。

11、优选地，所述目标检测模型对输入图像进行特征提取与目标识别，具体包括：

12、利用引入densenet密集连接机制的骨干网络对输入图像进行特征提取，通过跨层特征拼接复用，生成包含浅层细节信息的多层初始特征图；

13、将所述多层初始特征图输入至transformer模块进行全局上下文建模，利用自注意力机制计算不同空间位置间的长距离依赖关系，生成上下文增强特征；

14、利用注意力机制模块对所述上下文增强特征在通道维度和空间维度上进行自适应加权，强化关键小目标区域的特征表达并抑制背景噪声，生成注意力强化特征；

15、将不同层级的所述注意力强化特征进行上采样和横向连接融合，生成分别适配大、中、小目标检测的多尺度融合特征层；

16、将所述多尺度融合特征层输入检测头，执行目标框回归、类别预测和置信度计算。

17、优选地，所述densenet密集连接机制的骨干网络中，第层的输出特征由其前面所有层的输出特征图拼接后经复合变换得到。

18、优选地，所述将初步检测结果进行坐标映射与还原的步骤，具体包括：

19、接收来自各区域的初步检测框，每个检测框包含其在局部坐标系下的坐标、置信度、类别及所属区域信息；

20、对来自中段区域和远段区域的检测框，依据其生成时所处滑动窗口的偏移量，将窗口局部坐标还原为增强图像中的区域坐标；

21、依据中段区域的第一倍率和远段区域的第二倍率，对还原后的区域坐标进行尺度反变换，并叠加上该区域在所述单帧监控图像中的位置偏移量，将所有检测框的坐标统一映射至所述单帧监控图像的坐标系下。

22、优选地，所述对坐标统一后的所有初步检测框执行空间去重与融合的步骤，包括：

23、对坐标统一后的所有检测框，根据预设的置信度阈值进行初步筛选，删除置信度低于预设阈值、面积异常以及超出本区域合法范围的检测框；

24、执行区域内去重：对来自同一区域且类别相同的任意两个候选框，若其交并比大于等于预设的内部去重阈值，则判定为重复目标并进行合并；

25、执行跨区域去重：对来自不同区域且类别相同的任意两个候选框，若其交并比大于等于预设的跨区去重阈值，或中心点距离小于预设的距离阈值，则判定为对同一物理目标的重复检测并进行合并；

26、其中，所述内部去重阈值大于所述跨区去重阈值。

27、优选地，所述合并重复目标时，保留置信度最高的候选框，或对所有重复的候选框的坐标和置信度进行加权平均，生成一个新候选框。

28、优选地，所述滑动窗口的尺寸为1280×1280像素；所述第一倍率为1.5倍，所述第二倍率为4倍。

29、优选地，所述前段区域采用固定尺寸方式或比例方式定义；

30、所述固定尺寸方式为：以图像中心点为基准，裁剪出1280×1280、1024×1024或640×640像素的区域；

31、所述比例方式为：以图像中心点为基准，裁剪出中心1/2区域或中心2/3区域。

32、第二方面，本技术实施例提供一种智慧工地的多阶段目标检测系统，包括：

33、图像获取模块，用于获取智慧工地在当前时刻的单帧监控图像；

34、图像分区模块，用于将对所述单帧监控图像进行空间维度划分，获得互不重叠的前段区域、中段区域和远段区域；

35、差异化图像增强模块，用于对所述前段区域、所述中段区域和所述远段区域进行差异化图像增强；

36、目标检测模块，基于预设的目标检测模型对图像增强后的所述前段区域、所述中段区域和所述远段区域进行特征提取与目标识别，获得初步检测结果

37、坐标统一模块，用于将所述初步检测结果进行坐标映射与还原，获得坐标统一后的所述初步检测结果；

38、空间去重与结果融合模块，用于将坐标统一后的所述初步检测结果进行空间去重与融合，获得最终目标检测结果；

39、其中，所述前段区域为所述图像的中心区域，所述中段区域为所述图像的下半部分中去除与所述前段区域重叠部分后的剩余区域，所述远段区域为所述图像的上半部分中去除与所述前段区域重叠部分后的剩余区域；

40、其中，对所述前段区域、所述中段区域和所述远段区域进行差异化图像增强包括：对所述前段区域，保留原始分辨率；对所述中段区域，执行第一倍率的超分辨率图像增强；对所述远段区域，执行第二倍率的超分辨率图像增强；所述第二倍率大于所述第一倍率。

41、优选地，所述目标检测模型包括：

42、densenet骨干网络，用于实现跨层特征复用，防止小目标在深层网络中的信息丢失；

43、transformer模块，与所述densenet骨干网络的输出端耦合，用于对多层特征进行全局上下文建模；

44、注意力机制模块，用于对特征图在空间和通道维度上进行自适应加权，强化关键小目标区域的特征表达；

45、多尺度特征融合结构，用于将经注意力机制处理后的、来自不同层级的特征图进行融合，统一大、中、小目标尺度的检测标准

46、本发明与现有技术相比，具有以下有益效果：

47、通过将监控图像空间划分为前、中、远三段并实施差异化增强策略，对远段区域执行4倍超分辨率增强，克服了单摄像头大场景下远距离目标像素占比过低的固有难题，将远段小目标的检测召回率大幅提升，显著降低了漏检率；

48、通过在骨干网络中引入densenet密集连接机制，实现了浅层细节信息与深层语义信息的跨层直接连通，有效防止了小目标信息在连续下采样过程中的丢失，使模型能够保留并利用边缘、纹理等微弱特征进行精准识别；

49、通过设计通道注意力与空间注意力双重加权机制，使模型能够自适应突显与安全帽颜色、人体轮廓相关的关键通道，并定位强化远段疑似目标区域，同时有效抑制钢筋、阴影等复杂背景噪声，显著降低了在施工工地等强干扰环境下的误检率；

50、通过构建多尺度融合特征层p1、p2、p3，使高分辨率浅层特征专用于小目标检测、深层语义特征专用于中大目标检测，实现了同一网络对不同距离目标的自适应适配，解决了单一检测策略难以兼顾多尺度目标的矛盾，整体检测精度显著提升；

51、通过执行差异化图像增强策略，对前段保留原分辨率、中段执行1.5倍增强、仅对远段执行4倍高倍率增强，将算力资源精准分配至检测难点区域，避免了全图统一高倍率处理带来的巨大计算开销，在检测精度与处理速度之间取得平衡，确保了系统的实时性；

52、通过引入transformer全局建模模块，利用自注意力机制计算远距离像素间的长距离依赖关系，使模型能够理解远段人员与周围环境的空间关联，有效弥补了传统卷积网络仅关注局部感受野的不足，增强了对遮挡和复杂姿态目标的鲁棒性；

53、通过设计基于滑动窗口偏移量、增强倍率及区域偏移量的逐级坐标映射与还原机制，将各分区检测结果统一映射至原始图像坐标系，并设置差异化的区域内与跨区域去重阈值，引入中心点距离作为辅助判定条件，有效解决了不同倍率下同一目标检测框尺寸不一致导致的融合难题，确保最终检测结果的唯一性和准确性；

54、所提出的整套多阶段联防检测系统可视为由深度神经网络与图像处理算法共同参数化的函数，从单帧监控图像直接映射至统一坐标系下的最终目标列表，无需额外部署多摄像头或传感器硬件，极大降低了系统部署成本与复杂度，为小散型智慧工地提供了一种高性价比的全场景安全监控方案。