基于多标签检测的井盖病害及权属协同识别方法及系统与流程

本发明属于图像识别，尤其涉及一种基于多标签检测的井盖病害及权属协同识别方法及系统。

背景技术：

1、井盖是城市地下管网的关键出露节点，其破损、缺失、移位及与路面高差等病害若发现和处置不及时，极易引发车辆事故与行人跌落，直接威胁公共安全并造成资产损失。以某市为例，2023年市政管井结构性缺陷处置量达3万余例，其中井盖及井周破损、移位缺失、井盖与地面高差三类病害占比约95%，由此引发的市民热线投诉与直接经济损失均居高不下。因此，及时、准确地识别井盖病害并锁定其权属单位，是保障城市安全运行的重要环节。

2、传统井盖运维主要依赖两类手段，但均难以满足现代精细化管理需求。其一为人工巡检，即巡检人员现场目视判定病害并辨认井盖标识以确认权属：该方式在车流密集的主干道路上安全风险高、覆盖有限，病害判定标准不一、细微缺陷易漏，井盖标识常因磨损污损难以辨认，导致错记漏记、权属混乱，且后台集中判读存在明显时滞。其二为基于边缘检测、模板匹配、颜色分析等传统图像处理的自动识别，此类方法对光照、阴影、积水、遮挡等复杂路况极为敏感，鲁棒性差、误漏检率高，通常仅能判断井盖有无或区分极少数病害类型，环境变化时还需人工重新设计特征、维护成本高。

3、近年来，随着深度学习技术的发展，基于目标检测模型的井盖病害自动识别逐渐成为研究热点。例如，公开号为cn111914634a的专利申请提出了一种抗复杂场景干扰的井盖类别自动检测方法和系统。该方法采用resnet-101作为网络骨架构建r-fcn井盖检测模型，通过对监控视频图像中的井盖进行检测，识别井盖的完整、破损和丢失三种类别。然而，该方法基于r-fcn框架，其检测精度受限于区域提案网络的质量，且仅能判别井盖的粗略状态，无法同步识别井盖的权属单位等属性。

4、再如，公开号为cn118334595a的专利申请提出了一种井盖隐患智能检测方法和系统。该方法利用可变形大核注意力机制和目标动态检测头构建井盖隐患检测模型，对井盖隐患图像集进行检测识别，在检测精度上相比传统方法有所提升。然而，该方法仍沿用传统的单标签分类范式，对于同一井盖目标的多个独立属性（如病害状态、权属单位、表面花纹等）仍需分别推理或串联多个专用模型，识别耗时成倍增加，难以满足移动平台的实时处理需求。

5、近年来出现的车载移动式巡检平台通过高清摄像装置实现了路面图像的快速连续采集，为主干道路巡检提供了新思路，但其在采集之后的识别与信息提取环节仍存在明显短板。一方面，井盖需要同时判别病害状态、权属单位与表面花纹等多个相互独立的属性，而现有基于softmax单标签分类的模型受类别互斥约束，须对每一属性分别推理或串联多个专用模型，识别耗时成倍增加，难以满足移动平台的实时要求；且现实中绝大多数井盖为正常井盖、病害样本稀少，海量图片依赖人工复判极易漏检。另一方面，井盖破损、logo等目标在整幅路面图像中面积占比往往不足2%，通用检测模型对此类小目标漏检严重；而权属文字多沿井盖边缘呈弧形排布，常规文字识别难以直接准确读取。此外，传统工作流程中，人工识别病害后需手动查阅定位信息、梳理病害类型与权属，再填写表单生成工单并派发给维修单位，整个过程环节多、流转慢，且人工录入易出错，维修完成后的结果也多需人工同步更新，缺乏系统化自动闭环机制。

6、综上，现有技术无法在高效、安全完成移动式采集的同时，实现对井盖病害类型的精准识别与权属单位的自动判别，并形成从识别到处置的闭环管控，亟需一种适应移动平台实时运行、病害与权属信息同步识别的一体化解决方案。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种基于多标签检测的井盖病害及权属协同识别方法及系统，能够实现主干道路井盖的移动式非接触巡检、病害状态与权属单位的多属性并行识别、弧形权属文字的精准读取以及维修工单的自动生成，有效提升井盖病害识别的效率、精度与智能化水平。

2、本发明的第一方面，提出了一种基于多标签检测的井盖病害及权属协同识别方法，包括：获取移动式采集平台沿道路行驶时采集的路面图像序列，所述路面图像序列中包括同一井盖自远及近在多个采集时刻的多帧路面图像，每一帧路面图像对应有采集时刻的定位信息；将所述多帧路面图像分别输入多标签目标检测模型进行推理，由所述多标签目标检测模型分别输出各帧路面图像中各井盖实例的边界框以及多个独立属性的预测结果；所述多个独立属性至少包括井盖的病害状态属性和视觉权属标识属性；所述多标签目标检测模型的头部网络被配置为对每一属性通道独立输出置信度，且各属性通道的输出互不约束；根据所述定位信息，将所述多帧路面图像中属于所述同一井盖的检测结果进行跨帧关联，并对关联后的检测结果进行一致性验证，根据一致性验证结果确定存在病害的目标井盖实例；对所述目标井盖实例的边界框对应的图像区域进行针对弧形排布文本的文字识别，提取权属单位文本信息，并根据各井盖实例的视觉权属标识属性的预测结果和所述权属单位文本信息，确定所述目标井盖实例的权属单位；根据所述病害状态属性的预测结果、所述权属单位和所述定位信息，生成所述目标井盖实例的维修工单。

3、根据本公开实施例的第二个方面，提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时由处理器执行上述的方法。

4、根据本公开实施例的第三个方面，提供了一种基于多标签检测的井盖病害及权属协同识别系统，包括：图像获取模块，用于获取移动式采集平台沿道路行驶时采集的路面图像序列，所述路面图像序列中包括同一井盖自远及近在多个采集时刻的多帧路面图像，每一帧路面图像对应有采集时刻的定位信息；目标检测模块，用于将所述多帧路面图像分别输入多标签目标检测模型进行推理，由所述多标签目标检测模型分别输出各帧路面图像中各井盖实例的边界框以及多个独立属性的预测结果；所述多个独立属性至少包括井盖的病害状态属性和视觉权属标识属性；所述多标签目标检测模型的头部网络被配置为对每一属性通道独立输出置信度，且各属性通道的输出互不约束；目标井盖实例确定模块，用于根据所述定位信息，将所述多帧路面图像中属于所述同一井盖的检测结果进行跨帧关联，并对关联后的检测结果进行一致性验证，根据一致性验证结果确定存在病害的目标井盖实例；权属单位确定模块，用于对所述目标井盖实例的边界框对应的图像区域进行针对弧形排布文本的文字识别，提取权属单位文本信息，并根据各井盖实例的视觉权属标识属性的预测结果和所述权属单位文本信息，确定所述目标井盖实例的权属单位；维修工单生成模块，用于根据所述病害状态属性的预测结果、所述权属单位和所述定位信息，生成所述目标井盖实例的维修工单。

5、根据本公开实施例的第四个方面，提供了一种基于多标签检测的井盖病害及权属协同识别系统，包括：处理器；存储器，与处理器连接，用于为处理器提供处理以下处理步骤的指令：获取移动式采集平台沿道路行驶时采集的路面图像序列，所述路面图像序列中包括同一井盖自远及近在多个采集时刻的多帧路面图像，每一帧路面图像对应有采集时刻的定位信息；将所述多帧路面图像分别输入多标签目标检测模型进行推理，由所述多标签目标检测模型分别输出各帧路面图像中各井盖实例的边界框以及多个独立属性的预测结果；所述多个独立属性至少包括井盖的病害状态属性和视觉权属标识属性；所述多标签目标检测模型的头部网络被配置为对每一属性通道独立输出置信度，且各属性通道的输出互不约束；根据所述定位信息，将所述多帧路面图像中属于所述同一井盖的检测结果进行跨帧关联，并对关联后的检测结果进行一致性验证，根据一致性验证结果确定存在病害的目标井盖实例；对所述目标井盖实例的边界框对应的图像区域进行针对弧形排布文本的文字识别，提取权属单位文本信息，并根据各井盖实例的视觉权属标识属性的预测结果和所述权属单位文本信息，确定所述目标井盖实例的权属单位；根据所述病害状态属性的预测结果、所述权属单位和所述定位信息，生成所述目标井盖实例的维修工单。

6、本技术通过获取移动式采集平台沿道路行驶时采集的路面图像序列，其中包含同一井盖自远及近的多帧路面图像，且每一帧路面图像对应有采集时刻的定位信息，实现了主干道路井盖的移动式非接触巡检，规避了人工巡检的安全风险与覆盖局限性；通过将多帧路面图像分别输入多标签目标检测模型进行推理，对每一属性通道独立输出置信度，且各属性通道的输出互不约束，实现了病害状态、视觉权属标识等多个独立属性在单次前向推理中的并行输出，避免了传统单标签模型因类别互斥而需多次推理或串联多模型的效率瓶颈，显著降低了识别耗时；通过根据定位信息将属于同一井盖的检测结果进行跨帧关联，使得自远及近采集的同一井盖的多帧检测结果能够被准确归并，再对关联后的检测结果进行一致性验证，有效抑制了单帧检测中的运动模糊与偶发误检，提高了检测结果的可靠性；通过对存在病害的目标井盖实例进行针对弧形排布文本的文字识别，解决了井盖权属文字沿边缘弧形排布难以被常规ocr准确读取的问题，并结合各井盖实例的视觉权属标识属性的预测结果对权属单位进行综合判定，通过视觉标识与文字识别的交叉校验克服了单一识别手段在标识磨损、污损情况下精度不足的缺陷；通过根据病害状态属性的预测结果、权属单位和定位信息自动生成维修工单，实现了从病害识别到工单输出的自动化流转，为后续精准派单与闭环处置提供了结构化的数据基础，整体提升了城市井盖病害治理的智能化与精细化水平。