一种基于形状感知与协同滤波的光伏板列内纯视觉定位方法及系统

摘要: 本发明涉及计算机视觉与工业自动化,具体涉及一种基于形状感知检测与速度-加速度协同滤波的伏板列内纯视觉定位方法及系统。背景技术:1、随着全球光伏装机容量持续增长,...
一种基于形状感知与协同滤波的光伏板列内纯视觉定位方法及系统

本发明涉及计算机视觉与工业自动化,具体涉及一种基于形状感知检测与速度-加速度协同滤波的伏板列内纯视觉定位方法及系统。

背景技术:

1、随着全球光伏装机容量持续增长,大规模光伏电站的运维管理面临诸多挑战。光伏板表面缺陷(如热斑、破碎、裂纹、污渍等)的及时发现与精确定位是保障发电效率的关键环节。将视觉检测系统应用于清扫机器人巡检场景时,面临两个核心技术问题:第一,如何在资源受限的嵌入式设备上实现高精度、低延迟的光伏板实时检测;第二,如何准确判断机器人当前位于光伏板列中的第几张板上,并将检测到的缺陷精确绑定到具体板位。

2、现有技术中,针对上述问题已有若干方案。

3、第一类方案为光伏板轻量化检测网络。专利cn119399656a公开了一种用于无人机的光伏组件缺陷轻量化检测方法,将yolov5s主干网络替换为shufflenetv2并引入eca通道注意力模块。该方法中eca为通用通道注意力,仅对通道间依赖关系建模,未针对光伏板特定空间结构(如桥架细长结构)进行针对性设计。专利cn120107658a公开了一种基于轻量化yolo的光伏板缺陷检测方法,以yolov8n为基础构建psdh检测头。该方法轻量化策略集中于检测头结构改造,未涉及主干网络空间注意力机制的针对性设计。专利cn118747736a公开了一种基于增强特征提取的光伏面板缺陷检测方法,基于yolox-tiny引入7×7大卷积核的深度可分离卷积。该方法仅使用单一尺寸大核卷积,未涉及多尺寸、多方向的结构化分工。

4、第二类方案为基于卡尔曼滤波的多目标跟踪运动模型。专利cn113763434a公开了一种基于卡尔曼滤波多运动模型切换的目标轨迹预测方法,建立匀速模型(cv)、匀加速模型(ca)、恒定转弯速率与速度模型(ctrv)三种运动模型,根据目标实时速度和加速度动态切换卡尔曼滤波运动模型。该方法属于模型级切换,ca模型被激活时其加速度分量直接参与状态估计与轨迹关联,导致在检测噪声环境下(如光伏板检测框抖动)将定位噪声放大为虚假加速度变化,引发轨迹发散。在处理cv预测滞后与ca噪声敏感的权衡方面仍有改进空间。专利cn113160280b公开了一种基于激光雷达的动态多目标跟踪方法,对低速和高速目标分别使用cv和无迹卡尔曼滤波(ukf)模型分类处理。该方法的分类策略依赖激光雷达提供的外部速度先验,在纯视觉检测场景中速度估计精度受检测框定位噪声影响严重。

5、第三类方案为光伏清扫机器人定位与板号计数。专利cn122099028a公开了一种清扫机器人定位方法,传感器设置于防风钩上感应光伏组件边框,基于边框感应信号计数与驱动轮转数信息确定位置。该方法依赖额外硬件传感器且边框感应信号受机械磨损影响。专利cn117369442a公开了一种光伏清扫设备定位方法,在每片光伏板上安装rfid电子标签,机器人读取标签卡号获得板号位置。该方法需为每片光伏板安装rfid标签,硬件部署成本高、维护工作量大。专利cn120014042a公开了一种光伏清洗机器人定位方法,采用视觉纹理识别与预设纹理库匹配定位。该方法依赖预建立的纹理库,对不同电站的适应性差且纹理匹配计算量大。

6、综合上述现有技术,存在以下核心缺陷:(1)检测网络的注意力机制未针对光伏板场景的特定空间结构设计,现有方案使用的eca、se、simam等通用注意力仅对通道间依赖建模,而光伏板场景存在独特的空间特征谱系需要结构化多分支协同建模;(2)运动模型无法兼顾稳定性与加速度感知能力,cv模型在加减速段存在系统性预测滞后,ca模型对检测噪声高度敏感;(3)定位与计数方法依赖额外硬件,现有方案普遍依赖rfid标签、防风钩传感器、预置特征标记或纹理库,无法基于已有视觉检测结果实现零增量成本的纯视觉定位与计数。

技术实现思路

1、本发明所要解决的技术主要问题是:如何以纯视觉方式实现光伏板列内鲁棒的序号定位与缺陷绑定,同时兼顾检测端的精度-效率平衡、跟踪端的稳定性-加速度感知平衡,以及计数端在无额外硬件条件下的容错能力。

2、具体包括以下子问题:

3、(1)如何在资源受限的嵌入式设备上实现针对光伏板空间结构的高精度、低延迟实时检测,克服现有通用注意力机制缺乏场景针对性和单一尺寸大核卷积覆盖范围有限的不足;

4、(2)如何基于已有视觉检测-跟踪结果在不增加额外硬件的前提下实现光伏板列内的板号递推计数,克服纯门控计数缺乏帧间容错的不足。

5、(3)如何在纯视觉检测条件下使多目标跟踪运动模型同时具备cv的稳定性和ca的加速度感知能力,克服cv在加减速段预测滞后和ca对检测噪声敏感的固有矛盾。

6、为解决上述技术问题,本发明提供了一种基于形状感知与协同滤波的光伏板列内定位方法及系统。该方法适用于搭载可见光与红外相机的轨道式或轮式光伏清扫巡检装置,巡检装置沿光伏板列逐板行进,实时采集光伏板表面图像,在线完成光伏板检测、时序跟踪、板号递推与缺陷绑定。

7、本发明的核心在于提出了"形状感知卷积注意力+解耦式速度-加速度协同滤波+纯视觉门控计数"的一体化时序处理链路:在检测端,以形状感知卷积注意力模块(shapeawareconv)的三路结构化分支替代通用自注意力机制,针对光伏板的空间特征谱系进行显式建模;在跟踪端,以速度-加速度协同滤波方法(va-ckf)的解耦式双滤波器架构实现cv主体预测与ca趋势前馈补偿的协同,ca滤波器不直接参与轨迹关联,配合三维稳定性判定与残差异常退出机制,在检测噪声增大时自动退回纯常速度预测;在计数端,将bytetrack轨迹关联与门控线穿越判定结合,配合三层轨迹id去重策略实现纯视觉板号递推;此外还提出基于检测框交并比的塌陷判据方法和边缘轻量检测与服务器精细分类的异构部署架构。

8、本发明方法包括以下步骤:

9、步骤1,视频与图像采集:搭载可见光与红外相机的轨道式或轮式光伏清扫巡检装置,巡检装置沿光伏板列逐板行进,采集光伏板表面图像与视频。

10、步骤2,光伏板检测:嵌入式边缘设备视觉处理板接收步骤1相机采集的原始视频帧后,将其输入分辨率压缩至预设尺寸后送入改进的yolov26n检测网络进行推理。

11、步骤3,多目标跟踪与运动预测:将步骤2输出的检测框送入bytetrack多目标跟踪器执行级联关联,第一阶段将高置信度检测框与已确认轨迹进行iou匈牙利匹配,第二阶段将未匹配轨迹与低置信度检测框二次关联以恢复遮挡轨迹。轨迹的运动预测采用本发明提出的速度-加速度协同滤波方法,替代bytetrack默认的纯cv卡尔曼滤波器。

12、步骤4,门控计数与板号递推:基于步骤3中va-ckf预测的轨迹中心y坐标执行门控穿越判定。

13、步骤5,缺陷检测与塌陷判据:机器人采集的原分辨率图像通过通信链路上传至后台服务器。服务器端部署yolov26m缺陷检测器,在输入分辨率为原始分辨率的条件下进行细粒度缺陷分类,将光伏板破碎缺陷按形态拆分为轻微裂纹、中度蛛网状破碎、严重块状缺失三个子类别,与灰尘覆盖、鸟粪污染共构成多类缺陷分类体系,以缩小每个子类的类内特征分布。同时利用光伏板区域检测框与rpi热异常区域检测框计算空间交并比iou。

14、步骤6,缺陷与板号绑定:通过同一帧或相邻帧的时间戳匹配的时序对齐和检测框iou匹配的空间匹配将服务器端的缺陷检测结果和塌陷判定结果与边缘端的板号递推结果关联,输出结构化的巡检报告。