一种基于SAM掩码先验的三级级联聚焦小目标检测方法与流程

摘要: 本发明属于图片处理,尤其涉及一种基于sam掩码先验的三级级联聚焦小目标检测方法。背景技术:1、随着配电网规模不断扩大,保险销子、线夹绝缘罩、螺栓等小目标部件的状...
一种基于SAM掩码先验的三级级联聚焦小目标检测方法与流程

本发明属于图片处理,尤其涉及一种基于sam掩码先验的三级级联聚焦小目标检测方法。

背景技术:

1、随着配电网规模不断扩大,保险销子、线夹绝缘罩、螺栓等小目标部件的状态直接关系到电网运行安全。传统人工巡检效率低,无人机巡检逐渐成为重要手段,但现有基于深度学习的无人机巡检小目标检测方法仍存在以下技术问题。

2、现有方法多通过改进yolo系列网络结构来提升小目标特征表达能力,但仍局限于网络结构本身,未从根本上解决小目标空间定位与特征表达的解耦问题;现有稀疏掩码的生成仅依据特征激活值或简单显著性判定,缺乏对目标轮廓、曲率等空间形状信息的利用,对于特征响应微弱的小目标容易直接过滤,导致漏检,sam仅被用作分割后处理或辅助标注手段,未能成为驱动检测流程的空间先验。

技术实现思路

1、本发明的目的是提供一种基于sam掩码先验的三级级联聚焦小目标检测方法,解决了使小目标检测过程中目标区域确定、特征采样方式选择和计算位置确定三个环节共用同一空间先验,保证各模块生成的空间约束对齐的技术问题。

2、为实现上述目的,本发明采用如下技术方案:

3、一种基于sam掩码先验的三级级联聚焦小目标检测方法,包括如下步骤:

4、步骤s1:对输入的巡检图像进行多尺度基础特征提取,获得浅层结构特征、深层语义特征及多尺度特征集合;

5、步骤s2:对巡检图像进行推理获得候选掩码集合,并将候选掩码集合转换为包含轮廓概率场、边界曲率场和结构紧凑度场的连续形状场;所述连续形状场作为后续步骤s3目标空间聚焦、s4特征空间聚焦和s5计算空间聚焦的唯一空间驱动源;

6、步骤s3:根据连续形状场中的轮廓概率场和边界曲率场生成目标空间权重,利用阈值和连通域分析获得候选目标区域,并利用轮廓概率场的梯度变化对候选目标区域的边界进行修正,根据候选目标区域的可信度确定感兴趣区域的扩展范围;

7、步骤s4:根据连续形状场中的边界曲率场和结构紧凑度场对特征空间进行自适应patch划分,得到patch区域;根据patch区域的形状复杂度确定特征尺度,利用连续形状场生成形状注意力,并对尺度特征进行跨尺度形状约束传播;

8、步骤s5:根据连续形状场生成计算空间权重,利用阈值处理获得稀疏计算掩码,并将稀疏计算掩码映射至多尺度特征层,在稀疏计算掩码限定的计算空间内执行子流形稀疏卷积,获得小目标检测结果;

9、步骤s6:根据小目标检测结果提取检测可靠性指标,利用可信度门控判断,仅允许可信检测结果在对应检测区域内更新局部形状可靠性,并将更新后的局部形状可靠性反馈至步骤s3,重新执行步骤s3至步骤s5,直至满足停止条件后输出最终检测结果;所述步骤s6仅在检测结果通过可信度门控后,才以局部形状可靠性形式反向修正步骤s3的roi扩展量、步骤s4的特征尺度选择和步骤s5的稀疏计算掩码,形成闭环依赖链。

10、优选的,在执行步骤1时,对输入巡检图像进行多尺度基础特征提取,获得浅层结构特征、深层语义特征和由特征金字塔网络生成的多尺度特征集合c3;c3={p2、p3、p4、p5};其中,p2、p3、p4、p5分别对应不同空间分辨率的特征层,p2具有最高空间分辨率,p5具有最低空间分辨率。

11、优选的,在执行步骤2时,具体包括如下步骤:

12、步骤s2-1:将输入的巡检图像作为原始图像;将原始图像输入至sam图像编码器,利用sam图像编码器中的sam自动掩码生成器生成候选掩码集合,剔除像素面积小于100的掩码和面积超过原始图像1/3的掩码,获得候选掩码集合;

13、步骤s2-2:针对候选掩码集合中的各候选掩码提取轮廓,对轮廓像素进行高斯扩散形成连续的轮廓概率场pcontour(x,y);

14、步骤s2-3:对各候选掩码的轮廓像素进行排序,采用三次样条曲线对轮廓点序列进行拟合,获得轮廓参数曲线的一阶导数和二阶导数,并根据所述一阶导数和二阶导数计算轮廓局部曲率,对非轮廓位置赋予距离最近轮廓像素对应的曲率值,进行归一化处理后,获得边界曲率场κ(x,y);

15、步骤s2-4:计算各候选掩码的结构紧凑度ccompact:ccompact=4×π×a/l2;其中,a为候选掩码面积,l为候选掩码周长,将结构紧凑度ccompact赋予对应的候选掩码的内部像素,对候选掩码重叠区域取最大结构紧凑度,获得结构紧凑度场ccompact(x,y);

16、步骤s2-5:利用轮廓概率场pcontour(x,y)、边界曲率场κ(x,y)和结构紧凑度场ccompact(x,y)构建连续形状场c4:c4={pcontour(x,y),κ(x,y),ccompact(x,y)};其中,三个场的空间分辨率与原始图像一致。

17、优选的,在执行步骤s3时,具体包括如下步骤:

18、步骤s3-1:根据轮廓概率场和边界曲率场生成目标空间权重aroi(x,y):aroi(x,y)=pcontour(x,y)×[1+λ1×κ(x,y)];其中,λ1为计算目标空间权重时的曲率增强系数,λ1>0;pcontour(x,y)为轮廓概率场;κ(x,y)为边界曲率场;

19、步骤s3-2:设置目标空间阈值τroi,对目标空间权重aroi(x,y)进行阈值处理,并对获得的激活区域执行连通域分析,得到多个候选目标区域;

20、步骤s3-3:针对各候选目标区域计算最小外接矩形、区域面积、平均曲率和平均结构紧凑度,并利用轮廓概率场pcontour(x,y)的梯度变化对候选目标区域边界进行修正,使感兴趣区域roi边界向轮廓概率发生位置移动;

21、步骤s3-4:根据候选目标区域内的轮廓概率稳定程度、曲率连续程度和结构紧凑度确定形状可靠性sri,并根据形状可靠性sri确定感兴趣区域roi的扩展量δi:δi=k0×(1-sri),其中,k0为基础扩展尺寸;

22、根据扩展量对候选目标区域进行四边等距扩展,得到扩展后的矩形的感兴趣区域roi,其矩形参数roii满足:roii=(xi-δi,yi-δi,wi+2×δi,hi+2×δi);其中,xi和yi为第i个候选目标区域的左上角坐标,wi、hi分别为第i个候选目标区域的宽度、高度。

23、优选的,在执行步骤4时,具体包括如下步骤:

24、步骤s4-1:对原始图像建立基础粗网格,并针对基础粗网格内与候选掩码区域存在空间交叠的网格区域分别计算平均曲率κavg和平均结构紧凑度cavg;

25、步骤s4-2:根据平均曲率κavg和平均结构紧凑度cavg计算patch细分密度dpatch:dpatch=η1×κavg+η2×(1-cavg);其中,η1+η2=1;根据patch细分密度对基础粗网格进行细分;根据patch细分密度对基础粗网格进行细分;

26、步骤s4-3:以轮廓概率场pcontour(x,y)作为patch边界约束,当patch边界穿过预设轮廓等值线时,对patch边界进行局部移动,使patch边界沿目标轮廓分布;

27、步骤s4-4:根据连续形状场生成形状注意力ashape(x,y):ashape(x,y)=pcontour(x,y)×[1+λ2×κ(x,y)];其中,λ2为计算形状注意力时的曲率增强系数;λ2>0;将ashape(x,y)进行归一化处理;

28、步骤s4-5:根据各patch区域的形状复杂度,从步骤s1获得的多尺度特征集合c3中选择对应尺度的特征层;

29、步骤s4-6:将形状注意力ashape(x,y)按照所选择的特征层的空间分辨率进行下采样,获得对应尺度下的形状注意力图;

30、利用形状注意力图对对应的尺度特征进行逐位置加权约束和跨尺度传播,得到更新后的多尺度特征集合,即跨尺度形状c8:c8={p2',p3',p4',p5'};其中,p2'、p3'、p4'、p5'分别为经过形状注意力约束后的p2特征图、p3特征图、p4特征图、p5特征图。

31、优选的,在执行步骤5时,具体包括如下步骤:

32、步骤s5-1:根据连续形状场生成计算空间权重asparse(x,y):

33、asparse(x,y)=pcontour(x,y)×[1+λ3×κ(x,y)+λ4×ccompact(x,y)],其中,λ3为计算空间权重的曲率增强系数,λ3>0,λ4为结构紧凑度增强系数,λ4≥0;pcontour(x,y)为轮廓概率场;κ(x,y)为边界曲率场;ccompact(x,y)为结构紧凑度场;

34、步骤s5-2:对计算空间权重asparse(x,y)进行归一化,并设置稀疏计算阈值τsparse,将asparse(x,y)>τsparse的位置标记为激活计算位置,形成原始稀疏计算掩码,并通过形态学闭运算消除目标结构内部的孤立孔洞;

35、步骤s5-3:将原始稀疏计算掩码按照对应的特征层的空间尺度分别映射至p2特征层、p3特征层、p4特征层和p5特征层,获得多尺度稀疏计算域c9:c9={m2sparse,m3sparse,m4sparse,m5sparse};其中,m2sparse、m3sparse、m4sparse、m5sparse分别为p2特征层、p3特征层、p4特征层、p5特征层分别对应的稀疏计算掩码,用于决定执行稀疏卷积的位置;

36、步骤s5-4:将步骤s4获得的跨尺度形状一致特征c8与相应的多尺度稀疏计算域c9共同输入子流形稀疏卷积网络,仅在稀疏计算域的激活位置执行卷积计算,获得稀疏检测特征;

37、步骤s5-5:将稀疏检测特征输入检测头进行分类和边界框回归,经边界框解码及非极大值抑制处理,获得初始检测结果,即小目标检测结果。

38、优选的,在执行步骤6时,具体包括如下步骤:

39、步骤s6-1:针对步骤5得到的小目标检测结果di,获取分类置信度cc、形状定位一致度cl和轮廓匹配度cm,并计算检测可靠性f(di):

40、f(di)=wc×cc+wl×cl+wm×cm;其中,wc、wl、wm均为权重,wc+wl+wm=1;i表示小目标检测结果的索引;

41、步骤s6-2:设置检测可信度阈值tc,设定gi为第i个目标是否通过可信度门控:当f(di)>tc时,令gi=1,否则令gi=0,仅当gi=1时允许对应的小目标检测结果di参与局部形状可靠性更新;

42、步骤s6-3:定义小目标检测结果di对应的检测区域bi(x,y),利用检测可靠性f(di)更新检测区域内的局部形状可靠性s'(x,y):si'(x,y)=min[1,si(x,y)+η×f(di)×gi×bi(x,y)];其中,η为局部形状可靠性更新系数,0<η<1,用于控制检测反馈对形状可靠性的修正幅度;

43、步骤s6-4:对更新后的局部形状可靠性si'(x,y),在第i个检测区域bi内计算平均局部形状可靠性savgi,并根据savgi重新确定第i个目标的roi扩展量:δi'=k0×(1-savgi);其中,δi'为第i个目标反馈更新后的roi扩展量;将roi扩展量δi'反馈至步骤s3,并根据δi'重新确定第i个候选目标区域对应的roi范围;

44、步骤s6-5:根据更新后的局部形状可靠性重新确定步骤s4中的特征尺度,并调整步骤s5中的稀疏计算掩码,使可靠性提高区域减少高分辨率特征采样和非必要计算位置,可靠性降低区域保持或扩大原有特征采样及计算范围;

45、步骤s6-6:当检测结果的分类置信度和形状定位一致度均满足预设停止阈值时停止迭代,否则重新执行步骤s3至步骤s6,迭代次数不超过预设最大迭代次数。

46、优选的,所述基础粗网格为64×64像素;当patch细分密度dpatch>0.7时,将基础网格划分为4×4子块;当0.3<dpatch≤0.7时,划分为2×2子块;当dpatch≤0.3时,保持基础网格;所述形态学闭运算采用3×3结构元素。

47、优选的,所述基础扩展尺寸k0取值为10~100像素。

48、本发明的一种基于sam掩码先验的三级级联聚焦小目标检测方法,解决了使小目标检测过程中目标区域确定、特征采样方式选择和计算位置确定三个环节共用同一空间先验,保证各模块生成的空间约束对齐的技术问题,通过以连续形状场为统一空间驱动源,使roi、patch划分、注意力分配和稀疏计算域具有共同的空间来源,各级空间约束保持一致,避免了传统方法中各模块独立生成空间约束导致的空间不对齐问题,通过形状可靠性驱动的roi自适应扩展,使roi能够根据目标形状的可信程度动态调整保护范围,在保证计算效率的同时避免小目标边缘被过早裁切,通过检测可信度门控的闭环反馈机制,使检测结果能够反向修正前端空间计算域,实现已确认区域逐步收缩计算范围、不确定区域保持计算资源的自适应优化,通过将sam离散掩码转换为连续形状场,使sam的轮廓、曲率和紧凑度信息贯穿检测全流程,通过三级空间级联实现空间范围逐级收缩,从全图空间收缩至候选目标空间,再收缩至目标特征空间,最终收缩至有效计算空间,在保证检测精度的同时压缩了计算量。