融合自适应感受野与跨尺度特征交互的图像语义分割方法

本发明涉及小目标信息提取，尤其涉及融合自适应感受野与跨尺度特征交互的图像语义分割方法。

背景技术：

1、目前，指针式仪表凭借结构简单、抗干扰能力强、可靠性高等优势，仍在电力、化工、石油、制造业等工业场景中大规模部署，是工业现场参数监测的重要终端设备。随着工业自动化与智能制造的快速发展，人工巡检方式已难以满足大规模、高频率、高精度的监测需求，实现工业仪表的自动化、智能化读数与状态监测已成为必然趋势。在此背景下，基于计算机视觉的指针式仪表信息提取技术成为研究热点，其核心在于对仪表表盘内的指针、刻度等关键目标进行精准识别与定位。

2、然而，指针式仪表的指针和刻度属于典型的细长型小目标，二者像素总占比在整幅仪表图像中通常仅为1%-5%，目标形态纤细、特征占比极低，为精准语义分割带来极大挑战。现有语义分割方法在处理指针和刻度这类像素占比极小的细长目标时，仍存在诸多不足，主要体现在以下三个方面：

3、一是小目标特征提取能力不足。现有深层卷积神经网络在特征提取过程中，通过多层池化和步幅卷积不断降低特征图分辨率，导致浅层特征中的细粒度细节信息逐步丢失。对于指针、刻度这类像素占比极低的细长目标，其本身携带的特征信息本就有限，经多层下采样后极易被背景特征淹没，造成深层特征图中小目标语义信息缺失，难以支撑后续精准分割。

4、二是分割边界定位不准确、易出现断裂。现有主流语义分割模型（如deeplabv3+等）的解码器结构相对简单，深浅层特征融合机制不够充分，未能充分挖掘并利用浅层特征中丰富的边缘、纹理等细节信息来细化分割边界。对于指针、刻度这类具有连续细长形态的目标，边界信息的缺失会直接导致分割结果出现局部断裂、轮廓模糊等现象，严重影响后续读数计算的准确性。

5、三是正负样本极端不平衡导致模型偏向背景预测。由于指针和刻度的像素数量仅占整幅图像的1%-5%，前景与背景像素数量差异悬殊，属于典型的极端类别不平衡场景。传统交叉熵损失函数对各类样本权重均等，在处理该类问题时会被占比极高的背景样本主导，使模型倾向于将像素预测为背景类别，进一步加剧了指针、刻度目标的漏检问题，降低了模型对小目标的召回率。

技术实现思路

1、本发明的目的是提供融合自适应感受野与跨尺度特征交互的图像语义分割方法，解决上述技术问题。

2、为实现上述目的，本发明提供了融合自适应感受野与跨尺度特征交互的图像语义分割方法，包括以下步骤：

3、s1、获取指针式仪表图像数据集并进行标准化预处理，将处理完成的标准化数据集划分为训练数据、验证数据和测试数据；

4、s2、基于深度学习框架搭建改进deeplabv3+指针刻度语义分割网络模型；该网络模型包括编码器和解码器，其中，编码器采用轻量化efficientnetv2-s骨干网络提取stage2低级细节特征和stage4高级语义特征，并配置arf-aspp模块自适应感受野空洞空间金字塔池化模块对高级语义特征完成多尺度自适应特征增强；解码器采用csfa跨尺度特征对齐交互模块完成高低层特征空间对齐、双向注意力增强和残差融合，再经卷积细化、上采样及softmax激活输出像素级分割预测图；

5、s3、采用融合focal交叉熵损失、dice损失、边界损失的多约束复合损失函数，利用步骤s1划分得到的训练数据、验证数据完成改进deeplabv3+网络模型的迭代训练；

6、s4、将步骤s1划分得到的测试数据输入步骤s3训练完成的改进deeplabv3+网络模型，输出指针、刻度像素级语义分割掩码结果。

7、优选的，步骤s2所述的arf-aspp模块内置定向空洞卷积多尺度分支和动态权重预测分支以适配仪表细长线性目标。

8、优选的，步骤s2所述的csfa跨尺度特征对齐交互模块包含可变形空间对齐单元、双向交叉注意力交互单元和残差融合单元；其中，可变形空间对齐单元通过深度可分离卷积预测x、y方向像素偏移量、，将标准卷积原始采样坐标叠加预测得到的像素偏移量得到可变形采样坐标，使采样网格贴合细长线性目标形态，实现高层特征像素位置自适应校正，使stage2低级细节特征和stage4高级语义特征的指针刻度前景像素位置匹配；

9、双向交叉注意力交互单元分为通道注意力分支和空间注意力分支；通道注意力分支以对齐后的stage4高级语义特征生成通道权重，逐通道相乘过滤低级细节特征的背景无效通道：

10、；

11、其中，

12、；

13、；

14、式中，为经通道注意力过滤背景无效通道后的优化浅层特征；为stage2低级细节特征；为逐通道相乘运算；为通道注意力权重；为第通道的通道注意力权重；为sigmoid激活函数；、分别为第一层降维全连接权重矩阵和第二层升维全连接权重矩阵；为第个通道的全局平均池化特征向量；、分别为特征图的高度和宽度；为对齐后高层特征中第通道、第行、第列位置对应的像素值，且，为通道数；为relu激活函数；

15、空间注意力分支以stage2低级细节特征生成空间权重图，逐像素相乘强化对齐后高层特征的指针刻度前景区域响应：

16、；

17、其中，

18、；

19、；

20、；

21、；

22、式中，为经空间注意力强化前景区域后的优化高层特征；为单通道空间注意力权重图；为坐标处像素的空间注意力权重；为3×3标准卷积层；为通道拼接结果；为通道维度拼接运算；为stage2低级细节特征中第通道、第行、第列位置对应的像素值；为坐标处逐通道最大值；为逐像素跨通道平均特征图；为逐像素跨通道最大值特征图；

23、残差融合单元将通道注意力优化后的stage2低级细节特征、空间注意力优化后的stage4高级语义特征逐像素残差相加，输出精细融合特征：

24、；

25、式中，为双向交叉注意力交互单元输出的精细融合特征。

26、优选的，在步骤s3中，将步骤s1的训练数据输入步骤s2搭建完成的改进deeplabv3+网络，根据多约束复合损失函数得到的总损失反向传播更新网络全部参数，每轮训练完成后输入验证数据计算分割评价指标miou和f1-score，迭代至指标收敛完成模型训练；

27、其中，多约束复合损失函数表达式如下：

28、；

29、其中，

30、；

31、；

32、；

33、式中，为多约束复合损失函数总损失值；、、分别为focal交叉熵损失、dice损失、边界损失对应的固定平衡权重系数，且、、；、、分别为focal交叉熵损失函数、dice损失函数、边界损失函数；为单张输入仪表图像内全部像素总数量；为类别平衡因子；为网络预测当前像素属于其真实类别的概率值；为难样本聚焦因子；为第个像素对应的真实分割标签真值，前景像素取值1，背景像素取值0；为网络输出第个像素的预测分割概率；为数值稳定平滑系数；为仪表图像中第个像素到最近前景目标边缘像素的欧氏距离，且，、分别为第个像素在二维仪表图像上的横坐标、纵坐标，、分别为第个像素在二维仪表图像上的横坐标、纵坐标，为真实标签掩码中指针、刻度前景目标的全部边缘像素集合。

34、优选的，步骤s4具体包括以下步骤：

35、s41、将输入仪表图像送入搭建完成的改进deeplabv3+指针刻度语义分割网络模型的efficientnetv2-s中完成多级特征提取，输出stage2层级对应的1/4分辨率低级细节特征和stage4层级对应的1/16分辨率高级语义特征；

36、s42、将步骤s41输出的stage4层级对应的1/16分辨率高级语义特征输入arf-aspp模块完成多尺度自适应特征增强；

37、arf-aspp模块的定向空洞卷积多尺度分支设置空洞率分别为2、4、6、12四组定向空洞卷积，定向空洞卷积采样点沿线性径向排布以捕获指针刻度细长线性特征；动态权重预测分支以步骤s31输出的stage4层级对应的1/16分辨率高级语义特征为输入，经全局平均池化、两层全连接层输出四维权重向量，softmax归一化后为四组定向空洞卷积分支分配自适应权重；

38、s43、将四组加权后的定向空洞卷积特征进行通道拼接，再融合1×1卷积分支、全局池化分支特征，经1×1卷积降维处理，输出自适应多尺度优化后的增强高层特征；

39、s44、将步骤s43输出的增强高层特征输入解码器的csfa跨尺度特征对齐交互模块中，执行4倍双线性上采样，得到与步骤s21输出stage2层级对应的1/4分辨率低级细节特征分辨率一致的特征图，再将特征图和stage2层级对应的1/4分辨率低级细节特征一并送入csfa跨尺度特征对齐交互模块完成特征对齐与双向增强融合，得到精细融合特征；

40、s45、将精细融合特征送入连续两层3×3卷积层完成轮廓平滑细化，细化后特征执行4倍双线性上采样恢复至输入仪表图像原始分辨率；

41、s46、将步骤s45上采样后的特征送入softmax激活层，输出每一个像素属于背景、指针、刻度类别的预测概率，生成原始尺寸语义分割预测图。

42、因此，本发明采用上述融合自适应感受野与跨尺度特征交互的图像语义分割方法，具有的有益效果为：

43、1、轻量化efficientnetv2-s骨干网络替代原生xception，在完整保留指针、刻度浅层边缘细节特征的同时大幅降低模型参数量与推理耗时，满足工业现场边缘硬件部署需求，解决传统深层网络运算量大、小目标细节易丢失的问题。

44、2、arf-aspp自适应感受野空洞空间金字塔池化模块采用径向定向空洞卷积适配细长线性目标，搭配动态权重预测分支自适应匹配不同尺寸表盘，相比固定空洞率aspp可精准捕获长短不一、粗细有别的指针刻度多尺度特征，消除全局语义提取适配性差的缺陷。

45、3、csfa跨尺度特征对齐交互模块引入可变形卷积校正深浅层特征空间错位，配合双通道双向交叉注意力实现浅层细节、高层语义双向互相引导融合，有效解决指针、刻度分割轮廓断裂、边界模糊的问题，大幅提升细长目标分割完整性。

46、4、融合focal交叉熵、dice损失、边界损失的多约束复合损失函数，同步解决前景背景极端样本失衡、前景分割交并比偏低、边缘分割精度不足三大痛点，降低细刻度、短指针漏检率，提升模型对难分割细小目标的识别能力。

47、综上，本发明通过优化特征提取结构、增强深浅层特征融合、改进损失函数等手段，提升细长型小目标的分割精度与边界完整性，无需人工设计复杂图像预处理规则，端到端输出指针、刻度精准分割掩码，可直接支撑仪表自动读数、故障识别，提升工业巡检智能化、自动化水平，从而为工业仪表的智能化监测提供可靠的技术支撑。

48、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。