一种基于自适应特征感知和权重调整的长尾目标检测方法与流程

摘要: 本发明涉及肠胃目标检测,特别涉及一种基于自适应特征感知和权重调整的长尾目标检测方法。背景技术:1、近长尾分布在现实世界目标检测任务中普遍存在,是制约模型实用化性...
一种基于自适应特征感知和权重调整的长尾目标检测方法与流程

本发明涉及肠胃目标检测,特别涉及一种基于自适应特征感知和权重调整的长尾目标检测方法。

背景技术:

1、近长尾分布在现实世界目标检测任务中普遍存在,是制约模型实用化性能的关键挑战之一。受设备覆盖范围、目标出现频率等客观条件限制,实际采集的数据集往往呈现出明显的长尾特性,即少数类别(头部类)拥有大量样本,而多数类别(尾部类)样本极为稀缺。尽管深度神经网络在平衡数据集上表现出优异的检测性能,但在长尾分布数据上,模型容易过度偏向样本丰富的头部类别,导致对尾部类别的识别精度显著下降,严重制约了模型在实际开放环境中的适用性。

2、当前主流研究通常将这一性能瓶颈归因于类别间样本数量的不均衡,并由此衍生出一系列基于启发式平衡策略的方法。例如,bsgal通过生成合成样本增强尾部类数据多样性,cbl、cbqfl等则通过损失函数对尾部类赋予更高权重,试图以此调整模型的学习重心。

3、然而,深入观察发现,在长尾数据集中,检测精度与样本数量之间并非简单的线性关系:头部类中同样存在检测效果较差的类别,而尾部类中亦存在识别精度较高的类别。这一现象表明,长尾问题的本质远不止于表面上的数据分布不平衡,其更深层次的根源在于模型难以有效学习两类关键性难例:一类是由目标形变、遮挡、尺度变化等导致的“特征表征难例”,另一类是由样本稀缺或类间混淆引发的“分类决策难例”。现有平衡策略虽在一定程度上缓解了样本数量不平衡带来的偏见,却未能系统应对这些底层难例带来的表征与判别挑战。

4、因此,亟需一种能够从特征提取与分类决策协同入手、针对性增强关键难例学习能力的综合性解决方案,以提升模型在长尾场景下的整体检测性能与泛化能力。

技术实现思路

1、为了解决现有问题,本发明提供了一种基于自适应特征感知和权重调整的长尾目标检测方法,具体方案如下:

2、一种基于自适应特征感知和权重调整的长尾目标检测方法,包括以下步骤:

3、s1、构建可变形特征优化模块,通过双路径注意力层对输入特征图并行计算通道注意力权重和空间注意力权重,利用所述通道注意力权重和空间注意力权重对所述输入特征图进行增强,获得增强特征图;

4、将所述增强特征图输入可变形卷积,由所述可变形卷积基于所述增强特征图预测偏移量和调制因子,并利用所述偏移量和调制因子对所述增强特征图进行可变形卷积操作,得到优化特征图;

5、s2、设计动态难度感知类别重加权损失函数,计算各类别的类别频率因子和预测难度因子,将所述类别频率因子与所述预测难度因子相加,作为权重系数融入二元交叉熵损失函数,得到所述动态难度感知类别重加权损失函数;

6、其中,所述类别频率因子是基于类别在训练过程中的累积出现频率的逆频率所得到,所述预测难度因子是基于类别在当前迭代的预测概率与真实标签之间的余弦相似度并利用指数移动平均更新所得到;

7、s3、将所述可变形特征优化模块嵌入目标检测网络的主干网络中的瓶颈结构,并在训练阶段使用所述动态难度感知类别重加权损失函数替代所述目标检测网络的原有分类损失,形成最终的长尾目标检测模型。

8、优选地,步骤s1中所述双路径注意力层并行计算通道注意力权重和空间注意力权重,具体包括:

9、对输入特征图分别进行平均池化和最大池化,将两种池化结果分别依次通过降维全连接层、非线性激活函数和升维全连接层后求和,再经sigmoid函数得到所述通道注意力权重;

10、对输入特征图沿通道维度分别计算均值和最大值,得到两幅空间特征图并拼接,再通过标准卷积和sigmoid函数得到所述空间注意力权重;

11、步骤s1中所述利用所述通道注意力权重和空间注意力权重对所述输入特征图进行增强,为将所述通道注意力权重、所述空间注意力权重与所述输入特征图依次进行逐元素相乘。

12、优选地,s1中所述由所述可变形卷积基于所述增强特征图预测偏移量和调制因子,具体为:将所述增强特征图通过所述可变形卷积的内置卷积层,输出通道数的特征图,其中第一部分通道对应二维偏移量,剩余的第二部分通道经sigmoid函数生成调制因子。

13、优选地,s2中计算所述类别频率因子包括:

14、统计训练过程中各类别的累积出现次数,计算各类别累积出现频率;

15、基于各类别累积出现频率的倒数即逆频率并进行归一化,结合用于调节频率差异敏感程度的超参数,得到所述类别频率因子,使得累积出现频率越低的类别获得越高的基础权重。

16、优选地,s2中计算所述预测难度因子包括:

17、在当前迭代批次中,计算各类别的预测概率向量与真实标签向量之间的余弦相似度,作为当前批次的预测难度评估值;

18、采用指数移动平均方法,基于所述当前批次的预测难度评估值和历史预测难度,更新各类别的全局预测难度;

19、将更新后的全局预测难度取倒数并归一化,得到所述预测难度因子,使得当前预测难度越高的类别获得越高的权重。

20、优选地,s3中所述目标检测网络为yolo网络架构,所述瓶颈结构为yolo网络主干网络中c3或c2f模块的bottleneck结构;所述将所述可变形特征优化模块嵌入所述瓶颈结构,为使用所述可变形特征优化模块替换所述bottleneck结构中原有的卷积模块。

21、优选地,所述方法针对的两类关键难例包括:特征表征难例,源于目标的形变、遮挡或尺度变化导致标准卷积难以有效捕捉特征;分类决策难例,源于样本数量稀缺导致的稀有型难例,或因类间特征高度重叠、类内差异大导致的混淆型难例。

22、本发明还公开了一种电子设备和一种计算机可读存储介质。其中,一种电子设备包括存储器以及处理器,所述存储器用于存储支持处理器执行上述任一项所述长尾目标检测方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述任一项所述长尾目标检测方法的步骤。

23、本发明的有益效果在于:

24、本发明突破了传统方法仅围绕类别样本数量进行平衡的局限,从关键难例视角系统性解决长尾问题,实现了特征优化与损失调整的协同增强。且本发明提出的可变形特征优化模块,通过双路径注意力机制从通道和空间两个维度预先强化关键区域,再引导可变形卷积自适应地调整采样位置,显著增强了对几何形变目标的特征表达能力和对特征表征难例的检测鲁棒性。同时,本发明设计的动态难度感知类别重加权损失函数,同时融合类别频率静态先验和预测难度动态评估,使训练过程能够自适应地向分类决策难例倾斜,进一步提升了尾部类别及混淆类别的分类精度。

1.一种基于自适应特征感知和权重调整的长尾目标检测方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,步骤s1中所述双路径注意力层并行计算通道注意力权重和空间注意力权重,具体包括:

3.根据权利要求1所述的方法,其特征在于,s1中所述由所述可变形卷积基于所述增强特征图预测偏移量和调制因子,具体为:将所述增强特征图通过所述可变形卷积的内置卷积层,输出通道数的特征图,其中第一部分通道对应二维偏移量,剩余的第二部分通道经sigmoid函数生成调制因子。

4.根据权利要求1所述的方法,其特征在于,s2中计算所述类别频率因子包括:

5.根据权利要求1所述的方法,其特征在于,s2中计算所述预测难度因子包括:

6.根据权利要求1所述的方法,其特征在于:s3中所述目标检测网络为yolo网络架构,所述瓶颈结构为yolo网络主干网络中c3或c2f模块的bottleneck结构;所述将所述可变形特征优化模块嵌入所述瓶颈结构,为使用所述可变形特征优化模块替换所述bottleneck结构中原有的卷积模块。

7.根据权利要求1至6任一项所述的方法,其特征在于,所述方法针对的两类关键难例包括:特征表征难例,源于目标的形变、遮挡或尺度变化导致标准卷积难以有效捕捉特征;分类决策难例,源于样本数量稀缺导致的稀有型难例,或因类间特征高度重叠、类内差异大导致的混淆型难例。

8.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1至7任一项所述长尾目标检测方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1至7任一项所述长尾目标检测方法的步骤。