目标检测网络训练方法和目标检测网络

摘要: 本发明涉及计算机视觉,具体涉及一种目标检测网络训练方法和目标检测网络。背景技术:1、基于深度学习的目标检测技术在自动驾驶、具身智能机器人抓取、工业自动化视觉测量...
目标检测网络训练方法和目标检测网络

本发明涉及计算机视觉,具体涉及一种目标检测网络训练方法和目标检测网络。

背景技术:

1、基于深度学习的目标检测技术在自动驾驶、具身智能机器人抓取、工业自动化视觉测量等领域得到了广泛的应用。在这些高精度的应用场景中,视觉感知系统不仅需要识别出目标的类别,更需要输出能够精准卡位、严格与目标物理边缘相切的边界框(boundingbox)坐标,以便为后端的距离测算、三维位姿解算以及机械臂精密微操提供高质、可靠的输入。

2、当前主流的目标检测算法通常采用边界框回归分支来预测目标位置。边界框回归分支在训练时,通常将边界框视为孤立的一维标量坐标,并依赖于几何空间损失函数,例如交并比损失及其多种改进形式,包括glou、clou、dlou和mpdlou等。这些损失函数通过计算预测边界框与人工标注边界框之间的重叠面积、中心点距离或长宽比来构建优化目标,并据此进行梯度反向传播以更新网络参数。然而,这类几何损失函数的梯度计算完全局限于坐标空间,其反向传播路径不涉及输入图像的像素值。因此,网络底层的特征提取模块虽然能够捕捉图像中的边缘纹理信息,但这些信息无法通过回归分支的梯度流传递至坐标输出端,导致预测边界框在目标的真实物理边缘附近产生随机离散的像素级抖动。

3、部分检测网络在回归头的设计中引入了分布焦距损失,将边界框的回归问题转化为有限区间内的离散分类概率问题。这种表征方式将边界位置编码为离散的类别索引,网络输出的是离散化的概率分布。在前向传播的解码阶段,该类方法依赖离散类别组合来解码边界坐标,其输出分辨率受限于预设的离散区间粒度和特征图下采样步长。由于离散化表征机制切断了坐标回归向连续实数域演进的数学路径,网络难以在端到端训练框架内自发突破整数像素格栅的物理限制,难以实现真正连续的亚像素级坐标输出。

4、在数据标注层面,目标检测网络的训练依赖大量人工标注的边界框。当目标物体在图像中呈现倾斜透视轮廓、非线性边缘或运动模糊形态时,人工标注的矩形框与目标真实物理边缘之间存在随机的像素级偏差,通常为2至5个像素。现有的检测网络采用强监督损失函数直接拟合这些包含标注噪声的坐标标签,网络权重的更新会受到噪声梯度的干扰,导致回归分支输出的概率分布趋于发散,无法收敛到清晰锐利的边界特征。为了缓解这一问题,部分技术方案在检测网络基础上额外增设像素级实例分割头,利用分割掩膜提供精细的边缘监督信号。然而,增设分割头会显著增加网络的特征通道冗余度和参数量,提高了模型的训练和推理成本。

5、因此,如何在保持检测网络前向推理拓扑结构不变的前提下,使边界框回归分支能够利用图像中的物理边缘信息,实现连续亚像素级坐标输出,并在弱监督标注条件下抑制标签噪声的干扰,是本领域亟待解决的技术问题。

技术实现思路

1、针对现有技术中的不足,本发明提供一种目标检测网络训练方法和目标检测网络,通过外部辅助通路提取图像梯度场,结合连续期望解码输出亚像素坐标,并利用双线性采样建立跨域梯度连接,以物理梯度作为弱监督约束驱动网络权重更新,使训练后的网络能够输出与目标物理边缘对齐的亚像素级边界框。

2、为实现上述目的,本发明采取以下技术方案:

3、本发明提出一种目标检测网络训练方法,包括以下步骤:

4、s1、获取待训练图像及对应的标注边界框,将所述待训练图像输入主干检测网络,所述主干检测网络包括特征提取网络和边界框回归头,所述边界框回归头将目标边界框的各边界属性分别解耦为一维离散分类概率向量,对所述一维离散分类概率向量执行soft-argmax连续期望积分运算,得到各边界属性的亚像素级浮点坐标,根据所述亚像素级浮点坐标构建目标的预测边界框;

5、s2、采用固定权重的可微边缘算子对所述待训练图像进行卷积操作,生成对应的二维全局物理梯度幅值图;

6、s3、将所述预测边界框的各边界线段的亚像素级浮点坐标映射至二维全局物理梯度幅值图上,利用双线性插值采样算子提取各边界线段处的物理梯度响应值,根据所述物理梯度响应值计算边缘梯度对齐损失;

7、s4、根据所述一维离散分类概率向量计算方差连续性正则化损失;根据所述预测边界框与标注边界框计算几何空间损失;根据所述一维离散分类概率向量计算分布焦距损失;

8、s5、以所述边缘梯度对齐损失、方差连续性正则化损失、几何空间损失和分布焦距损失的联合损失函数作为优化目标,更新所述主干检测网络的参数。

9、进一步地,s1中,得到各边界属性的亚像素级浮点坐标的过程包括:

10、对于目标边界框的每一个边界属性,所述边界框回归头输出原始对数几率向量;

11、对所述原始对数几率向量执行softmax激活操作,得到一维离散分类概率向量;

12、预设一维空间度量矩阵,所述一维空间度量矩阵的元素为与一维离散分类概率向量的各维度一一对应的连续数值;

13、计算所述一维离散分类概率向量与一维空间度量矩阵的内积,得到当前边界属性在特征图尺度下的亚像素级相对偏移标量;

14、根据所述亚像素级相对偏移标量、当前检测层特征图的下采样步长和当前锚点的中心基准坐标,映射得到当前边界属性在原始输入图像空间下的亚像素级绝对浮点坐标。

15、进一步地,生成所述二维全局物理梯度幅值图的过程包括:

16、将所述待训练图像转换为单通道灰度特征图;

17、采用固定权重的sobel卷积核对所述单通道灰度特征图分别进行水平方向和垂直方向的卷积操作,得到水平梯度图和垂直梯度图;

18、根据所述水平梯度图和垂直梯度图计算基础梯度幅值图;

19、对所述基础梯度幅值图执行自适应最大值归一化处理,得到归一化梯度幅值图;

20、采用高斯平滑核对所述归一化梯度幅值图进行空间平滑卷积,得到所述二维全局物理梯度幅值图。

21、进一步地,提取各边界线段处的物理梯度响应值的过程包括:

22、对于所述预测边界框的每个边界线段,在归一化图像坐标系下沿该边界线段方向等间距选取n个采样点,n为大于等于2的正整数;

23、确定各采样点的浮点坐标;

24、将各采样点的浮点坐标映射至二维全局物理梯度幅值图的离散像素网格中,对于各采样点,确定该采样点周围邻近的四个整数像素格点,根据该采样点的浮点坐标相对于四个整数像素格点的水平方向亚像素偏置系数和垂直方向亚像素偏置系数,对四个整数像素格点处的梯度幅值进行双线性加权插值,得到该采样点处的物理梯度响应值;

25、根据各采样点处的物理梯度响应值,构建对应边界线段的物理梯度响应向量。

26、进一步地,计算所述边缘梯度对齐损失的过程包括:

27、计算所述预测边界框四个边界线段的物理梯度响应向量的平均值;

28、计算物理梯度响应向量的平均值的相反数,作为所述边缘梯度对

29、齐损失。

30、进一步地,所述方差连续性正则化损失的计算过程包括:

31、确定当前边界属性的亚像素级相对偏移标量;

32、对于当前边界属性对应的一维离散分类概率向量的每一维度,计算该维度索引值与所述亚像素级相对偏移标量之差的平方;

33、计算所述一维离散分类概率向量中各维度概率值与对应平方值的乘积之和,得到当前边界属性的方差贡献值;

34、对所有边界属性的方差贡献值求平均,得到所述方差连续性正则化损失。

35、进一步地,所述几何空间损失为clou损失,所述分布焦距损失为distributionfocal loss。

36、进一步地,上述方法还包括:

37、在所述主干检测网络训练收敛后,将外部辅助约束通路从计算图中切除,所述外部辅助约束通路包括采用固定权重的可微边缘算子对所述待训练图像进行卷积操作以生成所述二维全局物理梯度幅值图的通路、以及利用双线性插值采样算子提取各个边界线段处的物理梯度响应值的通路;

38、将切除所述外部辅助约束通路后的主干检测网络作为推理阶段的目标检测网络导出。

39、本发明还提出一种目标检测网络,采用上述目标检测网络训练方法训练得到。

40、与现有技术相比,本发明的有益效果为:

41、(1)本发明将目标边界框的各边界属性分别解耦为一维离散分类概率向量,引入soft-argmax连续期望积分算子,通过求解一维离散分类概率向量与一维空间度量矩阵的内积,将离散类别组合转化为连续浮点数映射,解码出亚像素级相对偏移标量。常规技术采用对离散概率分布取峰值位置或加权取整的方式解码边界坐标,输出值受限于离散格子的整数粒度量级,无法突破特征图下采样步长的物理限制。本发明基于期望运算的数学性质,使边界坐标的解码值在离散区间内连续取值,理论分辨率达到浮点数表示精度,克服了离散化表征机制对坐标回归精度的结构性限制,使网络在端到端训练框架内具备亚像素级表征能力。

42、(2)本发明将预测边界框的各边界线段亚像素级浮点坐标映射至二维全局物理梯度幅值图上,利用双线性插值采样算子提取各边界线段处的物理梯度响应值,以最大化预测边界线段上的梯度幅值均值为目标构建边缘梯度对齐损失,并将边缘梯度对齐损失加入联合损失函数执行反向传播。常规几何空间损失的梯度计算局限于坐标空间,其反向传播路径不涉及输入图像的像素值,导致网络底层的边缘纹理信息无法传递至坐标输出端,预测边界框在目标的真实物理边缘周围产生随机离散的像素抖动。本发明通过双线性插值采样算子建立坐标域到像素域的可微计算图,双线性插值采样算子关于输入坐标具有连续可导性,使坐标域的浮点数输出能够在反向传播阶段直接接收来自像素域物理边缘的梯度流。该机制使网络在训练更新时受到图像真实边缘极值场的直接约束,驱动回归头卷积核权重向物理边缘特征敏感的区间演进,解决了传统几何损失函数梯度流局限于坐标空间而割裂图像特征的问题。

43、(3)本发明构建由几何空间损失、分布焦距损失、边缘梯度对齐损失和方差连续性正则化损失联合构成的损失函数,以联合损失函数作为优化目标更新主干检测网络参数。常规检测网络采用强监督损失函数直接拟合包含随机偏差的人工标注坐标,网络权重更新受到标注噪声梯度的污染,导致回归分支输出的概率分布趋于发散,无法收敛到清晰锐利的边界特征。本发明引入的边缘梯度对齐损失源自图像自身的物理边缘信息,与标注边界框的随机噪声偏差在梯度信号上具有不同的分布特性。网络在反向传播过程中同时接收来自标注边界框的监督信号和来自图像物理梯度场的约束信号,梯度流通过联合损失函数重塑网络参数。由于随机标注噪声在图像梯度场中没有对应的极值结构,边缘梯度对齐损失所提供的梯度信号与标注噪声中的随机分量在统计意义上可分离,网络以此规避对包含随机噪声的标注标签的绝对拟合偏置。方差连续性正则化损失通过计算一维分类概率向量围绕亚像素期望解码值的离散方差,对远离中心期望点的概率进行惩罚,促使概率分布向期望值集中形成单峰锐化,同时允许相邻离散格子保留概率质量以维持亚像素组合表达能力,避免概率分布完全向独热编码坍缩。该机制使模型在训练时不依赖精细的像素级掩膜监督,即可自发向底层图像物理边缘的极值点收敛,实现了弱监督条件下边界预测的自发性纠偏。

44、(4)本发明在训练阶段维持主干检测网络内部拓扑不变,仅在外部并联一条独立的辅助约束通路,该辅助约束通路采用固定权重的sobel卷积核和高斯平滑核对原始输入图像进行可微的数学运算,生成二维全局物理梯度幅值图,不包含任何可学习的网络参数。在网络训练收敛后的模型导出阶段,直接剥离并切除所述外部辅助约束通路、双线性插值采样模块以及联合损失函数计算模块。由于辅助约束通路和采样损失计算模块仅在训练阶段的反向传播梯度流中起约束驱动作用,其功能在训练完成后已被固化到主干检测网络的权重中,推理阶段无需保留该通路。经过拓扑解耦后,固化导出的检测模型在结构上与原生检测网络完全同构。推理阶段的二维目标图像仅在主干检测通路中执行单向的前向传播,无需运行额外的边缘检测与图像采样开销。常规检测网络为提高边界回归精度需要额外挂载像素级实例分割头,推理阶段保留分割头会增加网络参数量和前向计算延时。本发明通过在训练阶段注入物理梯度约束并在推理阶段完全剪除辅助通路,使前向推理网络在不增加额外参数量与前向计算延时的前提下,隐式继承对物体物理边缘的亚像素连续回归能力。