基于增量学习的目标检测方法及自动驾驶方法

1.本发明属于计算机图像处理领域，具体涉及一种基于增量学习的目标检测方法及自动驾驶方法。


背景技术：

2.随着经济技术的发展和人们生活水平的提高，目标检测技术已经广泛应用于人们生产和生活当中，给人们的生产和生活带来了无尽的便利。
3.目前的目标检测方法往往采用深度学习模型，其学习方式主要是通过随机梯度下降，拟合给定数据的分布。这种形式使得深度学习模型的性能表现严重依赖于该阶段训练样本的数量，且每次的训练过程是覆盖式而非增量式的。在已经训练好的模型上，用新的数据继续训练会产生灾难性遗忘(catastrophic forgetting)的问题。这意味着模型一旦训练完成就很难再更改，同时模型也不容易从之前训练学习到的知识中获益。
4.增量学习是改善以上问题的方式之一。在增量学习目标检测任务中，如何学习在识别新目标的同时维持模型识别旧目标的能力，将是核心的问题。当前常用的方法主要是蒸馏损失。当前的研究主要是将基于知识蒸馏的增量学习方法应用到了目标检测上；它在训练模型学习新任务的时候，会通过损失让新模型同时学习旧模型的输出，从而避免其模型遗忘旧任务。但这种做法仍然无法避免遗忘问题，且面临着两难困境——增加的损失会限制模型学习新任务的能力，学习的新任务越多遗忘得就会越来越严重以至于模型性能严重下降。


技术实现要素：

5.本发明的目的之一在于提供一种准确性高、可靠性高且实用性好的基于增量学习的目标检测方法。
6.本发明的目的之二在于提供一种包括了所述基于增量学习的目标检测方法的自动驾驶方法。
7.本发明提供的这种基于增量学习的目标检测方法，包括如下步骤：
8.s1.获取原始目标检测初始模型；
9.s2.对步骤s1获取的原始目标检测初始模型的特征提取器部分参数进行预训练，得到通用的目标检测特征提取器；
10.s3.采用检测头和参数掩码对步骤s2得到的目标检测特征提取器进行结构扩展，从而得到扩展目标检测模型：
11.s3.1.为步骤s2得到的目标检测特征提取器中的预训练参数添加参数掩码和一个独立的检测头，从而得到扩展检测模型；
12.s3.2.将步骤s3.1得到的扩展检测模型，在训练数据集上进行前向传播，计算误差损失函数；
13.s3.3.更新检测头参数和参数掩码的值；
14.s3.4重复步骤s3.2和s3.3直至设定条件，完成训练并保存参数；
15.s3.5.检测时，检测头在通过参数掩码过滤后的特征上进行对应的目标检测；
16.s4.采用步骤s3得到的扩展目标检测模型，进行实际的目标检测。
17.步骤s1所述的原始目标检测初始模型，具体为能够将结构抽象为p(x)＝d(f(.))形式的基于神经网络的目标检测模型；其中f(.)为特征提取器，用于将图像映射成特定维度的特征张量；d(.)为检测头，用于将特征解码为设定数量的目标框及对应的所属类别。
18.所述的原始目标检测初始模型，具体包括faster-rcnn模型，yolo模型和swin-transformer模型。
19.步骤s2所述的对步骤s1获取的原始目标检测初始模型的特征提取器部分参数进行预训练，具体为将原始目标检测初始模型在目标域数据集上进行无监督学习得到预训练模型，或者将原始目标检测初始模型直接通过imagenet数据集上进行训练得到预训练模型，或者直接获取公开的预训练模型；最终得到预训练模型的公共参数。
20.步骤s3.1所述的为步骤s2得到的目标检测特征提取器中的预训练参数添加参数掩码和一个独立的检测头，具体包括如下步骤：
21.a.根据步骤s1获取的原始目标检测初始模型，添加对应的检测头；
22.b.用掩码卷积代替步骤s2得到的目标检测特征提取器中的卷积层，用掩码线性层代替步骤s2得到的目标检测特征提取器中的线性层；掩码层为步骤s2得到的目标检测特征提取器中第j层的第i个参数w
ji
添加了一个浮点数掩码开关
23.c.引入设定的超参数θ作为掩码的阈值，并采用如下算式计算二值化掩码：
[0024][0025]
式中为二值化掩码；
[0026]
d.前向传播时，采用如下算式计算代替后模型的参数w'：
[0027][0028]
式中w为步骤s2得到的目标检测特征提取器中被掩码代替过的所有参数；为步骤c得到的目标检测特征提取器中被掩码代替过的所有参数所对应的二值化掩码；
⊙
为逐个元素点乘运算。
[0029]
步骤s3.2所述的在训练数据集上进行前向传播，计算误差损失函数，具体包括如下步骤：
[0030]
本次任务的图片数据集i＝{i1,i2,...,ii,...,in}以及对应的标注集l＝{l1,l2,,,.li,...,ln}，其中ii∈r3×h×w，n为图片数据集中的图片数量，h为图片的高，w为图片的宽，li为图片ii的对应的标注结果且li＝{(xi,yi,wi,hi,ci)}，xi为预测框横坐标，yi为预测框纵坐标，wi为预测框宽度，hi为预测框高度，ci为预测框分类；
[0031]
前向传播中，模型对图片ii计算预测得到其中为预测的预测框横坐标，为预测的
预测框纵坐标，为预测的预测框宽度，为预测的预测框高度，为预测的预测框分类；
[0032]
对未知标签匹配上的框，作为负样本处理；
[0033]
对匹配的预测框，采用如下算式计算损失函数loss：
[0034][0035]
式中l
bos
()为框回归损失函数，l
cls
()为框分类损失函数。
[0036]
步骤s3.3所述的更新检测头参数和参数掩码的值，具体包括如下步骤：
[0037]
采用神经网络训练方法更新检测头的参数；
[0038]
采样掩码梯度对参数掩码进行更新；采用如下算式计算掩码梯度：
[0039][0040]
式中为掩码梯度；l1为损失函数回传的梯度；m
ji
为第i层的第j个参数对应的掩码；δ为求导操作；y
in
为第i层的输出；w
ji
为第i层的第j个参数；x
in
为第i层的输入。
[0041]
本发明还公开了一种包括了所述基于增量学习的目标检测方法的自动驾驶方法，具体包括如下步骤：
[0042]
s1.实时获取待控制车辆周围的环境图像信息；
[0043]
s2.采用上述的基于增量学习的目标检测方法对步骤s1获取的环境图像信息进行实时目标检测和增量训练；
[0044]
s3.根据步骤s2获取的实时目标检测结果，实时识别道路信息，并控制车辆进行自动驾驶；同时实时更新模型中的参数掩码和检测头。
[0045]
本发明提供的这种基于增量学习的目标检测方法及自动驾驶方法，创新性的提出了一种新的增量学习目标检测方法；通过检测头技术和掩码技术的创新性加入，不仅实现了增量学习目标检测，而且准确性高、可靠性高且实用性好。
附图说明
[0046]
图1为本发明的目标检测方法的方法流程示意图。
[0047]
图2为本发明的自动驾驶方法的方法流程示意图。
具体实施方式
[0048]
如图1所示为本发明的目标检测方法的方法流程示意图：本发明提供的这种基于增量学习的目标检测方法，包括如下步骤：
[0049]
s1.获取原始目标检测初始模型；具体为能够将结构抽象为p(x)＝d(f(.))形式的基于神经网络的目标检测模型；其中f(.)为特征提取器，用于将图像映射成特定维度的特征张量；d(.)为检测头，用于将特征解码为设定数量的目标框及对应的所属类别；
[0050]
原始目标检测初始模型具体包括faster-rcnn模型，yolo模型和swin-transformer模型等模型；
[0051]
s2.对步骤s1获取的原始目标检测初始模型的特征提取器部分参数进行预训练，
得到通用的目标检测特征提取器；具体为将原始目标检测初始模型在目标域数据集上进行无监督学习得到预训练模型，或者将原始目标检测初始模型直接通过imagenet数据集上进行训练得到预训练模型，或者直接获取公开的预训练模型；最终得到预训练模型的公共参数；
[0052]
s3.采用检测头和参数掩码对步骤s2得到的目标检测特征提取器进行结构扩展，从而得到扩展目标检测模型：
[0053]
s3.1.为步骤s2得到的目标检测特征提取器中的预训练参数添加参数掩码和一个独立的检测头，从而得到扩展检测模型；具体包括如下步骤：
[0054]
a.根据步骤s1获取的原始目标检测初始模型，添加对应的检测头；
[0055]
b.用掩码卷积代替步骤s2得到的目标检测特征提取器中的卷积层，用掩码线性层代替步骤s2得到的目标检测特征提取器中的线性层；掩码层为步骤s2得到的目标检测特征提取器中第j层的第i个参数w
ji
添加了一个浮点数掩码开关
[0056]
c.引入设定的超参数θ作为掩码的阈值，并采用如下算式计算二值化掩码：
[0057][0058]
式中为二值化掩码；
[0059]
d.前向传播时，采用如下算式计算代替后模型的参数w'：
[0060][0061]
式中w为步骤s2得到的目标检测特征提取器中被掩码代替过的所有参数；为步骤c得到的目标检测特征提取器中被掩码代替过的所有参数所对应的二值化掩码；
⊙
为逐个元素点乘运算；
[0062]
s3.2.将步骤s3.1得到的扩展检测模型，在训练数据集上进行前向传播，计算误差损失函数；具体包括如下步骤：
[0063]
本次任务的图片数据集i＝{i1,i2,...,ii,...,in}以及对应的标注集l＝{l1,l2,,,.li,...,ln}，其中ii∈r3×h×w，n为图片数据集中的图片数量，h为图片的高，w为图片的宽，li为图片ii的对应的标注结果且li＝{(xi,yi,wi,hi,ci)}，xi为预测框横坐标，yi为预测框纵坐标，wi为预测框宽度，hi为预测框高度，ci为预测框分类；
[0064]
前向传播中，模型对图片ii计算预测得到其中为预测的预测框横坐标，为预测的预测框纵坐标，为预测的预测框宽度，为预测的预测框高度，为预测的预测框分类；
[0065]
对未知标签匹配上的框，作为负样本处理；
[0066]
对匹配(重合度大于70％)的预测框，采用如下算式计算损失函数loss：
[0067]
average precision at 0.5iou)为评价指标。
[0084]
实验结果见表2，以19 1为例，step1表示在包含1-19类标注的数据集上进行训练。step2表示在1-19类数据集训练的基础上，用第20类的数据集训练。最优实验结果已被加粗。
[0085]
表2目标检测增量学习标准协议上的结果示意表
[0086][0087]
可以发现本发明方法在大多数情况下性能都能显著高于之前的方法，而且成功地避免了遗忘问题，参数隔离让不同增量步任务之间产生的干扰减少。随着增量任务的增多，本发明方法表现出的性能会越显现出优势。
[0088]
此外，还为掩码的添加进行了进一步的消融实验，结果如表3所示：
[0089]
表3目标检测增量学习标准协议上的结果示意表
[0090][0091]
由于imagenet预训练方法的图片都是自然图像，可能并不能适用于如医学、工业检测的数据集。有时候需要在目标域数据集上通过预训练方法获得初始参数，从结果可以看出，在这样的限制下本发明方法结果仍然能表现出一定优势。同时结果还显示了添加参数掩码的数量和参数量的关系，本发明方法的结果在好于为每个检测任务单独训练一个模型的同时，还省用了将近50％的参数。这部分是因为参数掩码的正则化效应。
[0092]
本发明还公开了一种包括了所述基于增量学习的目标检测方法的自动驾驶方法，
具体包括如下步骤：
[0093]
s1.实时获取待控制车辆周围的环境图像信息；
[0094]
s2.采用上述的基于增量学习的目标检测方法对步骤s1获取的环境图像信息进行实时目标检测和增量训练；
[0095]
s3.根据步骤s2获取的实时目标检测结果，实时识别道路信息，并控制车辆进行自动驾驶；同时实时更新模型中的参数掩码和检测头。