一种基于增量学习的目标检测方法与流程

1.本发明涉及一种深度网络模型的增量学习领域，尤其涉及一种基于增量学习的目标检测方法。


背景技术：

2.目标检测算法在现实生活中已经有广泛的应用，在特定场景中，目标检测算法的准确率也逐渐提升至快饱和的状态。然而，现实生活中，随着新需求的提出和产品的种类增加，目标检测算法需要判断的类别也随之增加。若重新建立一个新的神经网络模型，或在一个已有的目标检测模型中添加新的可检测类别，并使用新类别的数据集直接训练已有网络，则训练出的模型会很大程度地丧失在旧类别上的检测能力。基于此，研究人员提出了增量学习，使得一个学习器从新数据中获得新知识的同时，能够保留从之前数据中已经学习得到的旧知识。
3.目前已有的增量学习方法可分为两类：一种是基于模型蒸馏的思想，通过设计保留损失函数，使得在旧类任务中新网络的输出与原有网络的输出近似；通过新任务检测损失函数，使得网络在新的类别数据中有效检测。通过设计这种损失函数并微调整体网络，可以将旧类的检测能力大部分保存。这种方法改变了原先相关任务的参数，在原先类别的分类能力上会有变化，但在新的类别任务中精度较高。另一种是基于特征提取的思想，将网络前部的层作为一个通用的特征提取器，在检测新的类别时，对已有的网络添加新的输出层。在训练阶段，使用新类别数据训练新添加的输出层参数，使得新的模型能够有效检测新增类别任务。这种方法没有改变原先类的参数，因此原先类的分类能力被完备保存，但在新的类别任务中精度不高。


技术实现要素：

4.鉴于上述现有技术的不足，本发明的目的旨在提出一种基于增量学习的目标检测方法，提升算法在新增的类别任务中的检测精度。
5.本发明实现上述目的的技术解决方案是：一种基于增量学习的目标检测方法，其特征在于：s1、使用原始数据集，并对其中的图像数据进行预处理，将图像调整到预期目标检测网络设定的尺寸；s2、构建目标检测网络，并在目标检测网络的图像分类特征层添加图像重构误差模块，基于图像重构提取得到抽象、完备的图像特征；s3、综合图像重构和原有目标检测网络的损失函数，对目标检测网络进行训练优化，使图像重构损失函数和目标检测网络损失函数达到收敛，并保存优化后网络的权重参数；s4、使用新的任务数据集，并对其中的图像数据进行预处理，将图像调整到网络设定的尺寸；s5、构建基于类增量目标检测网络的新的网络模型，并在网络的特征空间添加增量学习模块；s6、在新的网络模型中加载步骤s3所得的权重参数，并随机初始化增量学习模块的参数；s7、使用新的任务数据集只训练增量学习模块的分类网络与回归网络，并使分类与回归的损失函数达到收敛，并保存增量目标检测网络的权重参数；s8、部署优化后的参数，对目标进行检测；s9、增加新的类别任
务，重复执行步骤s4~s8。
6.应用本发明目标检测新的技术解决方案具备显著的进步性：该方法通过设计赋予图像中低频和高频分量不同权重的图像重构损失函数，构建了一个包含各类别任务丰富的相关特征、相对更完备的特征空间，从而提高算法在新增的类别任务中的检测精度。
附图说明
7.图1为本发明方法中一种基于完备特征空间的yolo v4增量学习网络框架示意图。
8.图2为本发明方法中一种基于完备特征空间的yolo v4增量学习网络模块图。
9.图3为本发明方法中一种基于完备特征空间的fasterrcnn增量学习网络框架示意图。
10.图4为本发明方法实施过程中构建的频分图金字塔架构示意图。
具体实施方式
11.以下便结合附图对本发明的具体实施方式作进一步的详述，以使本发明技术方案更易于理解、掌握，从而对本发明的保护范围做出更为清晰的界定。
12.在实际场景中，将深度卷积神经网络作为一种特征提取器，可以得到抽象的特征。但受当前学习任务的影响，网络在分类阶段前的特征会聚焦于当前检测任务，保留适用于当前任务的直接、有效特征，导致图像中与当前任务无关的特征产生丢失，因此深度卷积神经网络提取到的特征只适用于当前的检测任务。为了不改变原先模型的分类性能，本发明设计并提出了一种目标检测方法，基于特征提取的思想进行增量学习，使得特征空间保持相对完备。其概述的步骤描述如下；s1、使用原始数据集，并对其中的图像数据进行预处理，将图像调整到预期目标检测网络设定的尺寸；s2、构建目标检测网络，并在目标检测网络的图像分类特征层添加图像重构误差模块，基于图像重构提取得到抽象、完备的图像特征；s3、综合图像重构和原有目标检测网络的损失函数，对目标检测网络进行训练优化，使图像重构损失函数和目标检测网络损失函数达到收敛，并保存优化后网络的权重参数；s4、使用新的任务数据集，并对其中的图像数据进行预处理，将图像调整到网络设定的尺寸；s5、构建基于类增量目标检测网络的新的网络模型，并在网络的特征空间添加增量学习模块；s6、在新的网络模型中加载步骤s3所得的权重参数，并随机初始化增量学习模块的参数；s7、使用新的任务数据集只训练增量学习模块的分类网络与回归网络，并使分类与回归的损失函数达到收敛，并保存增量目标检测网络的权重参数；s8、部署优化后的参数，对目标进行检测；s9、增加新的类别任务，重复执行步骤s4~s8。
13.更具体地来看，其中步骤s1包含如下细化步骤：s101、对图像进行颜色增强、平移变化、水平以及垂直翻转、随机马赛克等方法的预处理；s102、使用双线性插值算法将图像数据大小放缩到固定分辨率，如416
×
416。
14.其中步骤s2中在目标检测网络的图像分类特征层中添加图像重构误差模块的具体方法为：s201、在一阶段目标检测网络的分类与回归卷积层前添加图像信息重构模块，例如在yolo v4网络中添加该模块，添加过程如图1和图2所示。通过在不同层级的分类与回归卷积层前添加图像重构误差模块（即图示的图像信息重构模块），辅助当前层级的网络提取到抽象、完备的图像特征；s202、在两阶段目标检测网络的特征提取层后，添加图像重构误
差模块，例如faster rcnn网络中添加该模块，添加过程如图3所示。通过在网络的特性提取层后添加图像信息重构模块，辅助特征提取网络提取到抽象、完备的图像特征；s203、图像信息重构模块由卷积层和上采样层构成，由一个3
×
3卷积层、一个1
×
1卷积层和一个上采样层构成。特征图先经过3
×
3卷积层，再使用上采样操作（例如reshape，双线性差值等）将特征图的宽、高调整为输入图片的宽、高，最后使用1
×
1卷积层生成重构图像。
15.需要说明的是，上述一阶段目标检测网络并非仅限于yolo v4网络一种，其同类型网络还包括ssd等，且即使yolo本身也有v1~v5等多系列。以上描述及后文仅以yolo v4为例。同理，二阶段目标检测网络也仅以包括但不限于faster rcnn网络举例描述。
16.其中步骤s3中综合图像重构损失和目标检测网络的损失函数的具体操作为：s301、网络的损失函数由两部分组成，如公式（1）： 所示。其中为目标检测网络的损失项，通常由框回归损失、分类损失和置信度损失等误差项构成。为图像重构损失项，由公式（2）：计算所得。其中，、、分别表示预测图像与真实图像标签在r、g、b每一通道之间的误差，度量方式采用损失，真实图像标签可以是单张彩色图像，也可以是彩色图像中r、g、b三通道的一系列高低频分量组合。
17.构建频分图金字塔。彩色图像每一颜色通道的图像可以分解为一系列的高低频图像，以r通道为例，其中每一张高低频图像对应一种频率分量图，简称频分图。由一系列频分图进行分解而构成的组合称为频分图金字塔。频分图金字塔共n 1层，每一层的频分图可以通过高斯卷积的方法生成低频分量图和高频分量图，低频分量图由公式（3）：计算得到；其中，为原图的r通道图像，为原图r通道中提取到的低频分量图，*表示二维卷积，g为二维高斯卷积核。而二维高斯卷积核由公式（4）：所示的生成函数得到，表示方差。
18.对于原图r通道中提取得到的高频分量图，则由公式（5）：计算得到。
19.以上述高频分量图和低频分量图的计算方式，构建出了如图4所示的频分图金字塔。
20.再然后，基于频分图金字塔构建图像信息重构误差。在一幅图像中，背景往往占据图像的大部分区域，目标为图像中不固定位置并且占比较小的部分。因此图像的重构过程中，网络需要聚焦于这部分小区域。图像的高频信息对应着图像中像素值变化剧烈的区域，尤其是目标与背景的交界处，因此本技术通过提取图片不同的频分图增强目标区域的显著性，使网络聚焦于目标区域以确保特征空间的完备性。
21.为此，本步骤中还设计了赋予图像中低频和高频分量不同权重的重构损失函数，
有以下两种形式：第一种是直接预测高低频分量图，并赋予各通道图像中低频分量和高频分量不同的误差权重，对应r通道的重构损失函数由公式（6）：计算得到，其中l为图像r通道的频分图数量，表示第i张频分图的误差权重，为图像r通道中第i张频分图的预测结果，为图像r通道中第i张频分图的真实标签，为一种损失的度量方式。
22.根据应用场景的不同，真实标签中选取不同的频分图组合作为真实标签信息。在实际应用中，为了简化网络的计算量，真实标签取分辨率为208
×
208的插值图像。例如，在彩色图像的各通道选取相同种类的8张频分图，分别是通道原图像、频分图1、频分图0
‑
1、频分图1
‑
0、频分图0
‑0‑
1、频分图0
‑1‑
1、频分图1
‑0‑
0、频分图1
‑1‑
0。因此网络中图像信息重构模块输出的张量通道数为24，每一通道都对应了一张频分图。随后，在每一张频分图上计算误差。最后，将所有频分图误差汇总，得到最终的图像重构误差。
23.第二种形式的重构损失函数，是将高频分量作为损失函数的权重系数，对应r通道重构损失函数由公式（7）：计算得到。其中，为图像r通道的预测结果，表示图像r通道的真实标签，w、h分别表示图像的宽度和高度，表示r通道下每一像素点的权重系数，该权重系数由公式（8）：计算得到，其中，l为图像r通道的频分图数量，表示第i张频分图的误差权重，为图像r通道中第i张频分图，γ为幂数。
24.上述步骤s4的具体操作为：获取新增的数据集，并对图像进行颜色增强、平移变化、水平以及垂直翻转、随机马赛克等方法的预处理；而后使用双线性插值法将所有图像数据大小放缩到固定分辨率，如416
×
416。
25.上述步骤s5的具体步骤为：在完备的特征空间中，插入增量学习模块，用于输出增量类的检测结果。而该增量学习模块由卷积层或全连接层构成。在如faster rcnn的两阶段目标检测网络中，添加的增量学习模块（或称为icl模块）有icl
‑
rpn模块和icl
‑
fc层。其中，icl
‑
rpn模块用于生成增量类的候选框与rpn网络采用相同的结构，icl
‑
fc层用于输出增量类检测任务的框和类别信息，对应原fastrcnn中的全连接层。而在如yolo v4的一阶段目标检测网络中分别在原网络的fpn
‑
s1、fpn
‑
s2、fpn
‑
s3模块中添加icl_conv模块，用于输出新的增量类检测任务的框和类别信息。该icl_conv模块由3
×
3卷积和1
×
1卷积层组成。
26.上述步骤s6的具体步骤为：在新的网络模型中，与新增数据集前的旧模型相同的结构部分参数使用原先保存的旧模型参数，在新增加的增量学习模块中，使用随机初始化
的方法生成参数。分情况来看，在如faster rcnn的两阶段目标检测网络中，需要随机初始化参数的模块有icl
‑
rpn模块和icl
‑
fc层。而在如yolo v4的一阶段目标检测网络中，需要随机初始化参数的模块为三个检测阶段添加的icl_conv模块。
27.上述步骤s7的具体步骤为：使用新增的数据集训练基于完备特征空间的增量目标检测网络。训练的损失函数为对应目标检测网络的损失函数。在如faster rcnn的两阶段目标检测网络中，损失函数包括icl
‑
rpn的框回归与分类误差、icl
‑
fc层的精确框回归与分类误差。而在如yolo v4的一阶段目标检测网络中，损失函数为框回归误差、置信度误差与分类误差。当损失函数收敛，保存增量目标检测网络的全部参数。
28.上述步骤s8的具体步骤包括：推理阶段，增量学习网络的预测过程与原有目标检测网络的输出过程相似。
29.在如faster rcnn的两阶段目标检测网络中，先计算原有类别的rpn的候选框信息和精确框回归信息与分类信息，再计算新增类的rpn的候选框信息和精确框回归信息与分类信息。而在如yolo v4的一阶段目标检测网络中，先计算原有类别的置信度、候选框与类别信息，再计算新增类别的置信度、候选框与类别信息。
30.综上关于本发明基于增量学习的目标检测方法结合图示的实施例详述可见，其具备突出的实质性特点和显著的进步性。该方法通过设计赋予图像中低频和高频分量不同权重的图像重构损失函数，构建了一个包含各类别任务丰富的相关特征、相对更完备的特征空间，从而提高算法在新增的类别任务中的检测精度。
31.除上述实施例外，本发明还可以有其它实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明所要求保护的范围之内。