基于边框距离度量的标签选择自适应增量检测方法及系统与流程

1.本发明属于图像处理技术领域，具体涉及一种基于边框距离度量的标签选择自适应增量检测方法及系统。


背景技术：

2.目标检测作为一种视觉任务支持着广泛的应用，包括自动驾驶、医学图像、人机交互和高铁接触网异物检测等领域，对许多应用程序有着不可替代的作用。近年来随着深度学习的发展，目标检测技术取得了令人瞩目的进展，但是复杂的系统需要大量的训练时间来学习模型，最终的检测器性能在很大程度上依赖于一组有代表的训练实例的可用性。在实际应用中，获取代表性的数据既耗时又昂贵，因此数据在一段时间以小批量的形式出现并不罕见。
3.随着时间的推移，可能会出现模型以前从来没有学习过的新类目标，如果用新数据直接微调模型，则会出现灾难性遗忘，旧类别的检测性能严重下降同时还影响新类别的检测精度。如果采用联合所有的数据从头学习训练模型的方法，不仅耗费时间计算昂贵，旧数据集也可能由于隐私、存储等原因而无法获取。
4.近年来，有学者利用模型筛选出一批有代表性的旧类样本存储起来，和新数据一起训练模型以适应数据的变化，但是随着数据的增长，需要非常大的内存开销，不能满足实际需求。因此急需设计一个在不需要访问旧数据的情况下仍能够较好地检测目标的增量检测方法。


技术实现要素：

5.本发明的目的在于提供一种基于边框距离度量的标签选择自适应增量检测方法及系统。
6.为了解决以上技术问题，本发明所采用的技术方案是：
7.一种基于边框距离度量的标签选择自适应增量检测方法，包括：
8.获取旧类别检测模型，利用旧模型检测数据集获取旧类别的先验信息，通过标签选择算法联合数据集标签生成伪标签用于训练检测网络；
9.根据生成的伪标签，采用跳接注意力训练一个特征提取器，用于保留旧类别的重要特征，自适应训练网络的所有参数；
10.利用训练好的检测网络对预设的多尺度锚框进行检测，获得目标的类别和位置信息。
11.一种基于边框距离度量的标签选择自适应增量检测系统，包括：
12.标签选择模块：利用旧模型获得数据集中旧类别目标的信息，通过基于边框距离度量的标签选择算法获得到用于训练增量检测模型的伪标签；
13.基于注意力机制的特征提取模块：通过跳接注意力模块来学习并保留旧类别的重要特征信息；
14.检测网络模块：利用训练好的检测模型，对于一批输入的新类别图像，可以检测包括新类和旧类的所有目标的类别和位置信息。
15.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于边框距离度量的标签选择自适应增量检测方法的步骤。
16.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于边框距离度量的标签选择自适应增量检测方法的步骤。
17.与现有技术相比，本发明的显著优点为：(1)本发明提出一种基于边框距离度量的标签选择自适应增量检测方法，采用经过标签选择算法获得的伪标签，采用多尺度候选框，采用跳接注意力机制进行特征提取，学习并保留旧类别的重要特征，再采用多尺度网络自适应的训练新类别，可以检测不同尺度的目标，上述方法适用于没有旧样本数据的增量目标检测。(2)训练好的网络可以实现在不访问旧数据的前提下，增量检测所有的目标，包括类别和位置信息。
附图说明
18.图1为本发明方法的流程图。
19.图2为本发明系统的原理图。
20.图3为本发明的标签选择算法流程图。
具体实施方式
21.一种基于边框距离度量的标签选择自适应增量检测方法，包括，
22.获取旧类别检测模型；利用旧模型m检测数据集获取旧类别的先验信息；通过标签选择算法联合数据集标签生成伪标签用于训练检测网络；
23.根据生成的伪标签g，采用跳接注意力训练一个特征提取器，用于保留旧类别的重要特征；
24.在第一阶段使用旧模型m学习到的特征不变，获得旧类别的重要特征，在第二阶段使用的注意力模块保留旧类的关键信息，自适应训练网络的所有参数。
25.利用训练好的检测网络对预设的多尺度锚框进行检测，获得目标的类别和位置信息。
26.进一步的，获取旧类别先验信息的过程为：
27.通过一个训练好的一个旧模型，设定合适的阈值然后检测数据集得到旧类目标的先验信息，包括类别和位置信息。
28.进一步的，标签选择过程为：
29.对于获得的旧类目标的信息，此过程只采用边框坐标信息，同时读取数据集中的新类别目标的真实标签，通过标签选择算法计算得到的结果和设定的阈值进行比较，然后去除超出阈值的边框信息，直到所有的标签选择完毕，将最后的旧类标签与数据集的真实标签合并作为训练增量检测模型的伪标签g。
30.g＝yuy
″
31.y
″
是经过标签选择算法处理后的旧类目标的先验信息，即类别和边框坐标。
32.标签选择算法的流程如图3所示，其中，x表示数据集样本，数据集x只包含新类别的标签信息，y是数据集中新目标的真实标签，m是旧类别检测模型，y’是通过模型m获得的旧类别的标注信息，y和y’分别是新数据样本中新类目标的真实边框坐标和通过旧模型获取的旧类目标边框坐标，h是预设的阈值，根据一种度量边框距离的并集上的广义交集(giou)方法计算后的结果和设定的阈值相比，将满足条件的标注去除，直到所有的待选择标签全部选择完毕，最后将y’与数据集的真实标签y合并获得用于训练增量检测模型的伪标签g。
33.进一步的，采用跳接注意力机制学习旧类别的重要特征，其中跳接注意力机制为，
[0034][0035]
注意力模块attention是对输入的特征f先进行通道域的注意力处理获得m
ch
(f)，然后再与特征f进行element
‑
wise乘法；在乘法过程中，通道注意值沿着空间维度传播；对于这样的模块，分别在特征提取模块中的三个层次上进行插入，形成最终的跳接注意力机制，用于学习和保留旧类别的关键特征信息。
[0036]
利用注意力模块学习到的重要特征自适应学习训练，得到检测网络，检测网络的损失函数为：
[0037]
l
loss
＝l
local
l
conf
l
prob
[0038]
l
local
＝λ∑∑(2
‑
w
×
h)(1
‑
ciou)
[0039]
l
conf
＝
‑
∑∑i
obj
[c
′
log(c) (1
‑
c
′
)log(1
‑
c)]
‑
λ∑∑i
noobj
[c
′
log(c) (1
‑
c
′
)log(1
‑
c)]
[0040]
l
prob
＝∑i
obj
∑[p
′
(c)log(p(c)) (1
‑
p
′
(c))log(1
‑
p(c))]
[0041]
其中，λ表示置信度，w和h是图片的宽度和高度，采用一种关注长宽比的边框距离计算方法ciou来计算目标位置的准确性，c和c’分别表示目标的置信度和网络预测的结果，p和p’分别表示目标的类别概率和网络预测的结果。i
obj
取值为1或0，即单元格内是否有目标，单元格内有目标取1，否则为0；i
noobj
：单元格内没有目标，其值为1，否则为0。
[0042]
本发明还提供一种基于标签选择的自适应增量检测系统，包括，
[0043]
标签选择模块：利用旧模型获得数据集中旧类别目标的信息，通过标签选择算法获得到用于训练的伪标签；
[0044]
基于注意力机制的特征提取模块：通过跳接注意力模块来学习并保留旧类别的重要特征信息；
[0045]
检测网络模块：利用训练好的检测模型，对于一批输入的新类别图像，可以检测包括新类和旧类的所有目标的类别和位置信息。
[0046]
标签选择模块包括：
[0047]
检测模块：根据预设的多尺度锚框，检测出旧类别目标的类别和边框信息；
[0048]
筛选模块：根据获取的边框坐标和数据集的真实标签计算边框距离值，去除超过阈值的边框坐标，最后与数据集的真实标签合并。
[0049]
获取目标的特征信息后，通过跳接注意力保留旧类别的重要特征，在后面训练模型的过程中可以获得旧类的关键特征信息，使网络自适应学习检测目标。
[0050]
检测网络的损失函数为：
[0051]
l
loss
＝l
local
l
conf
l
prob
[0052]
其中l
local
是目标边框损失，l
conf
是目标置信度损失，l
prob
是目标类别损失，检测网络的损失函数是三种损失之和。
[0053]
训练好的网络可以实现在不访问旧数据的前提下，增量检测所有的目标，包括类别和位置信息。
[0054]
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行基于边框距离度量的标签选择自适应增量检测方法。
[0055]
一种计算设备，包括一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行基于边框距离度量的标签选择自适应增量检测方法的指令。
[0056]
下面结合附图对本发明作进一步描述。以下实施案例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0057]
实施例1
[0058]
如图2所示，一种基于边框距离度量的标签选择自适应增量检测方法，包括以下步骤：
[0059]
步骤1：利用旧模型检测数据集获得旧类别的先验知识，然后结合新数据的真实标注通过标签选择算法获得用于训练模型的伪标签。
[0060]
获取新的数据集作为训练样本，如图1所示，采用旧模型获得旧目标的标注信息，包括类别和位置信息，包括以下步骤：
[0061]
11)通过旧类检测模型预测数据集，得到检测结果(旧目标的类别和边框坐标)，作为旧类别的标签保存。
[0062]
12)获取数据集的真实标签，联合旧类别的标注，通过标签选择算法，生成最后用于训练的伪标签，包括如下：
[0063]
a1)读取数据集的真实标签(包括类别信息和位置信息)，预先设定giou阈值；
[0064]
a2)获得的旧类目标的信息，此过程只采用边框坐标信息，同时读取数据集中的新类别目标的真实，通过标签选择算法计算得到的结果和设定的阈值进行比较，然后去除超出阈值的边框信息，直到所有的标签选择完毕；
[0065]
a3)将剩下的所有旧类别的标注信息与数据集的真实标签合并作为训练模型的伪标签g，计算如下：
[0066]
g＝yuy
″
[0067]
其中y是数据集的真实标签，y
″
是经过标签选择算法处理后的旧类目标的先验信息，即类别和边框坐标。
[0068]
步骤2：根据标签选择算法获得伪标签，然后进行特征选择；包括：
[0069]
21)根据特征图的大小，使用预设的多尺度，生成特征图的多尺度预选框，多尺度的预设是根据数据集聚类得到的结果作为预设值，采用多尺度锚框以适应不同大小的目标。
[0070]
根据步骤1得到的用于训练的伪标签，对于同一输入的图像，随机缩放至预设的尺度大小中的任意一个，对于不同的特征图存在不同尺度的预选框，特征图中的每个网格单元都对应3个预选框，对应着3个尺度。
[0071]
22)对特征图的多尺度预选框和真实标签计算iou值，将超过阈值(一般设为0.5)的候选框保留，若是没有满足条件的，则保留阈值最大的候选框。采用多尺度区域提取，能够准确检测不同尺度的目标，同时候选框不需要后期学习获得，提高目标检测的速度。
[0072]
23)使用旧模型的权重初始化新模型，采用多尺度和跳接注意力机制进行特征提取，在特征提取的过程中用于学习旧类别的重要特征；具体如下：
[0073]
b1)加载旧模型的权重，不包括最后一层的输出层。训练网络的第一阶段，不训练特征提取层的参数，使用旧模型的特征提取权重，同时让注意力模块学习旧类别的重要特征；
[0074]
b2)注意力模块首先对输入的特征f进行通道域的注意力处理，获得了再与特征f进行element
‑
wise乘法，获得对特征通道的注意力的学习，然后通道注意力值沿着空间维度传播获得
[0075]
b3)这样的注意力模块分别在特征提取模块中的三个层次上插入，注意力的学习沿着三个尺度传播，通过这样的跳接注意力机制学习并保留旧类别的关键特征信息。
[0076]
步骤3：利用特征提取模块和跳接注意力学习目标的特征，然后在三个尺度的网络上进行传播，最后输出三个尺度的预测结果，获得目标的类别信息和位置信息；包括：
[0077]
31)获取数据集的候选框，通过特征选择模块获得的权重在三个层次网络上传播，训练学习检测目标，获得三个尺度上的位置偏移数据，最后通过校正和iou计算获得最终预测的边框；具体如下：
[0078]
c1)将学习到的特征提取权重向前传播，在三个层次上训练权重，同时单个层次上的权重会向下一个层次传递，该层次将两次的特征连接，用于获得浅层次的特征信息和深层次的语义信息；
[0079]
c2)通过金字塔型多层次的学习，在三个尺度上输出预测的结果，通过函数校正该结果得到预测的类别和边框坐标；
[0080]
32)获得网络预测的类别信息和位置信息，将结果与数据集真实标签进行比较，得到模型检测的边框损失、置信度损失和类别损失为：
[0081]
l
local
＝λ∑∑(2
‑
w
×
h)(1
‑
ciou)
[0082]
l
conf
＝
‑
∑∑i
obj
[c
′
log(c) (1
‑
c
′
)log(1
‑
c)]
‑
λ∑∑i
noobj
[c
′
log(c) (1
‑
c
′
)log(1
‑
c)]
[0083]
l
prob
＝∑i
obj
∑[p
′
(c)log(p(c)) (1
‑
p
′
(c))log(1
‑
p(c))]
[0084]
其中，λ表示置信度，w和h是图片的宽度和高度，采用ciou计算目标位置的准确性，c和c’分别表示目标的置信度和网络预测的结果，p和p
′
分别表示目标的类别概率和网络预测的结果。
[0085]
33)当损失函数结果趋于收敛，训练结束，此时获得的结果作为增量检测网路的权重，根据的检测网络获取目标的类别和位置信息。在检测目标时，由于网络预测的边框多存在冗余，采用非极大值抑制去除重叠度高的边框，获得最好的位置检测结果。
[0086]
上述方法采用经过标签选择算法获得的伪标签，采用多尺度候选框，采用跳接注意力机制进行特征提取，学习并保留旧类别的重要特征，再采用多尺度网络自适应的训练新类别，可以检测不同尺度的目标，上述方法适用于没有旧样本数据的增量目标检测。
[0087]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0088]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0089]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0090]
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。