一种基于RSloss的目标检测模型的训练方法及装置与流程

一种基于rs loss的目标检测模型的训练方法及装置
技术领域
1.本发明实施例涉及数据处理技术领域，尤其涉及一种基于rs loss的目标检测模型的训练方法及装置。


背景技术：

2.人类认识世界是多维的，如用眼睛去观察，是双耳去聆听，用触觉与嗅觉去感知等,大脑基于这些信息分析并理解世界。人工智能核心目标是赋予计算机以智能，让机器像人一样去认识世界。通常的视觉语言系统由两个模块构成：图像编码模块和视觉语言融合模块。其中，图像编码模块，称为视觉特征提取器，即通过相关的卷积神经网络模型，生成针对输入图像的特征图谱。视觉语言融合模块，即将图像的特征图谱以及文本经token处理之后映射到统一语义空间中，使其具有相同语义信息在语义空间中更近，而不同语义更远。
3.当前视觉语言任务中视觉特征的提取绝大部分仍基于vqa(visual question answering，视觉问答)数据集，即选择骨干网络为resnet(residual network，深度残差网络)-101c4的faster-rcnn(快速的基于区域的卷积网络)模型，在vg(visual genome)数据集中训练。虽vg数据有丰富的对象标记以及属性标签，但针对视觉语言任务来讲，仍无法满足数据丰富性。因此，vinvl(visual representations invision-language models，视觉语言模型中的视觉表示)模型在原有vg数据集基础上，利用三个公开数据集：coco(common objects in context，上下文中的公共对象)、openimages(公开图像)、objects365(目标检测)，采用类别平衡与数据集平衡策略，扩展并丰富vg数据集；另外，将原有faster-rcnn骨干网络resnet-101c4替换为resnext-152c4，重新训练目标检测模型以及微调目标模型，使得训练之后模型具有更丰富的视觉表征。
4.目标检测模型属于multi-task(多重任务)的任务，其中包括分类、box(边框)回归等多个子任务，因此这类任务的损失函数通常是多个子任务的加权和，如其中是第k步第t个任务的损失函数，为每个任务对应的权重。由于子任务和stage(阶段)的多样性以及每个任务重要性的不平衡，此类任务中，超参数往往较多。这些超参数虽平衡不同任务重要性来使得模型获得更好性能，但由于调这些超参数需要耗时耗资源，并且次优的超参数会导致模型次优的性能。


技术实现要素：

5.本发明实施例提供一种基于rs loss的目标检测模型的训练方法及装置，在faster-rcnn基础上，将原有通过指定多任务超参数方式替换为基于rs loss，简化原有检测模型的复杂性，并避免因次优超参数而降低模型性能，提升了模型视觉表征能力。
6.第一方面，本发明实施例提供的一种基于rs loss的目标检测模型的训练方法，包括：
7.获取多个目标检测训练数据集；
8.对所述多个目标检测训练数据集中的训练数据进行预处理，得到预处理数据；
9.根据所述预处理数据，训练基于rs loss的faster-rcnn模型，得到所述目标检测模型；
10.在所述目标检测模型基础上增加属性分支，并依据vg数据进行微调。
11.可选地，所述多个目标检测训练数据集包括第一数据集、第二数据集、第三数据集和第四数据集；
12.所述对所述多个目标检测训练数据集中的训练数据进行预处理，得到预处理数据，包括：
13.从所述第一数据集和所述第二数据集中每个类别中选择第一预设数量的样本，得到第一候选数据集和第二候选数据集；
14.使用平衡策略对所述第一候选数据集、所述第二候选数据集、所述第三数据集和所述第四数据集进行倍增；
15.以倍增后的第三数据集为基础，将倍增后的第一候选数据集、第二候选数据集和第四数据集中与所述倍增后的第三数据集具有相同类别的数据合并到所述倍增后的第三数据集中、将不同类别的数据作为新类别添加到所述倍增后的第三数据集中；
16.剔除合并后的第三数据集中的小于第二预设数量的样本的类别，得到所述预处理数据。
17.可选地，所述根据所述预处理数据，训练基于rs loss的faster-rcnn模型，得到所述目标检测模型，包括：
18.构建基于rs loss的faster-rcnn模型的损失函数；
19.使用基于rs loss构建的faster-rcnn模型的损失函数，对所述预处理数据进行训练，得到所述目标检测模型。
20.可选地，所述构建基于rs loss的faster-rcnn模型的损失函数，包括：
21.定义rs损失函数；
22.对所述rs损失函数进行计算；
23.优化所述rs损失函数；
24.将优化后的所述rs损失函数作为所述faster-rcnn模型的损失函数。
25.可选地，所述在所述目标检测模型基础上增加属性分支，并依据vg数据进行微调，包括：
26.在所述目标检测模型添加属性类别数目为第三预设数量类的属性分支；
27.修改基于rs loss的faster-rcnn模型，并添加属性分支loss；
28.调整用于训练的超参数，基于vg数据集微调所述目标检测模型。
29.第二方面，本发明实施例提供一种基于rs loss的目标检测模型的训练装置，包括：
30.获取单元，用于获取多个目标检测训练数据集；
31.预处理单元，用于对所述多个目标检测训练数据集中的训练数据进行预处理，得到预处理数据；
32.处理单元，用于根据所述预处理数据，训练基于rs loss的faster-rcnn模型，得到所述目标检测模型；在所述目标检测模型基础上增加属性分支，并依据vg数据进行微调。
33.可选地，所述多个目标检测训练数据集包括第一数据集、第二数据集、第三数据集
和第四数据集；
34.所述预处理单元具体用于：
35.从所述第一数据集和所述第二数据集中每个类别中选择第一预设数量的样本，得到第一候选数据集和第二候选数据集；
36.使用平衡策略对所述第一候选数据集、所述第二候选数据集、所述第三数据集和所述第四数据集进行倍增；
37.以倍增后的第三数据集为基础，将倍增后的第一候选数据集、第二候选数据集和第四数据集中与所述倍增后的第三数据集具有相同类别的数据合并到所述倍增后的第三数据集中、将不同类别的数据作为新类别添加到所述倍增后的第三数据集中；
38.剔除合并后的第三数据集中的小于第二预设数量的样本的类别，得到所述预处理数据。
39.可选地，所述处理单元具体用于：
40.构建基于rs loss的faster-rcnn模型的损失函数；
41.使用基于rs loss构建的faster-rcnn模型的损失函数，对所述预处理数据进行训练，得到所述目标检测模型。
42.可选地，所述处理单元具体用于：
43.定义rs损失函数；
44.对所述rs损失函数进行计算；
45.优化所述rs损失函数；
46.将优化后的所述rs损失函数作为所述faster-rcnn模型的损失函数。
47.可选地，所述处理单元具体用于：
48.在所述目标检测模型添加属性类别数目为第三预设数量类的属性分支；
49.修改基于rs loss的faster-rcnn模型，并添加属性分支loss；
50.调整用于训练的超参数，基于vg数据集微调所述目标检测模型。
51.第三方面，本发明实施例还提供了一种计算设备，包括：
52.存储器，用于存储程序指令；
53.处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于rs loss的目标检测模型的训练方法。
54.第四方面，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于rs loss的目标检测模型的训练方法。
55.本发明实施例中，通过获取多个目标检测训练数据集，对多个目标检测训练数据集中的训练数据进行预处理，得到预处理数据，根据预处理数据，训练基于rs loss的faster-rcnn模型，得到目标检测模型，在目标检测模型基础上增加属性分支，并依据vg数据进行微调。通过在faster-rcnn基础上，将原有通过指定多任务超参数方式替换为基于rs loss，简化原有检测模型的复杂性，并避免因次优超参数而降低模型性能，提升了模型视觉表征能力。
附图说明
56.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
57.图1为本发明实施例提供的一种系统架构的示意图；
58.图2为本发明实施例提供的一种基于rs loss的目标检测模型的训练方法的流程示意图；
59.图3为本发明实施例提供的一种基于rs loss的目标检测模型的训练装置的结构示意图。
具体实施方式
60.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
61.图1示例性的示出了本发明实施例所适用的一种系统架构，该系统架构可以为服务器100，包括处理器110、通信接口120和存储器130。
62.其中，通信接口120用于与终端设备进行通信，收发该终端设备传输的信息，实现通信。
63.处理器110是服务器100的控制中心，利用各种接口和线路连接整个服务器100的各个部分，通过运行或执行存储在存储器130内的软件程序/或模块，以及调用存储在存储器130内的数据，执行服务器100的各种功能和处理数据。可选地，处理器110可以包括一个或多个处理单元。
64.存储器130可用于存储软件程序以及模块，处理器110通过运行存储在存储器130的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器130可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据业务处理所创建的数据等。此外，存储器130可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
65.需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。
66.图2示例性的示出了本发明实施例提供的一种基于rs loss的目标检测模型的训练的流程，该流程可以由基于rs loss的目标检测模型的训练装置执行。
67.如图2所示，该流程具体包括：
68.步骤201，获取多个目标检测训练数据集。
69.在本发明实施例中，该多个目标检测训练数据集可以包括第一数据集、第二数据集、第三数据集和第四数据集，例如可以使用open-images、objects365、visual genome和coco数据集。
70.步骤202，对所述多个目标检测训练数据集中的训练数据进行预处理，得到预处理
数据。
71.目前视觉语言任务通常使用视觉模型都是骨干网络为resnet-101c4的faster-rcnn模型提取，训练时仅使用visual genome数据集，虽此数据集针对目标有丰富标注，但针对视觉语言任务仍旧捉襟见肘。因此，为了丰富数据集，本发明实施例在vg数据集的基础上，利用已有的三个目标检测数据集进行进一步地数据丰富，提高视觉模型表征，具体的：
72.首先可以从所述第一数据集和所述第二数据集中每个类别中选择第一预设数量的样本，得到第一候选数据集和第二候选数据集。然后使用平衡策略对所述第一候选数据集、所述第二候选数据集、所述第三数据集和所述第四数据集进行倍增。以倍增后的第三数据集为基础，将倍增后的第一候选数据集、第二候选数据集和第四数据集中与所述倍增后的第三数据集具有相同类别的数据合并到所述倍增后的第三数据集中、将不同类别的数据作为新类别添加到所述倍增后的第三数据集中。最后剔除合并后的第三数据集中的小于第二预设数量的样本的类别，得到所述预处理数据。上述第一预设数量和第二预设数量可以依据经验设置。
73.这里的第一数据集可以为open-images数据集，第二数据集可以为objects365数据集，第三数据集可以为visual genome数据集，第四数据集可以为coco数据集。
74.在具体实施过程中，为了增强长尾分布中尾部视觉特征，分别从open-images(第一数据集)和objects365(第二数据集)两个数据集中每个类别中至少选择2000(第一预设数量)个样本，得到2.2m(million)和0.8m图像，记为a(第一候选数据集)和b(第二候选数据集)。
75.为了平衡每个数据集贡献率，将4个数据集进行倍增处理，分别得到：8倍的coco数据集(8x0.11m)、8倍的visual genome数据集(8x0.1m)、1倍a(1x2.2m openimagesv5)、2倍的b(2x0.8m objects365)。
76.此外，为了统一数据集目标词汇，以vg数据集为基石，将其他数据集中具有相同类别的数据合并到vg数据集的类别中，而不同类别的数据作为新类添加到vg数据集中。
77.基于此，为了减少因类别不平衡而影响模型性能，将类中少于30个样本剔除，这样在最终形成的数据集中vg有1594类，不属于vg属于其他三类的类别有254类，即最终得到的数据集有1848类，也即为预处理数据。
78.步骤203，根据所述预处理数据，训练基于rs loss的faster-rcnn模型，得到所述目标检测模型。
79.具体的，首先构建基于rs loss的faster-rcnn模型的损失函数，然后使用基于rs loss构建的faster-rcnn模型的损失函数，对预处理数据进行训练，得到目标检测模型。
80.目前绝大多数视觉语言任务所使用的视觉特征提取模型faster-rcnn结构，首先骨干网络根据输入图像提取特征，然后rpn网络根据anchor、nms等技术得到候选区域，紧接着roi pooling综合输入的候选区域和特征图信息，通过全连接层，最后输出目标的位置以及对应类别。在训练过程中，rpn和整个网络都有输出，则分别对应的loss为rpn loss和fast r-cnn loss，而每个部分都包含分类loss和定位loss，其形式如下：
[0081][0082]
其中，λ为权重平衡参数，l
cls
与l
reg
分别为分类loss和定位loss，n
cls
为min-batch
大小，n
reg
为anchor位置数目，pi为anchor的预测分类概率，当anchor为正样本时，否则，ti和分别为bounding box的预测坐标和真实坐标，具体如下：
[0083]
t
x
＝(x-xa)/wa；
[0084]
ty＝(y-ya)/ha；
[0085][0086][0087][0088][0089][0090][0091]
其中，x,y,w,h分别是box的中心点坐标、宽、高，x,xa,x
*
分别对应于预测box、anchor box、ground truthbox，其他y,w,h也类似。在整个训练过程中，将rpn loss和fast r-cnn loss相加，但每一部分loss都有对应的超参数λ，训练前已被指定，这种指定超参数的多任务策略，导致模型出现次优问题，rs loss完美的解决了此问题，并简化了原有模型训练复杂度，提高了模型的性能。
[0092]
首先定义rs损失函数。然后对rs损失函数进行计算，优化rs损失函数。最后将优化后的rs损失函数作为faster-rcnn模型的损失函数。
[0093]
具体的，令模型输出的值为si，数据集真实的ground truth为yi∈[0,1](如分类或iou(交并比))，rs loss表示正样本在当前输出l
rs
(i)与目标rs的平均误差值：
[0094][0095]
其中l
rs
(i)表示当前rank误差与sort误差的总和；
[0096][0097]
在正样本与负样本类间基础上，增加正样本类内优先级差异性，即：
[0098][0099]
其中，p为正样本、n为负样本，lr(i)和ls(i)为当前rank误差和当前sort误差，和为目标的rank误差和sort误差，pr(j,i)和ps(i,j)分别表示rank和sort概率密
度函数(pmfs)，即：
[0100][0101]
在优化rs损失函数时，为了计算使用δx
ij
替代rs loss中选项，则得所有正样本的
[0102][0103]
由于sort误差存在，还包括所有正样本上升与排序下降的更新信号，
[0104][0105]
在基于rs loss构建faster-rcnn损失函数时，可以将faster-rcnn模型中的损失函数替换为rs loss损失函数，即将faster-rcnn损失函数：
[0106][0107]
替换为基于rs loss的损失函数：
[0108][0109]
其中l
rs
为分类损失函数，l
box
为box位置的损失函数，即为box位置的损失函数，即和bi分别为预测box和ground truthbox，λ
box
基于任务的平衡系数，使用grid搜索可以得到。
[0110]
基于该损失函数对上述预处理数据进行训练，既可以得到目标检测模型。
[0111]
步骤204，在所述目标检测模型基础上增加属性分支，并依据vg数据进行微调。
[0112]
具体的，首先在目标检测模型添加属性类别数目为第三预设数量类的属性分支。然后修改基于rs loss的faster-rcnn模型，并添加属性分支loss。最后调整用于训练的超参数，基于vg数据集微调目标检测模型。该第三预设数量可以依据经验设置。
[0113]
通过上述步骤得到的目标检测模型可以得到图像中对象检测结果，即图像有什么并且在什么位置，这对于视觉语言模型要理解图像内容还远远不够，因此需要在目标检测模型基础上添加属性分支。具体实施时，可以如下：
[0114]
1)、目标检测模型添加属性类别数目为524类的属性分支；
[0115]
2)、修改基于rs loss的faster-rcnn模型，并添加属性分支loss；
[0116]
3)、调整训练相关超参数，基于vg数据集微调目标检测模型。
[0117]
当前绝大多数视觉语言任务提取视觉特征仍采用基于vg数据集训练的骨干网络为resnet-101 c4的faster-rcnn模型，虽然vinvl利用已有目标检测数据扩充了原有的vg数据集，并将骨干网络替换为resnext-152 c4，但在训练过程中仍采用基于指定超参数多任务策略，将导致训练复杂性以及模型次优问题。本发明实施例针对此问题，在基于faster-rcnn基础上，引入rs loss，通过数据与模型本身属性动态解决多任务指定超参数问题，提升了模型视觉表征能力。
[0118]
上述实施例表明，获取多个目标检测训练数据集，对多个目标检测训练数据集中的训练数据进行预处理，得到预处理数据，根据预处理数据，训练基于rs loss的faster-rcnn模型，得到目标检测模型，在目标检测模型基础上增加属性分支，并依据vg数据进行微调。通过在faster-rcnn基础上，将原有通过指定多任务超参数方式替换为基于rs loss，简化原有检测模型的复杂性，并避免因次优超参数而降低模型性能，提升了模型视觉表征能力。
[0119]
基于相同的技术构思，图3示例性的示出了本发明实施例提供的一种基于rs loss的目标检测模型的训练装置的结构，该装置可以执行基于rs loss的目标检测模型的训练流程。
[0120]
如图3所示，该装置可以包括：
[0121]
获取单元301，用于获取多个目标检测训练数据集；
[0122]
预处理单元302，用于对所述多个目标检测训练数据集中的训练数据进行预处理，得到预处理数据；
[0123]
处理单元303，用于根据所述预处理数据，训练基于rs loss的faster-rcnn模型，得到所述目标检测模型；在所述目标检测模型基础上增加属性分支，并依据vg数据进行微调。
[0124]
可选地，所述多个目标检测训练数据集包括第一数据集、第二数据集、第三数据集和第四数据集；
[0125]
所述预处理单元302具体用于：
[0126]
从所述第一数据集和所述第二数据集中每个类别中选择第一预设数量的样本，得到第一候选数据集和第二候选数据集；
[0127]
使用平衡策略对所述第一候选数据集、所述第二候选数据集、所述第三数据集和所述第四数据集进行倍增；
[0128]
以倍增后的第三数据集为基础，将倍增后的第一候选数据集、第二候选数据集和第四数据集中与所述倍增后的第三数据集具有相同类别的数据合并到所述倍增后的第三数据集中、将不同类别的数据作为新类别添加到所述倍增后的第三数据集中；
[0129]
剔除合并后的第三数据集中的小于第二预设数量的样本的类别，得到所述预处理数据。
[0130]
可选地，所述处理单元303具体用于：
[0131]
构建基于rs loss的faster-rcnn模型的损失函数；
[0132]
使用基于rs loss构建的faster-rcnn模型的损失函数，对所述预处理数据进行训练，得到所述目标检测模型。
[0133]
可选地，所述处理单元303具体用于：
[0134]
定义rs损失函数；
[0135]
对所述rs损失函数进行计算；
[0136]
优化所述rs损失函数；
[0137]
将优化后的所述rs损失函数作为所述faster-rcnn模型的损失函数。
[0138]
可选地，所述处理单元303具体用于：
[0139]
在所述目标检测模型添加属性类别数目为第三预设数量类的属性分支；
[0140]
修改基于rs loss的faster-rcnn模型，并添加属性分支loss；
[0141]
调整用于训练的超参数，基于vg数据集微调所述目标检测模型。
[0142]
基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：
[0143]
存储器，用于存储程序指令；
[0144]
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于rs loss的目标检测模型的训练方法。
[0145]
基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于rs loss的目标检测模型的训练方法。
[0146]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0147]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0148]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0149]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0150]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。