一种基于子模函数的图-图转化任务主动学习方法与流程

1.本发明属于机器学习的主动学习领域，尤其是涉及一种基于子模函数的图-图转化任务主动学习方法。


背景技术：

2.无论传统的机器学习方法还是深度学习方法，性能表现良好的机器学习模型都离不开大量带标签数据的支撑。然而在进行数据的人工标注时，由于标注数据规模庞大、目标任务数据标注难度高等原因，数据标注所需的成本十分巨大。针对以上问题，众多研究学者们利用主动学习方法尝试进行解决。主动学习方法的目标便是自动识别最有标注价值的数据来进行标注，从而在标注成本一定的情况下使得机器学习模型尽可能达到最佳的性能。各种研究证明，主动学习方法确实可以通过挑选最有价值的数据进行标注，从而在标注成本的限制下得到令人满意的机器学习模型。
3.图-图转换任务的概念是由2017年国际计算机视觉与模式识别会议ieee conference on computer vision and pattern recognition上的文章《image-to-image translation with conditional adversarial networks》提出的。图-图转化任务是一类常见的计算机视觉任务的统称。该类任务的目标是将输入图像“转换”为不同语义的输出图像，如图像语义分割任务输出图像各个区域的语义图，图像边缘检测任务输出图像的边缘信息图等。由于图-图转化任务的预测目标也是一张包含各种语义的图像，对于此类计算机视觉任务的数据标注需要对图像进行像素级别的标注，因此该类任务的标注成本相较于与一般的计算机视觉任务更加庞大，也更加需要主动学习算法用于降低标注成本，提升一定标注数据量下的模型精度。
4.现有的针对图-图转化任务的主动学习算法基本可以分为两类：基于图像级的主动学习方法以及基于区域级的主动学习方法。前者将图像视为最小单元，挑选图像子集进行模型的训练与迭代。
5.在2017年的医学图像计算和计算机辅助干预国际会议medical image computing and computer-assisted intervention上的文章《suggestive annotation:a deep active learning framework for biomedical image segmentation》提出了一种名为提示性标注法的深度主动学习框架，该框架针对图-图转化任务中的图像分割任务，通过在标注数据上训练一系列的模型，并在未被标注数据中选择方差最大的样本集合作为待标注的数据，从而选择了最具有标注价值的图像集合。然而，此类方法将单张图像视为最小单位，忽略了单张图像内部的信息冗余，从而标记了图像许多不必要的区域。因此也有学者研究基于区域级的主动学习方法，该类方法不单单选择图像，也需要指定图像内部的哪些区域进行标注。
6.在2020年国际计算机视觉与模式识别会议ieee conference on computer vision and pattern recognition上的文章《viewal:active learning with viewpoint entropy for semantic segmentation》利用多视图数据集中的视点一致性，并通过模型预
测的不一致来进行不确定性的度量，从而选择得到最具有标注价值的区域集合。然而，该算法虽然利用了图像内部的信息冗余，却没有利用多种主动学习的数据挑选准则，因此并没有达到最理想的效果。


技术实现要素：

7.基于现有技术的不足，本发明提供了一种基于子模函数的图-图转化任务主动学习方法，可以从未标注图像中挑选出更有标注价值的图像局部区域，并用于后期的标注。
8.一种基于子模函数的图-图转化任务主动学习方法，包括以下步骤：
9.(1)利用已有标签的图像局部区域集合训练一个图-图转化任务的深度模型；
10.(2)对于局部区域没有标注标签的图像，利用训练好的深度模型提取图像上未被标注的局部区域的深度特征；
11.(3)针对提取的局部区域深度特征集合，进行衡量其代表性以及多样性的子模函数构建；
12.(4)优化求解所构建的子模函数最大化问题，从而得到本轮迭代选择的待标注图像局部区域集合；
13.(5)获得待标注图像局部区域的标签，将其添加到已有标签的图像局部区域集合中，再利用所有带标签数据集重新训练图-图转化任务的深度模型；
14.(6)重复上述步骤(2)至步骤(5)，直至挑选的图像局部区域达到要求或者限制，最终得到预设个数的最具有标注价值的局部区域，作为后期标注的目标区域。
15.本发明通过深度卷积神经网络提取图像局部区域特征，并在此特征上构建图像局部区域的基于代表性以及多样性准则的子模函数；再通过求解该子模函数最大化问题得到兼具代表性以及多样性的图像局部区域集合，作为待标注的目标区域。
16.步骤(1)中，将初始已有标签的图像局部区域集合记为d
l
，对应的不带标签的图像局部区域集合记为di；利用初始已有标签的图像局部区域集合d
l
训练得到图-图转化任务深度模型f。
17.步骤(2)中，对于局部区域没有标注标签的图像，将图像分为k1×
k2个局部区域，此时将深度模型f对应的卷积层特征也分为k1×
k2个局部区域，从而得到局部区域对应的深度特征。
18.为了消除图像局部区域的位移导致的特征变化，将所得的图像局部区域对应的深度特征，计算通道方向的平均值。对于du中的每一个图像局部区域，得到对应的局部区域特征si。
19.步骤(3)中，将所有未被标注的图像局部区域集合特征记为su，选择su的子集sa时，子模函数构建的具体过程如下：
20.(3-1)首先定义所选集合sa对su中的任一元素iu的代表性，将其定义为即针对su中的任一元素iu，可以通过在sa中找到与iu相似度最高的元素，并将它们之间的相似度定义为sa对iu的代表性；
21.(3-2)之后定义所选集合sa对su集合的代表性，将sa对于su中所有元素的代表性进行求和，即得到sa对su集合的代表性。
22.得到的sa对su集合的代表性公式为：
[0023][0024]
式中，sim(ia,iu)相似性度量为两个局部特征ia以及iu之间的余弦相似度。
[0025]
步骤(4)中，子模函数最大化问题为：
[0026][0027]
式中，图像局部区域集合特征su中挑选目标子集sa，使得其对应的子模函数最大化，且sa的局部区域数量不超过c。
[0028]
之后，通过贪婪加速算法求解该子模函数最大化问题，通过贪婪加速算法，该子模函数最大化问题的所得解有一个1-1/e的下界。贪婪加速算法可以通过加速以达到几乎线性的时间复杂度并同时保证优化性能。
[0029]
步骤(5)中，获得挑选的图像局部区域的标签，将其添加到已挑选的局部区域集合d
l
，再更新模型f。
[0030]
与现有技术相比，本发明具有以下有益效果：
[0031]
1、本发明利用子模函数为工具，研究了图-图转换任务中如何利用主动学习算法进行图像局部区域的挑选，能应用于多种以卷积神经网络为主干网络的图-图转换任务当中。
[0032]
2、本发明构建了结合代表性以及多样性准则的子模函数，使挑选的图像局部区域是更有标注价值的图像区域。同时，通过图-图转化任务上的实验证明，本发明提出的局部主动学习算法在标注相同面积区域的数据上，能得到优于基准算法和一些其他同类方法的模型。
附图说明
[0033]
图1为本发明一种基于子模函数的图-图转化任务主动学习方法的流程图；
[0034]
图2为本发明实施例在图像边缘检测任务上，在数据集bsds500上与其他方法的ods对比结果；
[0035]
图3为在数据集bsds500上与其他方法的ois对比结果；
[0036]
图4为在数据集bsds500上与其他方法的ap对比结果；
[0037]
图5为在数据集nyud上与其他方法的ods对比结果；
[0038]
图6为在数据集nyud上与其他方法的ois对比结果；
[0039]
图7为在数据集nyud上与其他方法的ap对比结果。
具体实施方式
[0040]
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
[0041]
本发明的任务描述如下：假设目标图-图转化任务对应的数据集中有n张图像，每张图像将被分为k1×
k2个局部区域，因此共有n
×
k1×
k2个图像局部区域。局部主动学习算法的目标便是从所有的图像局部区域中选择c个最具有标注价值的局部区域。局部主动学习算法为一个迭代挑选的算法流程，我们将在每次迭代中选择c个局部区域。我们将未被挑
选的局部区域集合记为du，将已被挑选的局部主动区域记为d
l
。
[0042]
如图1所示，一种基于子模函数的图-图转化任务主动学习方法，包括以下步骤：
[0043]
s01，在局部主动学习算法开始的阶段，我们利用初始的d
l
中的带标签数据进行图-图转化任务深度模型的训练。我们将训练得到的深度模型记为f。
[0044]
s02，进行图像局部区域的特征提取。当将图像i输入卷积神经网络模型f时，我们将一个特定卷积层的特征图视为输入图像的特征。当图像被分为k1×
k2个局部区域时，我们将对应的卷积层特征也分为k1×
k2个局部区域，从而得到局部区域对应的深度特征。此外，为了消除图像局部区域的位移导致的特征变化，我们将所得的图像局部区域特征计算通道方向的平均值。此时，对于du中的每一个图像局部区域，我们得到了对应的局部区域特征su。
[0045]
s03，我们针对提取的局部区域的深度特征，构建子模函数对其进行代表性以及多样性的衡量。我们将所有未被标注的图像局部区域集合特征记为su，当选择su的子集sa时，我们将sa集合对于su集合的代表性定义为：
[0046][0047]
其中的sim(ia,iu)相似性度量为两个局部特征ia以及iu之间的余弦相似度。
[0048]
s04，我们将主动学习的局部区域选择转化为子模函数最大化问题：
[0049][0050]
该子模函数最大化优化目标意味着此轮迭代过程中，从未被标注的图像集合su中挑选目标集合sa使得其对应的子模函数最大化，且sa的局部区域数量不超过c。之后，我们通过贪婪加速算法求解该子模函数最大化问题。通过贪婪加速算法，该子模函数最大化问题的所得解将有一个1-1/e的下界。而且，贪婪加速算法可以通过加速以达到几乎线性的时间复杂度并同时保证优化性能。
[0051]
s05，我们将挑选的图像局部区域以及对应标签添加到已挑选的局部区域集合d
l
，再利用更新后的d
l
重新训练更新模型f。
[0052]
s06，不断迭代步骤s02至步骤s05，直到所挑选的图像局部区域d
l
数量达到限制c，得到最终的主动学习算法所挑选的数据集以及模型。
[0053]
为验证本发明的有效性，本实施例采用了常见的边缘检测任务作为图-图转化任务的一个具体实例。在该任务中，采用整体嵌套边缘检测模型hed作为边缘检测模型，这也是最常用的边缘检测深度模型之一。该模型是基于卷积神经网络的边缘检测模型，因此适用于本发明的局部特征提取方法。更具体的，本发明将深度模型中卷积层conv4_3的输出用作特征提取层。在得到模型结果之后，将标准的非最大抑制算法应用于边缘图从而得到更合适的边缘检测结果。
[0054]
本发明在伯克利分割数据集(bsds500)以及nyu深度数据集(nyud)上进行了实验。bsds500数据集包含200个训练样本，100个验证样本和200个测试样本；nyud数据集包含381个训练样本，414个验证样本和654个测试样本。两个数据集中的每个图像都有手动标注的图像边缘信息。在实验中，所有图像均被裁剪并调整为相同大小。对于每个数据集，将其分为相同数量的未标记集和测试集。在每次主动学习迭代中，将从未标记图像池中选择图像或者图像块并查询获得其标签。测试集用于评估边缘检测模型的性能。
[0055]
本发明采样了图像边缘检测最为常见的三种指标评估算法准确性：固定轮廓阈值(ods，optimal dataset scale)，每幅图像最佳阈值(ois，optimal image scale))和平均精度(ap，average precision)。总共比较了random，suggestive annotation，random-patch、cereals等多种图像主动学习算法。对于需要利用不确定性的主动学习方法，需要预先训练的边缘检测模型。因此，本发明从训练集中随机选择20％的图像作为初始标记集。对于所有比较的方法，此初始图像集都是相同的。然后在初始数据上训练整体嵌套边缘检测模型hed。对于选择整个图像的算法和选择图像局部区域的算法，本发明都使用选定像素的数量作为标注成本。在选择相同数量的图像像素后，将在更新后的带标签数据集上训练深度模型并再次进行模型结果评估。对于挑选整张图像的主动学习算法，整体嵌套边缘检测模型的损失函数是在图像中的所有像素上计算的。对于挑选图像局部区域的方法，大概率会拿到仅仅标注了部分区域的图像用以训练深度模型，此时只将所有标记像素上的损失函数作为最终损失进行计算用于模型训练。
[0056]
图2～图7表示了不同主动学习方法下主动学习迭代的次数(x轴)和以及对应评估指标(y轴)的曲线。从图2～图7中观察曲线可以发现，在这两个实验的数据集当中，本发明提出的局部主动学习算法(实心红线，名为pasfo)性能比其他主动学习方法更好。此外，整体而言挑选图像局部区域的算法要优于挑选整个图像的算法(随机挑选局部区域方法除外)。
[0057]
此外，为了证明代表性和多样性标准的有效性，本发明和cereals方法之间进行了比较实验。实验结果表明，本发明提出的结合代表性以及多样性原则的主动学习方法要优于仅仅采用了不确定性准则的主动学习方法。其原因是由于局部主动学习中的样本数量大大增加，为图像数量乘以每个图像划分的局部区域数量。因此对于挑选局部区域用于图-图转化任务的主动学习方法，每次主动学习迭代中图像块的数量远大于挑选整个图像时的图像数量。因此，在挑选图像局部区域时，多样性变得更加重要。如果某个主动学习算法仅考虑不确定性，将导致在每次的主动学习迭代中选择许多类似的区域，从而导致算法性能下降。
[0058]
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。