基于语义增强的图像识别模型的训练方法和训练装置与流程

1.本公开的实施例主要涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。更具体地，涉及基于语义增强的图像识别模型的训练方法和训练装置、用于图像识别的方法和装置、电子设备和计算机可读存储介质。


背景技术：

2.近年来，随着计算机软硬件技术的发展，人工智能和机器学习领域也得到了巨大的进步。该技术也被广泛应用于图像处理及图像识别等应用场景。对此，核心的问题是如何能够更高效更准确且更低成本地对相关模型进行训练。
3.目前的训练方式主要包括有监督式训练和无监督式训练。具体到视觉图像领域，有监督式训练需要以大量的具有标注数据的图像作为输入图像。然而，对图像的标注过程需要付出大量人工成本，而购买这种具有标注的图像又非常昂贵。相对地，无监督式训练虽然能够节省标注成本，但是由于缺少语义监督信息，导致经训练的模型在解决实际的下游任务时(例如图像分类和物体检测等)表现不佳。


技术实现要素：

4.根据本公开的示例实施例，提供了基于语义增强的图像识别模型的训练方案。
5.在本公开的第一方面中，提供了一种基于语义增强的图像识别模型的训练方法。该方法包括：从输入的未标注且无文字描述的第一图像中，提取第一图像的第一特征表示；基于第一特征表示，计算第一损失函数；从输入的未标注且具有原始文字描述的第二图像中，提取第二图像的第二特征表示；基于第二特征表示，计算第二损失函数；和基于第一损失函数和第二损失函数的融合，训练图像识别模型。
6.在本公开的第二方面中，提供了一种用于图像识别的方法。该方法包括：获取待识别图像；基于图像识别模型对待识别图像进行识别；其中图像识别模型是基于本公开的第一方面的基于语义增强的图像识别模型的训练方法得到的。
7.在本公开的第三方面中，提供了一种基于语义增强的图像识别模型的训练装置。该装置包括：第一特征提取模块，被配置为从输入的未标注且无文字描述的第一图像中，提取第一图像的第一特征表示；第一计算模块，被配置为基于第一特征表示，计算第一损失函数；第二特征提取模块，被配置为从输入的未标注且具有原始文字描述的第二图像中，提取第二图像的第二特征表示；第二计算模块，被配置为基于第二特征表示，计算第二损失函数；和融合训练模块，被配置为基于第一损失函数和第二损失函数的融合，训练图像识别模型。
8.在本公开的第四方面中，提供了一种用于图像识别的装置。该装置包括：图像获取模块，被配置为获取待识别图像；图像识别模块，被配置为基于图像识别模型对待识别图像进行识别；其中图像识别模型是基于本公开的第三方面的基于语义增强的图像识别模型的训练装置得到的。
9.在本公开的第五方面中，提供了一种电子设备。该电子设备包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面、第二方面的方法。
10.在本公开的第六方面中，提供了一种计算机可读存储介质。在该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面、第二方面的方法。
11.应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
12.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
13.图1示出了本公开的多个实施例能够在其中实现的基于语义增强的图像识别模型的训练的系统的示意图；
14.图2示出了本公开的多个实施例能够在其中实现的基于语义增强的图像识别模型的训练方法的流程图；
15.图3示出了根据本公开的一些实施例的基于语义增强的图像识别模型的训练的架构；
16.图4示出了根据本公开的一些实施例的用于图像识别的方法的流程图；
17.图5示出了根据本公开的一些实施例的基于语义增强的图像识别模型的训练装置的框图；
18.图6示出了根据本公开的一些实施例的用于图像识别的装置的框图；以及
19.图7示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
20.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
21.在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
22.在基于图像的模型训练中，一种可行的方案是利用具有标注信息的样本图像的有监督训练方式，其通过提取和归纳大量图像中的特征表示，并建立特征表示与标注信息之间的关联。然而，有监督的训练方式依赖于大量的标注数据，图像标注需要付出大量时间，这些数据价格昂贵且不易获得。
23.另一种可行的方案是利用未标注的样本图像的无监督训练方式，其能够以较低的
标注成本获得相对满意的结果。例如在基于对比学习的自监督训练中，通过对未标注的样本图像的简单增强来生成增强图像对，并通过对增强图像对的比较和归纳进行训练。但是，这样训练得到的特征表示缺乏相关的语义信息，导致在处理图像分类或物体检测等任务时效果不佳。
24.为了解决已有技术中的一个或多个技术问题，根据本公开的示例实施例，提出了一种基于语义增强的图像识别模型的训练方案。具体地，从输入的未标注且无文字描述的第一图像中，提取第一图像的第一特征表示，以计算第一损失函数，并且从输入的未标注且具有原始文字描述的第二图像中，提取第二图像的第二特征表示，以计算第二损失函数，进而基于第一损失函数和第二损失函数的融合，训练图像识别模型。
25.根据本公开的实施例同时利用未标注的样本图像和具有文字描述的样本图像来训练模型，从而相对于单纯利用未标注的样本图像进行训练的方式实现语义增强。通过这种方式，使得未经标注的图像与相应的文字描述互相关联，从而获得具有语义信息的特征表示。这样的具有语义信息的特征表示在处理下游任务(例如图像分类或物体检测等)时具有更好的效果。同时，降低了对图像进行标注的需求，从而克服了标注数据成本高、获取难度大的问题。
26.以下将参照附图来具体描述本公开的实施例。
27.图1示出了本公开的多个实施例能够在其中实现的基于语义增强的图像识别模型的训练系统100的示意图。在系统100中，计算设备110被配置为利用大量图像来训练图像识别模型140，以获得经训练的图像识别模型。图像识别模型140例如可以被构建为对图像进行分类或对物体进行检测等。在本公开中，用于训练的图像包括两种类型，即，未经标注的图像和具有文字描述的图像。以下为便于描述，将未经标注的图像称为第一图像120，并且将具有文字描述的图像称为第二图像130。
28.计算设备110可以被配置有适当的软件和硬件来实现图像识别。计算设备110可以是任何类型的服务器设备、移动设备、固定设备或便携式设备，包括服务器、大型机、计算节点、边缘节点、移动电话、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统(pcs)设备、多媒体计算机、多媒体平板或者其任意组合，包括这些设备的配件和外设或者其任意组合。
29.不同的图像120、130中可以包括不同的对象。在本文中，“对象”可以指任何人或物。例如，在所示的示意图中，第一图像120包括行人122和汽车124，第二图像130包括行人132、汽车134以及相关联的文字描述136。在本文中，“文字描述”可以是词语或多个词语的组合，也可以是一句话或几句话。另外，“文字描述”不受语言的限制，例如可以是中文、英文等，也可以包括字母或符号。
30.图像识别模型140可以基于机器学习算法来构建，例如可以被构建为包括一个或多个类型的神经网络或其他深度学习网络。图像识别模型140的具体配置和所采用的机器学习算法在本公开中不受限制。为了获得图像识别的能力，需要利用训练图像120、130来执行训练过程，以确定图像识别模型140的参数集的取值。参数集的取值被确定后的图像识别模型140被称为经训练的图像识别模型140。
31.训练得到的图像识别模型140的性能很大程度上取决于训练数据集。如果训练数据覆盖可能的多种变化条件，在训练时图像识别模型才更可能学习到在这些条件下提取特
征表示的能力，参数集的取值才更准确。因此，在本公开中注意到，为了平衡训练效果以及样本获取成本，同时使用未经标注的图像和具有文字描述的图像对于模型进行训练将是有利的。
32.图2示出了根据本公开的一些实施例的基于语义增强的图像识别模型的训练方法200的流程图。训练方法200可以由图1中的计算设备110实现。
33.在框202，计算设备110从输入的未标注且无文字描述的第一图像中，提取第一图像的第一特征表示。该第一特征表示例如可以是图像120中包含的行人122和汽车124。但是，由于图像120未经标注，所以行人122和汽车124不具有相应的文字描述。
34.在一些实施例中，提取第一图像的第一特征表示可以首先通过图像增强生成第一图像的增强图像对，然后从增强图像对中分别提取特征表示。在本文中，“增强图像对”表示基于一个原始图像以不同增强方式生成的两个增强后的图像。增强方式例如包括对图像的灰度、亮度、对比度等属性进行处理和平滑，从而提高图像的清晰度。
35.在框204，计算设备110基于所提取的第一特征表示，计算第一损失函数。
36.在一些实施例中，计算第一损失函数可以基于从增强图像对中提取的特征表示来计算第一损失函数。
37.在框206，计算设备110从输入的未标注且具有原始文字描述的第二图像中，提取第二图像的第二特征表示。这样的未标注且具有原始文字描述的图像例如可以通过数据挖掘而获得，从而不需人工标注。例如，第二特征表示可以是图像130中的行人132和汽车134，原始文字描述可以是与图130对应的描述136，即“行人经过停在路边的汽车”。
38.在框208，计算设备110基于所提取的第二特征表示来计算第二损失函数。
39.在一些实施例中，计算第二损失函数可以首先从第二图像的第二特征表示中生成预测文字描述，然后基于预测文字描述和原始文字描述，计算第二损失函数。例如可以使用图像-语言翻译器来获得预测文字描述。在图1所示的情况下，这样的“预测文字描述”可能是“人”、“行人”、“路人”、“车”、“汽车”、“机动车”这样的词语或其组合，也可能是“人和汽车”、“人在汽车旁边”、“人经过汽车”这样的短句，又可能是“步行的人和停止的汽车”这样的具有修饰词的表述。例如可以基于各种算法来评估预测文字描述和原始文字描述之间的相似度以计算第二损失函数。
40.在框210，计算设备110基于第一损失函数和第二损失函数的融合来训练图像识别模型。“融合”例如可以是两个函数的线性组合。
41.在一些实施例中，第一损失函数和第二损失函数的融合可以是以特定权重对第一损失函数和第二损失函数进行叠加。两个损失函数的权重可以相同也可以不同。
42.图3示出了本公开的多个实施例能够在其中实现的基于语义增强的图像识别模型的训练的架构300。架构300包括基于未标注的图像的自监督训练分支和基于具有文字描述的图像的语言监督训练分支。在本公开的实施例中，通过自监督训练和语言监督训练两个分支的融合，实现异构视觉训练，最终能够获得具有高层语义信息的视觉特征表示。
43.在图3左侧的自监督训练分支中，输入的是由大量未标注的图像310构成的数据集。对于数据集中的每一幅图像，通过图像增强生成两幅增强图像320、322。然后，将增强图像320、322输入特征提取器，并且分别提取得到视觉特征表示330、332。来自多个未标注图像310中的同一个未标注图像特征表示被定义为一对正样本，并且来自多个未标注图像310
中的不同未标注图像的特征表示被定义为一对负样本。
44.在一些实施例中，特征提取部分可以利用基于卷积神经网络(cnn)的模型来实现图像的特征提取。在基于cnn的模型中，隐藏层通常包括一个或多个卷积层，用于对输入执行卷积操作。除了卷积层之外，基于cnn的模型中的隐藏层还可以包括一个或多个激励层，用于利用激励函数对输入执行非线性映射。常用的激励函数例如包括修正线性单元(relu)，tanh函数等等。在一些模型中，在一个或多个卷积层之后可能连接有一个激励层。此外，基于cnn的模型中的隐藏层还可以包括池化(pooling)层，用于压缩数据和参数的量，以减少过拟合。池化层可以包括最大池化(max pooling)层、平均池化(average pooling)层等。池化层可以被连接在连续的卷积层中间。此外，基于cnn的模型还可以包括全连层，全连层通常可以被设置在输出层的上游。
45.基于cnn的模型是深度学习领域中熟知的技术，在此不再赘述。在不同模型中，卷积层、激励层和/或池化层的各自的数目、各个层中处理单元的数目和配置以及各个层之间的相互连接关系可以具有不同变化。在一些示例中，可以利用诸如resnet-50、inception_v3、googlenet等cnn结构来实现图像的特征提取。当然，应当理解，当前已使用的或者将来待开发的各种cnn结构均可以被用于提取图像的特征表示。本公开的实施例的范围在此方面不受限制。
46.在一些实施例中，图像识别模型可以利用基于循环神经网络(rnn)的模型来实现。在基于rnn的模型中，隐藏层的输出不仅与输入有关，而且还与隐藏层前一时刻的输出有关。基于rnn的模型具有记忆功能，能够记忆模型前一次(前一时刻)的输出，并且进行反馈用于与当前输入一起产生当前时刻的输出。隐藏层的中间输出有时也称为中间状态或中间处理结果。由此，隐藏层的最终输出可以认为是对当前输入与过去记忆总和的处理结果。基于rnn的模型可以采用的处理单元例如包括长短时记忆(lstm)单元、门控循环单元(gru)等。基于rnn的模型是深度学习领域中熟知的技术，在此不再赘述。根据所选择的循环算法的不同，基于rnn的模型可以具有不同变形。应当理解，当前已使用的或者将来待开发的各种rnn结构均可以被用于本公开的实施例。
47.基于来自多个未标注图像310的正负样本对，可以计算自监督训练分支的第一损失函数(也称为对比损失函数)。例如，可以使用infonce作为对比损失函数：
[0048][0049]
其中，i
[k≠i]
表示一个评价指标函数，在k不等于i时为1并且在k等于i时为0；k表示训练数据集中未标注图像的总数；i
i1
和i
i2
表示对于训练数据集中任意一幅未标注图像ii进行图像增强而得到两幅增强图像；f
i1
和f
i2
表示从i
i1
和i
i2
中分别提取的特征表示，被定义为一对正样本；i
k1
和i
k2
表示对于训练数据集中另一幅未标注图像ik进行图像增强而得到两幅增强图像；f
k1
和f
k2
表示从i
k1
和i
k2
中分别提取的特征表示，来自不同图像的特征表示f
ix
和f
ky
被定义为一对负样本；τ表示温度参数，当τ减小时，原来的差值会被放大，差值会变得更清晰、更明显。
[0050]
在图3右侧的语言监督训练分支中，输入的是由大量具有原始文字描述的图像312
构成的数据集，其包括图像部分324和文字描述部分326。图像312中的文字描述无需人工标注，而是可以通过数据挖掘从网络中获取。这样的文字描述可以提供更丰富的与图像相关联的语义信息，并且与图像的类别标签和边界框标注相比更容易收集。特征提取器从图像312的图像部分324中提取得到特征表示334。
[0051]
然后，该特征表示334被输入到图像-语言翻译器，从而得到预测的文字描述340。具体地，翻译器可以利用基于注意力的机制，在每个时间步骤聚合空间加权的上下文向量，并且利用rnn解码器来计算每个空间位置的前一个解码器状态和视觉特征之间的注意力权重。通过对加权二维特征的求和，得到最新的上下文向量，生成最新的解码器状态和预测词。
[0052]
例如，在使用resnet-50作为模型结构时，通过每步的soft-max输出预测词的概率。如图3所示，以视觉特征表示334gi作为输入，利用基于注意力的机制将空间特征转化为词序列y＝{y
t
}
t＝1t
，其中y
t
和t分别为嵌入词和句子y的长度。在时间步t的解码过程中，利用注意力机制与rnn解码器更新隐藏状态h
t
，通过给定y
t-1
作为输入来预测词y
t
。然后用全连接层和soft-max损失函数计算输出y
t
的概率。图像到语言翻译的第二损失函数(也称为监督损失函数ls)可以被定义为：
[0053][0054]
其中，c
t
表示时间步t时的上下文向量，由注意力机制计算得到；gi表示从图像212的图像部分224中提取的视觉特征表示；y
t
表示嵌入词的长度；t表示句子y的长度；h
t
表示在时间步t的解码过程中的隐藏状态；其中在给定y
t-1
作为输入的情况下，预测与图像部分224相关联的词y
t
。
[0055]
最后，为了以端到端的方式训练两个分支，本公开的实施例将两个训练分支的损失函数进行融合，例如可以将整个视觉训练框架的最终损失函数定义为：
[0056]
l
final
＝lc αls，
ꢀꢀ
公式3
[0057]
其中α表示用于融合自监督训练分支的对比损失lc和语言监督训练分支的监督损失ls的参数。
[0058]
本公开的实施例同时使用无标注图像和具有文字描述的图像进行训练，以获得具有语义信息的特征表示，从而相对于单纯利用未标注图像进行训练的方式实现语义增强。由于训练图像的类型多样化，经训练的图像识别模型的鲁棒性更高、性能更好。这样的模型还可以将特征表示与具体语义信息相关联，从而更准确执行各种场景下的图像处理任务。
[0059]
应当理解，以上用于描述本公开的模型架构的公式和模型类型都是示例性的，损失函数的定义也可以存在其他变形，本公开的实施例的范围在此方面不受限制。
[0060]
图4示出了根据本公开的一些实施例的用于图像识别的方法400的流程图。方法400也可以由图1中的计算设备110实现。
[0061]
在框402，计算设备110获取待识别图像。在框404，计算设备110基于图像识别模型对待识别图像进行识别，其中图像识别模型是基于训练方法200得到的。
[0062]
图5示出了根据本公开的一些实施例的基于语义增强的图像识别模型的训练装置500的框图。训练装置500可以被包括在图1的计算设备110中或者被实现为计算设备110。
[0063]
如图5所示，训练装置500包括第一特征提取模块502，被配置为从输入的未标注且无文字描述的第一图像中，提取第一图像的第一特征表示。训练装置500还包括第一计算模块504，被配置为基于第一特征表示，计算第一损失函数。训练装置500还包括第二特征提取模块506，被配置为从输入的未标注且具有原始文字描述的第二图像中，提取第二图像的第二特征表示。训练装置500还包括第二计算模块508，被配置为基于第二特征表示，计算第二损失函数。训练装置500还包括融合训练模块510，被配置为基于第一损失函数和第二损失函数的融合，训练图像识别模型。
[0064]
在一些实施例中，融合训练模块还可以被配置为：以特定权重对第一损失函数和第二损失函数进行叠加。
[0065]
在一些实施例中，第一特征提取模块还可以被配置为：通过图像增强生成第一图像的增强图像对；和从增强图像对中分别提取特征表示。
[0066]
在一些实施例中，第一计算模块还可以被配置为：基于从增强图像对中提取的特征表示，计算第一损失函数。
[0067]
在一些实施例中，第二计算模块还可以被配置为：从第二图像的第二特征表示中生成预测文字描述；和基于预测文字描述和原始文字描述，计算第二损失函数。
[0068]
图6示出了根据本公开的一些实施例的用于图像识别的装置600的框图。装置600可以被包括在图1的计算设备110中或者被实现为计算设备110。
[0069]
如图6所示，装置600包括图像获取模块602，被配置为获取待识别图像。装置600还包括图像识别模块604，被配置为基于图像识别模型对待识别图像进行识别，其中图像识别模型是基于训练装置500得到的。
[0070]
图7示出了可以用来实施本公开的实施例的示例设备700的示意性框图。设备700可以用于实现图1的计算设备110。如图所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序指令或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序指令，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0071]
设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0072]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如方法500。例如，在一些实施例中，方法500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的方法500的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为
执行方法500。
[0073]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)等等。
[0074]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0075]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0076]
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
[0077]
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。