一种基于深度注意力融合的图像描述生成方法

1.本发明属于计算机视觉与nlp的交叉技术领域，具体涉及一种基于深度注意力融合的图像描述生成方法，能够为图像生成高准确度的描述。


背景技术：

2.图像描述是一项新兴的研究任务。在过去的二十年中，自然语言处理(nlp)和计算机视觉(cv)领域在分析和生成文本以及图像理解方面取得了巨大的进步。虽然这两个领域都有一套基于机器学习和人工智能的方法，但是它们在过去的研究中是分开的，并且在科学界的交互并不多。然而近年来，随着人工智能领域的进步和深度学习模型的发展，学者们对语言和视觉信息的结合问题产生了越来越多的兴趣。与此同时，网络上出现了大量文字和视觉信息结合的数据，比如：带有标签的照片，报纸插图，以及社交媒体上的多模态信息。这些数据的出现，更加使得基于深度学习的图像描述模型受到越来越多的关注。
3.当前，基于神经网络的编码器-解码器框架成为图像描述的主流选择。例如由卷积编码器和长短期记忆网络解码器组成的端到端框架。许多用于图像描述的早期神经模型例如m-rnn、多模态神经语言模型、cnn lstm、show and tell模型等使用表示整个图像的单个特征向量对视觉信息进行编码，因此没有利用有关实体及其空间关系的信息。具有领先效果的方法大都是基于注意力机制的图像描述方法，试图基于图像中的不同区域预测描述中的单词。由于视觉注意力信息通常来自卷积神经网络的较高卷积层，因此空间定位受到限制，并且通常在语义上没有关联。这类问题较好的解决方案是通过将“自下而上”的注意力模型与“自上而下”的语言生成模型相结合，并利用图像中提取到的物体，生成效果较好的图像描述。该方法效果良好，说明结合目标检测和注意力机制有助于提高图像描述结果。
4.为了进一步增强编码-解码过程中视觉信息与生成词之间的相关性，研究者探索了视觉注意机制。如今，大多数图像描述方法都是基于注意力增强型编码器-解码器架构设计。深度自注意力变换(transformer)体系结构的提出为多种任务(例如翻译，文本生成和语言理解)的性能带来了显著的改进。例如，通过采用自下而上的方法来改进transformer编码器，使用位置编码对输入数据进行重新融合，将其应用于描述文本中的已解码标记，通过这种方式加入一定的空间信息。还比如，通过上下文感知辅助指导(caag)机制，以指导描述模型感知全局上下文，引入语义注意力，选择性地在全局文字生成中提取有用信息，以完成当前时刻的文字预测。文本生成技术的改良大都是为语言结构方面的改善，并引入一定的空间和图像信息，但是在编解码器阶段图像与文字特征的对应关系并未能很好地建模，使得生成描述中图像关系、图像中存在的实体出现缺少的情况。


技术实现要素：

5.为克服当前图像描述中存在的图像与文字特征的对应关系不充分问题，本发明提供一种基于深度注意力融合的图像描述生成方法。
6.本发明首先采用常见的目标检测模型faster r-cnn提取图像中包含的实体，之后
依靠基于深度自注意力变换的编码器与长短期记忆网络的解码器生成图像描述。具体的，利用深度自注意力变换网络对图像中提取到的所有实体进行层级的深度编码，在解码过程中，利用相同层级的长短期记忆网络，在每层的输出与编码器的相同层进行注意力融合，实现图像特征与文本特征的多层特征融合。整个发明为两阶段的图像描述方法，较好地解决了生成描述中图像中实体的丢失问题。
7.本发明解决其技术问题所采用的技术方案是：
8.一种基于深度注意力融合的图像描述生成方法，其步骤包括：
9.1)图像预处理阶段，使用常见的目标检测模型faster r-cnn提取图像中包含的实体，并使用特征提取残差网络vgg19提取实体的图像特征。
10.2)基于注意力机制的图像特征编码网络，所述图像特征编码网络包含用于图像特征提取的基于自注意力变换(transformer)的注意力网络，用于在多个层级多个深度提取实实体间关系的特征(即多层深度特征)；
11.3)基于长短期记忆模型的图像描述解码网络，所述图像描述解码网络基于长短期记忆模型以及注意力机制，其层级数量与图像特征编码网络相同，在每一层接收图像特征编码网络相同层的输出特征，目的是使用相同层级的图像特征生成文本特征，用于实现图像特征与文本特征的多层融合；
12.4)自我批判的强化学习策略，所述强化学习策略采用常用的scst算法，使用自我批判的强化学习方法来优化整个图像描述生成网络。
13.5)利用各个图像训练整个图像描述生成网络，通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，从而优化该网络，并使用强化学习的训练策略进行联合训练，最终得到整个基于深度注意力融合的图像描述生成网络；
14.6)将待生成描述的图像输入训练后的图像描述生成网络，为该图像生成恰当的文字描述。
15.进一步的，所述阶段1)图像预处理阶段，使用目标检测模型faster r-cnn以及vgg19提取图像中实体的特征，该阶段的目标检测模型以及vgg19不参与整个方法的训练阶段，该检测模型首先用ilsvrc 20xx数据集进行预训练，预训练是进行有监督的分类的训练。然后在pascal voc样本上进行特定调优，是一项有研究基础、达成共识的图像预处理方法。该阶段的输出为图像中各实体拼接像素点的横纵坐标，经过vgg19得到特征输出，以及整个图像经过vgg19后提取到的特征。
16.进一步的，所述阶段2)基于注意力机制的图像特征编码网络将vgg19提取过的图像特征整合成向量作为输入，经过三层自注意力变换层，在每一自注意力变换层通过将上一层输入的各个向量经过自注意力融合，得到与输入特征向量数量相同的层级输出特征。
17.进一步的，所述阶段3)基于长短期记忆模型的图像描述解码网络的总输入为上一个时期的预测文本，在每层的输出与编码网络相同层级的输出进行加权融合，权重为两个输出的加权和，lstm每个时期的输出与同层图像特征经过注意力机制融合，最终层通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，获得最终的单词输出。
18.进一步的，所述阶段4)该训练过程经过强化学习自我批判算法(scst)下进行优化，所述scst算法采用贪婪搜索的解码结果作为基准，所述scst算法的训练策略抛弃自行设计一个基线的想法，通过平衡训练和测试这种自批判的算法，调整系统的性能参数。
19.进一步的，所述基于注意力机制的图像特征编码网络中的自注意力变换层有三层，每个层由两个子层组成，分别是多头自注意力机制和全卷积前向网络。其中每个子层都加残差连接和正则化，因此可以将子层的输出表示为公式：
20.sub_layer_output＝layernorm(x (sublayer(x))
21.所述多头自注意力机制(multi-head attention)通过h个不同的线性变换对注意力机制中的查询向量q，键向量k，值向量v进行投影，最后将不同的注意力结果拼接起来：
22.multihead(q，k，v)＝concat(head1，...，headh)wo23.所述查询向量q，键向量k，值向量v的注意力机制由以下公式计算：
[0024][0025]
所述全卷积前向网络将多头自注意力机制子层的输出通过全卷积前向网络编码特征，经过上述残差连接和正则化，作为整个单层自注意力变换层的输出。
[0026]
其中dk为向量q、k、v的维度，三个向量维度相同。
[0027]
进一步的，基于长短期记忆模型的图像描述解码网络lstm的输出同样使用上述注意力机制对其进行特征融合，该lstm的输出作为查询向量q与值向量v，每层编码器的输出作为键向量k，经过此注意力融合得到该层的输出。即将第i层lstm的输出作为查询向量q与值向量v，第i层自注意力变换层的输出作为键向量k，采用注意力对查询向量q、值向量v和键向量k进行融合作为第i层lstm的输出(即第i层lstm的预测文本)。
[0028]
本发明一种基于深度注意力融合的图像描述生成方法主要包括以下步骤：
[0029]
1)将图像描述的数据集mscoco，重塑为225*225大小，通过目标检测网络和vgg19提取各个图像的特征作为图像预处理结果；
[0030]
2)基于注意力机制的图像特征编码网络，将预处理图像得到的特征经过该编码网络得到图像的多层深度特征；
[0031]
3)基于长短期记忆模型的图像描述解码网络，将上一时期的预测文字与编码器同层特征作为输入，得到该时期的预测文本；
[0032]
4)对输出结果在强化学习自我批判算法(scst)下进行优化，生成强化学习的奖励值；
[0033]
5)根据奖励值使用强化学习的训练策略进行联合优化和训练；
[0034]
6)将待描述图像输入训练后的生成网络，生成符合该图像的描述。
[0035]
进一步的，步骤1)所述图像预处理阶段，首先通过faster r-cnn提取图像中的实体，首先使用一组基础的卷积 线性整流函数 池化(conv relu pooling)层提取图像的特征图。该特征图经过区域提议网络(rpn)用于生成提议区域，之后经过roi pooling层，该层收集输入的图像特征(即conv relu pooling之后得到的特征图)和提议区域送入后续全连接层判定目标类别，之后进行精确分类，再次经过边框回归获得检测框最终的精确位置。之后将得到的输出目标实体区域拼接其坐标信息，经过卷积网络vgg19得到每个目标实体区域的图像特征。同样使用vgg19得到整个图像的全局图像特征。所述vgg19将图像以及图像中的实体输入为i，将图像归一化到224*224，使用预训练的vgg19中第五层卷积所输出的特征，得到512维的图像特征{ai}。
[0036]
进一步的，步骤2)基于注意力机制的图像特征编码网络，将预处理图像得到的特
征经过该编码网络得到图像的多层深度特征。所述图像特征编码网络主要包含用于图像特征融合的三层自注意力变换层。所述图像特征编码网络的过程输入为512维图像特征向量{ai}，将该向量{ai}作为注意力变换的查询向量q、键向量k与值向量v，进行自注意力融合。所述基于注意力机制的图像特征编码网络中的注意力机制层有三层，每个层由两个子层组成，分别是多头自注意力机制和全卷积前向网络。其中每个子层都加残差连接和正则化，因此可以将子层的输出表示为公式：
[0037]
sub_layer_output＝layernorm(x (sublayer(x))
[0038]
所述多头自注意力机制(multi-head attention)通过h个不同的线性变换对注意力机制中的查询向量q，键向量k，值向量v进行投影，最后将h个不同的注意力结果拼接起来：
[0039]
multihead(q，k，v)＝concat(head1,...，headh)wo[0040]
所述查询向量q，键向量k，值向量v的注意力机制由以下公式计算：
[0041][0042]
其中dk为向量的维度。
[0043]
进一步的步骤3)使用长短期记忆模型(lstm)的图像描述解码网络构造解码器，使用三层长短期记忆网络，构建lstm单元，其中输入门、遗忘门、输出门、记忆单元和输出依次为i
t
、f
t
、o
t
、c
t
和h
t
，所述lstm单元各个门的公式如下：
[0044]ft
＝σ(wf·
[h
t-1
,x
t
] bf)
[0045]it
＝σ(wi·
[h
t-1
,x
t
] bi)
[0046][0047][0048]ot
＝σ(wo·
[h
t-1
,x
t
] bo)
[0049]ht
＝o
t
*tanh(c
t
)
[0050]
在上述公式中，t表示第t个时间步骤，其大小跟句子长度有关。在每一层的{h
t
}输出之后，采用互注意力机制将该{h
t
}序列与编码器的同层输出进行融合。注意力机制采用以下规则：图像特征为512维的键向量ai，每层lstm的输出部分值向量h
t
，之后通过公式h
t
·
α获得该层的融合输出，α为注意力权重矩阵，用于记录ai每个像素位置获得的关注度(注意力)。α为前一时期lstm的隐变量输出与图像特征相乘的注意力权重获得，公式为：
[0051]
x
t
＝α
·
wai[0052]
α＝whh
t
·
waai[0053]
其中，w为可学习参数，x
t
为当前时期输入，h
t
为查询向量，ai为图像特征。每层lstm均由此种融合方式得到下一层lstm的输出。
[0054]
进一步的，最终层经过一层全连接，通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，从而优化该网络，最终得到整个基于深度注意力融合的图像描述生成模型，总体通过强化学习的训练策略自我批判算法(scst)下进行优化，并使用强化学习的训练策略进行联合训练。
[0055]
本发明的有益效果是，本发明设计了一种基于深度注意力融合的图像描述生成方
法，为图像生成的描述具有高保真度和高cider的结果。与现有技术相比，本发明的优点在于：
[0056]
1、采用多级别的自注意力变换层的编码器，与多级别的长短期记忆网络解码器相融合，鼓励高层层级的编解码器可以学到偏向文字特征的知识，底层层级的编解码器可以从图像特征提取知识，将图像特征与文字特征在不同层级上进行融合。
[0057]
2、图像描述的编码模型采用注意力机制进行图像的编码，并引入了代表空间位置关系的坐标特征，在不同层级提取图像特征，得到更加符合图像内容的描述。
[0058]
3、图像描述的解码模型采用结合注意力机制的长短期记忆网络，关注到句子的整体结构的同时，融合了不同级别的图像特征，与仅仅使用自注意力变换进行解码的方法相比更加关注生成描述的语法规则，使其更为流畅合理。
[0059]
4、整个过程采用强化学习与对抗网络联合训练的方式，较大程度的提高了生成描述的准确度。
附图说明
[0060]
图1为一种基于深度注意力融合的图像描述生成方法框架图。
具体实施方式
[0061]
下面通过具体实例和附图，对本发明做进一步的详细说明。本发明的一种基于深度注意力融合的图像描述生成方法流程如图1所示，主要分为训练阶段和测试阶段两个阶段。
[0062]
训练阶段分为两个阶段，其步骤如下：
[0063]
1)第一阶段为图像的预处理阶段，使用faster r-cnn对图像中存在的实体进行检测和提取，并提取实体的图像特征。
[0064]
该步骤1)的处理过程为：预处理阶段首先输入为mscoco数据集的图像，并使用预先训练好的faster r-cnn目标检测网络对图像中存在的实体进行检测和提取，之后对检测到的实体拼接其各个像素的横纵坐标，并使用vgg19提取图像特征。vgg19将图像以及图像中的实体输入为i，将图像归一化到224*224，使用预训练的vgg16中第五层卷积所输出的特征，得到512维的图像特征{ai}，完成图像的预处理阶段。
[0065]
2)基于深度注意力融合的图像描述生成方法，架构包括两个网络，基于注意力机制的图像特征编码网络和基于长短期记忆模型的图像描述解码网络，并最终使用强化学习自我批判算法(scst)进行优化。
[0066]
该步骤2)的生成网络改进深度自注意力变换的思想，在描述生成的过程中引入注意力机制。在使用基于卷积神经网络(cnn)的vgg19图像特征提取网络之后，得到的预处理结果作为该阶段的总体输入，该图像特征引入深度自注意力网络进行图像特征的编码，并加入长短期记忆网络对编码特征解码成文字描述。所述图像编码网络的编码过程输入为该512维图像特征{ai}，模型采用深度自注意力机制模型，层级设为3层。每层特征的查询向量q，键向量k，值向量v均为特征向量{ai}，进行自注意力融合。所述基于注意力机制的图像特征编码网络中的注意力机制层有三层，每个层由两个子层组成，分别是多头自注意力机和全卷积前向网络。其中每个子层都加残差连接和正则化，因此可以将子层的输出表示为公
式：
[0067]
sub_layer_output＝layernorm(x (sublayer(x))
[0068]
所述多头自注意力机(multi-head attention)通过h个不同的线性变换对注意力机制中的查询向量q，键向量k，值向量v进行投影，最后将不同的注意力结果拼接起来：
[0069]
multihead(q,k,v)＝concat(head1,...,headh)wo[0070]
所述查询向量q，键向量k，值向量v的注意力机制由以下公示计算：
[0071][0072]
其中dk为向量的维度。
[0073]
所述基于长短期记忆模型的图像描述解码网络采用长短期记忆模型lstm，其每个时期的输出与图像特征经过注意力机制在各层进行互注意力融合，之后经过全连接网络，通过交叉熵函数计算输出描述信息中每个单词与实际值之间的误差，并通过回传该误差梯度优化整体的图像描述网络。该长短期记忆模型同样使用3层lstm，与编码器的自注意力变换模型做匹配融合。在每一层的{h
t
}输出之后，采用互注意力机制将该{h
t
}序列与编码器的同层输出进行融合。注意力机制采用以下规则：图像特征为512维的键向量ai，每层lstm的输出部分作为值向量h
t
，之后通过公式h
t
·
α获得该层的融合输出，α为注意力权重矩阵，用于记录ai每个像素位置获得的关注度(注意力)。α为前一时期lstm的隐变量输出与图像特征相乘的注意力权重获得，公式为：
[0074]
x
t
＝α
·
wai[0075]
α＝whh
t
·
waai[0076]
其中，w为可学习参数，x
t
为当前时期输入，h
t
为查询向量，ai为图像特征。每层lstm均由此种融合方式得到下一层lstm的输出。
[0077]
3)最终通过自我批判(scst)的强化学习算法策略进行联合迭代优化。考虑到希望测定获得描述的独特性与保真度，因此使用bleu和cider作为最终的评价标准。
[0078]
测试阶段的步骤如下：
[0079]
1)将测试图像输入训练好的基于注意力机制的图像描述生成网络中，输出对应该测试图像的描述。
[0080]
2)对该描述与标注的匹配描述进行bleu以及cider标准的计算和测量，作为最终输出描述的结果评价。
[0081]
本发明涉及一种基于深度注意力融合的图像描述生成方法，其测试环境及实验结果为：
[0082]
(1)测试环境：
[0083]
系统环境：ubuntu16.04；
[0084]
硬件环境：内存：16gb，gpu：titianxp，硬盘：1tb；
[0085]
(2)实验数据：
[0086]
训练数据：
[0087]
使用mscoco数据集分别进行训练和测试，训练到模型稳定，效果不再提升。
[0088]
测试数据：mscoco的测试数据集
[0089]
评估方法：在线评估
[0090]
(3)实验结果：
[0091]
本发明实验结果与传统自注意力变换方法对比，传统自注意力变换方法的编码器为自注意力变换模型，且其解码器只引入编码器的最后一层输出进行解码。测试对比结果如下面表1所示：
[0092]
表1.本发明的测试结果对比
[0093]
方法对比bleu-4ciderspice传统自注意力变换方法0.387128.30.2289本方法0.381130.10.2417
[0094]
以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。