一种基于描述文本的视频问答方法

1.本发明属于自然语言处理和计算机视觉领域，尤其涉及一种基于描述文本的视频问答方法。


背景技术：

2.视频问答通常是指给计算机提供一段视频以及几个与视频内容相关的问题，让计算机理解视频内容并用自然语言回答出这些问题，近年来一直吸引着研究者的关注，是一项重要的多模态理解任务，其在现实中也有很多应用场景，比如提高机器人人机交互的能力、帮助视觉障碍人士获取视频信息、快速获取视频信息等等。
3.随着神经网络的飞速发展，近年来开始出现了基于深度学习的问答系统。早期的视频问答系统侧重于将视觉信息和文本信息分开处理，在模型的最后阶段再进行特征的融合来推理答案。cvpr2017年会议论文集，tgif-qa:toward spatio-temporal reasoning in visual question answering，1359-1367页公开了一种分别提取视频的视觉信息和问题的问题特征，最后融合两者推理答案的方法，该方法采用c3d和resnet神经网络分别在时间和空间两个维度提取视频的视觉特征并融合，利用lstm网络提取问题的文本特征，之后将融合后的视觉特征和文本特征编码，最后解码得到答案。之后，许多研究者都投身于改进基于深度学习的问题系统，比较有代表性的改进是注意力机制以及记忆网络的使用。但是，目前的大多数方法由于将视觉信息和文本信息这两种不同模态的信息融合，导致相应的信息利用的不够充分。具体来说，现有的视频问答方法无法有效地通过高层次神经网络表达视频中与问题相关的信息，从而在问答问题时无法充分利用视频的信息，使得生成的答案不准确。


技术实现要素：

4.针对现有方法的不足，本发明提出了一种基于描述文本的视频问答方法，考虑将视频特征通过文字进行描述，并利用知识库补充描述文本的内容，再将视频的相关描述与问题文本进行融合推理，挖掘问题与描述之间的潜在关联，最后进行分类得到预测答案，并通过知识库进行预测答案和预期答案的语义关系判断。
5.技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于描述文本的视频问答方法，包括如下步骤：
6.步骤1，根据所有问题和答案生成相应的先验知识库g；
7.步骤2，通过卷积神经网络提取视频的帧特征和运动特征，并表示为二组固定维度的特征实值向量vf、vm；
8.步骤3，通过常识特征提取网络提取视频帧的常识特征实值向量vc；
9.步骤4，将视频特征实值向量vf、vm以及常识特征实值向量vc进行注意力计算，得到视频最终的特征向量表示φ(v)；
10.步骤5，将视频特征表示φ(v)以及问题文本通过描述网络生成视频描述文本dw；
11.步骤6，通过对视频描述文本dw进行关键词提取，在先验知识库g中查询相应的知识，根据查询结果生成补充描述gw，并将视频描述文本dw和补充描述gw两者合并得到最终的描述文本vd；
12.步骤7，对视频描述文本vd和问题文本进行特征提取，利用问答处理网络对两者进行处理，将处理结果输入到分类器中得到预测的答案，结合先验知识库g判断预测的准确性，完成基于描述文本的视频问答。
13.作为优选，步骤1的具体步骤为：
14.步骤1-1，将问题文本的疑问词根据答案进行替换，得到相应的陈述句；
15.步骤1-2，对问题陈述语句进行关键词提取，并根据词语间的关系生成三元组《w,r,w》，其中w表示单词，r表示单词间的关系；
16.步骤1-3，根据关系三元组《w,r,w》，将w作为图的节点，r作为边，构建先验知识库g。
17.作为优选，步骤2的具体步骤为：
18.步骤2-1，根据视频所包含的帧数，等间隔地提取n帧图像；
19.步骤2-2，根据提取的n帧图像，利用卷积神经网络resnet获取视频的帧特征向量表征vf＝{vf1,vf2，
……
,vfn}，并将视频的帧特征向量表征vf作为视频对应的帧特征实值向量，其中vfn表示第n个视频帧对应的帧特征；
20.步骤2-3，根据视频所包含的帧数，等间隔地分为t个视频片段；
21.步骤2-4，根据划分的t个视频片段，利用卷积神经网络resnext获取视频的运动特征向量表征vm＝{vm1,vm2,
……
,vm
t
}，并将视频的运动特征向量表征vm作为视频对应的运动特征实值向量，其中vm
t
表示第t个视频片段对应的运动特征。
22.作为优选，步骤3的具体步骤为：
23.步骤3-1，通过稀疏采样的方法提取视频的k帧图像；
24.步骤3-2，将提取的k帧图像输入到在coco数据集上预训练的vc-rnn网络进行常识特征提取，得到相应的常识特征向量表征vc＝{vc1,vc2,
……
,vck}，并将所述常识特征向量表征vc作为视频对应的常识特征实值向量，其中vck表示第k个视频帧对应的常识特征。
25.作为优选，步骤4的具体步骤为：
26.步骤4-1，利用注意力机制，计算常识特征实值向量vc对运动特征实值向量vm的关注，得到常识特征关注的运动特征φc(vm)；φc(vm)的表达式如下：
[0027][0028]
其中，vfi表示第i帧视频对应的帧特征，表示在每一个时间步t通过注意力机制计算出的第i个帧特征对第j个常识特征的注意力权重，n表示常识特征数量；
[0029]
步骤4-2，利用注意力机制，计算常识特征实值向量vc对帧特征实值向量vf的关注，得到常识特征关注的帧特征φc(vf)；φc(vf)的表达式如下：
[0030][0031]
其中，vmi表示第i个视频片段对应的运动特征，表示在每一个时间步t通过注意
力机制计算出的第i个运动特征对第j个常识特征的注1意力权重，n表示常识特征数量；
[0032]
步骤4-3，将常识特征vc、常识特征关注的运动特征φc(vm)、常识特征关注的帧特征φc(vf)拼接，得到视频最终的特征表示向量φ(v)＝{v1,v2,
……vt
}，其中v
t
表示第t次拼接得到的视频特征表示。
[0033]
作为优选，步骤5的具体步骤为：
[0034]
步骤5-1，根据问题单词文本，将输入的问题以单词序列的形式进行处理；
[0035]
步骤5-2，利用预训练的bert模型将问题单词序列转化为固定维度的词向量集合q＝{q1,q2,
……
,qn}，其中qn表示第n个单词对应的词向量表示；
[0036]
步骤5-3，在第一个时间步t，生成开始标识《sos》并初始化lstm网络；
[0037]
步骤5-4，根据单词的关联性进行计算，得到短语表示矩阵p
t
＝[p
1,t
……
p
j,t
]，其中p
j,t
表示第j个到第t个单词构成的短语表示；
[0038]
步骤5-5，根据短语表示矩阵p
t
，计算相关的视频特征权重，得到最终的视频语义特征表示φ
atten
(v)
(t)
；
[0039]
步骤5-6，将视频语义特征φ
atten
(v)
(t)
输入至lstm网络中，生成该时间步的视频描述单词w；
[0040]
步骤5-7，循环步骤5-4至步骤5-6生成视频描述单词，直到生成结束标识《eos》为止完成视频描述的生成，最终得到视频相应的描述文本dw＝{w1,w2,
……
,wn}，其中n表示单词的个数。
[0041]
步骤5-4中，p
t
的计算过程如下：
[0042][0043]at
＝ψ
p
(w
t
)＝[α
1,t
,
……
,α
j,t
]
[0044][0045]
p
t
＝[p
1,t
,
……
,p
j,t
]
[0046]
在任意一个时间步t，w
t
表示前t-1步生成的描述单词的词向量表示构成的矩阵，其中e
wt-1
表示第t-1个单词通过word2vec得到的词向量表示，ψ
p
表示单词注意力的计算，a
t
表示单词注意力权重矩阵，α
j,t
表示第1个到第t-1个单词对于生成短语p
j,t
的注意权重，p
t
为短语表示矩阵，p
j,t
表示第j个到第t个单词构成的短语表示。
[0047]
步骤5-5中，φ
atten
(v)的计算过程如下：
[0048][0049][0050][0051]
[0052][0053]
在任意一个时间步t，β
i,j,t
表示短语对p
i,t
和视频特征vj的相关得分，其中σ表示tanh激活函数，us、os表示可训练参数矩阵，bs表示可训练偏置，p
i,t
表示第i个单词到第t个单词构成的短语表示，vj表示第j个视频特征表示；表示根据相关得分计算得到的视频特征表示，n表示视频特征总数；s
i,t
表示将p
i,t
和的拼接结果作为短语对p
i,t
的单词组特征；γ
i,t
表示当前单词组特征和历史特征的相关得分，其中σ表示tanh激活函数，ud、od表示可训练参数矩阵，bd表示可训练偏置，h
t-1
表示lstm网络的上一个时间步t-1的隐藏层表示；φ
atten
(v)(t)为根据所有单词组的相关得分γ
i,t
得到的最后特征表示，m表示单词组的数量。
[0054]
作为优选，步骤6的具体步骤为：
[0055]
步骤6-1，将视频描述文本dw通过jieba分词库进行关键词提取，得到相应的关键词列表kw＝{kw1,kw2,
……
,kwm}，其中kwm表示第m个关键词，m表示关键词的个数；
[0056]
步骤6-2，将关键词列表的每一个单词作为节点，进行关联知识的查询，选择关联权重最高的关系生成相应的描述信息dk＝{dk1,dk2,
……
,dki}，其中dki表示第i个关键词对应的描述信息；
[0057]
步骤6-3，将视频描述文本dw以及所有关键词的描述信息dk进行合并，作为最终的视频描述文本vd。
[0058]
作为优选，步骤7的具体步骤为：
[0059]
步骤7-1，将问题文本和视频描述文本dw以单词序列的形式进行处理；
[0060]
步骤7-2，利用预训练的bert模型将问题文本序列转化为固定维度的词向量集合q＝{q1,q2,
……
,qn}，其中qn表示问题第n个单词对应的词向量表示；
[0061]
步骤7-3，利用预训练的bert模型将视频描述文本序列转化为固定维度的词向量集合d＝{d1,d2,
……
,dm}，其中dm表示视频描述第m个单词对应的词向量表示；
[0062]
步骤7-4，将视频描述词向量集合d和问题词向量集合q输入至问答处理网络的编码层，通过预训练的bert模型提取两者的句子级特征并得到特征编码后的表示td和tq；
[0063]
步骤7-5，将特征编码表示td和tq输入至问答处理网络的双向注意层，得到question-description的注意力矩阵x和description-question的注意力矩阵y；
[0064]
步骤7-6，将特征编码后的表示td、矩阵x的行a以及矩阵y的行b输入至问答处理网络的模型编码层，并经过池化层处理得到最终的编码表示m；
[0065]
步骤7-7，将编码表示m输入至分类器进行分类，得到模型初步预测的答案p，并根据预测答案和预期答案进行知识库搜索，判断最终生成结果的正确性，完成基于描述文本的视频问答。
[0066]
步骤7-5中，矩阵x和矩阵y的表达式及相关计算如下：
[0067]si,j
＝w0[tqi,tdj,tqi⊙
tdj]
[0068][0069]
x＝softmax(s,axis＝row)
·
td
t
[0070]
y＝x
·
(td
t
)-1
·
softmax(s,axis＝column)
t
·
tq
t
[0071]
其中，tqi和tdj分别为编码后问题的第i个单词向量以及描述的第j个单词向量，
⊙
表示按元素点乘，w0为可训练参数矩阵，layernorm表示正则化层。
[0072]
步骤7-7中包括以下步骤：
[0073]
步骤7-7-1：将预测的答案作为知识库g的节点查询其关联信息，将直接关联的t个单词作为其关联单词组r
pw
＝{pw1,pw2,
……
,pw
t
}，其中pw
t
表示知识库查询到的第t个与预测答案关联的单词；
[0074]
步骤7-7-2：将标准答案作为知识库g的节点查询其关联信息，将直接关联的t个单词作为其关联单词组r
rw
＝{rw1,rw2,
……
,rw
t
}，其中rw
t
表示知识库查询到的第t个与标准答案关联的单词；
[0075]
步骤7-7-3：将关联单词组r
pw
和r
rw
分别组成句子输入至bert模型进行语义相似度计算，语义相似度大于设定阈值的答案预测正确，否则答案预测失败。
[0076]
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
[0077]
本发明通过将视频的视觉特征通过文本来进行描述，同时利用先验知识库对描述文本进一步扩充知识，避免了跨模态融合的视频语义信息保留不够的问题，在答案推理过程中通过文本单一模态的交互能够更大程度挖掘相关信息，从而提升了视频问答的效果。
附图说明
[0078]
图1为本发明的方法流程示意图；
[0079]
图2为本实施例中的流程示意图。
具体实施方式
[0080]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0081]
如图1和图2所示，本发明提供了一种基于描述文本的视频问答方法，其实现方法如下：
[0082]
步骤1，根据所有问题和答案生成相应的先验知识库g，其实现方法如下：
[0083]
步骤1-1，将问题文本的what、who、where等疑问词根据答案进行替换，得到相应的陈述句；
[0084]
步骤1-2，对问题陈述语句进行关键词提取，并根据词语间的关系生成三元组《w,r,w》，其中w表示单词，r表示单词间的关系；
[0085]
步骤1-3，根据关系三元组《w,r,w》，将w作为图的节点，r作为边，构建先验知识库g。
[0086]
步骤2，通过卷积神经网络提取视频的帧特征和运动特征，并表示为二组固定维度的特征实值向量vf、vm，其实现方法如下：
[0087]
步骤2-1，根据视频所包含的帧数，等间隔地提取n帧图像；
[0088]
步骤2-2，根据提取的n帧图像，利用卷积神经网络resnet获取视频的帧特征向量表征vf＝{vf1，vf2，
……
，vfn}，并将视频的帧特征向量表征vf作为视频对应的帧特征实值向量，其中vfn表示第n个视频帧对应的帧特征；
[0089]
步骤2-3，根据视频所包含的帧数，等间隔地分为t个视频片段；
[0090]
步骤2-4，根据划分的t个视频片段，利用卷积神经网络resnext获取视频的运动特征向量表征vm＝{vm1,vm2,
……
,vm
t
}，并将视频的运动特征向量表征vm作为视频对应的运动特征实值向量，其中vm
t
表示第t个视频片段对应的运动特征。
[0091]
步骤3，通过常识特征提取网络提取视频帧的常识特征实值向量vc，其实现方法如下：
[0092]
步骤3-1，通过稀疏采样的方法提取视频的k帧图像；
[0093]
步骤3-2，将提取的k帧图像输入到在coco数据集上预训练的vc-rnn网络进行常识特征提取，得到相应的常识特征向量表征vc＝{vc1,vc2,
……
,vck}，并将所述常识特征向量表征vc作为视频对应的常识特征实值向量，其中vck表示第k个视频帧对应的常识特征。
[0094]
步骤4，将视频特征实值向量vf、vm以及常识特征实值向量vc进行注意力计算，得到视频最终的特征向量表示φ(v)，其实现方法如下：
[0095]
步骤4-1，利用注意力机制，计算常识特征实值向量vc对运动特征实值向量vm的关注，得到常识特征关注的运动特征φc(vm)；
[0096]
本实施例中，通过使用注意力机制，对视频运动特征实值向量vm进行处理，计算出运动特征对常识特征任意时刻t的权重然后加权得到任意时刻t常识特征相关的运动特征向量
[0097][0098]
这使得运动特征包含更丰富的常识信息，有利于提高描述文本生成内容的多样性。
[0099]
步骤4-2，利用注意力机制，计算常识特征实值向量vc对帧特征实值向量vf的关注，得到常识特征关注的帧特征φc(vf)；
[0100]
本实施例中，通过使用注意力机制，对视频帧特征实值向量vf进行处理，计算出帧特征对常识特征任意时刻t的权重然后加权得到任意时刻t常识特征相关的运动特征向量
[0101][0102]
这使得帧特征包含更丰富的常识信息，也有助于提高描述文本生成内容的多样性。
[0103]
步骤4-3，将常识特征vc、常识特征关注的运动特征φc(vm)、常识特征关注的帧特征φc(vf)拼接，得到视频最终的特征表示向量φ(v)＝{v1,v2,
……vt
}，其中v
t
表示第t次拼
接得到的视频特征表示。
[0104]
步骤5，将视频特征表示φ(v)以及问题文本通过描述网络生成视频描述文本dw，其实现方法如下：
[0105]
步骤5-1，根据问题单词文本，将输入的问题以单词序列的形式进行处理；
[0106]
步骤5-2，利用预训练的bert模型将问题单词序列转化为固定维度的词向量集合q＝{q1,q2,
……
,qn}，其中qn表示第n个单词对应的词向量表示；
[0107]
步骤5-3，在第一个时间步t，生成开始标识《sos》并初始化lstm网络；
[0108]
步骤5-4，根据单词的关联性进行计算，得到短语表示矩阵p
t
＝[p
1,t
……
p
j,t
]，其中p
j,t
表示第j个到第t个单词构成的短语表示；
[0109]
本实施例中，考虑到不同单词组合的意思是不同的，根据单词之间的注意力计算它们之间的关联性，得到短语表示矩阵p
t
＝[p
1,t
……
p
j,t
]以及注意力权重矩阵a
t
＝[α
1,t
……
α
j,t
]，该方法能挖掘问题单词间的语义关系，有助于模型对问题语义的理解。
[0110]
步骤5-5，根据短语表示矩阵p
t
，计算相关的视频特征权重，得到最终的视频语义特征表示φ
atten
(v)
(t)
；
[0111]
本实施例中，通过计算不同短语和视频特征的关联性：
[0112][0113]
并综合关联性选择最相关的视频特征：
[0114][0115]
进而得到不同的语义特征组表示：
[0116][0117]
接着计算不同语义特征组对历史特征的关联性：
[0118][0119]
最后结合所有语义特征组得到最终的视频语义特征表示：
[0120][0121]
这对视频描述的信息选择和定位有着极大的帮助，使得视频描述的内容能够抓住视频和问题双方面的核心信息。
[0122]
上式中，在任意一个时间步t，β
i,j,t
表示短语对p
i,t
和视频特征vj的相关得分，其中σ表示tanh激活函数，us、os表示可训练参数矩阵，bs表示可训练偏置，p
i,t
表示第i个单词到第t个单词构成的短语表示，vj表示第j个视频特征表示；表示根据相关得分计算得到的视频特征表示，n表示视频特征总数；s
i,t
表示将p
i,t
和的拼接结果作为短语对p
i,t
的单词组特征；γ
i,t
表示当前单词组特征和历史特征的相关得分，其中σ表示tanh激活函数，ud、od表示可训练参数矩阵，bd表示可训练偏置，h
t-1
表示lstm网络的上一个时间步t-1的隐藏层表示；φ
atten
(v)(t)为根据所有单词组的相关得分γ
i,t
得到的最后特征表示，m表
示单词组的数量。
[0123]
步骤5-6，将视频语义特征φ
atten
(v)(t)输入至lstm网络中，生成该时间步的视频描述单词w；
[0124]
步骤5-7，循环步骤5-4至5-6生成视频描述单词，直到生成结束标识《eos》为止完成视频描述的生成，最终得到视频相应的描述文本dw＝{w1,w2,
……
,wn}，其中n表示单词的个数。
[0125]
步骤6，将视频特征表示φ(v)以及问题文本通过描述网络生成视频描述文本dw，其实现方法如下：
[0126]
步骤6-1，将视频描述文本dw通过jieba分词库进行关键词提取，得到相应的关键词列表kw＝{kw1,kw2,
……
,kwm}，其中kwm表示第m个关键词，m表示关键词的个数；
[0127]
步骤6-2，将关键词列表的每一个单词作为节点，进行关联知识的查询，选择关联权重最高的i个关系生成相应的描述信息dk＝{dk1,dk2,
……
,dki}，其中dki表示第i个关键词对应的描述信息；
[0128]
步骤6-3，将视频描述文本dw以及所有关键词的描述信息的dk进行合并，作为最终的视频描述文本vd。
[0129]
步骤7，对视频描述文本vd和问题文本进行特征提取，利用问答处理网络对两者进行处理，将处理结果输入到分类器中得到预测的答案，结合知识库信息判断预测的准确性，完成基于描述文本的视频问答，其实现方法如下：
[0130]
步骤7-1，将问题文本和视频描述文本dw以单词序列的形式进行处理；
[0131]
步骤7-2，利用预训练的bert模型将问题文本序列转化为固定维度的词向量集合q＝{q1,q2,
……
,qn}，其中qn表示问题第n个单词对应的词向量表示；
[0132]
步骤7-3，利用预训练的bert模型将视频描述文本序列转化为固定维度的词向量集合d＝{d1,d2,
……
,dm}，其中dm表示视频描述第n个单词对应的词向量表示。
[0133]
步骤7-4，将视频描述词向量集合d和问题词向量集合q输入至问答处理网络的编码层，通过预训练的bert模型提取两者的句子级特征并得到特征编码后的表示td和tq；
[0134]
步骤7-5，将特征编码表示td和tq输入至问答处理网络的双向注意层，得到question-description的注意力矩阵x和description-question的注意力矩阵y；
[0135]
步骤7-6，将特征编码后的表示td、矩阵x的行a以及矩阵y的行b输入至问答处理网络的模型编码层，并经过池化层处理得到最终的编码表示m；
[0136]
步骤7-7，将编码表示m输入至分类器进行分类，得到模型初步预测的答案p，并根据预测答案和预期答案进行知识库搜索，判断最终生成结果的正确性，完成基于描述文本的视频问答。
[0137]
本方法将视频的视觉信息通过相应的描述文本来表示，在视频描述生成的过程中，对问题的单词组计算了注意力权重，使得生成的描述与问题关联性更强，此外还利用先验知识库对描述内容进行补充，使描述文本中包含更丰富的信息，在答案推理的过程中可以充分利用单模态融合的优势，避免多模态融合过程中视频特征保留不够的问题，因此能大大提高问答结果的准确性。
[0138]
本实施例中，为了生成结果更符合实际，选择了比较预测答案和标准答案的语义相关性，并且这个语义相关性是通过知识库扩充的，有助于改善问题答案的匹配能力，问题
的答案只要语义足够相似即为预测正确，形式不同是可以接受的，这也符合生活实际。
[0139]
以下对本发明作进一步的说明。
[0140]
本实施例在数据集msvd-qa和msrvtt-qa上进行了测试，msvd-qa数据集是一个拥有5k个问题的小数据集，这些问题来源于1970个视频片段，可分为what，who，how，when和where这5种类型，msrvtt-qa数据集包含了243k个问题，它们来源于10k个视频片段，问题的类型与msvd-qa数据集类似，但其视频包含更复杂的场景，视频的平均时间也更长。由于所有的问题均为开放式回答，因此对回答的所有5类问题均以准确率进行评估。如表1所示，表1为msvd-qa数据集上本方法和现有方法的效果对比，从表中可以看出，本方法相比现有的st-vqa(时空注意力网络)、co-mem(协同注意记忆网络)以及hme(异构记忆增强网络)方法的效果都要好。
[0141]
表1
[0142] whatwhohowwhenwhereallst-vqa0.1810.5000.8380.7240.2860.313co-mem0.1960.4870.8160.7410.3170.317hme0.2240.5010.7300.7070.4290.337本方法0.2370.5130.7460.6820.4130.372
[0143]
如表2所示，表2为msrvtt-qa数据集上本方法和现有方法的效果对比，从表中可以看出，本方法的效果总体同样优于其它方法。
[0144]
表2
[0145] whatwhohowwhenwhereallst-vqa0.2450.4120.7800.7650.3490.309co-mem0.2390.4250.7410.6900.4290.32hme0.2650.4360.8240.7600.2860.33本方法0.2660.4450.8240.7310.3220.364
[0146]
综上所述，本发明引入了视频描述机制以及先验知识库，将视频所包含的信息不再用高层次神经网络的中间状态来表示，而是通过相应的描述文本来表示，进而将文本问答的一些技巧如知识库等运用到视频问答中，以提高视频问答的效果，同时，对于视频描述文本与问题描述做多层次的交互处理，以提高文本语义匹配的能力，进而更好的预测出答案，实验在msvd-qa以及msrvtt-qa两个数据集上进行，结果表明，本发明相较与其它现有方法回答的准确性有所提高。