一种基于动态注意力与图网络推理的视频问答系统、方法、计算机及存储介质与流程

1.本发明涉及一种视频问答方法，尤其涉及一种基于动态注意力与图网络推理的视频问答系统、方法、计算机及存储介质，属于计算机视觉和自然语言处理交叉领域。


背景技术：

2.近几年，随着计算机视觉与自然语言处理的发展，大量的视觉与语言研究课题得到了广泛的关注。视频问答是跨模态任务，它包括多种不同模态的数据信息，如视频模态、语音模态、文本模态。视频问答的任务可以描述为，已知一段视频和与视频内容相关的自然语言描述的问题，通过获取他们的视觉信息和语义信息，对问题进行答案预测的过程。当人们观看一段视频时，会通过视频展现的视觉信息来获取视频中出现的人物、物体、环境等，使人们对视频内容有了一个整体的了解。
3.目前的视频问答任务虽然解决了不同模态信息间的交互问题，但仍存在以下不足：(1)使用现有的神经网络建模视频中时
‑
空间信息时，获得的时序特征不能有效地表示不同模态、同模态之间的关联程度；(2)通常情况下，视频中包含多个运动的物体，而目前模型不能有针对性的获取不同物体的运动信息，并且存在大量的冗余信息；(3)采用图卷积网络解决视频问答任务的方法中，他们根据物体信息构建图节点表示，确没有使用物体的位置、运动等信息。
4.在视频问答任务中，如何使获得的时序特征有效的表示不同模态和同模态之间的关联程度、有针对性的获取不同物体的运动信息，解决大量冗余的信息以及使用物体的位置和运动的信息构建图节点，是视频问答的关键和难点问题。本发明针对该问题，提出了一种基于动态注意力与图网络推理的视频问答系统、方法、计算机及存储介质。


技术实现要素：

5.在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
6.本发明提供了一种基于动态注意力与图网络推理的视频问答系统，包括，物体空间特征和物体类别特征计算模块、视觉运动特征提取模块、物体联合特征获取模块、问题特征提取模块、问题意识联合特征获取模块、问题意识的物体关系特征获取模块、视频时序特征获取模块、多模态特征融合模块和答案生成模块；
7.所述物体空间特征和物体类别特征计算模块用于根据物体检测模型预测视频中物体标注框和类别标签，获得物体空间特征和物体类别特征；
8.所述视觉运动特征提取模块用于根据子视频对齐模型来获取时空维度相同的子视频，提取子视频的视觉运动特征，获得视觉运动特征；
9.所述物体联合特征获取模块用于将物体空间特征、物体类别特征和视觉运动特征进行融合，获得物体联合特征；
10.所述问题特征提取模块用于针对问题对问题进行编码，获得问题特征；
11.所述问题意识联合特征获取模块用于将物体联合特征与问题特征输入注意力模型中，获得具有问题意识的联合特征；
12.所述问题意识的物体关系特征获取模块用于构建具有问题意识的图卷积网络推理不同物体之间的复杂关系，获得具有问题意识的物体关系特征；
13.所述视频时序特征获取模块用于获得gru解码阶段最后时刻的隐藏状态，将其作为具有时序关系的视频特征表示；
14.所述多模态特征融合模块用于将问题特征和具有时序关系的视频特征进行低秩双线性融合获得融合特征；
15.所述答案生成模块用于使用softmax函数计算生成答案。
16.一种基于动态注意力与图网络推理的视频问答方法，包括以下步骤：
17.s1.针对一段视频，根据物体检测模型预测视频中物体标注框和类别标签，来计算物体空间特征和物体类别特征；
18.s2.针对一段视频，根据子视频对齐模型来获取时空维度相同的子视频，提取子视频的视觉运动特征；
19.s3.对步骤s1所获得的物体空间特征和物体类别特征，对步骤s2所获得的视觉运动特征进行特征融合得到物体联合特征；
20.s4.针对问题，对问题进行编码，获得问题特征；
21.s5.对步骤s3所获得的物体联合特征和对步骤s4所获得的问题特征输入注意力模型中得到具有问题意识的联合特征；
22.s6.用步骤s5所获得的具有问题意识的联合特征，来初始化图卷积网络节点，构建具有问题意识的图卷积网络来推理不同物体之间的复杂关系，得到具有问题意识的物体关系特征；
23.s7.对步骤s6所获得的具有问题意识的物体关系特征，使用gru模型进行编码，将最后时刻的隐藏状态作为具有时序关系的视频特征；
24.s8.对步骤s7所获得的具有时序关系的视频特征，步骤s4所获得的问题特征进行低秩双线性融合得到融合特征，并使用softmax生成答案。
25.优选的，步骤s1所述根据物体检测模型预测视频中物体标注框和类别标签，来提取物体空间特征和物体类别特征的具体方法是：采用目标检测模型mask r
‑
cnn检测出置信度得分最高的k个物体，根据其标注框和类别标签计算物体空间特征和物体类别特征；具体的计算过程如下：
26.a)计算物体空间特征：
27.f
s
＝mlp(s)
28.其中，s＝{x，y，h，w}，x和y为物体在视频帧中的坐标，h和w为物体边框的高度和宽度；mlp()是浅层的前馈神经网络，表示f
s
在实数域中的维度为d
s
，下标s表示物体空间特征的标记；
29.b)计算物体类别特征：
30.f
l
＝mlp(e
l
)
31.其中，e
l
为物体类别标签的词嵌入向量表示，表示f
l
在实数域中的维度为d
l
，下标l表示物体类别特征的标记。
32.优选的，步骤s2所述提出根据子视频对齐模型来获取物体时空维度相同的子视频，然后利用三维卷积模型c3d提取子视频的视觉运动特征；获取子视频的视觉运动特征的具体方法是：使用子视频对齐模型对检测到置信度得分最高的k个物体进行空间和时间对齐，得到k个物体的子视频集合s＝{sv
k
|1≤k≤k}，其中，sv
k
表示第k个物体的子视频，具体的计算过程如下：
33.a)计算物体图像的空间位置，则其中第i行j列像素点的坐标(x
i
,y
j
)计算方式如下：
[0034][0035]
其中，物体图像的左上角坐标原点为(0,0)，原图像的像素大小为(w，h)，双线性插值后的像素大小为(w，h)；
[0036]
b)计算物体图像的空间像素点，点p(x,y)为计算得到的像素采样点，该点的数值由其最近的四个像素点的数值按距离远近作为权重共同决定；因此，利用与p点最近的像素点q
11
(x1,y1)、q
12
(x1,y2)、q
21
(x2,y1)和q
22
(x2,y2)进行计算，首先计算点r1(x,y1)和r2(x,y2)的像素值f(r1)和f(r2)，则公式如下：
[0037][0038][0039]
再通过点r1、r2的像素值f(r1)和f(r2)来计算p点的像素值f(p)，则公式如下：
[0040][0041]
c)使用物体图像的时间对齐模型，将原本长度不确定的n帧物体图像序列转化为长度固定的具有m帧的物体子视频；
[0042]
d)将子视频sv
k
拆分成n个剪辑，得到包含n个剪辑的集合其中表示第k个子视频中的第n个剪辑，利用c3d计算剪辑的运动特征：
[0043]
f
m
＝c3d(c
sv
)，
[0044]
其中，表示f
m
在实数域中的维度为d
m
，下标m表示剪辑运动特征的标记，c
sv
表示所有子视频的剪辑集合。
[0045]
优选的，步骤s3所述针对步骤s1计算得到的物体空间特征f
s
和物体类别特征f
l
，针对步骤s2计算得到的视觉运动特征f
m
进行特征融合得到物体联合特征f
j
；具体的方法是：
[0046]
f
j
＝[f
s
；f
l
；f
m
],d
j
＝d
m
d
s
d
l
[0047]
其中[
·
；
·
；
·
]代表拼接融合操作，表示f
j
在实数域中的维度为d
j
，下标j表示物体联合特征的标记。
[0048]
优选的，步骤s4所述对问题进行编码，获得问题特征，具体方法是：
[0049]
a)针对一个问题q＝{q1,q2,...,q
m
}，对问题中的每个单词进行如下计算，得到词向量表示r
i
：
[0050]
p
i
＝one
‑
hot(q
i
)
[0051]
r
i
＝w
e
p
i
，i∈{1,2,...,m}
[0052]
其中，one
‑
hot()表示独热编码，它将问题中的单词q
i
转换成独热编码表示p
i
，为词嵌入矩阵，其中l为词汇表的长度，300是每一个单词q
i
的维度；
[0053]
a)使用双向门循环单元模型bi
‑
gru对词向量组{r1,r2,...,r
m
}进行如下编码：
[0054][0055]
其中，表示正向gru得到的隐状态序列，表示反向gru得到的隐状态序列，词向量组中i∈{1,2,....,m}；
[0056]
b)将bi
‑
gru模型最后时刻输出隐状态结果和进行拼接，得到问题特征：
[0057][0058]
其中，[，]表示拼接操作，f
q
表示问题特征，表示f
q
在实数域中的维度为d
q
，下标q表示问题特征的标记。
[0059]
优选的，步骤s5所述针对步骤s3计算得到的物体联合特征和步骤s4计算得到的问题特征输入注意力模型中得到具有问题意识的联合特征的具体的方法是：
[0060]
a)计算问题特征f
q
与物体联合特征f
j
的交互空间：
[0061][0062][0063]
其中，和为可学习的权重矩阵，b
q
和b
j
为偏置向量；是实数域中d
q
×
d
j
的矩阵，是实数域中d
q
×
d
j
的矩阵；
[0064]
b)使用缩放点积函数计算问题特征与物体联合特征的相似度矩阵公式如下：
[0065][0066]
其中,为映射到交互空间的问题特征转置表示，d为缩放因子，softmax()为归一化函数；
[0067]
c)利用相似度矩阵与物体联合特征相乘得到具有问题意识的联合特征，公式如下：
[0068][0069]
其中，表示在实数域中的维度为d
j
，下标j表示具有问题意识的联合
特征的标记。
[0070]
优选的，步骤s6所述得到具有问题意识的物体关系特征的具体的方法是：
[0071]
a)计算图卷积网络的初始化节点：
[0072]
a
(1)
＝softmax(w1x
(0)
(w2x
(0)
)
t
)
[0073]
其中，a
(1)
表示第一层图卷积网络的邻居矩阵，用具有问题意识的联合特征初始化图的初始节点x
(0)
，w1和w2为映射矩阵，上标t表示矩阵的转置运算；
[0074]
b)构建图卷积网络结构，对于第p层(1≤p≤p)图卷积网络的推理过程如下：
[0075]
x
(p)
＝a
(p)
x
(p
‑
1)
w
(p)
[0076]
其中，x
(p)
为第p层图卷积网络的节点特征，a
(p)
为通过第p
‑
1层图卷积网络的节点特征x
(p
‑
1)
计算得到的第p层的邻接矩阵，w
(p)
为第p层图卷积网络的权重参数；
[0077]
c)对于第p层的邻接矩阵a
(p)
，则根据第p
‑
1层图卷积网络节点x
(p
‑
1)
与其自身的相似度来计算得到，公式如下：
[0078]
a
(p)
＝softmax(w1x
(p
‑
1)
(w2x
(p
‑1)
t
)
[0079]
其中，w1和w2为映射矩阵，上标t表示矩阵的转置运算；
[0080]
d)将初始节点特征x
(0)
与最后一层的节点特征x
(p)
融合后得到gcn的输出，公式如下：
[0081]
f
r
x
(p)
x
(0)
[0082]
其中，为gcn生成的具有问题意识的物体关系特征，k表示检测出置信度得分最高的k个物体；将所有时间段的关系特征集合记为f
1r
表示第一个gcn网络捕获第一时刻的物体关系特征；
[0083]
步骤s7所述得到具有时序关系的视频特征的方法是：
[0084]
h
t
＝gru(f
tr
，h
t
‑1)，1≤t≤n
[0085]
其中，h
t
‑1表示t
‑
1时刻的隐藏状态特征，将最后时刻的隐藏状态h
n
输出记为具有时序关系的视频特征f
v
在实数域中的维度为d
v
，下标v表示具有时序关系的视频特征的标记。
[0086]
步骤s8所述使用softmax函数计算生成答案的具体方法是：
[0087]
a)将具有时序关系的视频特征f
v
与问题特征f
q
输入到低秩双线性融合mlb模型中，得到融合特征z：
[0088]
z＝p
t
σ(u
t
f
v
⊙
v
t
f
q
) b
[0089]
其中p、u和v分别为三个可训练权重矩阵，b为偏置向量，σ为relu函数，
⊙
代表哈达玛积，上标t表示矩阵的转置操作；
[0090]
b)使用softmax函数将融合特征z映射输出得分最高的答案类别最终答案的计算公式如下：
[0091][0092]
其中，w
a
是参数矩阵，b
a
是偏置向量。
[0093]
一种计算机，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现一种基于动态注意力与图网络推理的视频问答方法的步骤。
[0094]
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现一种基于动态注意力与图网络推理的视频问答方法。
[0095]
本发明的有益效果如下：
[0096]
本发明不同于已有的视频问答模型中视觉特征的提取方式，本发明通过提取视频的物体联合特征，加强对单个物体的运动信息的获取，去除与问题不相关的信息。本发明通过一种新的特征构成思路，在视觉运动特征中添加关于物体空间和类别信息，丰富视觉信息中的语义信息的同时能够与问题特征进行更好地结合。在图卷积网络引入注意力机制，图卷积网络在推理过程中可以逐渐积累到与问题相关的图节点信息，并加强物体运动特征之间的关系。本发明充分结合注意力机制和图卷积网络来推理视频中不同物体之间的复杂关系，有效提高了视频问答的准确率。
附图说明
[0097]
此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0098]
图1为本发明实施例一所述的系统结构示意图；
[0099]
图2为本发明实施例二所述的方法流程示意图；
[0100]
图3为本发明实施例二所述的双线性插值示意图；
[0101]
图4为本发明实施例二所述的方法原理示意图；
[0102]
图5为本发明解决视频问答任务的预测结果示例图。
具体实施方式
[0103]
为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0104]
实施例一：
[0105]
参照图1说明本实施例，本实施例的一种基于动态注意力与图网络推理的视频问答系统，包括，物体空间特征和物体类别特征计算模块、视觉运动特征提取模块、物体联合特征获取模块、问题特征提取模块、问题意识联合特征获取模块、问题意识的物体关系特征获取模块、视频时序特征获取模块、多模态特征融合模块和答案生成模块；
[0106]
所述物体空间特征和物体类别特征计算模块用于根据物体检测模型预测视频中物体标注框和类别标签，获得物体空间特征和物体类别特征；
[0107]
所述视觉运动特征提取模块用于根据子视频对齐模型来获取时空维度相同的子视频，提取子视频的视觉运动特征，获得视觉运动特征；
[0108]
所述物体联合特征获取模块用于将物体空间特征、物体类别特征和视觉运动特征进行融合，获得物体联合特征；
[0109]
所述问题特征提取模块用于针对问题对问题进行编码，获得问题特征；
[0110]
所述问题意识联合特征获取模块用于将物体联合特征与问题特征输入注意力模型中，获得具有问题意识的联合特征；
[0111]
所述问题意识的物体关系特征获取模块用于构建具有问题意识的图卷积网络推理不同物体之间的复杂关系，获得具有问题意识的物体关系特征；
[0112]
所述视频时序特征获取模块用于获得gru解码阶段最后时刻的隐藏状态，将其作为具有时序关系的视频特征表示；
[0113]
所述多模态特征融合模块用于将问题特征和具有时序关系的视频特征进行低秩双线性融合获得融合特征；
[0114]
所述答案生成模块用于使用softmax函数计算生成答案。
[0115]
实施例二：
[0116]
参照图2至图5说明本实施方式，本实施例的一种基于动态注意力与图网络推理的视频问答方法，包括以下步骤：
[0117]
s1.针对一段视频，根据物体检测模型预测视频中物体标注框和类别标签，来计算物体空间特征和物体类别特征；
[0118]
具体的，预测视频中物体标注框和类别标签，来提取物体空间特征和物体类别特征的具体方法是：采用目标检测模型mask r
‑
cnn检测出置信度得分最高的k个物体，根据其标注框和类别标签计算物体空间特征和物体类别特征；具体的计算过程如下：
[0119]
a)计算物体空间特征：
[0120]
f
s
＝mlp(s),
[0121]
其中，s＝{x，y，h，w}，x和y为物体在视频帧中的坐标，h和w为物体边框的高度和宽度；mlp()是浅层的前馈神经网络，表示f
s
在实数域中的维度为d
s
，下标s表示物体空间特征的标记；
[0122]
b)计算物体类别特征：
[0123]
f
l
＝mlp(e
l
),
[0124]
其中，e
l
为物体类别标签的词嵌入向量表示，表示f
l
在实数域中的维度为d
l
，下标l表示物体类别特征的标记。
[0125]
s2.针对一段视频，根据子视频对齐模型来获取时空维度相同的子视频，提取子视频的视觉运动特征；
[0126]
具体的，根据子视频对齐模型来获取物体时空维度相同的子视频，然后利用三维卷积模型c3d提取子视频的视觉运动特征；获取子视频的视觉运动特征的具体方法是：使用子视频对齐模型对检测到置信度得分最高的k个物体进行空间和时间对齐，得到k个物体的子视频集合s＝{sv
k
|1≤k≤k}，其中，sv
k
表示第k个物体的子视频，具体的计算过程如下：
[0127]
a)计算物体图像的空间位置，则其中第i行j列像素点的坐标(x
i
,y
j
)计算方式如下：
[0128][0129]
其中，物体图像的左上角坐标原点为(0,0)，原图像的像素大小为(w，h)，双线性插值后的像素大小为(w，h)；
[0130]
b)计算物体图像的空间像素点，点p(x,y)为计算得到的像素采样点，该点的数值由其最近的四个像素点的数值按距离远近作为权重共同决定；因此，利用与p点最近的像素
点q
11
(x1,y1)、q
12
(x1,y2)、q
21
(x2,y1)和q
22
(x2,y2)进行计算，首先计算点r1(x,y1)和r2(x,y2)的像素值f(r1)和f(r2)，则公式如下：
[0131][0132][0133]
再通过点r1、r2的像素值f(r1)和f(r2)来计算p点的像素值f(p)，则公式如下：
[0134][0135]
c)使用物体图像的时间对齐模型，将原本长度不确定的n帧物体图像序列转化为长度固定的具有m帧的物体子视频；
[0136]
d)将子视频sv
k
拆分成n个剪辑，得到包含n个剪辑的集合其中表示第k个子视频中的第n个剪辑，利用c3d计算剪辑的运动特征：
[0137]
f
m
＝c3d(c
sv
),
[0138]
其中，表示f
m
在实数域中的维度为d
m
，下标m表示剪辑运动特征的标记，c
sv
表示所有子视频的剪辑集合。
[0139]
s3.对步骤s1所获得的物体空间特征和物体类别特征，对步骤s2所获得的视觉运动特征进行特征融合得到物体联合特征；
[0140]
具体的，将物体空间特征f
s
、物体类别特征f
l
和视觉运动特征f
m
进行特征融合得到物体联合特征f
j
；
[0141]
具体的，得到物体联合特征的具体方法是：
[0142]
f
j
＝[f
s
；f
l
；f
m
],d
j
＝d
m
d
s
d
l
[0143]
其中[
·
；
·
；
·
]代表拼接融合操作，表示f
j
在实数域中的维度为d
j
，下标j表示物体联合特征的标记。
[0144]
s4.针对问题，对问题进行编码，获得问题特征；
[0145]
具体的，对问题进行编码，获得问题特征,具体方法是：
[0146]
a)针对一个问题q＝{q1,q2,...,q
m
}，对问题中的每个单词进行如下计算，得到词向量表示x
i
：
[0147]
p
i
＝one
‑
hot(q
i
)
[0148]
r
i
＝w
e
p
i
，i∈{1,2,...,m}
[0149]
其中，one
‑
hot()表示独热编码，它将一个单词q
i
转换成独热编码表示p
i
，为词嵌入矩阵，其中l为词汇表的长度，300是每一个单词q
i
的维度。
[0150]
a)使用双向门循环单元模型bi
‑
gru对词向量组{r1,r2,...,r
m
}进行如下编码：
[0151][0152]
其中，表示正向gru得到的隐状态序列，表示反向gru得到的隐状态序列、词
向量组中i∈{1,2,....,m}。
[0153]
b)将bi
‑
gru模型最后时刻输出隐状态结果和进行拼接，得到问题特征：
[0154][0155]
其中，[，]表示拼接操作，f
q
表示问题特征，表示f
q
在实数域中的维度为d
q
，下标q表示问题特征的标记。s5.对步骤s3所获得的物体联合特征和对步骤s4所获得的问题特征输入注意力模型中得到具有问题意识的联合特征；
[0156]
具体的，将物体联合特征和问题特征输入注意力模型中得到具有问题意识的联合特征；具体的，得到问题意识的联合特征的具体的方法是：
[0157]
a)计算问题特征f
q
与物体联合特征f
j
的交互空间：
[0158][0159][0160]
其中，和为可学习的权重矩阵，b
q
和b
j
为偏置向量；是实数域中d
q
×
d
j
的矩阵，是实数域中d
q
×
d
j
的矩阵；
[0161]
b)使用缩放点积函数计算问题特征与物体联合特征的相似度矩阵公式如下：
[0162][0163]
其中，为映射到交互空间的问题特征转置表示，d为缩放因子，softmax()为归一化函数。
[0164]
c)利用相似度矩阵与物体联合特征相乘得到具有问题意识的联合特征，公式如下：
[0165][0166]
其中，表示在实数域中的维度为d
j
，下标j表示具有问题意识的联合特征的标记。
[0167]
s6.用步骤s5所获得的具有问题意识的联合特征，来初始化图卷积网络节点，构建具有问题意识的图卷积网络来推理不同物体之间的复杂关系，得到具有问题意识的物体关系特征；
[0168]
a)具体的，得到具有问题意识的物体关系特征的具体的方法是：计算图卷积网络的初始化节点：
[0169]
a
(1)
＝softmax(w1x
(0)
(w2x
(0)
)
t
)
[0170]
其中，a
(1)
表示第一层图卷积网络的邻居矩阵，用具有问题意识的联合特征初始化图的初始节点x
(0)
，w1和w2为映射矩阵，上标t表示矩阵的转置运算；
[0171]
b)构建图卷积网络结构，对于第p层(1≤p≤p)图卷积网络的推理过程如下：
[0172]
x
(p)
＝a
(p)
x
(p
‑
1)
w
(p)
[0173]
其中，x
(p)
为第p层图卷积网络的节点特征，w
(p)
为通过第p
‑
1层图卷积网络的节点
特征x
(p
‑
1)
计算得到的第p层的邻接矩阵，w
(p)
为第p层图卷积网络的权重参数；
[0174]
c)对于第p层的邻接矩阵a
(p)
，则根据第p
‑
1层图卷积网络节点x
(p
‑
1)
与其自身的相似度来计算得到，公式如下：
[0175]
a
(p)
＝softmax(w1x
(p
‑
1)
(w2x
(p
‑
1)
)
t
)
[0176]
其中，w1和w2为映射矩阵，上标t表示矩阵的转置运算；
[0177]
d)将初始节点特征x
(0)
与最后一层的节点特征x
(p)
融合后得到gcn的输出，公式如下：
[0178]
f
r
＝x
(p)
x
(0)
[0179]
其中，为gcn生成的具有问题意识的物体关系特征，k表示检测出置信度得分最高的k个物体。本专利提出一种基于动态注意力与图网络推理的视频问答系统，该系统由n个卷积神经网络gcn组成，来捕获视频在不同时间段中物体关系特征，最终，将所有时间段的关系特征集合记为f
1r
表示第一个gcn网络捕获第一时刻的物体关系特征。
[0180]
s7.对步骤s6所获得的具有问题意识的物体关系特征，使用gru模型进行编码，将最后时刻的隐藏状态作为具有时序关系的视频特征；
[0181]
具体的，使用gru模型对其进行编码表示，得到具有时序关系的视频特征的方法是：
[0182]
h
t
＝gru(f
tr
，h
t
‑1)，1≤t≤n
[0183]
其中，h
t
‑1表示t
‑
1时刻的隐藏状态特征，将最后时刻的隐藏状态h
n
输出记为具有时序关系的视频特征f
v
在实数域中的维度为d
v
，下标v表示具有时序关系的视频特征的标记。
[0184]
s8.对步骤s7所获得的具有时序关系的视频特征，步骤s4所获得的问题特征进行低秩双线性融合得到融合特征，并使用softmax生成答案。
[0185]
具体的，生成答案的具体方法是：
[0186]
a)将具有时序关系的视频特征f
v
与问题特征f
q
输入到低秩双线性融合mlb模型中，得到融合特征z：
[0187]
z＝p
t
σ(u
t
f
v
⊙
v
t
f
q
) b
[0188]
其中p、u和v分别为三个可训练权重矩阵，b为偏置向量，σ为relu函数，
⊙
代表哈达玛积，上标t表示矩阵的转置操作；
[0189]
b)使用softmax函数将融合特征z映射输出得分最高的答案类别最终答案的计算公式如下：
[0190][0191]
其中，w
a
是参数矩阵，b
a
是偏置向量。
[0192]
对本发明提出的方法进行实验分析：
[0193]
在视频问答数据集msvd
‑
qa数据集上对本发明提出的模型进行实验分析。
[0194]
msvd
‑
qa数据集是基于微软研究视频描述语料库采用自动生成方法得到的数据集，该数据集的问题类型是开放式问题。msvd
‑
qa数据集总共有1970个视频片段和50,505对问题答案。msvd
‑
qa数据集是一个包含人们日常生活视频为主的数据集。
[0195]
本发明将msvd
‑
qa数据集划分为训练集占视频总数的61％，验证集的数量占视频总数的13％，测试集的数量占视频总数的26％。
[0196]
使用mask r
‑
cnn提取物体特征，其特征维度为1024d。使用在sport
‑
1m数据集上预训练的c3d模型捕获物体的动态信息，将conv5b层的输出特征向量作为提取出的物体运动特征，其特征尺寸为1024d。对于问题，使用预训练的glove模型提取问题的语义表示，每个单词的特征维度为300d。
[0197]
为了客观地评价本发明的性能，按实施方式中描述的步骤，测试了本发明在msvd
‑
qa数据集上的性能，所得的实验结果的精确度能达到52.68％，相比于现有的方法提高了8.8％。
[0198]
在视频问答数据集svqa数据集上对本发明提出的模型进行实验分析。
[0199]
svqa数据集是一个强推理性视频问答数据集。该数据集视频由unity3d工具生成。svqa数据集利用固定的模板自动生成问题，共2000个视频和120k个问答对。
[0200]
本发明将svqa数据集划分为训练集占视频总数的65％，验证集的数量占视频总数的15％，测试集的数量占视频总数的20％。
[0201]
为了客观地评价本发明的性能，按实施方式中描述的步骤，测试了本发明在svqa数据集上的性能，所得的实验结果的精确度能达到77.6％，相比于现有的方法提高了5.4％。
[0202]
本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于creo软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
[0203]
所称处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0204]
所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0205]
计算机可读存储介质实施例
[0206]
本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于creo软件的可修改由关系驱动的建模数据的建模方法的步骤。
[0207]
所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适
当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0208]
尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。