视频问答方法、装置、电子设备及存储介质与流程

1.本公开涉及人工智能技术领域，特别涉及自然语言处理、深度学习、语音识别、知识图谱以及计算机视觉等领域，尤其涉及视频问答方法、装置、电子设备及存储介质。


背景技术：

2.视频问答是指通过理解相关视频内容生成给定问题的自然语言形式的答案(回答)。视频问答在很多场景下得到了广泛应用，如多媒体信息检索场景及智能助理、商业服务场景等。
3.但目前的问答通常仅支持针对视频中的单一静态画面上内容的问答，所参考的信息过于片面，即可利用的信息有限，从而导致得到的答案的准确性较差。


技术实现要素：

4.本公开提供了视频问答方法、装置、电子设备及存储介质。
5.根据本公开的一个方面，提供了一种视频问答方法，包括：
6.针对待回答的问题对应的视频，确定出m个关键帧，所述m为大于1的正整数，且小于或等于所述视频中的视频帧数量；
7.根据所述m个关键帧确定出所述问题对应的答案。
8.根据本公开的一个方面，提供了一种视频问答装置，包括：第一处理模块以及第二处理模块；
9.所述第一处理模块，用于针对待回答的问题对应的视频，确定出m个关键帧，所述m为大于1的正整数，且小于或等于所述视频中的视频帧数量；
10.所述第二处理模块，用于根据所述m个关键帧确定出所述问题对应的答案。
11.根据本公开的一个方面，提供了一种电子设备，包括：
12.至少一个处理器；以及
13.与所述至少一个处理器通信连接的存储器；其中，
14.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。
15.根据本公开的一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。
16.根据本公开的一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现如以上所述的方法。
17.上述公开中的一个实施例具有如下优点或有益效果：可结合从视频中确定出的多个关键帧来生成问题的答案，从而可利用更多的视频信息，进而提升了获取到的答案的准确性等。
18.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
19.附图用于更好地理解本方案，不构成对本公开的限定。其中：
20.图1为本公开所述视频问答方法第一实施例的流程图；
21.图2为本公开所述的时序注意力机制示意图；
22.图3为本公开所述生成问题的答案的方式示意图；
23.图4为本公开所述视频问答方法第二实施例的流程图；
24.图5为本公开所述视频问答装置实施例500的组成结构示意图；
25.图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。
具体实施方式
26.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
27.另外，应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
28.图1为本公开所述视频问答方法第一实施例的流程图。如图1所示，包括以下具体实现方式。
29.在步骤101中，针对待回答的问题对应的视频，确定出m个关键帧，m为大于1的正整数，且小于或等于视频中的视频帧数量。
30.在步骤102中，根据m个关键帧确定出所述问题对应的答案。
31.可以看出，上述方法实施例所述方案中，可结合从视频中确定出的多个关键帧来生成问题的答案，从而可利用更多的视频信息，进而提升了获取到的答案的准确性等。
32.本公开的一个实施例中，在从视频中确定出m个关键帧时，可分别获取视频中的各视频帧的描述信息，并可分别获取各视频帧的描述信息与所述问题之间的相关性评分，进而可按照相关性评分从大到小的顺序对各视频帧进行排序，将排序后处于前m位的视频帧作为关键帧。
33.m的具体取值均可根据实际需要而定，通常来说，m的取值会小于视频中的视频帧数量，从而可减少后续处理的工作量，提升处理效率等。
34.本公开中对于如何获取各视频帧的描述信息不作限制。比如，可采用图像字幕的神经合成范式(ncpic，neural compositional paradigm for image captioning)模型来生成各视频帧的描述信息。
35.ncpic模型将视频帧(即图片)的描述信息的生成过程分成语义分析和句法分析两部分，并在句法分析中加入了句子的内部结构信息，使得句子更加符合语义上的规则。
36.比如，针对任一视频帧，ncpic模型可首先通过模型内置的目标检测算法提取出图片上的物体，并形成简单短语，比如，提取出两个物体，形成的简单短语可分别为两个物体的名称，如“桌子”和“玫瑰花”，之后可利用语料库中的连接词以及图片中的物体信息，生成描述图片中的物体的句子，如，“桌子上有一朵玫瑰花”，进而可判断生成的句子是否为符合
语法规则的句子，若是，可直接输出，否则，可更新连接词，直到输出符合语法规则的句子。
37.通过以上方式，可分别获取到每个视频帧的描述信息，在实际应用中，一个视频帧可对应一个句子，作为其描述信息，也可对应多个句子，作为其描述信息，视ncpic模型的具体实现策略而定。
38.之后可分别获取各视频帧的描述信息与问题之间的相关性评分，比如，可利用中文预训练语言模型(roberta)进行问答预测，确定出视频帧的描述信息与问题之间的相关性评分。
39.在得到各视频帧的相关性评分后，可按照相关性评分从大到小的顺序对各视频帧进行排序，将排序后处于前m位的视频帧作为关键帧。
40.本公开的一个实施例中，在确定出各关键帧后，还可分别获取各关键帧的向量表示，进而可根据各关键帧的向量表示确定出问题对应的答案。
41.本公开的一个实施例中，针对任一关键帧，可分别进行以下处理：对该关键帧进行目标区域提取；对该关键帧进行特征提取，得到该关键帧对应的特征向量；针对提取出的任一目标区域，分别对该目标区域进行特征提取，得到该目标区域对应的特征向量，并根据该目标区域对应的特征向量生成该目标区域的向量表示；根据提取出的各目标区域的向量表示以及该关键帧对应的特征向量生成该关键帧的向量表示。
42.上述处理方式中，可结合提取出的目标区域的特征信息以及关键帧本身的特征信息来生成关键帧的向量表示，从而丰富了关键帧的向量表示中包括的信息内容，进而提升了后续获取到的答案的准确性。
43.比如，针对每个关键帧，可分别采用物体检测模型(m2det)来进行目标区域提取，m2det模型将多层特征金字塔网络(multi-level feature pyramid network)结构嵌入到单次多盒检测器(ssd，single shot multibox detector)中，形成一个端到端的单阶段(one-stage)目标检测器，m2det模型可用于检测不同尺度的目标，而且采用的是one-stage的目标检测算法，因此其速度较其它算法更快。
44.对于任一关键帧，从中提取出的目标区域可能为一个，也可能为多个，另外，还可对该关键帧进行特征提取，从而得到该关键帧对应的特征向量，并可对提取出的各目标区域进行特征提取，从而得到各目标区域对应的特征向量。
45.比如，可利用卷积神经网络来对关键帧和目标区域进行特征提取，所述卷积神经网络可为深度残差网络(resnet，deep residual network)，该网络能够解决网络层数增加所产生的梯度消失、爆炸和网络退化等问题。
46.针对任一目标区域，可分别根据该目标区域对应的特征向量等生成该目标区域的向量表示。本公开的一个实施例中，可将该目标区域对应的特征向量与以下至少一种向量进行拼接：该目标区域所在的关键帧对应的特征向量、该目标区域所在的关键帧对应的文本向量、视频对应的音频向量，并可基于拼接结果获取该目标区域的向量表示，比如，可直接将拼接结果作为该目标区域的向量表示，其中，文本向量为对从该目标区域所在的关键帧中提取出的文本信息进行文本转向量后得到的向量，音频向量为对视频的音频对应的文本信息进行文本转向量后得到的向量，另外，进行拼接时的具体拼接顺序不限，可根据实际需要而定。
47.通常来说，视频帧中会包括一些文本信息，如字幕、车站名称、杂志名称等，这些都
是重要的信息，问题的答案即可能存在于这些信息中，因此可调用文本检测识别算法，识别出视频帧中的文本信息。
48.比如，可采用快速文本定位(fots，fast oriented text spotting)算法来识别出视频帧中的文本信息，fots算法是一个快速的端到端的集成检测与识别的框架，相比于其它文本检测识别算法，该算法具有模型小、速度快、精度高以及支持多角度等特点。
49.在识别出视频帧中的文本信息后，可将获取到的文本信息输入到来自转换器的双向编码表示(bert，bidirectional encoder representations from transformers)模型中，利用bert模型，可将文本信息转换为向量信息，从而得到所需的文本向量，bert模型通常采用双向transformer，完成文本转向量。
50.另外，由于是视频问答，还会涉及到语音转换，语音转换包括两部分，一部分是将问题转换为对应的文本信息，之后将文本信息转换为向量，即得到文本向量，另一部分是将视频的音频转换为对应的文本信息，之后将文本信息转换为向量，即得到音频向量。
51.其中，可采用长短期记忆网络-深度神经网络(lstm-dnn，long short term memory-deep neural networks)模型来将音频(语音)信息转换为文本信息。
52.通过上述处理后，得到的目标区域的向量表示中可融合目标区域自身的特征信息、所在的关键帧的特征信息，文本信息和音频信息等多种信息，从而丰富了目标区域的向量表示中包括的信息内容，为后续处理奠定了良好的基础等。
53.本公开的一个实施例中，针对任一目标区域，还可获取该目标区域对应的空间注意力权重，并可将获取到的空间注意力权重与该目标区域对应的上述拼接结果相乘，将相乘结果作为该目标区域的向量表示。
54.视频问答中的问题往往和视频帧中不同空间位置的多个目标相关联，仅仅使用图像全局的特征通常难以捕捉到用于回答问题的必须视觉信息，因此，本公开所述方案中，可从视频帧中提取大概率包含目标的目标区域，并可针对这些目标区域分别抽取视觉特征，可选的，还可引入空间注意力机制来对各目标区域计算空间注意力权重，以区分每个目标区域对于问题回答的重要性差异，基于这一机制，能够更加精确地定位到视频帧中的关键信息。
55.本公开的一个实施例中，针对任一目标区域，可根据问题向量以及该目标区域对应的拼接结果确定出该目标区域对应的空间注意力权重，问题向量为将问题对应的文本信息进行文本转向量后得到的向量。
56.本公开的一个实施例中，针对任一目标区域，具体地，可获取问题向量与预定的第一权重参数的乘积以及上述拼接结果与预定的第二权重参数的乘积，将得到的两个乘积及预定的第一偏置向量相加，对相加之和进行双曲正切神经网络激活函数运算，并将运算结果与预定的第三权重参数相乘，基于得到的乘积获取该目标区域对应的空间注意力权重，比如，可对得到的乘积进行归一化处理，将处理结果作为该目标区域对应的空间注意力权重。
57.即有：q
ji
＝wtanh(wqx w
f f
ji
bs)；
ꢀꢀꢀ
(1)
58.其中，tanh为双曲正切神经网络激活函数，其值域为[-1,1]，wq为第一权重参数，wf为第二权重参数，x表示问题向量，f
ji
表示任一关键帧j中的任一目标区域i对应的拼接结果，bs表示第一偏置向量，w表示第三权重参数，各权重参数的具体取值可根据实际情况而
定。
[0059]
在计算得到q
ji
后，还可对其进行归一化处理，并可将处理结果作为所需的空间注意力权重，比如，可将q
ji
输入回归(softmax)函数，从而得到归一化后的空间注意力权重a
ji
。
[0060]
可选的，可将a
ji
与f
ji
相乘，将相乘结果作为关键帧j中的目标区域i的向量表示。
[0061]
可选的，针对任一关键帧，可根据从中提取出的各目标区域的向量表示以及该关键帧对应的特征向量生成该关键帧的向量表示。本公开的一个实施例中，可将各目标区域的向量表示与该关键帧对应的特征向量进行拼接，将拼接结果作为该关键帧的向量表示，具体拼接顺序可根据实际需要而定。
[0062]
通过上述处理后，可分别得到各关键帧的向量表示。本公开的一个实施例中，针对任一关键帧，还可分别获取其对应的时序注意力权重，并可将获取到的时序注意力权重与该关键帧的向量表示相乘，得到更新后的该关键帧的向量表示，相应地，可根据各更新后的关键帧的向量表示确定出问题对应的答案。
[0063]
要获取到理想回答，需要综合理解视频中多个不同时间点的视频帧所传达的信息，时序注意力机制能够学习到视频中的不同视频帧所传达的信息，相应地，本公开所述方案中将时序注意力机制引入到了视频问答任务中，这对于理解视频帧和视频帧间复杂的时序逻辑以及回答需要跨视频帧分析的问题具有重要意义。
[0064]
图2为本公开所述的时序注意力机制示意图。如图2所示，其中的左图为北京站，右图为广州南站，假设问题对应的视频为关于旅游介绍的视频，导游前一天在北京，当天在广州，问题为“视频中的人是从哪里到哪里？”，对于这种问题，如果没有时序注意力机制，通常很难准确地进行回答，比如可能错误地回答为“从广州到北京”。
[0065]
时间维度上加权更新后得到的向量表示能够体现出不同视频帧的不同重要性，理解到哪一帧先发生哪一帧后发生的时序关系。
[0066]
本公开所述方案中，可利用门控循环单元(gru，gated recurrent unit)，结合前后两个关键帧的向量表示分别计算出各关键帧的时序注意力权重。
[0067]
相应地，本公开的一个实施例中，针对任一关键帧，可根据前一关键帧的向量表示以及该关键帧的向量表示确定出该关键帧对应的时序注意力权重，前一关键帧为位于该关键帧之前、且与该关键帧的时间距离最近的关键帧。
[0068]
本公开的一个实施例中，针对任一关键帧，具体地，可获取前一关键帧的向量表示与预定的第四权重参数的乘积以及该关键帧的向量表示与预定的第五权重参数的乘积，将得到的两个乘积及预定的第二偏置向量相加，对相加之和进行双曲正切神经网络激活函数运算，并将运算结果与预定的第六权重参数相乘，基于得到的乘积获取该关键帧对应的时序注意力权重，比如，可对得到的乘积进行归一化处理，将处理结果作为该关键帧对应的时序注意力权重。
[0069]
即有：t
jt
＝w’tanh(w
t-1ht-1
w
tht
b’s
)；
ꢀꢀꢀ
(2)
[0070]
其中，tanh为双曲正切神经网络激活函数，其值域为[-1,1]，w
t-1
为第四权重参数，w
t
为第五权重参数，h
t-1
表示任一关键帧i的前一关键帧的向量表示，h
t
表示关键帧i的向量表示，b’s
表示第二偏置向量，w’表示第六权重参数，各权重参数的具体取值可根据实际需要而定。
[0071]
在计算得到t
jt
后，还可对其进行归一化处理，并可将处理结果作为所需的时序注意力权重，比如，可将t
jt
输入softmax函数，从而得到归一化后的时序注意力权重tj。
[0072]
可选的，可将tj与h
t
相乘，将相乘结果作为更新后的关键帧i的向量表示。
[0073]
通过上述处理后，得到的各关键帧的向量表示中进一步包含了时序特征，从而使得后续基于各关键帧的向量表示获取到的问题的答案更为准确。
[0074]
本公开的一个实施例中，若所述问题为直观问题，可利用各关键帧的向量表示及所述问题确定出对应的答案，若所述问题为非直观问题，可利用各关键帧的向量表示、所述问题及对应的知识图谱确定出对应的答案。
[0075]
直观问题为仅利用视频中的信息进行回答的问题，即可以直接利用视频中的信息进行回答的问题，比如，“视频中的人在做什么？”，相应地，非直观问题即指不能直接利用视频中的信息进行回答的问题，比如，“视频中的女明星还主演过什么电视剧？”[0076]
对于非直观问题，可借助于知识图谱来得到问题的答案。本公开的一个实施例中，所述知识图谱可包括以下之一或全部：通用知识图谱以及根据视频构建的专用知识图谱。
[0077]
通用知识图谱即指外部知识的已有知识图谱，专用知识图谱是指通过对视频进行解析等生成的视频对应的知识图谱。对于常识类的问题，可以仅通过通用知识图谱来回答，比如“电影中的女明星的丈夫是谁？”，对于需要基于视频中的信息进行推理的问题，则需要借助于专用知识图谱或专用知识图谱 通用知识图谱来回答，比如“电影中的男主角在电影中的女友是哪个？”。
[0078]
如何构建专用知识图谱不作限制。比如，专用知识图谱中可包括情节节点、物体节点、属性节点、动作节点、时间节点和位置节点等各种节点。情节节点即指视频中的不同情节，可按照情节发生的顺序将不同情节节点相连，两个情节节点之间的关系可以是时间关系或逻辑关系等。物体节点是指出现在视频帧中的物体，可通过目标检测模型获取，物体节点可与对应的情节节点相连。属性节点用于描述物体，比如人物，它的属性节点的类型可包括性别、外貌和表情等，物体的属性可通过图像分类模型来获取，属性节点可与对应的物体节点相连。动作节点表示在情节中发生的动作或事件，可与情节节点相连，物体的动作也可通过图像分类模型来获取。时间节点和位置节点可与情节节点相连，表示情节发生的时间和位置，可通过视频时间轴和目标检测来获取时间节点和位置节点。
[0079]
可针对视频中的每个视频帧分别构建对应的子图谱，进而可将所有的子图谱相结合，从而得到视频对应的完整的知识图谱。
[0080]
专用知识图谱和通用知识图谱可通过节点进行相连和拓展，比如，电影中的男主角家族图谱属于专用知识图谱，而男主角的扮演者属于通用知识图谱，两个知识图谱可通过男主角这个节点进行结合。
[0081]
基于上述介绍，图3为本公开所述生成问题的答案的方式示意图。如图3所示，针对待回答的问题，可首先确定出问题类型，即确定为直观问题还是非直观问题，如何确定不作限制，比如，可利用一个二分类模型来确定出问题类型，若为直观问题，可按照第一方式确定出问题的答案，即可利用各关键帧的向量表示及所述问题确定出对应的答案，比如，可将各关键帧的向量表示及问题向量输入到动态指针网络(dpn，dynamic pointer network)模型中，从而得到输出的答案，dpn模型采取分步预测的方式，每一步的单词来自词汇表，解码时会将前一步的预测单词也输入，用动态指针网络预测下一个单词，最后输出一个完整的
句子，即问题的答案，若为非直观问题，可按照第二方式确定出问题的答案，即可利用各关键帧的向量表示、所述问题及对应的知识图谱确定出对应的答案，比如，可根据所述问题及各关键帧的向量表示定位出相关的图谱，并可利用知识图谱问答服务(kgqa，knowledge base question answering)模型，由kgqa模型通过分析问题和图谱中包含的信息等，给出问题的答案。
[0082]
可以看出，本公开所述方案中，针对待回答的问题，可根据问题的类型的不同，采用不同的处理方式，即可分别采用适用于所述类型的方式来生成问题的答案，从而进一步提升了获取到的答案的准确性，而且，通过引入知识图谱，对于非直观问题也可准确作答，即对于各种情况均可较好的处理，具有普遍适用性。
[0083]
另外，还可将问题和对应的答案等进行存储，经过人工标注后，可用于相关模型的训练等。
[0084]
综合上述介绍，图4为本公开所述视频问答方法第二实施例的流程图。如图4所示，包括以下具体实现方式。
[0085]
在步骤401中，针对待回答的问题对应的视频，分别获取其中的各视频帧的描述信息。
[0086]
在步骤402中，分别获取各视频帧的描述信息与所述问题之间的相关性评分，按照相关性评分从大到小的顺序对各视频帧进行排序，将排序后处于前m位的视频帧作为关键帧。
[0087]
在步骤403中，获取所述视频对应的音频向量及所述问题对应的问题向量。
[0088]
其中，音频向量可为对视频的音频对应的文本信息进行文本转向量后得到的向量，问题向量可为将问题对应的文本信息进行文本转向量后得到的向量。
[0089]
在步骤404中，针对任一关键帧，分别按照步骤405-410所示方式进行处理。
[0090]
在步骤405中，对该关键帧进行目标区域提取。
[0091]
在步骤406中，对该关键帧进行特征提取，得到该关键帧对应的特征向量，并分别对提取出的各目标区域进行特征提取，得到各目标区域对应的特征向量。
[0092]
在步骤407中，获取该关键帧对应的文本向量。
[0093]
文本向量可为对从该关键帧中提取出的文本信息进行文本转向量后得到的向量。
[0094]
在步骤408中，针对该关键帧中的每个目标区域，分别进行以下处理：将该目标区域对应的特征向量与以下向量进行拼接：该关键帧对应的特征向量、该关键帧对应的文本向量和音频向量；获取该目标区域对应的空间注意力权重，将所述空间注意力权重与拼接结果相乘，将相乘结果作为该目标区域的向量表示。
[0095]
比如，针对任一目标区域，可获取问题向量与预定的第一权重参数的乘积以及上述拼接结果与预定的第二权重参数的乘积，并可将得到的两个乘积及预定的第一偏置向量相加，对相加之和进行双曲正切神经网络激活函数运算，进而可将运算结果与预定的第三权重参数相乘，并可对得到的乘积进行归一化处理，将处理结果作为该目标区域对应的空间注意力权重。
[0096]
在步骤409中，将各目标区域的向量表示与该关键帧对应的特征向量进行拼接，将拼接结果作为该关键帧的向量表示。
[0097]
在步骤410中，获取该关键帧对应的时序注意力权重，将所述时序注意力权重与该
关键帧的向量表示相乘，得到更新后的该关键帧的向量表示。
[0098]
比如，可获取前一关键帧的向量表示与预定的第四权重参数的乘积以及该关键帧的向量表示与预定的第五权重参数的乘积，并可将得到的两个乘积及预定的第二偏置向量相加，对相加之和进行双曲正切神经网络激活函数运算，进而可将运算结果与预定的第六权重参数相乘，并可对得到的乘积进行归一化处理，将处理结果作为该关键帧对应的时序注意力权重。
[0099]
在步骤411中，确定所述问题为直观问题还是非直观问题，若是直观问题，则执行步骤412，若是非直观问题，则执行步骤413。
[0100]
在步骤412中，利用各关键帧的向量表示及所述问题确定出对应的答案，结束流程。
[0101]
在步骤413中，利用各关键帧的向量表示、所述问题及对应的知识图谱确定出对应的答案，结束流程。
[0102]
需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本公开所必须的。另外，某个实施例中没有详述的部分，可以参见其它实施例中的相关说明。
[0103]
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
[0104]
图5为本公开所述视频问答装置实施例500的组成结构示意图。如图5所示，包括：第一处理模块501以及第二处理模块502。
[0105]
第一处理模块501，用于针对待回答的问题对应的视频，确定出m个关键帧，m为大于1的正整数，且小于或等于视频中的视频帧数量。
[0106]
第二处理模块502，用于根据m个关键帧确定出所述问题对应的答案。
[0107]
上述装置实施例所述方案中，可结合从视频中确定出的多个关键帧来生成问题的答案，从而可利用更多的视频信息，进而提升了获取到的答案的准确性等。
[0108]
本公开的一个实施例中，第一处理模块501可分别获取视频中的各视频帧的描述信息，并可分别获取各视频帧的描述信息与问题之间的相关性评分，进而可按照相关性评分从大到小的顺序对各视频帧进行排序，将排序后处于前m位的视频帧作为关键帧。
[0109]
比如，可采用ncpic模型来生成各视频帧的描述信息，并可利用roberta模型来确定出各视频帧的描述信息与问题之间的相关性评分。
[0110]
本公开的一个实施例中，第二处理模块502可分别获取各关键帧的向量表示，并可根据各关键帧的向量表示确定出问题对应的答案。
[0111]
本公开的一个实施例中，针对任一关键帧，第二处理模块502可分别进行以下处理：对该关键帧进行目标区域提取；对该关键帧进行特征提取，得到该关键帧对应的特征向量；针对提取出的任一目标区域，分别对该目标区域进行特征提取，得到该目标区域对应的特征向量，并根据该目标区域对应的特征向量生成该目标区域的向量表示；根据提取出的各目标区域的向量表示以及该关键帧对应的特征向量生成该关键帧的向量表示。
[0112]
比如，针对每个关键帧，可分别采用m2det模型来进行目标区域提取，另外，可利用
卷积神经网络来对关键帧和目标区域进行特征提取，所述卷积神经网络可为resnet。
[0113]
针对任一目标区域，第二处理模块502可分别根据该目标区域对应的特征向量等生成该目标区域的向量表示。本公开的一个实施例中，第二处理模块502可将该目标区域对应的特征向量与以下至少一种向量进行拼接：该目标区域所在的关键帧对应的特征向量、该目标区域所在的关键帧对应的文本向量、视频对应的音频向量，并可基于拼接结果获取该目标区域的向量表示，其中，文本向量为对从该目标区域所在的关键帧中提取出的文本信息进行文本转向量后得到的向量，音频向量为对视频的音频对应的文本信息进行文本转向量后得到的向量。
[0114]
比如，针对任一关键帧，可采用fots算法识别出其中的文本信息，并可将获取到的文本信息输入到bert模型中，利用bert模型，将文本信息转换为向量信息，从而得到所需的文本向量。
[0115]
另外，由于是视频问答，还会涉及到语音转换，语音转换包括两部分，一部分是将问题转换为对应的文本信息，之后将文本信息转换为向量，即得到文本向量，另一部分是将视频的音频转换为对应的文本信息，之后将文本信息转换为向量，即得到音频向量。
[0116]
本公开的一个实施例中，针对任一目标区域，第二处理模块502还可获取该目标区域对应的空间注意力权重，并可将获取到的空间注意力权重与该目标区域对应的上述拼接结果相乘，将相乘结果作为该目标区域的向量表示。
[0117]
本公开的一个实施例中，针对任一目标区域，第二处理模块502可根据问题向量以及该目标区域对应的拼接结果确定出该目标区域对应的空间注意力权重，问题向量为将问题对应的文本信息进行文本转向量后得到的向量。
[0118]
本公开的一个实施例中，针对任一目标区域，第二处理模块502可获取问题向量与预定的第一权重参数的乘积以及上述拼接结果与预定的第二权重参数的乘积，将得到的两个乘积及预定的第一偏置向量相加，对相加之和进行双曲正切神经网络激活函数运算，并将运算结果与预定的第三权重参数相乘，基于得到的乘积获取该目标区域对应的空间注意力权重，比如，可将得到的乘积进行归一化处理，将处理结果作为该目标区域对应的空间注意力权重。
[0119]
针对任一关键帧，可根据从中提取出的各目标区域的向量表示以及该关键帧对应的特征向量生成该关键帧的向量表示。本公开的一个实施例中，第二处理模块502可将各目标区域的向量表示与该关键帧对应的特征向量进行拼接，将拼接结果作为该关键帧的向量表示。
[0120]
通过上述处理后，可分别得到各关键帧的向量表示。本公开的一个实施例中，针对任一关键帧，第二处理模块502还可分别获取其对应的时序注意力权重，并可将获取到的时序注意力权重与该关键帧的向量表示相乘，得到更新后的该关键帧的向量表示，相应地，可根据各更新后的关键帧的向量表示确定出问题对应的答案。
[0121]
本公开的一个实施例中，针对任一关键帧，第二处理模块502可根据前一关键帧的向量表示以及该关键帧的向量表示确定出该关键帧对应的时序注意力权重，前一关键帧为位于该关键帧之前、且与该关键帧的时间距离最近的关键帧。
[0122]
本公开的一个实施例中，针对任一关键帧，第二处理模块502可获取前一关键帧的向量表示与预定的第四权重参数的乘积以及该关键帧的向量表示与预定的第五权重参数
的乘积，将得到的两个乘积及预定的第二偏置向量相加，对相加之和进行双曲正切神经网络激活函数运算，并将运算结果与预定的第六权重参数相乘，基于得到的乘积获取该关键帧对应的时序注意力权重，比如，可对得到的乘积进行归一化处理，将处理结果作为该关键帧对应的时序注意力权重。
[0123]
可选的，第二处理模块502可根据各关键帧的向量表示确定出问题对应的答案。本公开的一个实施例中，若所述问题为直观问题，可利用各关键帧的向量表示及所述问题确定出对应的答案，直观问题为仅利用视频中的信息进行回答的问题，若所述问题为非直观问题，可利用各关键帧的向量表示、所述问题及对应的知识图谱确定出对应的答案。
[0124]
直观问题是指可以直接利用视频中的信息进行回答的问题，相应地，非直观问题即指不能直接利用视频中的信息进行回答的问题。对于非直观问题，可借助于知识图谱来得到问题的答案。
[0125]
本公开的一个实施例中，所述知识图谱可包括以下之一或全部：通用知识图谱以及根据视频构建的专用知识图谱。通用知识图谱即指外部知识的已有知识图谱，专用知识图谱是指通过对视频进行解析等生成的视频对应的知识图谱。
[0126]
比如，对于直观问题，可将各关键帧的向量表示及问题向量输入到dpn模型中，从而得到输出的答案，对于非直观问题，可根据问题及各关键帧的向量表示定位出相关的图谱，并可利用kgqa模型，由kgqa模型通过分析问题和图谱中包含的信息等，给出问题的答案。
[0127]
图5所示装置实施例的具体工作流程可参照前述方法实施例中的相关说明，不再赘述。
[0128]
本公开所述方案可应用于人工智能领域，特别涉及自然语言处理、深度学习、语音识别、知识图谱以及计算机视觉等领域。人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术，人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术，人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0129]
另外，本公开所述实施例中的视频和语音等并不针对某一特定用户，并不能反映出某一特定用户的个人信息。本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0130]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0131]
图6示出了可以用来实施本公开的实施例的电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0132]
如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执
行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0133]
设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0134]
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如本公开所述的方法。例如，在一些实施例中，本公开所述的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行本公开所述的方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行本公开所述的方法。
[0135]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0136]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0137]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0138]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机
具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0139]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
[0140]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0141]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
[0142]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。