用于视频接地的图形卷积网络的制作方法

技术特征：
1.一种方法，包括：接收描述视频中的方面的查询，所述视频包括多个帧；识别潜在地对应于所述查询的多个建议，其中所述建议中的每一个包括所述多个帧的子集；使用识别所述建议之间的关系的图形卷积网络(gcn)来对所述建议进行排名；以及基于所述排名选择所述建议之一作为与所述查询相关的视频片段。2.根据权利要求1所述的方法，其中，对所述建议进行排名包括：使用视觉特征编码器识别所述建议中的视觉特征；以及使用递归神经网络(rnn)从所述查询生成查询特征。3.根据权利要求2所述的方法，其中，对所述建议进行排名包括：基于所述视觉特征和所述查询特征，生成包括节点和边的图形；以及将所述图形输入gcn进行处理。4.根据权利要求3所述的方法，其中，对所述建议进行排名包括：更新所述图形中的所述节点的节点特征；以及计算所述图形中的所述边的边权重。5.根据权利要求3所述的方法，其中，对所述建议进行排名包括：执行节点聚合；以及基于所述节点聚合和使用所述gcn处理所述图形的结果来对所述建议进行排名。6.根据权利要求1所述的方法，其中，至少两个所述建议包括视频中的所述多个帧的重叠帧。7.根据权利要求6所述的方法，其中，至少两个所述建议包括所述多个帧的不重叠的子集。8.一种系统，包括：处理器；以及存储器，包括程序，当由所述处理器执行时，所述程序执行操作，所述操作包括：接收描述视频中的方面的查询，所述视频包括多个帧；识别潜在地对应于所述查询的多个建议，其中所述建议中的每一个包括所述多个帧的子集；使用识别所述建议之间的关系的gcn来对所述建议进行排名；以及基于所述排名选择所述建议之一作为与所述查询相关的视频片段。9.根据权利要求8所述的系统，其中，对所述建议进行排名包括：使用视觉特征编码器识别所述建议中的视觉特征；以及使用递归神经网络(rnn)从所述查询生成查询特征。10.根据权利要求9所述的系统，其中，对所述建议进行排名包括：基于所述视觉特征和所述查询特征，生成包括节点和边的图形；以及将所述图形输入gcn进行处理。11.根据权利要求10所述的系统，其中，对所述建议进行排名包括：更新所述图形中的所述节点的节点特征；以及计算所述图形中的所述边的边权重。
12.根据权利要求10所述的系统，其中，对所述建议进行排名包括：执行节点聚合；以及基于所述节点聚合和来自使用所述gcn处理所述图形的结果来对所述建议进行排名。13.根据权利要求8所述的系统，其中，至少两个所述建议中包括所述视频中的所述多个帧的重叠帧。14.根据权利要求13所述的系统，其中，至少两个所述建议包括所述多个帧的不重叠的子集。15.一种用于识别与查询相关的视频片段的计算机程序产品，所述计算机程序产品包括：计算机可读存储介质，所述计算机可读存储介质具有随其包含的计算机可读程序代码，所述计算机可读程序代码可由一个或多个计算机处理器执行以执行操作，所述操作包括：接收所述查询，所述查询描述包括多个帧的视频中的方面；识别潜在地对应于所述查询的多个建议，其中所述建议中的每一个包括所述多个帧的子集；使用识别所述建议之间的关系的gcn来对所述建议进行排名；以及基于所述排名选择所述建议之一作为与所述查询相关的所述视频片段。16.根据权利要求15所述的计算机程序产品，其中，对所述建议进行排名包括：使用视觉特征编码器识别所述建议中的视觉特征；以及使用递归神经网络(rnn)从所述查询生成查询特征。17.根据权利要求16所述的计算机程序产品，其中，对所述建议进行排名包括：基于所述视觉特征和所述查询特征，生成包括节点和边的图形；以及将所述图形输入gcn进行处理。18.根据权利要求17所述的计算机程序产品，其中，对所述建议进行排名包括：更新所述图形中的所述节点的节点特征；以及计算所述图形中的所述边的边权重。19.根据权利要求17所述的计算机程序产品，其中，对所述建议进行排名包括：执行节点聚合；以及基于所述节点聚合和使用所述gcn处理所述图的结果来对所述建议进行排名。20.根据权利要求15所述的计算机程序产品，其中，至少两个所述建议包括视频中的所述多个帧的重叠帧。

技术总结
一种方法和装置，包括：接收描述视频中的一方面的查询，所述视频包括多个帧；识别潜在地对应于所述查询的多个建议，其中，所述建议中的每一个包括所述多个帧的子集；使用识别所述建议之间的关系的图形卷积网络来对所述建议进行排名；以及基于所述排名，选择所述建议中的一个建议作为与所述查询相关的视频片段。中的一个建议作为与所述查询相关的视频片段。中的一个建议作为与所述查询相关的视频片段。


技术研发人员：淦创 刘思佳 S.达斯 王大阔 张阳
受保护的技术使用者：国际商业机器公司
技术研发日：2021.02.11
技术公布日：2022/8/19