采样视频帧用于视频处理的制作方法

本说明书涉及使用机器学习模型来处理数据。

背景技术：

1、机器学习模型接收输入，并且基于接收到的输入来生成输出，例如，经预测输出。一些机器学习模型是参数模型，并且基于接收到的输入以及基于模型的参数的值来生成输出。

2、一些机器学习模型是深度模型，其采用模型的多个层来针对接收到的输入生成输出。例如，深度神经网络是这样的深度机器学习模型：该深度机器学习模型包括输出层和一个或多个隐藏层，每个隐藏层对所接收的输入应用非线性变换以生成输出。

技术实现思路

1、本说明书描述了一种被实现为一个或多个位置中的一个或多个计算机上的计算机程序的系统，该系统可以从输入视频中选择代表性视频帧，以用于对输入视频执行视频处理任务。

2、根据第一方面，提供了一种方法，该方法包括：接收包括多个视频帧的视频；通过以下操作来从所接收的视频中确定视频帧的代表性序列：从视频中选择视频帧的第一序列以包括在视频帧的该代表性序列中，使用嵌入神经网络处理该视频帧的第一序列中的每个视频帧以生成视频帧的嵌入，处理该视频帧的第一序列中的每个连续视频帧对的嵌入，以生成该连续视频帧对的分数，并且基于该视频帧的第一序列中的该连续视频帧对的分数来选择一个或多个附加视频帧以包括在视频帧的该代表性序列中；以及使用视频处理模型处理表征视频帧的该代表性序列的数据，以对所接收的视频执行视频处理任务。

3、可以实现本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个优点。

4、通过选择代表性视频帧的序列以包括比原始输入视频更少的视频帧，所描述的系统可以使得能够使用该代表性视频帧来更高效地执行输入视频的视频处理任务(例如，与通过处理输入视频的每个帧来执行视频处理任务相比)。例如，与处理输入视频的每个帧相比，视频处理神经网络可以需要例如更少的计算时间、存储器、计算能力等来处理代表性视频帧的序列。作为另一示例，与传输整个输入视频相比，可以以例如更少的带宽、时延等将代表性视频帧的序列传输到视频处理神经网络。

5、通常，输入视频的视频帧的帧嵌入可以表征输入视频的视频帧所描绘的内容之间的改变。通过使用视频帧的帧嵌入对输入视频的部分进行评分，所描述的系统可以高效地识别输入视频的需要更多数量的代表性视频帧的部分(例如，输入视频的描绘快速改变的内容的部分)和视频的需要更少代表性视频帧的部分(例如，输入视频的描绘静止或缓慢改变的内容的部分)。

6、利用来自输入视频的更少视频帧来执行下游视频处理任务会使视频处理任务的性能劣化(例如，与处理输入视频的每个帧相比)。与例如以固定比率选择代表性视频帧、仅基于视频帧的图像数据之间的改变选择代表性视频帧等相比，利用帧嵌入的改变来识别输入视频中需要附加的代表性视频帧的部分能够使得所描述的系统更可靠地从输入视频中选择相关视频帧以用于下游视频处理任务。与常规方法相比，通过选择更相关的代表性视频帧，在给定相同数量的已处理代表性视频帧和视频处理任务的下游性能的情况下，所描述的系统因此可以实现更好的下游性能。

7、在附图和以下描述中阐述了本说明书的主题的一个或多个实施例的细节。根据描述、附图和权利要求，该主题的其他特征、方面和优点将变得显而易见。

1.一种由一个或多个计算机执行的方法，包括：

2.如权利要求1所述的方法，其中视频帧的所述第一序列中的每个连续视频帧对的分数衡量在该连续视频帧对的时间间隔内该连续视频帧对的嵌入之间的改变率。

3.如权利要求1所述的方法，其中对于视频帧的所述第一序列中的每个连续视频帧对：

4.如权利要求3所述的方法，其中视频帧的所述第一序列中的每个连续视频帧对的分数衡量以下两者之间在该候选视频帧对中的该候选视频帧的时间的距离：(i)该连续视频帧对的嵌入的线性插值和(ii)包括该连续视频帧对的视频帧的集合的嵌入的样条插值。

5.如权利要求3所述的方法，其中处理该连续视频帧对的嵌入以生成该连续视频帧对的分数包括：

6.如权利要求5所述的方法，其中使用所述分数预测神经网络处理该连续视频帧对的嵌入以生成该连续视频帧对的分数包括：

7.如权利要求5或权利要求6所述的方法，其中：

8.如权利要求7所述的方法，其中对于每个训练样例，用于该训练样例的该目标视频帧包括来自与用于该训练样例的该样例输入视频帧对相关联的时间间隔的样例候选视频帧。

9.如权利要求7所述的方法，其中使用所述多个训练样例训练所述分数预测神经网络包括：

10.如权利要求7所述的方法，其中使用所述多个训练样例训练所述分数预测神经网络包括：

11.如权利要求3所述的方法，其中每个连续视频帧对的该候选视频帧是从与该连续视频帧对相关联的时间间隔内的视频帧的集合中选择的。

12.如权利要求11所述的方法，其中与该连续视频帧对相关联的时间间隔是该连续视频帧对的时间之间的时间间隔。

13.如权利要求11所述的方法，其中与该连续视频帧对相关联的时间间隔是该连续视频帧对的时间之后的时间间隔。

14.如权利要求11所述的方法，其中该候选视频帧是与该连续视频帧对相关联的该时间间隔的中点。

15.如权利要求11所述的方法，其中该候选视频帧在以下两者之间获得最大差异：(i)该连续视频帧对的嵌入和(ii)与该连续视频帧对相关联的时间间隔内的视频帧的集合中的每个视频帧的嵌入。

16.如权利要求1所述的方法，其中基于视频帧的所述第一序列中的所述连续视频帧对的分数来选择所述一个或多个附加视频帧以用于包括在视频帧的所述代表性序列内包括：

17.如权利要求16所述的方法，其中基于所述连续视频帧对的分数来选择所述连续视频帧对中的所述一个或多个连续视频帧对包括：

18.如权利要求16所述的方法，其中基于所述连续视频帧对的分数来选择所述连续视频帧对中的所述一个或多个连续视频帧对包括：

19.一种系统，包括：

20.一种包括指令的计算机程序产品，所述指令在由一个或多个计算机执行时使所述一个或多个计算机执行包括如权利要求1至18中任一项所述的方法的操作。