使用一个或更多个神经网络的视频预测的制作方法

至少一个实施例涉及用于执行和促进人工智能的处理资源。例如，至少一个实施例涉及用于根据本文描述的各个新颖技术来训练神经网络的处理器或计算系统。

背景技术：

1、随着视频内容正以不断增长的各种方式、在各种设备上和从各种来源消费，可能存在对特定使用或应用非最优的视频内容实例。例如，视频可以处于特定观看设备所期望的较低帧速率或分辨率。还有可能存在一个或更多个丢帧，或在一个或更多个数据帧中存在错误。还可能出现文件中的视频内容比期望的更少。

技术实现思路

1、1） 一种处理器，包括：

2、一个或更多个算术逻辑单元（alu），其被配置为使用一个或更多个神经网络来推理视频的帧，所述一个或更多个神经网络使用一个或更多个时间姿态表示被训练。

3、2） 根据1）所述的处理器，其中用于训练所述一个或更多个神经网络的视频帧被用于生成所述一个或更多个时间姿态表示和时不变的外观表示。

4、3） 根据2）所述的处理器，其中颜色抖动和薄板样条（tps）翘曲增强所述一个或更多个时间姿态表示的外观不变性和局部化特性。

5、4） 根据2）所述的处理器，其中所述一个或更多个时间姿态表示包括由高斯热图表示并且被参数化为均值和协方差的特征。

6、5） 根据2）所述的处理器，其中所述一个或更多个时间姿态表示和所述时不变的外观表示被用于重构输入视频帧，并且其中，通过调整所述一个或更多个神经网络的一个或更多个网络参数，使通过比较所述输入视频帧与重构的视频帧所产生的损失值最小化。

7、6） 根据1）所述的处理器，其中使用包括一个或更多个长短期记忆（lstm）网络的时间编码器随时间对所述一个或更多个时间姿态表示的运动建模。

8、7） 根据1）所述的处理器，其中所推理的帧用于生成具有更高帧速率、更少丢弃帧或附加内容的视频。

9、8） 一种系统，包括：

10、一个或更多个处理器，被配置为使用一个或更多个神经网络来推理视频的帧，所述一个或更多个神经网络使用一个或更多个时间姿态表示被训练；以及

11、一个或更多个存储器，用于存储所述一个或更多个神经网络。

12、9） 根据8）所述的系统，用于训练所述一个或更多个神经网络的视频帧被用于生成姿态表示和时不变的外观表示。

13、10） 根据9）所述的系统，其中颜色抖动和薄板样条（tps）翘曲增强所述时间姿态表示的外观不变性和局部化特性。

14、11） 根据9）所述的系统，其中所述一个或更多个时间姿态表示包括由被参数化为均值和协方差的高斯热图表示的特征。

15、12） 根据9）所述的系统，其中所述姿态表示和所述时不变的外观表示被用于重构输入视频帧，并且其中，通过调整所述一个或更多个神经网络的一个或更多个网络参数，使通过比较所述输入视频帧与重构的视频帧所产生的损失值最小化。

16、13） 根据8）所述的系统，其中使用包括一个或更多个长短期记忆（lstm）网络的时间编码器随时间对所述一个或更多个时间姿态表示的运动建模。

17、14） 一种机器可读介质，具有存储在其上的指令集，如果所述指令集由一个或更多个处理器执行，则使所述一个或更多个处理器至少：

18、使用一个或更多个神经网络来推理视频的帧，所述一个或更多个神经网络使用一个或更多个时间姿态表示被训练。

19、15） 根据14）所述的机器可读介质，其中用于训练所述一个或更多个神经网络的视频帧被用于生成姿态表示和时不变的外观表示。

20、16） 根据15）所述的机器可读介质，其中颜色抖动和薄板样条（tps）翘曲增强所述时间姿态表示的外观不变性和局部化特性。

21、17） 根据15）所述的机器可读介质，所述一个或更多个时间姿态表示包括由被参数化为均值和协方差的高斯热图表示的特征。

22、18） 根据15）所述的机器可读介质，其中所述姿态表示和所述时不变的外观表示被用于重构输入视频帧，并且其中，通过调整所述一个或更多个神经网络的一个或更多个网络参数，使通过比较所述输入视频帧与重构的视频帧所产生的损失值最小化。

23、19） 根据14）所述的机器可读介质，其中使用包括一个或更多个长短期记忆（lstm）网络的时间编码器随时间对所述一个或更多个时间姿态表示的运动建模。

24、20） 一种处理器，包括：

25、一个或更多个算术逻辑单元（alu），用于训练一个或更多个神经网络，以使用一个或更多个神经网络来至少部分地推理视频的帧，所述一个或更多个神经网络使用一个或更多个时间姿态表示被训练。

26、21） 根据20）所述的处理器，其中用于训练所述一个或更多个神经网络的视频帧被用于生成姿态表示和时不变的外观表示。

27、22） 根据21）所述的处理器，其中颜色抖动和薄板样条（tps）翘曲增强所述时间姿态表示的外观不变性和局部化特性。

28、23） 根据21）所述的处理器，其中所述一个或更多个时间姿态表示包括由被参数化为均值和协方差的高斯热图表示的特征。

29、24） 根据21）所述的处理器，其中所述姿态表示和所述时不变的外观表示被用于重构输入视频帧，并且其中，通过调整所述一个或更多个神经网络的一个或更多个网络参数来，使通过比较所述输入视频帧与重构的视频帧所产生的损失值最小化。

30、25） 根据20）所述的处理器，其中使用包括一个或更多个长短期记忆（lstm）网络的时间编码器随时间对所述一个或更多个时间姿态表示的运动建模。

31、26） 一种系统，包括：

32、一个或更多个处理器，其用于计算与一个或更多个神经网络相对应的参数，以使用一个或更多个时间姿态表示来至少部分地推理视频的帧；以及

33、一个或更多个存储器，其用于存储所述参数。

34、27） 根据26）所述的系统，其中用于训练所述一个或更多个神经网络的视频帧被用于生成姿态表示和时不变的外观表示。

35、28） 根据27）所述的系统，其中颜色抖动和薄板样条（tps）翘曲增强所述时间姿态表示的外观不变性和局部化特性。

36、29） 根据27）所述的系统，其中所述一个或更多个时间姿态表示包括由被参数化为均值和协方差的高斯热图表示的特征。

37、30） 根据27）所述的系统，其中所述姿态表示和所述时不变的外观表示被用于重构输入视频帧，并且其中，通过调整所述一个或更多个神经网络的一个或更多个网络参数，使通过比较所述输入视频帧与重构的视频帧所产生的损失值最小化。

38、31） 根据26）所述的系统，其中使用包括一个或更多个长短期记忆（lstm）网络的时间编码器随时间对所述一个或更多个时间姿态表示的运动建模。

39、32） 一种机器可读介质，具有存储在其上的指令集，如果所述指令集由一个或更多个处理器执行时，使所述一个或更多个处理器至少：

40、使一个或更多个神经网络被训练以使用一个或更多个时间姿态表示来至少部分地推理视频的帧；以及

41、一个或更多个存储器，其用于存储所述参数。

42、33） 根据32）所述的机器可读介质，其中用于训练所述一个或更多个神经网络的视频帧被用于生成姿态表示和时不变的外观表示。

43、34） 根据33）所述的机器可读介质，其中颜色抖动和薄板样条（tps）翘曲增强所述时间姿态表示的外观不变性和局部化特性。

44、35） 根据33）所述的机器可读介质，其中所述一个或更多个时间姿态表示包括由被参数化为均值和协方差的高斯热图表示的特征。

45、36） 根据33）所述的机器可读介质，其中所述姿态表示和所述时不变的外观表示被用于重构输入视频帧，并且其中，通过调整所述一个或更多个神经网络的一个或更多个网络参数，使通过比较所述输入视频帧与重构的视频帧所产生的损失值最小化。

46、37） 根据32）所述的机器可读介质，其中使用包括一个或更多个长短期记忆（lstm）网络的时间编码器随时间对所述一个或更多个时间姿态表示的运动建模。