运镜类型识别、视频处理模型训练及视频生成方法与流程

本说明书实施例涉及视频处理，特别涉及运镜类型识别、视频处理模型训练及视频生成方法。

背景技术：

1、在影视制作和视频内容创作领域，运镜类型的识别对于提升视觉叙事效果至关重要。不同的运镜方式不仅能够增强影片的表现力，还能有效引导观众的注意力和情感体验。随着视频内容生产的快速增长，对自动化、智能化识别运镜类型的需求日益增加。

2、然而，尽管计算机视觉技术在图像和视频分析方面取得了显著进展，但在运镜类型识别这一特定领域仍存在明显的不足。尽管一些基于传统计算机视觉技术的方法可以部分实现镜头类型的初步识别，但其准确性在复杂场景下明显不足。

技术实现思路

1、有鉴于此，本说明书实施例提供了一种运镜类型识别方法。本说明书一个或者多个实施例同时涉及一种视频处理模型训练方法，一种视频生成方法，一种任务平台，一种视频处理模型训练装置，一种运镜类型识别装置，一种视频生成装置，一种计算设备，一种电子设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种视频处理模型训练方法，包括：

3、获取样本视频，其中，样本视频包括多个样本视频帧，任意两个样本视频帧对应的样本帧运镜类型与样本视频的样本运镜类型相同；

4、对样本视频中的样本关键点进行轨迹分析，确定样本关键点的样本运动特征；

5、将样本运动特征输入视频处理模型，获得样本视频的预测运镜类型；

6、根据预测运镜类型和样本运镜类型，对视频处理模型进行参数调整，获得训练完成的视频处理模型，其中，训练完成的视频处理模型用于运镜类型识别方法的处理过程中。

7、根据本说明书实施例的第二方面，提供了一种运镜类型识别方法，包括：

8、获取待识别视频；

9、对待识别视频中的目标关键点进行轨迹分析，确定目标关键点的目标运动特征，其中，目标运动特征用于描述待识别视频中的镜头运动特性；

10、根据目标运动特征，确定待识别视频的运镜类型。

11、根据本说明书实施例的第三方面，提供了一种视频生成方法，包括：

12、获取视频生成任务的视频生成参数；

13、将视频生成参数输入视频生成模型，获得视频生成任务的目标生成视频，其中，视频生成模型基于训练视频和训练视频的训练生成参数训练得到，训练生成参数包括训练视频的训练运镜类型，训练运镜类型为视频处理模型对训练视频进行运镜类型识别得到，视频处理模型基于视频处理模型训练方法训练得到。

14、根据本说明书实施例的第四方面，提供了一种任务平台，包括请求接口和响应单元；

15、请求接口，用于接收终端设备发送的模型请求，其中，模型请求包括目标场景的场景标识、目标场景的场景输入数据，以及模型规格参数中至少一项；

16、响应单元，用于基于模型请求，从多个视频处理模型中，确定出目标视频处理模型，其中，多个视频处理模型基于视频处理模型训练方法训练得到。

17、根据本说明书实施例的第五方面，提供了一种电子设备，包括：

18、存储器和处理器，存储器和处理器通过总线连接；

19、存储器用于存储计算机程序/指令，处理器用于执行计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

20、根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

21、根据本说明书实施例的第七方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

22、本说明书一个实施例提供的一种运镜类型识别方法，包括：获取待识别视频；对待识别视频中的目标关键点进行轨迹分析，确定目标关键点的目标运动特征，其中，目标运动特征用于描述待识别视频中的镜头运动特性；根据目标运动特征，确定待识别视频的运镜类型。通过对目标关键点进行轨迹分析，能够捕捉到更丰富、更具有代表性的目标运动特征，从而提高运镜类型的准确性。

1.一种运镜类型识别方法，包括：

2.根据权利要求1所述的方法，所述对所述待识别视频中的目标关键点进行轨迹分析，确定所述目标关键点的目标运动特征，包括：

3.根据权利要求1所述的方法，所述根据所述目标运动特征，确定所述待识别视频的运镜类型，包括：

4.根据权利要求3所述的方法，所述将所述目标运动特征输入视频处理模型，获得所述待识别视频的运镜类型之后，还包括：

5.根据权利要求1所述的方法，所述目标关键点包括所述待识别视频中的角点、网格点、主体目标点中的至少一种。

6.一种视频处理模型训练方法，包括：

7.根据权利要求6所述的方法，所述对所述样本视频中的样本关键点进行轨迹分析，确定所述样本关键点的样本运动特征，包括：

8.根据权利要求6所述的方法，所述将所述样本运动特征输入视频处理模型，获得所述样本视频的预测运镜类型，包括：

9.根据权利要求8所述的方法，所述对所述样本运动特征进行维度归一化处理，获得归一化的样本运动特征，包括：

10.根据权利要求9所述的方法，所述视频处理模型包括注意力单元，所述注意力单元包括时域注意力子单元和空域注意力子单元，所述模型信息包括所述时域注意力子单元的时域查询特征和所述空域注意力子单元的空域查询特征；

11.根据权利要求10所述的方法，所述利用所述时域查询特征和所述空域查询特征，对所述样本运动特征进行维度归一化处理，获得所述归一化的样本运动特征，包括：

12.根据权利要求8所述的方法，所述视频处理模型包括分类单元；

13.根据权利要求6所述的方法，所述获取样本视频，包括：

14.根据权利要求13所述的方法，所述获取候选视频和所述候选视频的候选运镜类型，包括：

15.根据权利要求14所述的方法，所述根据所述多个候选视频帧中的起始视频帧和结束视频帧，确定所述候选视频的候选运镜类型，包括：

16.一种视频生成方法，包括：

17.一种任务平台，包括请求接口和响应单元；

18.一种计算设备，包括：

19.一种电子设备，包括：

20.一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至16任意一项所述方法的步骤。

21.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至16任意一项所述方法的步骤。