视频分割方法以及视频编辑方法与流程

摘要: 本说明书实施例涉及视频处理,特别涉及一种视频分割方法以及视频编辑方法。背景技术:1、随着计算机视觉技术的发展,视频分割已成为视觉理解中的一个关键任务,广泛应用于...
视频分割方法以及视频编辑方法与流程

本说明书实施例涉及视频处理,特别涉及一种视频分割方法以及视频编辑方法。

背景技术:

1、随着计算机视觉技术的发展,视频分割已成为视觉理解中的一个关键任务,广泛应用于多个领域,如视频编辑、内容生成以及自动驾驶等。自视频分割模型发布以来,基于用户提供的视觉交互意图(例如点、线、掩码等)进行物体精确跟踪与分割的交互式视频分割迅速成为研究热点。

2、目前,通常将视频分割意图和待分割视频输入视频分割模型,获得视频分割结果。然而,由于训练数据和模型能力的限制,使得视频分割模型在处理一些复杂场景中的交互式视频分割时仍存在精度不足的问题,导致视频分割结果准确性较差。因此,亟需一种准确性高的视频分割方案。

技术实现思路

1、有鉴于此,本说明书实施例提供了一种视频分割方法。本说明书一个或者多个实施例同时涉及一种视频编辑方法,一种基于视频分割模型的信息处理方法,一种任务平台,一种视频分割装置,一种视频编辑装置,一种基于视频分割模型的信息处理装置,一种计算设备,一种电子设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种视频分割方法,包括:

3、获取原始视频的参考掩码帧和目标帧,其中,原始视频包括参考帧和目标帧,参考掩码帧用于反映对象在参考帧中的区域位置;

4、将参考掩码帧和起始帧输入视频分割模型,获得起始帧对应的掩码帧,其中,起始帧为目标帧中与参考帧相邻的帧;

5、针对当前帧,将当前分割提示信息和当前帧输入视频分割模型,获得当前帧对应的掩码帧,其中,当前帧为目标帧中除起始帧以外的任一帧,当前分割提示信息基于已分割帧的对象运动特征构造得到;

6、根据目标帧对应的掩码帧,确定原始视频的视频分割结果。

7、根据本说明书实施例的第二方面,提供了一种视频编辑方法,包括:

8、获取原始视频和原始视频的视频分割结果,其中,视频分割结果基于视频分割方法处理得到;

9、根据视频分割结果,对原始视频进行对象编辑,获得视频编辑结果。

10、根据本说明书实施例的第三方面,提供了一种基于视频分割模型的信息处理方法,应用于任务平台,包括:

11、接收终端设备发送的模型请求;

12、基于模型请求,从多个视频分割模型中,确定出目标视频分割模型,其中,目标视频分割模型用于视频分割方法的处理过程中。

13、根据本说明书实施例的第四方面,提供了任务平台,包括请求接口和响应单元;

14、请求接口,用于接收终端设备发送的模型请求,其中,模型请求包括目标场景的场景标识、目标场景的场景输入数据,以及模型规格参数中至少一项;

15、响应单元,用于基于模型请求,从多个视频分割模型中,确定出目标视频分割模型,其中,目标视频分割模型用于视频分割方法的处理过程中。

16、根据本说明书实施例的第五方面,提供了一种视频分割装置,包括:

17、第一获取模块,被配置为获取原始视频的参考掩码帧和目标帧,其中,原始视频包括参考帧和目标帧,参考掩码帧用于反映对象在参考帧中的区域位置;

18、第一输入模块,被配置为将参考掩码帧和起始帧输入视频分割模型,获得起始帧对应的掩码帧,其中,起始帧为目标帧中与参考帧相邻的帧;

19、第二输入模块,被配置为针对当前帧,将当前分割提示信息和当前帧输入视频分割模型,获得当前帧对应的掩码帧,其中,当前帧为目标帧中除起始帧以外的任一帧,当前分割提示信息基于已分割帧的对象运动特征构造得到;

20、第一确定模块,被配置为根据目标帧对应的掩码帧,确定原始视频的视频分割结果。

21、根据本说明书实施例的第六方面,提供了一种视频编辑装置,包括:

22、第二获取模块,被配置为获取原始视频和原始视频的视频分割结果,其中,视频分割结果基于视频分割方法处理得到;

23、编辑模块,被配置为根据视频分割结果,对原始视频进行对象编辑,获得视频编辑结果。

24、根据本说明书实施例的第七方面,提供了一种基于视频分割模型的信息处理装置,应用于任务平台,包括:

25、接收模块,被配置为接收终端设备发送的模型请求;

26、第二确定模块,被配置为基于模型请求,从多个视频分割模型中,确定出目标视频分割模型,其中,目标视频分割模型用于视频分割方法的处理过程中。

27、根据本说明书实施例的第八方面,提供了一种计算设备,包括:

28、存储器和处理器;

29、所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

30、根据本说明书实施例的第九面,提供了一种电子设备,包括:

31、存储器和处理器,存储器和处理器通过总线连接;

32、存储器用于存储计算机程序/指令,处理器用于执行计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

33、根据本说明书实施例的第十方面,提供了一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

34、根据本说明书实施例的第十一方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。

35、本说明书一个实施例提供的视频分割方法,包括:获取原始视频的参考掩码帧和目标帧,其中,原始视频包括参考帧和目标帧,参考掩码帧用于反映对象在参考帧中的区域位置;将参考掩码帧和起始帧输入视频分割模型,获得起始帧对应的掩码帧,其中,起始帧为目标帧中与参考帧相邻的帧;针对当前帧,将当前分割提示信息和当前帧输入视频分割模型,获得当前帧对应的掩码帧,其中,当前帧为目标帧中除起始帧以外的任一帧,当前分割提示信息基于已分割帧的对象运动特征构造得到;根据目标帧对应的掩码帧,确定原始视频的视频分割结果。通过使用参考掩码帧作为起点,并结合起始帧进行初步分割,可以更准确地定位对象的位置,为后续帧的分割提供可靠的依据。由于当前分割提示信息基于已分割帧的对象运动特征构造得到,实现了随着视频帧的推进对当前分割提示信息的动态调整,使其更好地适应对象的变化、移动甚至是部分遮挡或短暂消失的情况,缓解连续帧处理时的误差累积问题,增强视频分割模型对复杂场景变化的适应性和鲁棒性,进一步提高了视频分割结果的准确性。

1.一种视频分割方法,包括:

2.根据权利要求1所述的方法,所述针对当前帧,将当前分割提示信息和所述当前帧输入所述视频分割模型,获得所述当前帧对应的掩码帧之前,还包括:

3.根据权利要求2所述的方法,所述位置信息包括关键点位置信息和像素点位置信息中的至少一种;

4.根据权利要求3所述的方法,所述根据所述位置信息,提取所述对象在所述已分割帧中的对象运动特征之前,还包括:

5.根据权利要求1至4任意一项所述的方法,所述针对当前帧,将当前分割提示信息和所述当前帧输入所述视频分割模型,获得所述当前帧对应的掩码帧之前,还包括:

6.根据权利要求5所述的方法,所述从所述已分割帧对应的分割掩码帧中,筛选出辅助掩码帧,包括:

7.根据权利要求6所述的方法,所述基于所述已分割帧的时序信息,从所述已分割帧对应的分割掩码帧中,筛选出候选掩码帧,包括:

8.根据权利要求6所述的方法,所述根据所述候选掩码帧的像素信息,从所述候选掩码帧中筛选出所述辅助掩码帧,包括:

9.一种视频编辑方法,包括:

10.一种基于视频分割模型的信息处理方法,应用于任务平台,包括:

11.根据权利要求10所述的方法,所述基于所述模型请求,从多个视频分割模型中,确定出目标视频分割模型,包括:

12.根据权利要求10所述的方法,所述基于所述模型请求,从多个视频分割模型中,确定出目标视频分割模型之后,还包括:

13.一种任务平台,包括请求接口和响应单元;

14.根据权利要求13所述的任务平台,所述任务平台还包括视频分割接口,所述视频分割接口基于所述目标视频分割模型构建得到;

15.一种计算设备,包括:

16.一种电子设备,包括:

17.一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。

18.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。