图像处理、视频处理、模型训练方法、装置、设备及介质与流程

摘要: 本技术涉及图像处理,尤其涉及一种图像处理、视频处理、模型训练方法、装置、设备及介质。背景技术:1、图像分割是计算机视觉技术领域的重要任务之一。交互式分割技术是一...
图像处理、视频处理、模型训练方法、装置、设备及介质与流程

本技术涉及图像处理,尤其涉及一种图像处理、视频处理、模型训练方法、装置、设备及介质。

背景技术:

1、图像分割是计算机视觉技术领域的重要任务之一。交互式分割技术是一种图像分割技术,其基于用户提供的分割提示信息(也可以称为视觉交互提示),来理解用户意图,从而基于用户意图来实现分割图像中的目标物体或区域。

2、然而,现有的交互式分割技术受训练数据和图像分割模型能力的约束,在需要精细化理解的图像分割场景中(例如对镂空花纹等进行图像分割),分割结果仍然存在准确性较低的问题。

技术实现思路

1、本技术提供一种图像处理、视频处理、模型训练方法、装置、设备及介质,可以提高图像分割结果的准确性。

2、第一方面,本技术提供一种图像处理方法,所述方法包括:

3、基于待处理图像的局部图像特征,确定所述待处理图像的目标全局图像特征;

4、基于分割提示信息,以及,所述目标全局图像特征,确定需从所述待处理图像中分割出的目标对象的图像特征;

5、基于所述目标对象的图像特征,对所述待处理图像进行图像分割,得到图像分割结果;所述图像分割结果用于表征所述待处理图像中属于所述目标对象的位置。

6、可选的,所述基于待处理图像的局部图像特征,确定所述待处理图像的目标全局图像特征,包括:

7、基于所述局部图像特征,与所述待处理图像的初始全局图像特征,得到所述待处理图像的目标全局图像特征。

8、可选的,所述基于所述局部图像特征,与所述待处理图像的初始全局图像特征,得到所述待处理图像的目标全局图像特征,包括:

9、对所述局部图像特征进行多尺度池化,得到多尺度的池化后局部图像特征;

10、将所述多尺度的池化后局部图像特征,与所述初始全局图像特征进行融合,得到所述待处理图像的目标全局图像特征。

11、可选的,所述将所述多尺度的池化后局部图像特征,与所述初始全局图像特征进行融合,得到所述待处理图像的目标全局图像特征,包括:

12、对所述多尺度的池化后局部图像特征进行令牌化处理,得到用于表征所述多尺度的池化后局部图像特征的第一令牌;

13、对所述初始全局图像特征进行令牌化处理,得到用于表征所述初始全局图像特征的第二令牌;

14、将所述第一令牌以及所述第二令牌进行交叉注意力融合,得到交叉注意力融合结果;

15、基于所述交叉注意力融合结果,得到所述待处理图像的目标全局图像特征。

16、可选的,在所述将所述局部图像特征,与所述待处理图像的初始全局图像特征进行融合,得到所述待处理图像的目标全局图像特征之前,所述方法还包括:

17、对所述待处理图像进行特征提取,得到所述待处理图像的所述初始全局图像特征;

18、和/或,

19、将所述待处理图像划分为多个子图像;

20、对所述子图像进行特征提取,得到所述局部图像特征。

21、可选的,所述分割提示信息为视觉分割提示信息,所述基于分割提示信息,以及,所述目标全局图像特征,确定需从所述待处理图像中分割出的目标对象的图像特征,包括:

22、基于所述视觉分割提示信息,对所述目标全局图像特征进行掩膜解码,得到所述目标对象的初始图像特征和初始图像分割结果;所述初始图像分割结果为用于表征所述目标对象在所述待处理图像中的位置的二值化图像;

23、基于所述视觉分割提示信息,以及,所述初始图像分割结果,得到所述视觉分割提示信息的目标提示特征;

24、基于所述视觉分割提示信息的目标提示特征,以及,所述目标对象的初始图像特征,得到所述目标对象的图像特征。

25、可选的,所述基于所述视觉分割提示信息,以及,所述初始图像分割结果,得到所述视觉分割提示信息的目标提示特征,包括:

26、基于所述视觉分割提示信息,得到正提示图像,以及,负提示图像;所述正提示图像中包括:第一标记点,和/或,所述负提示图像中包括:第二标记点;所述第一标记点用于表征所述目标对象在所述正提示图像中的位置;所述第二标记点用于表征所述负提示图像中除所述目标对象的位置之外的位置;

27、基于所述正提示图像、所述负提示图像,以及,所述初始图像分割结果,得到所述视觉分割提示信息的目标提示特征。

28、可选的,所述基于所述正提示图像、所述负提示图像,以及,所述初始图像分割结果,得到所述视觉分割提示信息的目标提示特征,包括:

29、将所述正提示图像、所述负提示图像,以及,所述二值化图像作为三个图像通道,得到三通道图像数据,并将所述三通道图像数据作为所述视觉分割提示信息的目标提示特征。

30、可选的,所述基于所述视觉分割提示信息的目标提示特征,以及,所述目标对象的初始图像特征,得到所述目标对象的图像特征,包括:

31、对所述目标对象的初始图像特征进行感受野增强rfb处理,得到所述目标对象的特征增强后的图像特征;

32、将所述目标对象的特征增强后的图像特征与所述目标提示特征进行融合,得到所述目标对象的融合视觉分割提示信息后的图像特征;

33、基于所述融合视觉分割提示信息后的图像特征,得到所述目标对象的图像特征。

34、可选的,所述基于所述融合视觉分割提示信息后的图像特征,得到所述目标对象的图像特征,包括:

35、将所述融合视觉分割提示信息后的图像特征,与,所述视觉分割提示信息的初始视觉分割提示信息特征进行融合,得到所述目标对象的图像特征。

36、可选的,所述基于所述目标对象的图像特征,对所述待处理图像进行图像分割,得到图像分割结果,包括:

37、基于所述目标对象的图像特征,以及,所述待处理图像的多尺度的初始全局图像特征,对所述待处理图像进行图像分割,得到所述图像分割结果。

38、可选的,所述基于所述目标对象的图像特征,以及,所述待处理图像的多尺度的全局图像特征,对所述待处理图像进行图像分割,得到所述图像分割结果,包括:

39、将所述待处理图像的第一尺度的初始全局图像特征与所述目标对象的图像特征进行融合,得到第一尺度的融合结果;

40、对所述第一尺度的融合结果进行上采样,得到第二尺度的初始融合结果;

41、将所述第二尺度的初始融合结果,与所述待处理图像的第二尺度的初始全局图像特征进行融合,得到第二尺度的目标融合结果;

42、至少基于所述第二尺度的目标融合结果,对所述待处理图像进行图像分割,得到所述图像分割结果。

43、第二方面,本技术提供一种视频处理方法,所述方法包括:

44、获取待处理视频流,以及,分割提示信息;

45、基于所述待处理视频流中目标帧图像的局部图像特征,确定所述目标帧图像的目标全局图像特征;

46、基于所述分割提示信息,以及,所述目标全局图像特征,确定需从所述目标帧图像中分割出的目标对象的图像特征;

47、基于所述目标对象的图像特征,对所述目标帧图像进行图像分割,得到所述目标帧图像的图像分割结果;所述图像分割结果用于表征所述目标帧图像中属于所述目标对象的位置。

48、可选的,所述基于所述分割提示信息,以及,所述目标全局图像特征,确定需从所述目标帧图像中分割出的目标对象的图像特征,包括:

49、将所述目标全局图像特征,与所述目标帧图像之前的至少一帧图像的图像分割结果进行融合,得到所述目标帧图像的融合记忆的图像特征;

50、基于所述目标帧图像的融合记忆的图像特征,以及,所述分割提示信息,得到所述目标帧图像中目标对象的图像特征。

51、第三方面,本技术提供一种增强现实交互方法,所述方法包括:

52、获取待处理增强现实图像,以及,分割提示信息;

53、基于待处理增强现实图像的局部图像特征,确定所述待处理增强现实图像的目标全局图像特征;

54、基于所述分割提示信息,以及,所述目标全局图像特征,确定需从所述待处理增强现实图像中分割出的目标对象的图像特征;

55、基于所述目标对象的图像特征,对所述待处理增强现实图像进行图像分割,得到图像分割结果;所述图像分割结果用于表征所述待处理增强现实图像中属于所述目标对象的位置;

56、基于所述图像分割结果,进行增强现实显示。

57、第四方面,本技术提供一种虚拟现实交互方法,所述方法包括:

58、获取待处理虚拟现实图像,以及,分割提示信息;

59、基于所述待处理虚拟现实图像的局部图像特征,确定所述待处理虚拟现实图像的目标全局图像特征;

60、基于所述分割提示信息,以及,所述目标全局图像特征,确定需从所述待处理虚拟现实图像中分割出的目标对象的图像特征;

61、基于所述目标对象的图像特征,对所述待处理虚拟现实图像进行图像分割,得到图像分割结果;所述图像分割结果用于表征所述待处理虚拟现实图像中属于所述目标对象的位置;

62、基于所述图像分割结果,进行虚拟现实显示。

63、第五方面,本技术提供一种模型训练方法,所述方法包括:

64、获取样本数据集;所述样本数据集包括:样本图像、样本分割提示信息,以及,样本图像的样本分割结果;

65、使用所述样本数据集,对预设模型进行训练,得到图像分割模型;所述图像分割模型用于执行如第一方面和/或第二方面任一项所述的方法。

66、第六方面,本技术提供一种图像处理系统,所述系统包括:

67、客户端,用于接收待处理图像,以及,分割提示信息;

68、服务端,部署有图像分割模型,所述服务端用于通过所述图像分割模型,执行如第一方面和/或第二方面任一项所述的方法。

69、第七方面,本技术提供一种电子设备,包括:处理器、以及存储器;所述处理器与所述存储器通信连接;

70、所述存储器存储计算机执行指令;

71、所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面、第二方面、第三方面及第四方面中任一项所述的方法。

72、第八方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如第一方面、第二方面、第三方面及第四方面中任一项所述的方法。

73、第九方面,本技术提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面、第二方面、第三方面及第四方面中任一项所述的方法。

74、本技术提供的图像处理、视频处理、模型训练方法、装置、设备及介质,通过待处理图像的局部图像特征,来确定该待处理图像的目标全局图像特征,即使得目标全局图像特征为基于局部图像特征得到的,因此提高了目标全局图像特征对于局部图像特征的表达能力。因为局部图像特征能够表达待处理图像的细节内容,因此,通过提高目标全局图像特征对于局部图像特征的表达能力,实现了提高目标全局图像特征对于待处理图像的细节内容的表达能力。因此,通过上述方法,提高了后续基于该目标全局图像特征以及分割提示信息,进行交互式分割时,对目标对象的细节内容的分割能力,减少了目标对象的细节内容分割错误的情况,提高了图像分割的准确性。