视觉数据处理方法及系统与流程

摘要: 本说明书实施例涉及视觉处理,特别涉及一种视觉数据处理方法。本说明书一个或者多个实施例同时涉及一种视觉数据处理装置,一种计算设备,一种计算机可读存储介质以及一种计...
视觉数据处理方法及系统与流程

本说明书实施例涉及视觉处理,特别涉及一种视觉数据处理方法。本说明书一个或者多个实施例同时涉及一种视觉数据处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品。

背景技术:

1、目前,在视觉数据处理方面,用户存在基于参考图像生成新的图像的需求,此时用户通常是要求新生成的图像与参考图像之间存在某种关联,比如生成参考图像中对应人物在新场景下的图像,或者基于参考图像的氛围,生成类似氛围的、新场景的图像。

2、然而,一张图像中通常同时包含人物身份、场景内容、氛围等多类信息,在用户想要基于参考图像中的氛围生成新图像时,若直接将参考图像输入视觉数据生成模型,视觉数据生成模型难以确定参考图像中哪些信息属于需要迁移的氛围信息,导致生成图像中可能无法呈现与参考图像类似的氛围,并且由于缺乏明确、可量化的氛围迁移标准,在输出生成图像之前,无法对生成的图像进行可量化的验收,从而可能输出氛围迁移效果不符合预期的图像,影响用户体验。

技术实现思路

1、有鉴于此,本说明书实施例提供了一种视觉数据处理方法。本说明书一个或者多个实施例同时涉及一种视觉数据处理系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面,提供了一种视觉数据处理方法,包括:

3、在目标氛围维度上,对至少一个目标参考图像进行信息提取,获得所述至少一个目标参考图像在各目标氛围维度上的氛围信息;

4、根据所述至少一个目标参考图像在各目标氛围维度上的氛围信息,获得视觉关系集合;

5、将所述视觉关系集合以及目标提示文本输入视觉数据生成模型,生成候选视觉数据;

6、基于所述目标提示文本对所述候选视觉数据进行内容验证,并在所述目标氛围维度上,基于所述视觉关系集合对所述候选视觉数据进行氛围验证,在所述内容验证以及所述氛围验证均通过的情况下,将所述候选视觉数据作为目标视觉数据。

7、根据本说明书实施例的第二方面,提供了一种视觉数据处理系统,包括客户端以及服务端,其中,

8、所述客户端,用于向所述服务端发送至少一个目标参考图像;

9、所述服务端,用于在目标氛围维度上,对至少一个目标参考图像进行信息提取,获得所述至少一个目标参考图像在各目标氛围维度上的氛围信息;根据所述至少一个目标参考图像在各目标氛围维度上的氛围信息,获得视觉关系集合;

10、所述客户端,还用于向所述服务端发送视觉数据生成请求,其中,所述视觉数据生成请求中携带有所述视觉关系集合对应的目标集合标识;

11、所述服务端,还用于调用所述视觉关系集合,将所述视觉关系集合以及目标提示文本输入视觉数据生成模型,生成候选视觉数据;基于所述目标提示文本对所述候选视觉数据进行内容验证,并在所述目标氛围维度上,基于所述视觉关系集合对所述候选视觉数据进行氛围验证,在所述内容验证以及所述氛围验证均通过的情况下,将所述候选视觉数据作为目标视觉数据,并将所述目标视觉数据返回所述客户端。

12、根据本说明书实施例的第三方面,提供了一种计算设备,包括:

13、存储器和处理器;

14、所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现上述视觉数据处理方法的步骤。

15、根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述视觉数据处理方法的步骤。

16、根据本说明书实施例的第五方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述视觉数据处理方法的步骤。

17、本说明书一个实施例提供了视觉数据处理方法,在目标氛围维度上,对至少一个目标参考图像进行信息提取,获得至少一个目标参考图像在各目标氛围维度上的氛围信息;根据所述各目标参考图像在各目标氛围维度上的氛围信息,获得视觉关系集合,在各目标氛围维度上对目标参考图像进行信息提取并构建视觉关系集合,由于视觉关系集合是在各目标氛围维度上分别提取氛围信息得到的,该视觉关系集合中包括各目标氛围维度分别对应的氛围信息,因此将视觉关系集合输入视觉数据生成模型的情况下,视觉数据生成模型基于视觉关系集合能够明确新生成的视觉数据中需要包含的氛围信息,将所述视觉关系集合以及目标提示文本输入视觉数据生成模型,生成候选视觉数据;为保证生成效果,基于所述目标提示文本对所述候选视觉数据进行内容验证,并在所述目标氛围维度上,基于所述视觉关系集合对所述候选视觉数据进行氛围验证,在所述内容验证以及所述氛围验证均通过的情况下,将所述候选视觉数据作为目标视觉数据,通过内容验证以及氛围验证,为生成结果提供了可量化的验收标准,从而在无需人工逐项比对目标参考图像与生成图像的前提下,显著提升基于目标参考图像生成新图像的可控性与验收效率。

1.一种视觉数据处理方法,包括:

2.根据权利要求1所述的视觉数据处理方法,所述将所述视觉关系集合以及目标提示文本输入视觉数据生成模型,生成候选视觉数据,包括:

3.根据权利要求1所述的视觉数据处理方法,所述根据所述至少一个目标参考图像在各目标氛围维度上的氛围信息,获得视觉关系集合,包括:

4.根据权利要求1所述的视觉数据处理方法,所述基于所述目标提示文本对所述候选视觉数据进行内容验证,包括:

5.根据权利要求4所述的视觉数据处理方法,在各基础评分维度的验证结果均通过的情况下,确定所述候选视觉数据的内容验证通过,还包括:

6.根据权利要求1-5任意一项所述的视觉数据处理方法,在所述目标氛围维度上,基于所述视觉关系集合对所述候选视觉数据进行氛围验证,包括:

7.根据权利要求1所述的视觉数据处理方法,所述在目标氛围维度上,对至少一个目标参考图像进行信息提取,获得所述至少一个目标参考图像在各目标氛围维度上的氛围信息之前,还包括:

8.根据权利要求1所述的视觉数据处理方法,所述将所述视觉关系集合以及目标提示文本输入视觉数据生成模型,生成候选视觉数据之前,还包括:

9.根据权利要求1所述的视觉数据处理方法,所述将所述视觉关系集合以及目标提示文本输入视觉数据生成模型,生成候选视觉数据之前,还包括:

10.根据权利要求1所述的视觉数据处理方法,所述将所述视觉关系集合以及目标提示文本输入视觉数据生成模型,生成候选视觉数据之前,还包括:

11.根据权利要求1-5、7-10任意一项所述的视觉数据处理方法,所述基于所述目标提示文本对所述候选视觉数据进行内容验证,并在所述目标氛围维度上,基于所述视觉关系集合对所述候选视觉数据进行氛围验证之后,还包括:

12.一种视觉数据处理系统,包括客户端以及服务端,其中,

13.一种计算设备,包括:

14.一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述视觉数据处理方法的步骤。

15.一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述视觉数据处理方法的步骤。