一种场景生成方法及装置与流程

本技术涉及计算机，尤其涉及一种场景生成方法及装置。

背景技术：

1、三维场景生成，是指将输入数据(如文本、图像、点云等)转换为具有几何结构、纹理及材质属性的数字化三维场景的过程。基于扩散模型的生成式模型，可根据用户输入的文本或图片，生成场景中的三维模型。然而，若采用数据量较少的训练数据对生成式模型进行训练，会导致生成式模型生成的三维模型的风格较少，不同风格的三维模型之间的差别较小，存在得到的包括三维模型的场景不满足用户需求，效果较差的问题。

技术实现思路

1、本技术提供了一种场景生成方法及装置，以解决采用生成式模型进行包括三维模型的场景搭建时，得到的场景存在不满足用户需求，效果较差的问题。

2、第一方面，本技术提供了一种场景生成方法。该场景生成方法可应用于计算机系统或应用于支持该计算机系统实现场景生成方法的计算设备，例如服务器。在一种可能的示例中，该场景生成方法包括：计算设备获取第一风格标签以及第一场景，进而从素材库中确定与第一风格标签和第一模型匹配的第二模型，从而输出将第一场景中的第一模型替换为第二模型后的第二场景。其中，第一场景包括至少一个三维模型，第一模型与第二模型指示同一类别的对象，至少一个三维模型包括第一模型。

3、在本技术中，从素材库中确定与第一风格标签与第一模型匹配的第二模型，进而利用第二模型替换第一场景中的第一模型，得到第二场景，在实现得到满足用户需求(第一风格标签)的三维模型(第二模型)的情况下，优化第一场景，使得第二场景与第一风格标签的匹配度更高，场景展示效果更好。以及，相较于通过生成模型得到三维模型的方式(即时生成)难度较大，本技术从素材库中确定现成的第二模型，该第二模型用于替换第一场景中的第一模型，降低了得到第二场景过程中替换第一模型的难度，从而加快了输出第二场景的效率。

4、在一种可能的情形中，素材库包括不同风格标签、不同类别的三维模型，不同风格标签包括上述第一风格标签、不同类别包括上述第一模型指示的类别。

5、在一种可能的示例中，上述第一模型的风格标签与第一风格标签之间的相似度小于或等于阈值。

6、在本技术中，计算设备仅对第一场景中不符合用户需求(第一风格标签)的第一模型进行替换，从而可加快输出第二场景的效率。

7、在一种可能的情形中，上述第一场景为利用小样本生成模型得到。前述小样本生成模型为在训练时使用较少训练数据得到的生成模型。

8、在本技术中，计算设备通过将小样本生成模型输出的结果(第一场景)中的第一模型替换为第二模型，实现对第一场景进行优化，得到第二场景，由于前述第二模型与用户的需求(第一风格标签)匹配，且第二场景包括第二模型，因此，优化得到的第二场景同样符合用户的需求，提升了第二场景的展示效果，进而提高了用户满意度。

9、在另一种可能的情形中，上述第一场景为由人工搭建得到。

10、在一种可能的实现方式中，计算设备从素材库中确定与所述第一风格标签和第一模型匹配的第二模型，包括：计算设备从素材库中确定与第一模型匹配的多个三维模型，进而根据风格标签与三维模型之间的映射关系，从多个三维模型中确定与第一风格标签匹配的第二模型。其中，多个三维模型与第一模型指示同一类别的对象。

11、在本技术中，计算设备先采用类别匹配的形式从素材库中确定多个三维模型，再采用标签匹配的形式从多个三维模型中确定第二模型，实现通过逐层级匹配的形式快速从素材库中确定与第一风格标签和第一模型匹配的第二模型，加快了确定第二模型的速度，进而提高了输出第二场景的效率。

12、在一种可能的情形中，上述素材库包括映射关系。

13、在一种可能的情形中，第一模型与第二模型之间的类别匹配度大于或等于阈值(如下述阈值c)，且第一风格标签与第二模型的风格标签之间的匹配度大于或等于阈值(如下述阈值d)。

14、在一种可能的情形中，上述第二模型包括第一贴图，第一贴图为从素材库中确定的与第一风格标签匹配的贴图。

15、在本技术中，计算设备对三维模型进行贴图粒度的变更(如从素材库中确定与第一风格标签匹配的第一贴图，并附至第二模型)，可使得到的第二模型便于编辑，相较于生成模型输出的三维模型为一体化的，提高了第二模型的可编辑性。

16、在一种可能的示例中，第一模型与第二模型仅贴图不同。

17、在一种可能的实现方式中，若第二模型中的第一贴图与第一风格标签不匹配，则上述场景生成方法，还包括：计算设备将第二模型的第一贴图替换为第二贴图。其中，第二贴图包括至少一个图层，至少一个图层为根据第一风格标签得到的。

18、在本技术中，在素材库中的贴图不能满足用户需求(第一风格标签)的情况下，计算设备可根据第一风格标签直接生成第二贴图，进而将第二模型中的第一贴图替换为第二贴图，实现得到的第二模型与第一风格标签的匹配度更高，从而得到的第二场景更符合用户需求，效果更好。以及，计算设备根据第一风格标签，生成图层粒度的数据来得到贴图，从而可使得到的贴图更易编辑(针对不同图层进行修改)，进一步提高第二模型的可编辑性。

19、在一种可能的示例中，计算设备将第一风格标签输入贴图生成模型，输出至少一个图层。

20、示例性地，贴图生成模型将根据所需的贴图类型，生成相应的图层。以下以基于物理的渲染(physicallly-based-rendering，pbr)材质为例进行说明，pbr材质对应的至少一个图层包括记录有以下至少一项或多项内容的图层：漫反射、法线、mask、高度等。

21、在一种可能的情形中，至少一个图层满足贴图规范。该贴图规范用于指示：图层的数据类型，和/或，图层的排布信息。

22、在本技术中，由于至少一个图层满足贴图规范，因此，渲染器在对前述至少一个图层进行渲染时能够正常运行，确保了得到的图层具有通用性。

23、在一种可能的示例中，贴图规范用于指示不同类型的贴图，所需图层的数据类型以及图层的排布信息。例如，pbr材质的贴图，所需图层的数据类型包括：漫反射、法线、mask(金属度、粗糙度、环境光遮蔽(ambient occlusion，ao)、透明度)、高度。

24、在一种可能的实现方式中，在计算设备获取第一风格标签以及第一场景之前，上述场景生成方法还包括：计算设备接收用于指示用户对第一场景风格的需求的风格信息，进而输出第三风格标签，接收用户根据第三风格标签调整得到的第一风格标签。其中，第三风格标签是从风格信息中提取得到的。

25、在本技术中，计算设备对用户输入的风格信息进行处理，得到并输出第三风格标签，在实现第三风格标签可视化的同时，用户仅需输入风格信息，即可得到相应的风格标签，减小了由用户自行定义风格标签的难度，提高了用户体验度。以及，计算设备根据第三风格标签调整得到的第一风格标签，可实现用户对风格标签进行个性化配置，进而根据第一风格标签确定的第二场景更符合用户的需求。

26、在一种可能的情形中，上述风格信息包括以下任一项或多项：文本、图片、视频等。

27、在一种可能的情形中，计算设备将风格信息输入特征提取模型，输出第三风格标签。

28、在一种可能的实现方式中，上述场景生成方法还包括：计算设备接收用于指示调整第二场景中第二模型的风格的指示信息，进而按照指示信息对第二模型的风格进行调整。

29、在本技术中，计算设备通过对场景中的三维模型进行多次调整，实现得到满足用户需求的第二模型，进而最终输出的第二场景能更贴合用户的需求，提高了最终输出的第二场景的展示效果。

30、第二方面，本技术提供了一种场景生成装置。该场景生成装置应用于计算机系统或应用于支持该计算机系统实现场景生成装置的计算设备，该场景生成装置包括用于执行第一方面或第一方面任一种可选实现方式中的场景生成方法的各个模块。在一种可能的示例中，场景生成装置包括：

31、第一获取模块，用于获取第一风格标签以及第一场景；所述第一场景包括至少一个三维模型。

32、确定模块，用于从素材库中确定与所述第一风格标签和第一模型匹配的第二模型，所述第一模型与所述第二模型指示同一类别的对象，所述至少一个三维模型包括所述第一模型。

33、输出模块，用于输出第二场景；其中，所述第二场景为将所述第一场景中的所述第一模型替换为所述第二模型后的场景。

34、关于场景生成装置更多详细的实现内容可参照以上第一方面中任一实现方式的描述，以及下述具体实施方式的内容，在此不予赘述。

35、第三方面，本技术提供一种芯片。该芯片包括：处理器和接口电路；该接口电路用于获取第一风格标签以及第一场景，该处理器用于根据第一风格标签以及第一场景执行上述第一方面或第一方面中任一种可能实现方式中的方法。

36、第四方面，本技术提供了一种计算设备集群。该计算设备集群包括至少一个计算设备，计算设备包括存储器和处理器，该存储器用于存储计算机指令；该处理器执行计算机指令时，实现上述第一方面或第一方面中任一种可能实现方式中的方法。

37、第五方面，本技术提供一种计算机可读存储介质。该存储介质中存储有计算机程序或指令，当计算机程序或指令被处理设备执行时，实现上述第一方面或第一方面中任一种可能实现方式中的方法。

38、第六方面，本技术提供一种计算机程序产品。该计算程序产品包括计算机程序或指令，当该计算机程序或指令被处理设备执行时，实现上述第一方面或第一方面中任一种可能实现方式中的方法。

39、以上第二方面至第六方面的有益效果可参照第一方面或第一方面中任一种可能的实现方式，在此不予赘述。本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。