文本驱动的三维网格编辑方法、模型训练方法及相关装置与流程

摘要: 本公开涉及计算机,尤其涉及空间生成、空间理解、人工智能等。背景技术:1、三维网格是游戏制作、影视特效、虚拟现实、工业设计等领域中最常用的三维内容表示形式之一。在...
文本驱动的三维网格编辑方法、模型训练方法及相关装置与流程

本公开涉及计算机,尤其涉及空间生成、空间理解、人工智能等。

背景技术:

1、三维网格是游戏制作、影视特效、虚拟现实、工业设计等领域中最常用的三维内容表示形式之一。在实际应用中,用户往往需要在已有三维网格的基础上进行局部修改,例如为椅子增加扶手、替换杯子的把手、改变物体某一部件的形状等。传统的三维网格编辑依赖专业人员借助建模软件手工完成,需要逐一调整顶点、面片等几何元素,操作复杂、耗时较长,且对使用者的专业技能要求较高。随着生成式人工智能的发展,利用自然语言形式的文本指令直接驱动三维网格编辑,成为降低三维内容创作门槛的重要方向。

技术实现思路

1、本公开提供了一种文本驱动的三维网格编辑方法、模型训练方法及相关装置,以解决或缓解现有技术中的一项或更多项技术问题。

2、根据本公开的一方面,提供了一种文本驱动的三维网格编辑方法,包括:

3、基于文本指令和空文本构建对照组输入;对照组输入中,待编辑网格的第一源条件特征相同、且含噪结构潜变量相同,但文本条件不同;

4、基于第一阶段神经网络处理对照组输入,得到第一阶段神经网络在文本指令对应的文本条件与空文本对应的文本条件下的速度差异;

5、基于速度差异生成文本结构响应场;文本结构响应场用于表示文本指令对结构潜空间不同位置的改变程度;

6、将文本结构响应场以空间位置相关的方式,作用于第一阶段神经网络中的从结构潜变量到目标稀疏支撑集的生成过程,得到目标稀疏支撑集;其中,两阶段三维生成框架包括第一阶段神经网络和第二阶段神经网络;

7、利用第二阶段神经网络,处理目标稀疏支撑集和文本指令,得到编辑网格。

8、据本公开的另一方面,提供了一种文本驱动的三维网格编辑装置,包括:

9、第一构建模块,用于基于文本指令和空文本构建对照组输入;对照组输入中,待编辑网格的第一源条件特征相同、且含噪结构潜变量相同,但文本条件不同;

10、第一处理模块,用于基于第一阶段神经网络处理对照组输入,得到第一阶段神经网络在文本指令对应的文本条件与空文本对应的文本条件下的速度差异;

11、第一生成模块,用于基于速度差异生成文本结构响应场;文本结构响应场用于表示文本指令对结构潜空间不同位置的改变程度;

12、第一支撑集生成模块,用于将文本结构响应场以空间位置相关的方式,作用于第一阶段神经网络中的从结构潜变量到目标稀疏支撑集的生成过程,得到目标稀疏支撑集;其中,两阶段三维生成框架包括第一阶段神经网络和第二阶段神经网络;

13、第二处理模块,用于利用第二阶段神经网络,处理目标稀疏支撑集和文本指令,得到编辑网格。

14、根据本公开的另一方面,提供了一种电子设备,包括:

15、至少一个处理器;以及与该至少一个处理器通信连接的存储器;其中,该存储器存储有可被该至少一个处理器执行的指令,该指令被该至少一个处理器执行,以使该至少一个处理器能够执行本公开实施例中任一的方法。

16、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

17、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

18、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种文本驱动的三维网格编辑方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于文本指令和空文本构建对照组输入,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于第一阶段神经网络处理所述对照组输入,得到所述第一阶段神经网络在所述文本指令对应的文本条件与空文本对应的文本条件下的速度差异,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述速度差异生成文本结构响应场,包括:

5.根据权利要求1-4中任一项所述的方法,其特征在于,所述将所述文本结构响应场以空间位置相关的方式,作用于所述第一阶段神经网络中的从结构潜变量到目标稀疏支撑集的生成过程,得到目标稀疏支撑集,包括:

6.根据权利要求5所述的方法,其特征在于,所述基于所述当前状态和所述待编辑网格的第一结构潜变量,生成源参考速度,包括:

7.根据权利要求1所述的方法,其特征在于,所述利用所述第二阶段神经网络,处理所述目标稀疏支撑集和所述文本指令,得到编辑网格,包括:

8.根据权利要求7所述的方法,其特征在于,还包括:

9.根据权利要求1所述的方法,其特征在于,所述基于文本指令和空文本构建对照组输入之前,还包括:

10.一种模型训练方法,其特征在于,包括:

11.一种文本驱动的三维网格编辑装置,其特征在于,包括:

12.一种模型训练装置,其特征在于,包括:

13.一种电子设备,其特征在于,包括:

14.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行根据权利要求1-10中任一项所述的方法。

15.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的方法。