三维内容生成模型的训练方法、电子设备及存储介质与流程
本公开涉及人工智能生成内容(artificial intelligence generated content,aigc),尤其涉及一种三维内容生成模型的训练方法、电子设备及存储介质。
背景技术:
1、跨模态三维内容生成旨在基于文本输入直接生成三维内容。相关技术中,文本驱动三维内容生成的方法主要分为级联式与原生式两类。其中,级联方法先通过文本生成二维图像,再通过分数蒸馏、迭代优化等方式将二维结果升维为三维内容,该类方法依赖中间图像代理,极易出现几何扭曲、多视角不一致、语义与结构脱节等问题,且推理速度慢、难以实现端到端可控生成。原生三维生成模型可直接实现文本到三维模型的映射,但受限于高质量三维资产数据稀缺、文本-图像-3d模态表征不统一、外观生成与几何生成任务相互干扰等问题,导致模型泛化能力弱、生成稳定性不足、语义对齐精度偏低。
2、可见,现有的文本驱动三维内容生成方案,在三维数据稀缺的条件下,难以同时兼顾跨模态语义对齐精度与三维几何保真度,容易出现语义错位、多视角几何失真等问题,因此,如何在三维数据有限的情况下,提升三维生成的几何可靠性和保真度,成为亟待解决的问题。
技术实现思路
1、本公开的主要目的是提出一种三维内容生成模型的训练方法、电子设备及存储介质,旨在解决现有技术中因三维数据稀缺导致三维内容生成的几何保真度难以满足需求的技术问题。
2、第一方面,本公开提供了一种三维内容生成模型的训练方法,包括:
3、获取第一样本、第二样本和第三样本,所述第一样本由不同模态的数据两两组合构成,所述第二样本包括带视角信息的图像,所述第三样本为包括文本数据、带视角信息的图像和三维几何数据的序列,所述不同模态包括文本、图像和三维几何;
4、利用所述第一样本对初始模型进行训练,使所述初始模型学习视觉外观规律和几何结构先验,得到第一模型;
5、利用所述第一样本和所述第二样本对所述第一模型进行训练,使所述第一模型学习三维几何与视角图像之间的投影关系,得到第二模型;
6、利用所述第三样本对所述第二模型进行训练,使所述第二模型学习文本、图像和三维几何之间的对齐关系,得到三维内容生成模型。
7、第二方面,本公开提供了一种三维内容生成模型的训练装置,包括:
8、样本获取模块,用于获取第一样本、第二样本和第三样本,所述第一样本由不同模态的数据两两组合构成,所述第二样本包括带视角信息的图像,所述第三样本为包括文本数据、带视角信息的图像和三维几何数据的序列,所述不同模态包括文本、图像和三维几何;
9、预训练模块,用于利用所述第一样本对初始模型进行训练,使所述初始模型学习视觉外观规律和几何结构先验,得到第一模型;
10、持续训练模块,用于利用所述第一样本和所述第二样本对所述第一模型进行训练,使所述第一模型学习三维几何与视角图像之间的投影关系,得到第二模型;
11、监督训练模块,用于利用所述第三样本对所述第二模型进行训练,使所述第二模型学习文本、图像和三维几何之间的对齐关系,得到三维内容生成模型。
12、第三方面,本公开提供了一种电子设备,包括:一个或多个处理器和存储器,所述存储器上存储有程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的三维内容生成模型的训练方法。
13、第四方面,本公开提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的三维内容生成模型的训练方法。
14、第五方面,本公开提供了一种计算机程序产品,所述计算机程序产品包括计算机程序信息,所述计算机程序信息在被处理器运行时使得所述处理器执行如第一方面所述的三维内容生成模型的训练方法。
15、本公开提供的技术方案与现有技术相比至少具有如下优点:
16、在本公开中,获取第一样本、第二样本和第三样本,第一样本由文本、图像和三维几何三种不同模态的数据两两组合构成,第二样本包括带视角信息的图像,第三样本为包括文本数据、带视角信息的图像和三维几何数据的序列,在第一训练阶段,先利用第一样本对初始模型进行训练,使初始模型学习视觉外观规律和几何结构先验,得到第一模型,在第二训练阶段,在第一模型的基础上进一步利用第一样本和第二样本进行训练,使第一模型学习三维几何与视角图像之间的投影关系,得到第二模型,在第三训练阶段,在第二模型的基础上利用第三样本进行训练,使第二模型学习文本、图像和三维几何之间的对齐关系,得到训练好的三维内容生成模型,由此,本方案采用三阶段分层递进训练范式,将复杂的统一跨模态生成任务拆解为模态间基础对齐、空间增强和闭环整合三个解耦的递进阶段,实现了跨模态基础对齐、多视角空间感知、闭环一致性约束的分步学习,使得模型能够在有限三维数据条件下最大化利用海量二维数据学习几何结构与视觉外观先验,有效避免了异构模态数据规模差异悬殊和外观任务与几何任务相互干扰导致的梯度冲突,大幅提升了利用三维内容生成模型生成三维内容的多视角几何一致性与三维结构保真度。
1.一种三维内容生成模型的训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述利用所述第三样本对所述第二模型进行训练,使所述第二模型学习文本、图像和三维几何之间的对齐关系,得到三维内容生成模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述第三样本的所述文本数据、所述带视角信息的图像和所述三维几何数据,确定语义损失值,包括:
4.根据权利要求3所述的方法,其特征在于,所述对所述第三样本的所述文本数据、所述带视角信息的图像和所述三维几何数据分别进行编码,得到对应的文本特征、图像特征和三维特征,包括:
5.根据权利要求3所述的方法,其特征在于,所述基于所述文本特征和所述图像特征,确定文本图像对齐度,包括:
6.根据权利要求2所述的方法,其特征在于,所述基于所述结构损失值和所述语义损失值,确定总损失值,包括:
7.根据权利要求6所述的方法,其特征在于,所述获取语义损失项对应的损失系数,包括:
8.根据权利要求7所述的方法,其特征在于,所述常识逻辑校验的维度包括物理常识、材质属性、结构逻辑、光影规律和空间关系中的至少一项。
9.一种电子设备,其特征在于,包括:一个或多个处理器和存储器,所述存储器上存储有程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至8任一项所述的三维内容生成模型的训练方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如权利要求1至8任一项所述的三维内容生成模型的训练方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com