一种三维仿真资产生成方法及系统与流程

摘要: 本技术涉及三维仿真,具体提供一种三维仿真资产生成方法及系统。背景技术:1、在机器人仿真训练、具身智能研究、视觉识别模型训练等领域,需要大量多样化的三维仿真资产作...
一种三维仿真资产生成方法及系统与流程

本技术涉及三维仿真,具体提供一种三维仿真资产生成方法及系统。

背景技术:

1、在机器人仿真训练、具身智能研究、视觉识别模型训练等领域,需要大量多样化的三维仿真资产作为训练数据。现有三维仿真资产的获取方式主要包括人工建模、从公开模型库下载、三维扫描重建以及参数化建模等。

2、然而,人工建模方式虽然资产质量高,但制作周期长、成本高昂,难以满足大规模训练数据的需求。从公开模型库下载的资产,其质量参差不齐,且通常缺少碰撞体、物理属性等仿真必需的元素,需要大量的人工二次处理才能使用。三维扫描或重建方式虽然真实感强,但依赖专业设备,且生成的原始网格同样需要复杂的后处理。参数化或程序化建模方式虽可批量生成,但适用范围有限,且缺乏对自然语言描述的灵活理解能力。

3、近年来,随着人工智能生成内容(aigc)技术的发展,出现了文本到三维的生成技术,为自动化生成三维资产提供了可能。但是,现有的aigc方案通常只关注三维模型外观的生成,其生成的原始三维网格模型往往存在几何缺陷,并且缺少与数字内容创作(dcc)软件的自动化对接,更无法自动生成仿真所需的碰撞体和物理属性。因此,这些方案生成的资产无法直接用于物理仿真训练,从用户简单的语言描述到生成一个“仿真就绪”的完整三维资产之间,仍然存在一条断裂的、需要大量人工干预的链路,导致仿真资产的生产效率低下、成本高昂且自动化程度不足。

技术实现思路

1、本技术旨在解决上述技术问题,即,解决现有技术中从语言描述生成三维仿真资产的链路不完整、自动化程度低、生成资产无法直接用于仿真的问题。

2、在第一方面,本技术提供一种三维仿真资产生成方法,包括:

3、获取用户输入的自然语言资产描述;

4、通过大语言模型并基于面向三维资产生成的skill框架,对所述自然语言资产描述进行语义补全和细化,得到规范化详细描述;

5、将所述规范化详细描述输入至图像生成模型,得到正视图、背视图、左视图和右视图;

6、将所述正视图、所述背视图、所述左视图和所述右视图输入至三维生成模型,生成三维网格模型;

7、将所述三维网格模型导入至数字内容创作软件,通过所述数字内容创作软件对所述三维网格模型执行后处理操作,得到后处理后的三维网格模型;

8、对所述后处理后的三维网格模型执行碰撞体生成和物理属性参数赋予,得到仿真就绪的三维仿真资产。

9、可选地,所述通过大语言模型并基于面向三维资产生成的skill框架,对所述自然语言资产描述进行语义补全和细化,得到规范化详细描述,包括:

10、将所述自然语言资产描述输入至llm skill框架,所述llm skill框架引导大语言模型从预设维度对所述自然语言资产描述进行细化和补全,得到所述规范化详细描述;

11、其中,所述预设维度包括资产类别、功能定义、整体形状、尺寸比例、材质类型、表面纹理、颜色、主要部件、相对位置、细节特征、生成视觉指导、光照条件和背景条件。

12、可选地,所述将所述规范化详细描述输入至图像生成模型,得到正视图、背视图、左视图和右视图,包括:

13、获取第一视角提示信息、第二视角提示信息、第三视角提示信息和第四视角提示信息,其中,所述第一视角提示信息为所述正视图对应的视角提示信息;所述第二视角提示信息为所述背视图对应的视角提示信息;所述第三视角提示信息为所述左视图对应的视角提示信息;所述第四视角提示信息为所述右视图对应的视角提示信息;

14、将所述规范化详细描述和所述第一视角提示信息输入至所述图像生成模型,得到所述正视图;将所述规范化详细描述和所述第二视角提示信息输入至所述图像生成模型,得到所述背视图;将所述规范化详细描述和所述第三视角提示信息输入至所述图像生成模型,得到所述左视图;将所述规范化详细描述和所述第四视角提示信息输入至所述图像生成模型,得到所述右视图。

15、可选地,所述将所述正视图、所述背视图、所述左视图和所述右视图输入至三维生成模型,生成三维网格模型,包括:

16、将所述正视图、所述背视图、所述左视图和所述右视图作为多视角输入图像输入三维生成模型,所述三维生成模型基于所述多视角输入图像进行三维重建或三维生成,输出所述三维网格模型。

17、可选地,所述将所述三维网格模型导入至数字内容创作软件,通过所述数字内容创作软件对所述三维网格模型执行后处理操作,得到后处理后的三维网格模型,包括:

18、将所述三维网格模型导入至数字内容创作软件;

19、对所述三维网格模型进行网格检查与修复,得到几何正确的三维网格模型;

20、根据仿真精度需求对所述几何正确的三维网格模型进行网格简化或重新拓扑,得到拓扑优化后的三维网格模型;

21、对所述拓扑优化后的三维网格模型进行uv展开和材质整理,得到所述后处理后的三维网格模型。

22、可选地,所述对所述后处理后的三维网格模型执行碰撞体生成,包括:

23、基于预设碰撞体生成策略对所述后处理后的三维网格模型进行分析,自动生成碰撞体。

24、可选地,所述对所述后处理后的三维网格模型执行物理属性参数赋予,包括:

25、从所述规范化详细描述中获取资产类别;

26、根据所述资产类别和所述自然语言资产描述,自动赋予物理属性参数;

27、其中,所述物理属性参数包括质量、摩擦系数、弹性系数和阻尼中的至少一项。

28、可选地,所述得到仿真就绪的三维仿真资产之后,所述方法还包括:将所述后处理后的三维网格模型、所述碰撞体、所述物理属性参数和所述规范化详细描述导出为仿真平台所需格式,得到仿真就绪的所述三维仿真资产;

29、其中,所述仿真平台所需格式包括usd、fbx、glb、obj或平台专用格式中的至少一种。

30、可选地,所述获取用户输入的自然语言资产描述,包括:

31、获取用户输入的单条资产描述或多条资产描述;

32、若获取到单条资产描述,则对所述单条资产描述执行步骤s20至步骤s60,得到一个仿真就绪的三维仿真资产;

33、若获取到多条资产描述,则对所述多条资产描述中的每一条资产描述分别执行步骤s20至步骤s60,得到多个仿真就绪的三维仿真资产。

34、在第二方面,本技术提供了一种三维仿真资产生成系统,包括:

35、用户描述输入模块,用于接收用户输入的自然语言资产描述;

36、llm skill细化模块,用于以大语言模型为核心,配置面向三维资产生成的skill框架,对所述自然语言资产描述进行语义补全和细化,得到规范化详细描述;

37、四视图生成模块,用于以所述规范化详细描述为输入,调用图像生成模型生成正视图、背视图、左视图和右视图;

38、三维网格模型生成模块,用于以所述正视图、所述背视图、所述左视图和所述右视图为输入,调用三维生成模型生成三维网格模型;

39、数字内容创作软件后处理模块,用于将所述三维网格模型导入至数字内容创作软件,并自动执行后处理操作,得到后处理后的三维网格模型;

40、碰撞体生成子模块,用于基于预设碰撞体生成策略对所述后处理后的三维网格模型进行分析,自动生成碰撞体;

41、物理属性赋予子模块,用于根据资产类别和所述自然语言资产描述,自动赋予物理属性参数;

42、资产导出模块,用于将所述后处理后的三维网格模型、所述碰撞体、所述物理属性参数和规范化详细描述导出为仿真平台所需格式,得到仿真就绪的三维仿真资产。

43、在采用上述技术方案的情况下,本技术具有以下有益效果:

44、首先,本技术对用户输入的自然语言资产描述进行语义补全和细化,通过语义补全和细化,能够为后续图像生成和三维生成提供更完整、更结构化的输入,有助于提高生成资产与用户意图的一致性,得到规范化详细描述;然后,通过将规范化详细描述输入图像生成模型,得到正视图、背视图、左视图和右视图,通过四视图驱动三维网格模型生成,相较于单视图或单张图像,能够提供更多视角信息,有利于提高三维网格模型生成的完整性和准确性;接着,通过将三维网格模型导入数字内容创作软件,并由数字内容创作软件对三维网格模型执行后处理操作,得到后处理后的三维网格模型。该后处理后的三维网格模型通过整理和优化使其更适合后续仿真使用,从而提高三维网格模型的仿真可用性;最后,基于后处理后的三维网格模型执行碰撞体生成和物理属性参数赋予,得到仿真就绪的三维仿真资产。由此,最终输出的资产不是普通的外观模型,而是经过后处理、可用于仿真场景的三维仿真资产,能够为机器人、具身智能、视觉训练等仿真任务提供资产基础。