一种基于多模态大模型的CAD三维信息提取与空间对齐方法与流程

摘要: 本发明涉及计算机辅助设计(cad)、视觉语言模型(visuallanguagemodel,简称vlm)与工业软件智能化领域,特别涉及一种基于多模态大模型的cad...
一种基于多模态大模型的CAD三维信息提取与空间对齐方法与流程

本发明涉及计算机辅助设计(cad)、视觉语言模型(visual language model,简称vlm)与工业软件智能化领域,特别涉及一种基于多模态大模型的cad三维信息提取与空间对齐方法。

背景技术:

1、三维建模作为工业产品设计制造的核心基础,广泛应用于机械制造、航空航天、能源电力等关键领域。在锅炉、压力容器等大型工业装备的设计与制造过程中,通常需要根据工程图纸(如三视图、装配图等)进行三维建模。传统方法依赖专业工程师解读图纸、提取尺寸参数、建立坐标系统并逐个放置零件,这一过程耗时长、易出错,且严重依赖工程师的专业经验。

2、近年来,大语言模型(large language model,简称llm)和多模态大模型的快速发展为工业软件智能化带来了新的机遇。然而,现有研究主要集中在以下几个方面,存在明显局限:一是图纸理解能力不足,传统ocr技术只能提取文字信息,无法理解工程图纸的空间关系、尺寸标注和几何约束,虽然多模态大模型具备图像理解能力,但缺乏针对工程图纸的专业知识和推理能力;二是坐标系统建立困难,工程图纸通常包含多个视图(前视图、平面图、侧视图等),如何从二维视图中准确推断三维坐标系统的方向、原点位置和单位系统,是一个复杂的空间推理问题,现有方法缺乏系统化的解决方案;三是零件空间对齐复杂,在装配建模中,需要将多个零件按照正确的位置和姿态放置到系统坐标系中,每个零件通常以独立的局部坐标系(如glb文件的模型坐标系)存储,需要大量计算以获得从局部坐标系到全局坐标系的变换矩阵;四是自动化程度低,现有3d建模软件(如中望3d)虽然提供了丰富的建模功能,但从图纸到模型的转换过程仍然高度依赖人工操作,缺乏端到端的自动化工具链,无法实现从图纸输入到三维模型输出的全流程自动化;五是工业软件集成困难,即使能够提取图纸信息和计算变换矩阵,如何将这些信息转换为3d建模软件可执行的插件代码,仍然是一个技术挑战,需要深入理解建模软件的api规范、编程接口和数据格式。

3、因此,亟需一种能够充分利用多模态大模型的图像理解和推理能力,实现从工程图纸到三维模型的自动化信息提取、坐标系统建立和零件空间对齐的技术方案。

技术实现思路

1、本公开的第一方面,提供基于多模态大模型的cad三维信息提取与空间对齐方法,包括以下步骤:

2、获取工程图纸的系统三视图图像和零件的三维模型文件,利用视觉语言模型对所述系统三视图图像进行多模态理解和空间推理,建立三维全局坐标系统,生成包含坐标轴方向、原点位置、单位系统和视图对应关系的系统坐标系描述信息;

3、提取所述三维模型文件的几何信息,生成所述零件的三视图图像,利用所述视觉语言模型对所述三视图图像与所述系统三视图图像进行多模态对比,分析所述零件在所述全局坐标系统中的空间位置和姿态,计算从所述零件的局部坐标系到所述全局坐标系统的空间变换参数;

4、将所述空间变换参数转换为三维建模软件的矩阵格式,利用大语言模型根据所述矩阵格式的变换参数和所述三维模型文件,自动生成所述三维建模软件的插件代码,所述插件代码用于在所述三维建模软件中导入所述零件并应用所述空间变换参数以实现空间对齐;

5、对所述插件代码进行合法性验证,并在验证通过后自动编译生成可执行的插件文件。

6、结合第一方面,所述建立三维全局坐标系统具体包括:

7、通过视觉语言模型分析所述系统三视图图像中的几何标注、尺寸线和结构特征,识别各视图的投影方向和观察视角;

8、基于三视图的投影关系和空间对应性,推断三维空间中x、y、z坐标轴的物理意义和方向定义;

9、确定坐标系原点位置;

10、输出标准化的json格式的系统坐标系描述数据。

11、结合第一方面,所述提取所述三维模型文件的几何信息具体包括:

12、从所述三维模型文件中提取几何中心坐标、轴对齐包围盒、顶点数量、面片数量以及通过主成分分析获得的主方向向量。

13、结合第一方面,所述生成所述零件的三视图图像具体包括:

14、利用三维图形渲染工具加载所述零件的三维模型文件;

15、分别从前视图方向、平面图方向和侧视图方向对所述零件进行投影渲染,生成对应的三视图图像。

16、结合第一方面,所述计算从所述零件的局部坐标系到所述全局坐标系统的空间变换参数具体包括:

17、构造包含零件三视图、系统三视图、坐标系描述信息和零件几何信息的提示词,调用视觉语言模型进行多模态推理;

18、基于空间对应关系计算缩放因子、旋转角度和平移向量;

19、按照缩放-旋转-平移的变换顺序生成空间变换参数,并以标准化json格式输出。

20、结合第一方面,将所述空间变换参数转换为三维建模软件的矩阵格式具体包括:

21、解析所述空间变换参数的json数据;

22、按照缩放-旋转-平移的变换顺序构建复合变换矩阵;

23、将欧拉角转换为对应的旋转矩阵分量;

24、生成符合所述三维建模软件矩阵结构体格式的初始化代码。

25、结合第一方面,所述自动生成所述三维建模软件的插件代码具体包括:

26、生成包含项目信息、零件列表和变换矩阵参数的结构化代码生成提示词;

27、调用大语言模型生成完整的插件项目,所述插件项目包括c/c++源代码文件、头文件、动态链接库导出定义文件和项目配置文件;

28、所述插件代码调用所述三维建模软件的应用编程接口,执行零件导入和变换矩阵应用操作。

29、结合第一方面,所述对所述插件代码进行合法性验证具体包括:对所述插件代码进行多层验证,包括语法检查、应用编程接口调用规范检查、参数有效性检查和文件路径格式检查,当检测到问题时,自动修复问题并重新验证;

30、所述自动编译生成可执行的插件文件具体包括:调用编译工具对所述插件代码进行编译,链接所述三维建模软件的应用编程接口库,生成可加载的动态链接库插件文件,验证所述动态链接库插件文件的生成并确认编译成功。

31、本公开的第二方面,提供一种电子设备,包括:

32、一个或多个处理器;

33、存储单元,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,能使得所述一个或多个处理器实现所述方法。

34、本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时能实现所述方法。

35、有益效果:本公开提供的一种基于多模态大模型的cad三维信息提取与空间对齐方法,通过视觉语言模型对工程图纸的系统三视图进行多模态空间推理以自动建立三维全局坐标系,并对零件三视图与系统三视图进行多模态对比分析以计算零件从局部坐标系到全局坐标系的精确空间变换参数,再结合大语言模型根据变换参数自动生成符合三维建模软件api规范的插件代码并进行多层验证与自动编译,实现了从工程图纸及零件模型输入到可直接加载运行的cad插件输出的端到端全流程自动化处理,无需人工解读图纸、手动建立坐标系或编写插件代码,显著提升了三维建模的自动化水平和空间对齐精度,大幅降低了工业软件的使用与开发门槛。