一种3D模型自动化生成网络与方法

本发明涉及3d模型生成，特别是涉及一种3d模型自动化生成网络与方法。

背景技术：

1、在全球科技与产业加速变革背景下，制造业正向数字化、网络化、智能化深度转型，提高生产效率与设计质量成为核心任务。然而，工业软件，尤其是设计类软件，操作复杂、智能化水平低且学习成本高，已成为制约工业创新的瓶颈。

2、近年来，大语言模型在自然语言理解、知识推理与任务规划方面表现突出，为工业软件操作模式创新提供新路径。视觉语言模型在跨模态语义对齐、视觉理解与规则推理方面的优势，可支持三维建模质量评估与设计意图理解。此外，多智能体的协作机制通过构建闭环系统，能够显著提升系统在复杂工业场景中的自主性、鲁棒性与适应性。在现有的设计任务中，已有技术尝试利用大语言模型将自然语言转化为设计指令、生成三维建模脚本或完成草图补全；或采用跨模态方法结合视觉与语言生成参数化设计草图，以提升图像感知与结构建模能力。在三维设计和软件工程中，多智能体系统也可以通过分工协作实时校验规范、执行约束检查并提供反馈。

3、然而，现有的多智能体协作与大模型应用在三维建模领域仍存在显著局限：目前大语言模型与底层几何建模引擎的耦合度不足，多智能体在处理复杂的几何约束、拓扑一致性和工程可制造性时，缺乏有效的逆向反馈协同与动态闭环优化能力，当在面对复杂或模糊的自然语言指令时，系统无法进行深度特征对齐与交互迭代，从而导致最终自动化生成的3d模型质量和精度低，难以达到工业级建模标准。

技术实现思路

1、基于此，有必要针对现有3d模型生成方法生成的3d模型质量不稳定、精度低的问题，提供一种3d模型自动化生成网络与方法，显著提升3d模型生成的质量与精度。

2、为了达到上述技术效果，本发明的技术方案如下：

3、一种3d模型自动化生成网络，所述3d模型自动化生成网络包括依次连接的语义解析模块、语义建模模块和视觉评估模块；

4、3d模型自动化生成所需的输入数据输入至所述语义解析模块的输入端，所述语义解析模块对所述输入数据进行处理后的输出传输至语义建模模块的输入端，所述语义建模模块对所述语义解析模块处理后的输出进行处理，输出结果至视觉评估模块，所述视觉评估模块对所述语义建模模块处理后的输出结果进行处理，生成目标3d模型。

5、本发明还提供一种3d模型自动化生成方法，所述方法运用于上述3d模型自动化生成网络，包括以下步骤：

6、s1.获取多模态数据集，对所述多模态数据集进行预处理，得到预处理数据集，将所述预处理数据集划分为训练集和测试集；

7、s2.利用所述训练集对所述3d模型自动化生成网络进行训练，并利用所述测试集测试所述3d模型自动化生成网络的有效性，得到初始训练好的3d模型自动化生成网络，通过初始训练好的3d模型自动化生成网络输出结构化的优化指令；

8、s3.基于所述优化指令，对初始训练好的3d模型自动化生成网络进行迭代修正优化，得到最终优化好的3d模型自动化生成网络；

9、s4.将待处理的自然语言描述输入最终优化好的3d模型自动化生成网络，由最终优化好的3d模型自动化生成网络生成目标3d模型。

10、优选地，所述多模态数据集包括自然语言-代码对数据集和3d 模型渲染图-改进建议对数据集。

11、优选地，所述对所述多模态数据集进行预处理，包括：

12、s11.对自然语言-代码对数据集、3d 模型渲染图-改进建议对数据集分别执行清洗与格式标准化处理，得到自然语言-代码对标准数据集和3d 模型渲染图-改进建议对标准数据集；

13、s12.将自然语言-代码对标准数据集中的几何特征、代码脚本和3d 模型渲染图-改进建议对标准数据集中的改进建议通过唯一标识关联绑定，形成作为所述预处理数据集的多模态样本集。

14、优选地，所述利用所述训练集对所述3d模型自动化生成网络进行训练，并利用所述测试集测试所述3d模型自动化生成网络的有效性，得到初始训练好的3d模型自动化生成网络，包括：

15、s21.将训练集中的自然语言指令作为输入，对所述语义解析模块进行有监督训练，得到训练完成的语义解析模块，所述训练完成的语义解析模块用于输出结构化建模参数；

16、s22.将结构化建模参数与训练集中的自然语言指令作为联合输入，以预设的建模脚本代码作为监督信号为监督标签，对所述语义建模模块进行有监督训练，得到训练完成的语义建模模块，所述训练完成的语义建模模块用于生成所述建模脚本代码对应的3d模型的渲染图像；

17、s23.将所述3d模型的渲染图像作为输入，将预先标注的缺陷分类信息、结构化的优化指令与质量量化评分为监督标签，对所述视觉评估模块进行有监督训练，得到训练完成的视觉评估模块；

18、s24.利用所述测试集对由训练完成的语义解析模块、语义建模模块、视觉评估模块组成的3d模型自动化生成网络进行有效性验证，验证通过后，得到初始训练好的3d模型自动化生成网络。

19、优选地，利用交叉熵损失函数对所述语义建模模块进行有监督训练，所述交叉熵损失函数的计算表达式如下：

20、

21、为交叉熵损失函数，m为总时刻长度，t为当前时刻，为概率函数，为真实代码标记，∣为条件概率符号，为描述3d物体的文本特征，为时刻t之前生成的代码标记，为语义建模模块待优化的网络参数。

22、优选地，利用总损失函数对所述视觉评估模块进行有监督训练，所述总损失函数的计算表达式如下：

23、

24、其中，为总损失函数，为分类损失函数，为所述分类损失函数对应的第一超参数，为改进建议生成损失函数，为所述分类损失函数对应的第二超参数。

25、优选地，所述改进建议生成损失函数的计算公式如下：

26、

27、其中，为改进建议文本序列中的第个词元，为第个词元之前已生成的词元序列，为目标改进建议文本序列的长度，为加权特征表示。

28、优选地，所述通过初始训练好的3d模型自动化生成网络输出结构化的优化指令，包括：

29、所述语义解析模块接收输入的自然语言指令，对输入的自然语言指令进行特征提取与意图识别，输出结构化建模参数至所述语义建模模块；

30、所述语义建模模块接收结构化建模参数，利用结构化建模参数渲染得到3d模型的渲染图像，将3d模型的渲染图像传输至所述视觉评估模块；

31、所述视觉评估模块接收3d模型的渲染图像，捕捉3d模型的渲染图像的特征，对3d模型的渲染图像的特征执行多维度评估，输出所述结构化的优化指令。

32、优选地，所述基于所述优化指令，对初始训练好的3d模型自动化生成网络进行迭代修正优化，包括：

33、将所述优化指令输入至训练集中的自然语言描述中，得到自然语言重构描述，利用自然语言重构描述对初始训练好的3d模型自动化生成网络进行迭代修正优化，直至初始训练好的3d模型自动化生成网络中的视觉评估模块的质量量化评分达到质量评分阈值或迭代次数达到预设迭代阈值，得到最终优化好的3d模型自动化生成网络。

34、与现有技术相比，本发明技术方案的有益效果是：

35、本发明提出一种3d模型自动化生成网络与方法，本发明首先获取多模态数据集，对所述多模态数据集进行预处理，得到预处理数据集，将所述预处理数据集划分为训练集和测试集，能够提高训练数据的一致性和有效性；然后利用所述训练集对所述3d模型自动化生成网络进行训练，并利用所述测试集测试所述3d模型自动化生成网络的有效性，得到初始训练好的3d模型自动化生成网络，通过初始训练好的3d模型自动化生成网络输出结构化的优化指令，该优化指令能有效提高网络对3d模型生成任务的适应能力和生成质量，接着基于所述优化指令，对初始训练好的3d模型自动化生成网络进行迭代修正优化，得到最终优化好的3d模型自动化生成网络，以形成生成—评估—优化的闭环反馈机制；最后将待处理的自然语言描述输入最终优化好的3d模型自动化生成网络，由最终优化好的3d模型自动化生成网络生成目标3d模型。通过上述方法本发明显著提升了3d模型生成的质量与精度。