单图转DCC可编辑3D资产的自动化生成方法

本发明涉及智能生成内容与计算机三维建模，尤其涉及一种单图转dcc可编辑3d资产的自动化生成方法。

背景技术：

1、目前，由单张2d图像生成3d模型的技术主要输出三角面网格模型。在现有技术中，主要针对标准化工程图纸，无法处理非标准自由形态的图像，且输出模型缺少拓扑优化机制，难以直接在数字内容创作（dcc）软件中进行网格编辑。还有一些现有技术是用于规则几何体的参数化生成，难以实现单张图像中自由形态物体的三维重建。同时，现有的图像转3d生成模型（如sam3d模型族）主要输出不规则面数的三角面网格，适用于渲染预览场景。

2、综合来看，现有的单图转3d技术在对接dcc工业化生产时存在以下客观限制：第一，生成的3d模型通常由三角面构成，布线缺乏规范逻辑，在dcc软件中无法直接执行环切、细分、蒙皮变形等编辑操作。第二，重建过程依赖图像内可见区域，当输入图像中的物体主体被画面边界截断时，直接重建会导致模型出现边缘切面和结构缺失，通常需要依靠人工进行前置修图补全。第三，现有技术通常由单环节独立工具组成，单张图片到dcc可编辑文件的过程需要在不同工具间切换，缺少全流程的自动化工作流调度机制和批量处理能力。

技术实现思路

1、基于此，有必要针对上述问题，提出了一种单图转dcc可编辑3d资产的自动化生成方法。

2、本发明实施例提供一种单图转dcc可编辑3d资产的自动化生成方法，所述方法包括：

3、获取单张2d图像，对所述2d图像进行基于sam3开放词汇分层掩码的主体精细提取以获得主体提取结果，根据所述主体提取结果进行自适应边界截断判定；当判定主体被画面截断时，对截断区域进行几何感知预测性扩图以补全主体结构，得到包含完整物体的预处理图像；

4、对所述包含完整物体的预处理图像进行多视图特征融合与三平面三维重建以提取空间几何信息，得到初始水密三角面网格模型；

5、对所述初始水密三角面网格模型通过虚拟相机进行多视角渲染以获取多个2d视图，利用sam3开放词汇分割模型并基于预设的语义部件文本提示集获取各2d视图下命中部件的2d语义掩码集合，将所述2d语义掩码集合通过相机位姿反投影至3d网格空间，并经knn投票算法确定3d顶点的部件归属，得到完成语义部件拆解的网格部件；

6、对所述语义拆解后的所述网格部件，计算模型表面标架场并通过最小化位置场能量函数对齐网格顶点，进行场对齐自动化重拓扑，得到符合dcc工业标准的四边面网格；

7、对所述符合dcc工业标准的四边面网格，进行基于角度畸变最小化的无损uv展开，并联合损失函数分离生成pbr材质通道以完成材质烘焙；根据工作流调度对完成所述材质烘焙的四边面网格进行多格式适配转换，得到原生兼容主流dcc软件的可编辑3d资产文件。

8、可选地，对所述2d图像进行基于sam3开放词汇分层掩码的主体精细提取以获得主体提取结果，根据所述主体提取结果进行自适应边界截断判定；当判定主体被画面截断时，对截断区域进行几何感知预测性扩图以补全主体结构，得到包含完整物体的预处理图像，具体包括：

9、对所述单张2d图像进行标准化预处理，统一缩放至目标尺寸，并进行色域转换、噪声去除与对比度归一化，得到标准化图像；

10、利用sam3模型对所述标准化图像进行基于预设主体类别文本提示词的开放词汇分割，并通过组合损失函数进行迭代优化，得到高精度主体二值掩码图，并识别所述高精度主体二值掩码图的最小外接矩形；

11、计算所述最小外接矩形与图像边缘的最小相对距离，根据自适应阈值判定主体是否被画面截断，得到截断判定结果；

12、当所述截断判定结果为截断时，利用图像补全扩散模型对截断区域进行几何感知预测性扩图，通过总损失函数约束扩图区域与原图的几何一致性与语义一致性，得到扩图后图像；

13、根据所述高精度主体二值掩码图对所述扩图后图像或所述标准化图像进行背景移除以消除图像背景，得到纯色背景的主体图像，作为所述包含完整物体的预处理图像。

14、可选地，所述通过组合损失函数进行迭代优化，所述组合损失函数公式为：

15、

16、其中：、为损失项权重系数；为焦点损失；为dice损失。

17、可选地，所述通过总损失函数约束扩图区域与原图的几何一致性与语义一致性，所述总损失函数公式为：；其中：为原图边界区域；为生成的扩图输出区域；为重建损失；为感知损失；为权重系数。

18、可选地，所述对所述包含完整物体的预处理图像进行多视图特征融合与三平面三维重建以提取空间几何信息，得到初始水密三角面网格模型，具体包括：

19、利用图像编码器对所述包含完整物体的预处理图像进行特征提取，得到2d特征向量序列；

20、通过带相机位姿条件的交叉注意力机制，将所述2d特征向量序列映射为三维三平面隐式表达，并经自注意力约束空间连续性与多层感知机解码处理，得到聚合后的三平面特征；

21、根据所述聚合后的三平面特征，利用移动立方体算法提取高面数水密三角网格并转换为通用3d格式文件，得到所述初始水密三角面网格模型。

22、可选地，所述经knn投票算法确定3d顶点的部件归属，得到完成语义部件拆解的网格部件，具体包括：通过、确定；其中：为三维顶点；为视图总数；为候选部件类别；为顶点通过第个虚拟相机位姿矩阵投影到2d视图上的像素坐标；为指示函数：投影坐标落在2d掩码内取值为1，否则为0；为第个视图生成的属于部件类别的2d语义掩码；为顶点属于部件类别的多视图投票得分；为该顶点最终被划分的3d部件类别。

23、可选地，所述通过最小化位置场能量函数对齐网格顶点，进行场对齐自动化重拓扑，得到符合dcc工业标准的四边面网格中，所述位置场能量函数公式为：；其中：为相邻顶点的参数化坐标；为网格边集合；为标架场目标方向向量；为保证跨边过渡一致性的整数旋转矩阵。

24、可选地，所述对所述符合dcc工业标准的四边面网格，进行基于角度畸变最小化的无损uv展开，并联合损失函数分离生成pbr材质通道以完成材质烘焙；根据工作流调度对完成所述材质烘焙的四边面网格进行多格式适配转换，得到原生兼容主流dcc软件的可编辑3d资产文件，具体包括：

25、采用abf++算法，通过最小化角度畸变能量函数，对所述四边面网格进行无拉伸、无重叠的展平处理，得到uv展开结果；

26、采用联合损失函数将图像色彩分离为反照率、粗糙度、金属度的pbr材质通道，并结合所述uv展开结果进行材质烘焙与映射，得到完成材质烘焙的四边面网格；

27、根据下游生产需求对完成所述材质烘焙的四边面网格自动进行多格式适配转换，得到fbx、obj、c4d或blend格式文件，并保留拓扑结构、uv信息与材质通道，得到原生兼容主流dcc软件的可编辑3d资产文件；

28、利用低代码工作流引擎对处理过程进行节点化封装，根据动态优先级公式进行算力分配、异常自动重试与多任务调度。

29、可选地，所述通过最小化角度畸变能量函数，对所述四边面网格进行无拉伸、无重叠的展平处理中，所述角度畸变能量函数公式为：；其中：为面片数量；为第个面片第个内角在3d空间中的原始角度值；为第个面片第个内角在二维uv空间内的目标优化角度值。

30、可选地，所述采用联合损失函数将图像色彩分离为反照率、粗糙度、金属度的pbr材质通道，所述联合损失函数公式为：；其中：为预测的材质张量；为真实材质张量；为感知特征提取器；为可微渲染器；为光照条件；

31、所述根据动态优先级公式进行算力分配，所述动态优先级公式为：；其中：为生成任务在系统时刻的动态调度优先级得分；为任务的紧急度权重；为任务的预估面数复杂度；为复杂度惩罚衰减系数；为失败重试次数；为权重系数。

32、采用本发明实施例，具有如下有益效果：

33、本发明通过对获取的2d图像进行基于sam3开放词汇分层掩码的主体提取与自适应边界截断判定，在判定截断时执行几何感知预测性扩图，从而补全主体结构并得到包含完整物体的预处理图像，解决了现有技术因图像截断导致的3d重建结构缺失问题，提升了模型的几何完整性；进一步，将包含完整物体的预处理图像进行多视图特征融合与三平面三维重建以提取空间几何信息，得到初始水密三角面网格模型，并利用预设语义部件文本提示集获取各视图下命中的2d语义掩码集合，将其反投影回3d空间经投票机制确定3d顶点的部件归属，从而实现了模型语义部件的自动化拆解；随后，对拆解后的网格部件计算模型表面标架场，并通过最小化位置场能量函数对齐网格顶点，进行场对齐自动化重拓扑，将三角面转换为符合dcc工业标准的四边面网格，克服了现有三角面网格无法进行环切、细分等专业编辑的缺陷，使生成模型具备在主流dcc软件中的可编辑性；最后，对符合标准的四边面网格进行基于角度畸变最小化的无损uv展开与材质烘焙，并根据工作流调度进行多格式适配转换，实现了从单张2d图像到原生兼容主流dcc软件的可编辑3d资产文件的全自动输出，减少了人工干预环节，提高了3d资产的生成效率与调度能力。