三维建模方法、电子设备、存储介质及计算机程序产品与流程

本申请涉及人工智能领域，尤其涉及一种三维建模方法、电子设备、存储介质及计算机程序产品。

背景技术：

1、目前，从单张物体图像生成其在三维空间中的动态外观变化是计算机图形学与视觉领域的重要研究方向。输入单张物体图像后，现有技术首先基于扩散模型预测该图像对应视角下的外观变化并生成单目视频，然后基于扩散模型由单目视频生成多目视频，每个视频描述不同视角的物体外观变化，最后基于神经辐射场或高斯泼溅技术由多目视频预测物体在三维空间的外观变化。然而，在生成单目视频的过程中，现有技术存在外观变化缺乏关键物理状态约束，导致生成结果容易偏离真实物理规律的问题，以及，在由单目视频生成多目视频时，同一时刻不同视角之间的外观一致性不足，使后续三维重建得到的物体形状存在外观畸形或不符合物理常识等瑕疵。

技术实现思路

1、为解决上述技术问题，本申请实施例提供了一种三维建模方法、电子设备、存储介质及计算机程序产品。

2、第一方面，本申请实施例提供一种三维建模方法，所述方法包括：

3、获取单目图像中待建模的目标物体以及所述目标物体的物理状态信息；其中，所述物理状态信息表征所述目标物体在外观演化过程中的多个关键物理状态；所述多个关键物理状态表征所述目标物体在生长或运动周期中形态或空间属性发生变化时所对应的一个或多个物体状态；

4、获取所述目标物体的第一模型序列，所述第一模型序列包括多个与关键物理状态一一对应的3d模型；

5、对多个3d模型进行多视角的图像生成处理，得到第一图像数据；

6、基于所述第一图像数据，生成第一视频数据，所述第一视频数据包括所述目标物体在外观演化时多个视角对应的多目视频；

7、基于所述第一视频数据，生成第二模型序列，所述第二模型序列包括所述目标物体在外观演化时的多个3d模型。

8、第二方面，本申请实施例提供一种电子设备，所述电子设备包括：

9、存储器，用于存储计算机可执行指令；

10、处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本申请实施例提供的三维建模方法。

11、第三方面，本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本申请实施例提供的三维建模方法。

12、第四方面，本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的三维建模方法。

13、本申请实施例的技术方案中，通过获取单目图像中待建模的目标物体以及所述目标物体的物理状态信息；其中，物理状态信息表征目标物体在外观演化过程中的多个关键物理状态；多个关键物理状态表征目标物体在生长或运动周期中形态或空间属性发生变化时所对应的一个或多个物体状态；获取目标物体的第一模型序列，第一模型序列包括多个与关键物理状态一一对应的3d模型；对多个3d模型进行多视角的图像生成处理，得到第一图像数据；基于第一图像数据，生成第一视频数据，第一视频数据包括目标物体在外观演化时多个视角对应的多目视频；基于第一视频数据，生成第二模型序列，第二模型序列包括目标物体在外观演化时的多个3d模型；如此，通过利用物体关键物理状态渲染得到的多视角图像，可以约束多目视频在该物理状态对应时刻的多视角一致性，尽可能减少多目视频生成带来的多视角不一致问题；进一步基于关键物理状态的3d模型作为约束，指导3d物体的外观自演化，可使得物体的外观变化符合预期。

1.一种三维建模方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对多个3d模型进行多视角的图像生成处理，得到第一图像数据，包括：

3.根据权利要求2所述的方法，其特征在于，所述通过虚拟相机获取每个3d模型的多个视角渲染图像之前，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，

5.根据权利要求2所述的方法，其特征在于，所述基于所述第一图像数据，生成第一视频数据，包括：

6.根据权利要求1所述的方法，其特征在于，所述基于所述第一视频数据，生成第二模型序列，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。