从二维图像生成三维对象模型的制作方法

技术特征：
1.一种用于从二维图像生成可变形对象的三维模型的计算机实现的方法，所述方法包括：接收所述二维图像作为嵌入神经网络的输入，其中，所述二维图像包括对象的图像；使用所述嵌入神经网络生成二维图像的嵌入表示；将所述嵌入表示输入到经学习的解码器模型中；以及使用所述经学习的解码器模型从所述嵌入表示生成所述对象的三维模型的参数。2.一种用于训练经学习的解码器模型以从二维图像生成可变形对象的三维模型的计算机实现的方法，所述方法包括：接收二维训练图像作为嵌入神经网络的输入，其中，所述二维训练图像包括对象并且与所述可变形对象的三维模型的预定参数相关联；使用所述嵌入神经网络生成二维训练图像的嵌入表示；将所述嵌入表示输入到解码器模型中；使用所述解码器模型从所述嵌入表示生成所述对象的三维模型的生成参数，使用损失函数将所述对象的三维模型的生成参数同与所述二维训练图像相关联的所述对象的三维模型的预定参数进行比较；根据所述比较更新所述解码器模型的参数。3.根据权利要求2所述的方法，其中，所述对象的三维模型的参数包括网格中的多个节点的位置，并且其中，所述损失函数包括顶点项，所述顶点项将生成的节点的位置同与所述二维训练图像相关联的对应的节点的预定位置进行比较。4.根据权利要求3所述的方法，其中，所述损失函数包括边项，所述边项将生成的节点的位置之间的距离同与所述二维训练图像相关联的对应的节点的预定位置之间的距离进行比较。5.根据权利要求2至4中任一项所述的方法，其中，与所述二维训练图像相关联的所述对象的三维模型的预定参数是通过将三维对象模型拟合到所述二维训练图像来得出的。6.根据任一前述权利要求所述的方法，其中，所述嵌入神经网络包括残差神经网络。7.根据任一前述权利要求所述的方法，其中，所述三维模型包括网格模型，并且所述对象的三维模型的参数包括网格参数。8.根据权利要求1至7中任一项所述的方法，其中，所述解码器模型包括解码器神经网络，所述解码器神经网络包括一个或更多个二维卷积层，并且其中，手的三维模型的参数包括网格的节点的三维坐标。9.根据权利要求8所述的方法，其中，所述解码器神经网络包括一个或更多个提升层。10.根据权利要求7至8中任一项所述的方法，其中，所述解码器神经网络的初始层包括全连接层和重塑层。11.根据权利要求1至6中任一项所述的方法，其中，所述解码器模型包括线性层，并且其中，手的三维模型的参数包括网格的节点的三维坐标。12.根据任一前述权利要求所述的方法，其中，所述可变形对象是手。13.一种生成用于训练机器学习模型以从二维图像生成可变形对象的三维模型的训练数据集的计算机实现的方法，所述方法包括：从视频数据的一个或更多个段提取多个二维图像，所述二维图像各自包括一个或更多
个可变形对象；针对所述多个二维图像中的每个二维图像：使用关键点识别模型识别所述二维图像中的多个对象关键点；以及确定对象的三维参数模型的参数，所述参数对应于所述二维图像中的所述可变形对象，其中，确定所述参数包括使用所识别的对象关键点和所述对象的三维参数模型中的对应的对象关键点将所述对象的三维参数模型拟合到所述二维图像；以及将所述二维图像和所述三维参数模型的对应的参数存储在计算机存储器中。14.根据权利要求13所述的方法，其中，所述视频数据的一个或更多个段包括手语的使用的视频的一个或更多个段。15.根据权利要求13或14中任一项所述的方法，其中，将所述对象的三维参数模型拟合到所述二维图像包括对目标函数应用迭代优化过程，其中，所述目标函数包括重投影项，所述重投影项将在所述二维图像中识别的对象关键点的位置与所述三维参数模型的二维投影中的对应的对象关键点的位置进行比较。16.根据权利要求15所述的方法，其中，所述重投影项包括掩模，所述掩模将权重应用于所述二维投影中的对应的对象关键点。17.根据权利要求15或16中任一项所述的方法，其中，所述目标函数还包括长度项，所述长度项将在所述二维图像中识别的对象关键点之间的距离与所述三维参数模型的二维投影中的对应的对象关键点之间的距离进行比较。18.根据权利要求15至17中任一项所述的方法，其中，所述目标函数还包括正则化项，所述正则化项惩罚与预定义的平均对象姿势的偏差。19.根据权利要求13至18中任一项所述的方法，其中，所述对象的三维参数模型是由包括一个或更多个形状参数和/或一个或更多个姿势参数的参数来参数化的网格模型。20.根据权利要求19所述的方法，其中，所述对象的三维参数模型的参数还包括一个或更多个摄像装置参数。21.根据权利要求19或20中任一项所述的方法，其中，所述三维参数模型中的对应的对象关键点是使用稀疏回归模型从所述网格模型识别的。22.根据权利要求13至21中任一项所述的方法，其中，所述可变形对象是手。23.根据权利要求22所述的方法，其中，所述视频数据的一个或更多个段包括手语的使用的视频的多个段，其中，所述视频的多个段包括来自不同手语的手语的使用。24.根据权利要求22或23中任一项所述的方法，其中，所述关键点提取模型是二维姿势估计模型，所述二维姿势估计模型被配置成识别所述二维图像中的手的关节位置和/或指尖位置。25.一种训练机器学习模型以生成对象的三维模型的计算机实现的方法，所述方法包括使用根据权利要求13至24中任一项所述的方法生成的训练数据集。26.一种用于生成对象的三维模型的计算机实现的方法，所述方法包括使用利用权利要求25所述的方法训练的机器学习模型。27.根据权利要求2至5中的任一项所述的方法，其中，所述二维图像和与所述二维图像相关联的所述对象的三维模型的对应的预定参数是从根据权利要求13至25中任一项生成的训练数据集取得的。
28.一种包括处理器和存储器的装置，所述存储器包括计算机可读指令，所述计算机可读指令在由所述处理器执行时使所述装置执行根据任一前述权利要求所述的方法。29.一种包括计算机可读代码的计算机程序产品，所述计算机可读代码在由计算机执行时使所述计算机执行根据权利要求1至27中任一项所述的方法。

技术总结
本说明书公开了用于从二维图像生成可变形对象的三维模型的方法和系统。根据本公开的一个方面，描述了用于从二维图像生成可变形对象的三维模型的计算机实现的方法。方法包括：接收二维图像作为嵌入神经网络的输入，其中，二维图像包括对象的图像；使用嵌入神经网络生成二维图像的嵌入表示；将嵌入表示输入到经学习的解码器模型中；以及使用经学习的解码器模型从嵌入表示生成对象的三维模型的参数。型从嵌入表示生成对象的三维模型的参数。型从嵌入表示生成对象的三维模型的参数。


技术研发人员：多米尼克
受保护的技术使用者：斯纳普公司
技术研发日：2020.02.17
技术公布日：2023/2/3