用于生成3D对象的多边形网格的自回归神经网络的制作方法

技术特征：
1.一种由一个或多个计算机执行的方法，所述方法包括：使用自回归网格生成神经网络生成指定对象的三维网格的顶点和面的输出序列，所述输出序列包含在多个输出位置中的每一个处的相应网格令牌，并且所述生成包含，在多个输出位置中的每一个处：使用自回归网格生成神经网络处理输出位置的输入以生成输出位置的可能网格令牌的概率分布，所述自回归网格生成神经网络以至少已经在任何更早输出位置选择的任何网格令牌为条件，以及使用概率分布从输出位置的可能网格令牌中选择输出位置处的网格令牌。2.根据权利要求1所述的方法，还包括：从输出序列生成对象的三维网格。3.根据前述权利要求中任一项所述的方法，其中，使用概率分布选择输出位置处的网格令牌包括：从概率分布中采样网格令牌。4.根据前述权利要求中任一项所述的方法，其中，第一输出位置集合处的网格令牌是网格的多个顶点中的每一个顶点的相应坐标。5.根据权利要求4所述的方法，其中，自回归网格生成神经网络包含包括顶点解码器的顶点生成神经网络，并且其中，所述生成包括，对于第一输出位置集合中的每个输出位置：使用顶点编码器为已经在任何更早输出位置处选择的任何顶点坐标生成相应嵌入；以及使用顶点解码器处理相应嵌入以生成概率分布。6.根据权利要求5所述的方法，其中，顶点解码器是基于注意力的解码器神经网络。7.根据权利要求6所述的方法，其中，顶点解码器具有transformer架构。8.根据权利要求4-7中任一项所述的方法，其中，所述生成包括生成顶点坐标，直到所选择的网格令牌是预定的停止令牌为止。9.根据前述权利要求中任一项所述的方法，其中，第二输出位置集合处的网格令牌标识多个顶点中构成网格的多个面中的每一个面的顶点。10.根据权利要求9所述的方法，其中，网格生成神经网络包括面解码器，并且其中，所述生成包括：生成(i)多个顶点中的每一个、(ii)新的面令牌和(iii)停止令牌的相应情境嵌入；以及在第二输出位置集合中的每个输出位置处：生成包括已经在第二集合中的任何更早输出位置处生成的每个网格令牌的相应嵌入的解码器输入；使用面解码器处理解码器输入以生成指针向量；和从指针向量和(i)多个顶点中的每一个、(ii)新的面令牌和(iii)停止令牌的相应情境嵌入，生成(i)多个顶点中的每一个、(ii)新的面令牌和(iii)停止令牌的概率分布。11.根据权利要求10所述的方法，其中，网格生成神经网络包括面编码器，并且其中，生成(i)多个顶点中的每一个、(ii)新的面令牌和(iii)停止令牌的相应情境嵌入包括：使用面编码器处理(i)多个顶点中的每一个、(ii)新的面令牌和(iii)停止令牌。
12.根据权利要求11所述的方法，其中，面编码器具有transformer架构。13.根据权利要求10-12中任一项所述的方法，其中，面解码器具有transformer架构。14.根据权利要求10-13中任一项所述的方法，其中，已经在第二集合中的任何更早输出位置处生成的每个网格令牌的相应嵌入是基于网格令牌的情境嵌入被生成的。15.根据权利要求13或14中任一项所述的方法，其中，面解码器将交叉注意力应用到情境嵌入中。16.根据前述权利要求中任一项所述的方法，其中，生成输出位置的可能网格令牌的概率分布包括掩蔽所述输出位置的任何可能网格令牌的logit，所述任何可能网格令牌在给定在更早位置已经选择的网格令牌的情况下是无效的。17.根据前述权利要求中任一项所述的方法，还包括：接收指定三维网格的情境的情境输入；并且其中，所述生成包括，在多个输出位置中的一个或多个输出位置处：使用自回归网格生成神经网络处理时间步长的输入以生成输出位置的可能网格令牌的概率分布，所述自回归网格生成神经网络以(i)在任何更早输出位置处已经被选择的至少任何网格令牌和(ii)情境输入为条件。18.根据权利要求17所述的方法，其中，情境输入是标识对象的对象类的输入，并且其中，自回归网格生成神经网络以情境输入为条件包括：生成所述对象类的嵌入，并且所述网格生成神经网络以所述嵌入为条件。19.根据权利要求17所述的方法，其中，情境输入是对象的图像，并且其中，自回归网格生成神经网络以情境输入为条件包括：使用图像编码器神经网络处理图像以生成图像嵌入的序列，并且所述网格生成神经网络以所述图像嵌入的序列为条件。20.根据权利要求17所述的方法，其中，情境输入是表示对象的体素集合，并且其中，自回归网格生成神经网络以情境输入为条件包括：使用体素编码器神经网络来处理体素集合以生成体素嵌入的序列，并且所述网格生成神经网络以所述体素嵌入的序列为条件。21.根据权利要求19或20中任一项所述的方法，当也从属于权利要求13时，其中，面解码器将交叉注意力应用到体素嵌入的序列或图像嵌入的序列。22.根据权利要求19或20中任一项所述的方法，当也从属于权利要求6时，其中，顶点解码器将交叉注意力应用到体素嵌入的序列或图像嵌入的序列。23.一个或多个存储指令的计算机可读存储介质，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机执行任一前述权利要求所述的方法的操作。24.一种系统，包括一个或多个计算机和一个或多个存储指令的存储设备，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机执行任一前述权利要求所述的方法的操作。

技术总结
一种方法、系统和装置，包括编码在计算机存储介质上的计算机程序，用于使用自回归神经网络生成指定对象的三维网格的数据。网络生成指定对象的三维网格的数据。网络生成指定对象的三维网格的数据。


技术研发人员：C.T.C.纳什 I.加宁 S.M.埃斯拉米 P.W.巴塔格利亚
受保护的技术使用者：渊慧科技有限公司
技术研发日：2021.02.08
技术公布日：2022/11/15