用于渲染图像的三维建模体积的制作方法

技术特征：
1.一种方法，包括：由一个或更多个计算设备访问对象的第一多个图片，其中所述第一多个图片分别从第一多个视点拍摄；由所述一个或更多个计算设备通过使用机器学习框架处理所述第一多个图片来构建用于所述对象的三维建模的建模体积，其中所述建模体积与多个颜色和不透明度信息相关联，所述多个颜色和不透明度信息与所述建模体积中的多个区域相关联；和由所述一个或更多个计算设备使用所述建模体积从虚拟视点渲染所述对象的二维图像，其中所述图像的每个像素通过以下方式渲染：从所述虚拟视点投射虚拟射线并穿过所述建模体积；确定所述建模体积中的所述多个区域中的和所述虚拟射线相交的一个或更多个区域；和基于与所述多个区域中的和所述虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息的累积来确定所述像素的颜色和不透明度。2.根据权利要求1所述的方法，其中所述机器学习框架包括编码器和解码器，其中所述编码器基于输入的图片的信息构建编码向量，并且其中所述解码器通过解码所述编码向量来产生建模体积。3.根据权利要求2所述的方法，其中，修改处于一种状态下的所述对象的所述编码向量导致生成用于对处于另一状态下的所述对象进行建模的建模体积。4.根据权利要求3所述的方法，其中，对处于第一状态下的所述对象的第一编码向量和处于第二状态下的所述对象的第二编码向量进行线性插值导致生成用于对处于第三状态下的所述对象进行建模的建模体积，其中所述第三状态处于所述第一状态和所述第二状态之间。5.根据权利要求2所述的方法，其中所述编码器是卷积神经网络。6.根据权利要求2所述的方法，其中所述解码器是卷积解码器，或者其中所述解码器是线性基解码器。7.根据权利要求1所述的方法，其中所述机器学习框架基于包括以下项的步骤来训练：访问所述对象的第二多个图片，其中所述第二多个图片分别从第二多个视点拍摄；和通过重复以下步骤训练所述机器学习框架，直到满足预定条件：通过使用所述机器学习框架处理所述第二多个图片来构建用于所述对象的三维建模的第二建模体积；从对应于所述第二多个视点的多个虚拟视点渲染所述对象的多个二维图像；和基于所述多个二维图像和所述第二多个图片之间的比较来更新所述机器学习框架。8.根据权利要求7所述的方法，其中所述第一多个视点是所述第二多个视点的子集。9.根据权利要求7所述的方法，其中基于所述多个二维图像和所述第二多个图片之间的比较来更新所述机器学习框架包括：对于从虚拟视点渲染的多个二维图像中的每一个和在所述第二多个图片中的从相应视点拍摄的图片，基于渲染的图像和相应图片之间的比较，计算预定损失函数；和通过基于计算的损失函数执行反向传播来调整所述机器学习框架的参数。10.根据权利要求7所述的方法，其中从所述第二多个视点拍摄的所述对象的一组或更
多组图片用于训练，其中所述一组或更多组中的每一组对应于时间实例，并且可选地，其中所述第二多个视点中的每一个的背景跨所述时间实例是静态的。11.根据权利要求1所述的方法，其中累积与所述虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息包括累积与所述一个或更多个区域相关联的不透明度加权颜色，直到与所述一个或更多个区域相关联的累积不透明度达到阈值。12.根据权利要求1所述的方法，其中所述建模体积中的区域由体素表示，所述体素包括所述区域的颜色和不透明度的信息，并且可选地，其中，区域的颜色由rgb颜色代码表示，并且其中，区域的不透明度由0到1之间的标量值表示。13.根据权利要求1所述的方法，其中所述建模体积由三维翘曲体积和三维信息体积表示，其中所述翘曲体积中的每个区域指向所述信息体积中的区域，并且其中所述信息体积中的每个区域与颜色和不透明度的信息相关联，并且可选地，其中从所述信息体积中的由所述翘曲体积中的第三区域指向的第二区域访问所述建模体积中的第一区域的颜色和不透明度信息，其中所述翘曲体积中的第三区域对应于所述建模体积中的第一区域。14.一个或更多个包含软件的计算机可读非暂时性存储介质，所述软件在被执行时能够操作来执行根据权利要求1至13中任一项的方法。15.一种系统，包括：一个或更多个处理器；以及耦合到所述处理器的非暂时性存储器，所述非暂时性存储器包括能够由所述处理器执行的指令，所述处理器在执行所述指令时能够操作以执行根据权利要求1至13中任一项的方法。

技术总结
在一个实施例中，一种方法包括：访问对象的多个图片；通过使用机器学习框架处理多个图片来构建用于对象的三维建模的建模体积，其中建模体积与多个颜色和不透明度信息相关联，这些颜色和不透明度信息与建模体积中的多个区域相关联；以及使用建模体积从视点渲染对象的图像，其中通过以下操作渲染图像的每个像素：从视点投射虚拟射线并穿过建模体积，确定建模体积中的多个区域中的与虚拟射线相交的一个或更多个区域，并基于与多个区域中的和虚拟射线相交的一个或更多个区域相关联的颜色和不透明度信息的累积来确定像素的颜色和不透明度。度。度。


技术研发人员：斯蒂芬
受保护的技术使用者：脸谱科技有限责任公司
技术研发日：2020.03.31
技术公布日：2021/11/17