根据二维图像重建三维场景的制作方法

技术特征：
1.一种用于根据单个二维图像创建具有多个对象的场景的三维重建的方法，所述方法包括：接收单个二维图像；识别在所述图像中将要重建的所有对象并且识别所述对象的类型；估计每个所识别对象的三维表示；估计物理地支撑所有三维对象的三维平面；以及相对于所述支撑平面在空间中定位所有三维对象。2.根据权利要求1所述的方法，其中，在深度机器学习模型中执行所述估计三维表示的步骤，所述深度机器学习模型包括输出层和一个或多个隐藏层，所述一个或多个隐藏层各自对接收的输入应用非线性变换以生成输出。3.根据权利要求2所述的方法，其中，所述深度机器学习模型通过串联来自所述神经网络的一个或多个中间层的特征数据来预测多个对象的三维界标位置，并且针对每个区域中描述的预测类型的对象同时估计所预测的三维位置。4.根据权利要求1所述的方法，其中，通过使用所有可见对象的所估计三维位置来重建穿过它们的二维平面，来针对单个帧执行估计支撑多个对象的平面的步骤。5.根据权利要求1所述的方法，其中，使用相对相机姿势估计和平面定位来针对一系列帧执行估计支撑多个对象的平面的步骤，所述平面定位使用在连续帧的点之间的对应关系。6.根据前述任一权利要求所述的方法，其中，所述接收还包括接收多个图像，其中针对每个接收图像例如实时地进行估计多个对象的三维表示并在平面上对它们定位的步骤。7.根据权利要求6所述的方法，其中，通过组合在连续帧处的隐藏层响应例如通过对它们进行平均，来在多个连续帧上进行所述处理。8.根据权利要求4至7中任一项所述的方法，其中，数字图形对象按照与所估计的三维对象位置的给定关系被综合地添加到所述三维场景重建，并且然后被投影回所述二维图像。9.一种用于根据单个二维图像创建具有多个对象的场景的三维重建的第一计算单元，所述第一计算单元包括存储器；以及至少一个处理器，其中至少一个处理器被配置为执行根据权利要求1至8中任一项所述的方法。10.一种计算机可读介质，其存储指令集，所述指令集可由第一计算单元的至少一个处理器执行，以用于根据单个二维图像创建具有多个对象的场景的三维重建，从而致使所述第一计算单元执行根据权利要求1至8中任一项的方法。11.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令致使所述计算机执行根据权利要求1中8中任一项的方法。12.一种用于训练深度机器学习模型以根据单个二维图像创建具有多个对象的场景的三维重建的方法，所述方法包括：接收单个二维图像；通过将对象的三维模型适配到所述二维图像来获得用于三维重建的训练信号，将所得的三维模型拟合结果用作用于训练所述深度机器学习模型的监督信号。13.根据示例性权利要求12所述的方法，其中，拟合所述三维模型的步骤通过以下来执
行：将三维表示投影到二维图像平面上从而产生投影表示；将投影表示的相应位置与所述单个二维图像中的对象进行比较；基于比较来测量误差值；以及基于所述误差值来调整融合的三维表示的参数，其中，所述比较、测量和调整被迭代地重复，直到所述测量误差值低于预定阈值或阈值迭代次数被超过。14.根据权利要求13所述的方法，其中，如果有多个视图可用，则通过考虑所述透视投影的效果以及通过利用所述相同对象的多个视图来执行投影的步骤。15.一种用于根据单个二维图像创建三维重建的第二计算单元，其用于估计在单个二维图像中包括的对象的三维表示，所述第二计算单元包括存储器；以及至少一个处理器，其中所述至少一个处理器被配置为执行根据权利要求12至14任一项所述的方法。16.一种存储指令集的计算机可读介质，所述指令集能够由第二计算单元的至少一个处理器执行以用于更新在单个二维图像中包括的对象的融合三维表示，从而致使所述第二计算单元执行根据权利要求12至14中任一项所述的方法。17.一种包括指令的计算机程序产品，当所述程序由计算机执行时，所述指令致使所述计算机执行根据权利要求中12至14中的任一项所述的方法。18.一种用于根据单个二维图像提供具有多个对象的场景的三维重建的系统，所述系统包括：根据权利要求9所述的第一计算单元；以及根据权利要求15所述的第二计算单元，其中所述第一计算单元利用所述第二计算单元的所述结果来被训练。

技术总结
本说明书涉及使用神经网络来根据二维(2D)图像重建三维(3D)场景。根据本说明书的第一方面，描述了一种用于根据单个二维图像创建具有多个对象的场景的三维重建的方法，所述方法包括：接收单个二维图像；识别所述图像中将要重建的所有对象并且识别所述对象的类型；估计每个所识别对象的三维表示；估计物理地支撑所有三维对象的三维平面；以及相对于所述支撑平面在空间中定位所有三维对象。平面在空间中定位所有三维对象。平面在空间中定位所有三维对象。


技术研发人员：R
受保护的技术使用者：阿里尔AI公司
技术研发日：2020.06.17
技术公布日：2022/2/7