3D重建网络的训练方法、3D重建方法、装置、设备和介质与流程

3d重建网络的训练方法、3d重建方法、装置、设备和介质
技术领域
1.本公开涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3d视觉、增强现实等场景，具体涉及一种3d重建网络的训练方法、3d重建方法、装置、设备、介质和程序产品。


背景技术：

2.随着社会的进步和科技的迅猛发展，短视频、直播和在线教育等行业不断地兴起，在各种交互场景中，基于人手或人脸等模型重建信息进行互动的功能需求越来越多。
3.然而，现有的对人手或人脸建模的方案中，当单张rgb图像存在自遮挡问题时，不仅建模困难，而且无法训练出有效、稳定的重建模型，继而无法重建出自然的3d人手或人脸。


技术实现要素：

4.本公开提供了一种3d重建网络的训练方法、3d重建方法、装置、设备、介质和程序产品。
5.根据本公开的一方面，提供了一种3d重建网络的训练方法，包括：
6.将第一网络和第二网络构建为重建网络，其中，所述第一网络包括第一输出层和第二输出层，所述第一输出层用于预测样本图像中重建对象的关键点定位信息，所述第二输出层用于输出所述样本图像的图像特征；
7.将所述样本图像作为所述第一网络的输入，将所述重建对象的关键点定位信息作为所述第一输出层的第一输出标签，对所述第一网络进行第一监督训练；
8.将所述样本图像作为经所述第一监督训练的第一网络的输入，利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征；
9.将所述局部注意力特征输入所述第二网络，将所述重建对象的重建模型参数作为所述第二网络的第二输出标签，对所述重建网络进行第二监督训练。
10.根据本公开的另一方面，提供了一种3d重建方法，包括：
11.将目标图像输入预先训练的重建网络，其中，所述重建网络包括第一网络和第二网络，所述第一网络包括第一输出层和第二输出层；
12.利用所述第一网络，通过所述第一输出层输出所述目标图像中目标重建对象的关键点定位信息的目标预测值，通过所述第二输出层输出所述目标图像的目标图像特征；
13.利用所述关键点定位信息的目标预测值对所述目标图像特征进行局部特征抽取，得到目标局部注意力特征；
14.将所述目标局部注意力特征输入所述第二网络，利用所述第二网络输出所述目标重建对象的目标重建模型参数；
15.根据所述目标重建模型参数对所述目标重建对象进行3d重建。
16.根据本公开的另一方面，提供了一种3d重建网络的训练装置，包括：
17.构建模块，用于将第一网络和第二网络构建为重建网络，其中，所述第一网络包括第一输出层和第二输出层，所述第一输出层用于预测样本图像中重建对象的关键点定位信息，所述第二输出层用于输出所述样本图像的图像特征；
18.第一监督训练模块，用于将所述样本图像作为所述第一网络的输入，将所述重建对象的关键点定位信息作为所述第一输出层的第一输出标签，对所述第一网络进行第一监督训练；
19.第一特征抽取模块，用于将所述样本图像作为经所述第一监督训练的第一网络的输入，利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征；
20.第二监督训练模块，将所述局部注意力特征输入所述第二网络，将所述重建对象的重建模型参数作为所述第二网络的第二输出标签，对所述重建网络进行第二监督训练。
21.根据本公开的另一方面，提供了一种3d重建装置，包括：
22.图像输入模块，用于将目标图像输入预先训练的重建网络，其中，所述重建网络包括第一网络和第二网络，所述第一网络包括第一输出层和第二输出层；
23.中间特征输出模块，用于利用所述第一网络，通过所述第一输出层输出所述目标图像中目标重建对象的关键点定位信息的目标预测值，通过所述第二输出层输出所述目标图像的目标图像特征；
24.第二特征抽取模块，用于利用所述关键点定位信息的目标预测值对所述目标图像特征进行局部特征抽取，得到目标局部注意力特征；
25.重建模型参数输出模块，用于将所述目标局部注意力特征输入所述第二网络，利用所述第二网络输出所述目标重建对象的目标重建模型参数；
26.3d重建模块，用于根据所述目标重建模型参数对所述目标重建对象进行3d重建。
27.根据本公开的另一方面，提供了一种电子设备，包括：
28.至少一个处理器；以及
29.与所述至少一个处理器通信连接的存储器；其中，
30.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所述的3d重建网络的训练方法或3d重建方法。
31.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行本公开任意实施例所述的3d重建网络的训练方法或3d重建方法。
32.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开任意实施例所述的3d重建网络的训练方法或3d重建方法。
33.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
34.附图用于更好地理解本方案，不构成对本公开的限定。其中：
35.图1是根据本公开实施例的一种3d重建网络的训练方法的示意图；
36.图2是根据本公开实施例的一种3d重建网络的训练方法的示意图；
37.图3a是根据本公开实施例的人手关键点高斯热图的示意图；
38.图3b是根据本公开实施例的一种3d重建网络的训练方法的示意图；
39.图4是根据本公开实施例的一种3d重建方法的示意图；
40.图5是根据本公开实施例的一种3d重建网络的训练装置的结构示意图；
41.图6是根据本公开实施例的一种3d重建装置的结构示意图；
42.图7是用来实现本公开实施例的3d重建网络的训练方法的电子设备的框图。
具体实施方式
43.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
44.图1是根据本公开实施例的3d重建网络的训练方法的流程示意图，本实施例可适用于训练3d重建网络，利用该3d重建网络预测输入图像的重建模型参数，以便基于重建模型参数进行3d重建的情况，例如对3d人手进行重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3d视觉、增强现实等场景。该方法可由一种3d重建网络的训练装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备或服务器等。如图1所示，该方法具体包括如下：
45.s101、将第一网络和第二网络构建为重建网络，其中，第一网络包括第一输出层和第二输出层，第一输出层用于预测样本图像中重建对象的关键点定位信息，第二输出层用于输出样本图像的图像特征。
46.s102、将样本图像作为第一网络的输入，将重建对象的关键点定位信息作为第一输出层的第一输出标签，对第一网络进行第一监督训练。
47.s103、将样本图像作为经第一监督训练的第一网络的输入，利用第一输出层的输出对第二输出层的输出进行局部特征抽取，得到局部注意力特征。
48.s104、将局部注意力特征输入第二网络，将重建对象的重建模型参数作为第二网络的第二输出标签，对所述重建网络进行第二监督训练。
49.本公开实施例中包括两个训练任务，第一监督训练实现的是基于关键点定位的学习任务，第二监督训练实现的是基于重建模型参数的学习任务。其中，重建网络由第一网络和第二网络构成。第一网络包括第一输出层和第二输出层，第一输出层用于预测样本图像中重建对象的关键点定位信息，第二输出层用于输出样本图像的图像特征。
50.具体的，在第一监督训练的过程中，是将样本图像作为第一网络的输入，并且确定输入的样本图像中重建对象的关键点定位信息，然后将该关键点定位信息作为第一输出层的第一输出标签，对第一网络进行第一监督训练。也就是说，利用样本图像中重建对象的关键点定位信息来监督第一输出层输出的对重建对象的关键点定位信息的预测结果，从而通过监督的过程来优化网络参数。经过训练，使得第一网络具备经第一输出层输出关键点定位信息预测结果的能力。
51.在第二监督训练的过程中，是对第一网络和第二网络构成的重建网络整体进行训练。首先，仍然将样本图像输入第一网络，由第一网络中的第一输出层输出关键点定位信息的预测结果，同时，第二输出层也会提取样本图像的图像特征并输出。然后，利用第一输出层的输出对第二输出层的输出进行局部特征抽取，得到局部注意力特征。也就是说，经过局部特征抽取，可以基于预测的关键点定位信息从当前图像特征中抽取出关键点的图像特征。接着，将局部注意力特征输入第二网络，由第二网络基于该局部注意力特征对重建模型参数进行预测，并将样本图像中重建对象的重建模型参数作为第二网络的第二输出标签，对预测的重建模型参数进行监督，通过该监督过程优化网络参数，从而完成对重建网络的第二监督训练。
52.此外，在对网络进行训练之前，还可以对训练数据进行预处理，包括不同尺度的缩放、旋转角度和彩色空间的扰动增强等，目的在于通过丰富训练数据来提高网络的泛化性能。
53.需要说明的是，现有技术中通常是基于深度卷积网络的方法通过卷积核对图像构造其特征，然后直接根据该特征预测模型参数，并利用模型参数的输出标签对其进行监督训练。然而，由于人手或人脸等人体局部部位图像中关键点点位密集，现有技术中的这种方式运用在人手或人脸等结构化信息的学习以及对人手或人脸图像被遮挡关键点位置的深度信息估计时，其特征提取能力和建模能力十分低下。但在本公开实施例中，则基于多任务学习的方式，先进行关键点定位任务学习，并利用关键点定位信息对图像特征进行局部注意力引导，抽取出局部注意力特征，减小图像特征中其他关键点的干扰因素对后续获取重建模型参数的影响。因此，训练好的重建网络能够获取更准确的关键点局部特征，具有很好的抗遮挡能力，继而估计出稳定、可靠的模型参数，提升3d人手重建的自然度和稳定性。
54.本公开实施例的技术方案，首先通过第一网络进行关键点定位任务的学习，然后再对第一网络和第二网络构成的重建网络进行重建模型参数任务的学习，并在此过程中，利用关键点定位信息对图像特征进行聚合抽取，引导生成局部注意力特征，然后再基于引导的局部注意力特征由第二网络对重建模型参数进行估计。由此，通过这种多任务学习对网络进行注意力引导，使得训练好的网络能够更加有效地提取重建对象的结构化信息和深度信息，获取更准确的关键点局部特征，具有很好的抗遮挡能力，继而估计出稳定、可靠的模型参数，提升3d重建的自然度和稳定性。
55.图2是根据本公开实施例的3d重建网络的训练方法的流程示意图，本实施例在上述实施例的基础上进一步进行优化。本实施例中以重建对象为人手为例进行详细说明，其中，重建模型包括人手模型mano(一种具有关节和非刚性变形的手模型)，重建模型参数包括人手模型mano的形状参数和姿态参数。如图2所示，该方法具体包括如下：
56.s201、将第一网络和第二网络构建为重建网络，其中，第一网络包括第一输出层和第二输出层，第一输出层用于预测样本图像中重建对象的关键点定位信息，第二输出层用于输出样本图像的图像特征。
57.在一种实施方式中，第一网络可以为cnn卷积神经网络。第二网络可以为gcn图卷积神经网络。
58.s202、将样本图像作为第一网络的输入，将重建对象的关键点定位信息作为第一输出层的第一输出标签，对第一网络进行第一监督训练。
59.在一种实施方式中，关键点定位信息可以为关键点高斯热图。具体的，先获取样本图像中重建对象的2d关键点定位信息，然后根据该2d关键点定位信息生成样本图像中重建对象的关键点高斯热图，并将其作为第一输出层的第一输出标签，对第一输出层预测的关键点高斯热图进行监督，以完成第一网络的第一监督训练。因此，在该实施方式中，第一监督训练的训练目的就在于让第一网络能够根据样本图像通过第一输出层输出其中重建对象的关键点高斯热图的预测结果。通过高斯热图的方式来表示关键点的定位，可以更准确地进行标注，不仅能提高网络训练的收敛速度，同时也让网络能够更加快速、准确地对重建对象的关键点进行预测。
60.s203、将第一输出层的输出和第二输出层的输出进行相乘运算，并将运算的结果作为局部注意力特征。
61.第一输出层输出的关键点高斯热图是以矩阵形式存在，高斯热图矩阵中的各元素表示各关键点及其周围各像素点的像素值，因此，通过像素值的大小即可确定关键点。图3a即为根据本公开实施例的人手关键点高斯热图的示意图，其中，人手的每个关键点对应生成一个高斯热图，从而构成高斯热图矩阵。第二输出层提取的图像特征也以特征矩阵的形式表示，将上述两个矩阵相乘即可得到局部注意力特征。当然，还可以基于其他方式根据第一输出层的输出对第二输出层的输出进行特征抽取，例如，根据关键点高斯热图对图像特征进行基于关键点位置信息的采样，也可以获取到局部注意力特征，因此，只要能够实现特征抽取的现有技术，在本公开实施例中均适用，本公开实施例对此不作任何限定。
62.s204、将局部注意力特征和预先定义的所述重建对象的结构图输入第二网络，将重建对象的重建模型参数作为第二网络的第二输出标签，利用第二输出标签对第二网络输出的重建对象的重建模型参数的预测值进行监督，通过监督的过程优化重建网络。
63.当第二网络为gcn图卷积神经网络时，需要将重建对象的结构图与局部注意力特征一起输入gcn，由gcn进行重建模型参数预测，此时，样本图像中的重建对象的重建模型参数将作为第二输出标签对重建模型参数的预测值进行监督，通过监督的过程优化重建网络。也即，通过s204实现利用样本数据中重建对象的重建模型参数对重建网络进行监督训练。
64.s205、利用重建模型参数的预测值计算3d关键点信息预测值；将重建对象的3d关键点信息作为第二网络的第三输出标签对3d关键点信息预测值进行监督，通过监督的过程优化重建网络。
65.也即，通过s205实现利用样本数据中重建对象的3d关键点信息对重建网络进行监督训练。
66.s206、根据第二网络输出的重建模型参数的预测值回归相机参数；根据相机参数对3d关键点信息预测值进行投影，得到2d关键点信息预测值。
67.具体的，可以基于现有的透视投影方法实现相机参数回归，此处不再赘述。
68.s207、将重建对象的2d关键点信息作为第二网络的第四输出标签对2d关键点信息预测值进行监督，通过监督的过程优化重建网络。
69.也即，通过s206-s207实现利用样本数据中重建对象的2d关键点信息对重建网络进行监督训练。
70.本实施例中，可以利用多种监督数据对重建网络进行监督训练，包括3d关键点信
息、2d关键点信息和重建模型参数，由此，不仅可以提高对训练样本的利用率，同时还可以提升网络的泛化性能。具体的训练过程，也可参见图3b。其中，cnn即为第一网络，gcn即为第二网络，x表示相乘运算，用于进行局部特征抽取。f表示图像特征，f’表示gcn输出的特征，该特征再经fc(全连接层)回归即可得到重建模型参数，即θ1、θj、θj和β。cam表示相机参数回归，可基于f’或重建模型参数进行。需要说明的是，在图3b中，是将f’作为gcn的输出，但在其他的实施方式中，也可以将θ1、θj、θj和β直接作为gcn的输出，也即，将fc也作为gcn的一部分，本公开实施例对此不做任何限定。
71.本公开实施例的技术方案，首先通过第一网络进行关键点定位任务的学习，然后再对第一网络和第二网络构成的重建网络进行重建模型参数任务的学习，并在此过程中，利用关键点高斯热图对图像特征进行聚合抽取，引导生成局部注意力特征，然后再基于引导的局部注意力特征由第二网络对重建模型参数进行估计。由此，通过这种多任务学习对网络进行注意力引导，使得训练好的网络能够更加有效地提取重建对象的结构化信息和深度信息，获取更准确的关键点局部特征，具有很好的抗遮挡能力，继而估计出稳定、可靠的模型参数，提升3d重建的自然度和稳定性，可以有效的运用于人手娱乐交互，人手特效生成等领域，对视觉技术的生态布局发展有着重要作用。
72.图4是根据本公开实施例的3d重建方法的流程示意图，本实施例可适用于利用训练好的3d重建网络预测输入图像的重建模型参数，以便基于重建模型参数进行3d重建的情况，例如对3d人手进行重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3d视觉、增强现实等场景。该方法可由一种3d重建装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如计算机设备或服务器等。如图4所示，该方法具体包括如下：
73.s401、将目标图像输入预先训练的重建网络，其中，重建网络包括第一网络和第二网络，第一网络包括第一输出层和第二输出层。
74.其中，所述第一输出层用于预测目标图像中重建对象的关键点定位信息，第二输出层用于输出样本图像的图像特征。而对重建网络的训练过程可参见上述任意实施例的描述，此处不再赘述。
75.s402、利用第一网络，通过第一输出层输出目标图像中目标重建对象的关键点定位信息的目标预测值，通过第二输出层输出目标图像的目标图像特征。
76.s403、利用关键点定位信息的目标预测值对目标图像特征进行局部特征抽取，得到目标局部注意力特征。
77.s404、将目标局部注意力特征输入第二网络，利用第二网络输出目标重建对象的目标重建模型参数。
78.s405、根据目标重建模型参数对目标重建对象进行3d重建。
79.在一种实施方式中，关键点定位信息的目标预测值可以由关键点高斯热图表示。第一网络为cnn卷积神经网络。第二网络为gcn图卷积神经网络。同时，当第二网络为gcn图卷积神经网络时，在s404中，进一步还将预先定义的重建对象的结构图与目标局部注意力特征一起输入第二网络，由第二网络根据目标局部注意力特征和重建对象的结构图预测目标重建对象的目标重建模型参数。
80.本公开实施例的技术方案，通过多任务学习对网络进行注意力引导，使得训练好
的网络能够更加有效地提取重建对象的结构化信息和深度信息，获取更准确的关键点局部特征，具有很好的抗遮挡能力，继而估计出稳定、可靠的模型参数，提升3d重建的自然度和稳定性，可以有效的运用于人手娱乐交互，人手特效生成等领域，对视觉技术的生态布局发展有着重要作用。
81.图5是根据本公开实施例的3d重建网络的训练装置的结构示意图，本实施例可适用于训练3d重建网络，利用该3d重建网络预测输入图像的重建模型参数，以便基于重建模型参数进行3d重建的情况，例如对3d人手进行重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3d视觉、增强现实等场景。该装置可实现本公开任意实施例所述的3d重建网络的训练方法。如图5所示，该装置500具体包括：
82.构建模块501，用于将第一网络和第二网络构建为重建网络，其中，所述第一网络包括第一输出层和第二输出层，所述第一输出层用于预测样本图像中重建对象的关键点定位信息，所述第二输出层用于输出所述样本图像的图像特征；
83.第一监督训练模块502，用于将所述样本图像作为所述第一网络的输入，将所述重建对象的关键点定位信息作为所述第一输出层的第一输出标签，对所述第一网络进行第一监督训练；
84.第一特征抽取模块503，用于将所述样本图像作为经所述第一监督训练的第一网络的输入，利用所述第一输出层的输出对所述第二输出层的输出进行局部特征抽取，得到局部注意力特征；
85.第二监督训练模块504，将所述局部注意力特征输入所述第二网络，将所述重建对象的重建模型参数作为所述第二网络的第二输出标签，对所述重建网络进行第二监督训练。
86.可选的，所述关键点定位信息为关键点高斯热图。
87.可选的，第一特征抽取模块503具体用于：
88.将所述样本图像作为经所述第一监督训练的第一网络的输入，将所述第一输出层的输出和所述第二输出层的输出进行相乘运算，并将所述运算的结果作为所述局部注意力特征。
89.可选的，第二监督训练模块504，包括：
90.第一监督训练单元，用于利用所述第二输出标签对所述第二网络输出的所述重建对象的重建模型参数的预测值进行监督，通过所述监督的过程优化所述重建网络。
91.可选的，第二监督训练模块504还包括第二监督训练单元，所述第二监督训练单元包括：
92.计算子单元，用于利用所述重建模型参数的预测值计算3d关键点信息预测值；
93.第二监督训练子单元，用于将所述重建对象的3d关键点信息作为所述第二网络的第三输出标签对所述3d关键点信息预测值进行监督，通过所述监督的过程优化所述重建网络。
94.可选的，第二监督训练模块504还包括第三监督训练单元，所述第三监督训练单元包括：
95.相机参数回归子单元，用于根据所述第二网络输出的重建模型参数的预测值回归相机参数；
96.投影子单元，用于根据所述相机参数对所述3d关键点信息预测值进行投影，得到2d关键点信息预测值；
97.第三监督训练子单元，用于将所述重建对象的2d关键点信息作为所述第二网络的第四输出标签对所述2d关键点信息预测值进行监督，通过所述监督的过程优化所述重建网络。
98.可选的，所述第一网络为cnn卷积神经网络。
99.可选的，所述第二网络为gcn图卷积神经网络；相应的，第二监督训练模块504用于将所述局部注意力特征输入所述第二网络，具体为：
100.将所述局部注意力特征和预先定义的所述重建对象的结构图输入所述第二网络。
101.可选的，所述重建对象包括人手，所述重建模型包括人手模型mano，所述重建模型参数包括所述人手模型mano的形状参数和姿态参数。
102.图6是根据本公开实施例的3d重建装置的结构示意图，本实施例可适用于利用训练好的3d重建网络预测输入图像的重建模型参数，以便基于重建模型参数进行3d重建的情况，例如对3d人手进行重建的情况，涉及人工智能技术领域，尤其涉及深度学习、图像处理和计算机视觉技术，可应用于3d视觉、增强现实等场景。该装置可实现本公开任意实施例所述的3d重建方法。如图6所示，该装置600具体包括：
103.图像输入模块601，用于将目标图像输入预先训练的重建网络，其中，所述重建网络包括第一网络和第二网络，所述第一网络包括第一输出层和第二输出层；
104.中间特征输出模块602，用于利用所述第一网络，通过所述第一输出层输出所述目标图像中目标重建对象的关键点定位信息的目标预测值，通过所述第二输出层输出所述目标图像的目标图像特征；
105.第二特征抽取模块603，用于利用所述关键点定位信息的目标预测值对所述目标图像特征进行局部特征抽取，得到目标局部注意力特征；
106.重建模型参数输出模块604，用于将所述目标局部注意力特征输入所述第二网络，利用所述第二网络输出所述目标重建对象的目标重建模型参数；
107.3d重建模块605，用于根据所述目标重建模型参数对所述目标重建对象进行3d重建。
108.可选的，所述关键点定位信息的目标预测值由关键点高斯热图表示。
109.可选的，所述第一网络为cnn卷积神经网络；所述第二网络为gcn图卷积神经网络。
110.上述产品可执行本公开任意实施例所提供的方法，具备执行方法相应的功能模块和有益效果。
111.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
112.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
113.图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算
装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
114.如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
115.设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
116.计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如3d重建网络的训练方法。例如，在一些实施例中，3d重建网络的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的3d重建网络的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行3d重建网络的训练方法。
117.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
118.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
119.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
120.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
121.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
122.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
123.人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。
124.云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
125.此外，根据本公开的实施例，本公开还提供了另一种电子设备、另一种可读存储介质和另一种计算机程序产品，用于执行本公开任意实施例所述的3d重建方法的一个或多个步骤。其具体的结构和程序代码可参见如图7所示的实施例的内容描述，此处不再赘述。
126.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
127.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开
的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。