虚拟形象模型训练方法及装置与流程

1.本文件涉及虚拟化技术领域，尤其涉及一种虚拟形象模型训练方法及装置。


背景技术：

2.随着虚拟化技术的不断发展，虚拟世界逐渐成为各领域的热门话题。虚拟世界是对物理世界的模拟，在虚拟世界场景中，用户可通过特定的身份标识登录虚拟世界，在虚拟世界中从事与物理世界类似的各种行为活动，甚至在虚拟世界中从事在物理世界中无法进行的行为活动，在虚拟世界场景中，用户通常利用各自的用户角色进行活动。


技术实现要素：

3.本说明书一个或多个实施例提供了一种虚拟形象模型训练方法，包括：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型。基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得。对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
4.本说明书一个或多个实施例提供了一种虚拟形象处理方法，包括：获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求。响应于所述申请请求，采集所述设备用户在物理世界的图像数据。将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象。其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。
5.本说明书一个或多个实施例提供了一种虚拟形象模型训练装置，包括：模型训练模块，被配置为根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型。反向传播模块，被配置为基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得。模型裁剪模块，被配置为对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
6.本说明书一个或多个实施例提供了一种虚拟形象处理装置，包括：请求获取模块，被配置为获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求。图像数据采集模块，被配置为响应于所述申请请求，采集所述设备用户在物理世界的图像数据。图像重建模块，被配置为将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象。其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本
图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。
7.本说明书一个或多个实施例提供了一种虚拟形象模型训练设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型。基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得。对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
8.本说明书一个或多个实施例提供了一种虚拟形象处理设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求。响应于所述申请请求，采集所述设备用户在物理世界的图像数据。将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象。其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。
9.本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型。基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得。对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
10.本说明书一个或多个实施例提供了另一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求。响应于所述申请请求，采集所述设备用户在物理世界的图像数据。将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象。其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。
附图说明
11.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
12.图1为本说明书一个或多个实施例提供的一种虚拟形象模型训练方法处理流程图；
13.图2为本说明书一个或多个实施例提供的一种应用于虚拟世界场景的虚拟形象模
型训练方法处理流程图；
14.图3为本说明书一个或多个实施例提供的一种虚拟形象处理方法处理流程图；
15.图4为本说明书一个或多个实施例提供的一种应用于虚拟世界场景的虚拟形象处理方法处理流程图；
16.图5为本说明书一个或多个实施例提供的一种虚拟形象模型训练装置示意图；
17.图6为本说明书一个或多个实施例提供的一种虚拟形象处理装置示意图；
18.图7为本说明书一个或多个实施例提供的一种虚拟形象模型训练设备的结构示意图；
19.图8为本说明书一个或多个实施例提供的一种虚拟形象处理设备的结构示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
21.本说明书提供的一种虚拟形象模型训练方法实施例：
22.本实施例提供的虚拟形象模型训练方法，根据基于第一样本图像训练获得的第一模型生成第二样本图像，并对基于第二样本图像进行模型训练获得的第二模型进行模型裁剪处理获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。具体的，根据第一样本图像对第一待训练模型进行模型训练获得第一模型，基于基准虚拟形象和将初始图像输入第一模型得到的虚拟形象，在第一模型构建第二样本图像，通过第二样本图像进行模型训练获得第二模型，来实现对第一模型的轻量化从而得到第二模型，降低模型计算量，在此基础上，进一步对基于第二样本图像进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成，以此，通过对第二模型进行模型裁剪，得到轻量化的第二模型，降低模型计算量，提升模型处理效率，进而通过虚拟世界的接入设备部署轻量化的虚拟形象模型，提升虚拟形象生成的效率，并且能够实现在离线场景下进行虚拟形象生成。
23.参照图1，本实施例提供的虚拟形象模型训练方法，具体包括步骤s102至步骤s106。
24.步骤s102，根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型。
25.本实施例中，虚拟世界是指基于去中心化协作实现并且具有开放经济系统的虚拟的拟真世界。具体的，物理世界(真实世界)中的用户可通过接入设备接入虚拟世界，以在虚拟世界中进行行为活动，比如用户通过接入设备进行游戏交互的游戏虚拟世界，再比如用户通过接入设备进行在线会议的会议虚拟世界；所述虚拟世界的接入设备，可以是连接虚拟世界的vr(virtual reality，虚拟现实)设备、ar(augmented reality，增强现实)设备等，比如连接虚拟世界的头戴式vr设备。所述物理世界，是指与虚拟世界对应的世界，即真实存在的世界，可选的，所述物理世界包括真实世界。
26.虚拟形象是指从用户的图像出发，采用图像重建技术对用户的图像进行重建获得的用于在虚拟世界内展示用户形象的三维数字图像(三维数字形象)，或者，从用户的图像出发，采用图像重建技术对用户的图像进行重建获得的虚拟世界内的与用户具有数字孪生关系或者身份映射的数字孪生形象。比如，在采集到用户在物理世界(真实世界)的用户图像的基础上，通过将用户图像输入图神经网络gnn(graph neural network)进行图像重建，获得虚拟世界内的三维数字形象、数字孪生形象或者身份映射形象。
27.所述第一样本图像，是指通过虚拟世界的接入设备集成或者配置的图像传感器采集获得的图像，可选的，所述第一样本图像，通过虚拟世界的接入设备集成或者配置的图像传感器进行采集，所述第一样本图像包括采用图像传感器采集的彩色图像，比如采用可见光传感器采集的rgb(red green blue)图像。所述第一模型，是指用于构建虚拟形象模型的第一模型，可选的，所述第一模型包括教师模型。
28.具体实施时，为了实现在虚拟世界的接入设备部署虚拟形象模型以生成虚拟形象，可先训练获得第一模型，将该第一模型作为训练第二模型的指导模型，进一步从第二模型获得虚拟形象模型，提升虚拟形象模型的训练效率和有效性，在训练获得第一模型的过程中，本实施例提供的一种可选实施方式中，在根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型的过程中，执行如下操作：
29.对多个预测形象进行形象融合获得融合预测形象，并将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象；
30.基于所述融合预测形象、所述目标预测形象和所述第一样本图像对所述第一重建网络进行参数更新。
31.其中，多个预测形象在对第一样本图像进行多次图像重建后获得，所述多个预测形象的形象数目基于所述图像重建的重建次数确定，即多个预测形象的形象数目与图像重建的重建次数对应。
32.具体的，在对多个预测形象进行形象融合的过程中，为了提升训练效率，还可在模型训练过程中针对第一待训练模型引入融合网络，通过引入的融合网络对多个预测形象进行形象融合，所述对多个预测形象进行形象融合获得融合预测形象的过程，可通过将多个预测形象输入融合网络进行形象融合获得融合预测形象的方式实现，或者，也可通过按照多个预测形象的形象像素进行像素融合获得融合预测形象的方式实现。
33.可选的，所述多个预测形象在将所述第一样本图像输入所述第一待训练模型中的多个图像网络进行图像重建后获得；所述多个预测形象的形象数目基于所述多个图像网络的网络数目确定，即多个预测形象的形象数目与多个图像网络的网络数目对应；其中，多个图像网络的网络数目可预先设置，也可根据实际训练场景确定，本实施例在此不作具体限定。
34.需要补充的是，所述多个图像网络中任意两个图像网络的网络结构可相同，也可不同，为了提升第一模型生成的虚拟形象的多样性，可选的，多个图像网络中任意两个图像网络的网络结构不同，比如1个图像网络的网络结构为u-net(卷积神经网络)，另1个图像网络的网络结构为3d-gnn(3d图神经网络)，通过不同的网络结构提升多个预测形象的多样化，提升融合预测形象的多样化，进一步提升第一模型生成的虚拟形象的多样性。
35.在具体的执行过程中，为了提升第一模型的模型精度，通过构建的损失函数计算
的训练损失更新第一重建网络的网络参数，直至损失函数收敛得到第一模型，具体的，在上述基于融合预测形象、目标预测形象和第一样本图像对第一重建网络进行参数更新的过程中，可基于融合预测形象、目标预测形象和第一样本图像构建训练损失，基于训练损失对第一重建网络进行参数更新。
36.本实施例提供的一种可选实施方式中，在基于融合预测形象、目标预测形象和第一样本图像对第一重建网络进行参数更新的过程中，执行如下操作：
37.基于所述目标预测形象和所述第一样本图像对应的真实形象计算第一形象损失，基于所述融合预测形象和所述目标预测形象计算第二形象损失，以及基于所述融合预测形象和所述真实形象确定融合损失；
38.根据所述第一形象损失、所述第二形象损失和所述融合损失进行所述参数更新。
39.可选的，所述第一样本图像对应的真实形象，通过虚拟世界的接入设备集成或者配置的深度传感器进行采集，所述真实形象包括真实三维形象。
40.具体的，可计算目标预测形象和真实形象的第一形象差值，并计算融合预测形象和目标预测形象的第二形象差值，并基于融合预测形象和真实形象确定融合损失，根据第一形象差值、第二形象差值和融合损失构建训练损失，基于训练损失对第一重建网络进行参数更新。
41.在基于融合预测形象和真实形象确定融合损失的过程中，本实施例提供的一种可选实施方式中，采用如下方式确定融合损失：
42.对所述融合预测形象进行形象部位划分，获得多个形象部位；
43.按照所述多个形象部位中各形象部位的部位权重，计算所述融合预测形象的融合权重；
44.基于所述融合预测形象和所述真实形象计算融合形象损失，并将所述融合权重和所述融合形象损失之和作为所述融合损失。
45.可选的，所述各形象部位的部位权重基于各形象部位的部位概率确定，所述各形象部位的部位权重与各形象部位的部位概率正相关。例如，对融合预测形象进行形象部位划分，获得的多个形象部位包括手、臂膀、腿，手的部位概率为m，臂膀的部位概率为n，腿的部位概率为o，手、臂膀和腿的部位概率之间的大小关系为m》n》o，由于手的部位概率m最大，所以手的部位权重最大，臂膀的部位权重处于中间，腿的部位权重最小。
46.具体的，按照多个形象部位中各形象部位的部位权重，计算融合预测形象的融合权重的过程，可通过计算多个形象部位中各形象部位的部位权重之和作为融合预测形象的融合权重的方式实现，也可通过确定多个形象部位中各形象部位的部位权重的分配系数，按照形象部位计算部位权重与分配系数的乘积，并将各形象部位对应的乘积的加和作为融合权重的方式实现，还可通过计算多个形象部位中各形象部位的部位权重的加和的平均值作为融合权重的方式实现；
47.基于融合预测形象和真实形象计算融合形象损失的过程，可通过计算融合预测形象和真实形象的形象差值作为融合形象损失的方式实现；
48.基于融合权重和融合形象损失计算融合损失的过程，可通过计算融合权重和融合形象损失的加和作为融合损失或者计算融合权重和融合形象损失的加和的平均值作为融合损失的方式实现。
49.参见上述基于第一样本图像对第一待训练模型进行模型训练的训练方式，重复上述训练过程对第一待训练模型中的第一重建网络进行训练，并可借助多个图像网络和/或融合网络对第一重建网络进行调参，直至损失函数收敛，在损失函数收敛后即完成训练，并将训练完成的第一重建网络作为第一模型。
50.例如，在从第一待训练模型中的第一重建网络出发训练获得第一模型的过程中，构建的损失函数为：
51.loss1＝loss
reconstruction
loss
cis
loss
merge
) loss
kd
52.其中，loss1为第一待训练模型的训练损失，第一待训练模型的训练损失根据第一形象损失、融合损失和第二形象损失计算获得，loss
reconstruction
为第一形象损失，loss
cis
为融合权重，loss
merge
为融合形象损失，(loss
cis
loss
merge
)为融合损失，融合损失基于融合权重和融合形象损失计算获得，loss
kd
为第二形象损失。
53.需要说明的是，由于实际中从物理世界采集的图像数据和真实形象涉及用户隐私，所以为了保障用户隐私安全，在获取到用户的授权指令后，可采集第一样本图像和对应的真实形象，并且，在第一样本图像和对应的真实形象涉及用户隐私的基础上，无法大规模进行采集，采集的第一样本图像和对应的真实形象的数量级别也会较小，第一样本图像和第一样本图像对应的真实形象的数量级别可小于第二样本图像的数量级别。
54.除上述提供的对第一重建网络进行训练获得第一模型的实现方式之外，还可采用下述提供的三种训练方式中的任意一种进行训练获得第一模型：
55.将多个预测形象输入融合网络进行预测形象融合获得融合预测形象，并将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象；
56.基于所述融合预测形象和所述目标预测形象对所述第一重建网络和融合网络进行参数更新；
57.将参数更新后的网络参数满足收敛条件的第一重建网络作为第一模型；在此基础上，此处提供的训练方式可与本实施例提供的其他处理步骤组成新的实现方式；
58.或者，
59.将第一样本图像输入待训练模型中的多个图像网络进行图像重建获得多个预测形象，并将多个预测形象输入融合网络进行预测形象融合获得融合预测形象；
60.将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象，并基于融合预测形象和目标预测形象对第一重建网络进行参数更新；在此基础上，此处提供的训练方式可与本实施例提供的其他处理步骤组成新的实现方式；
61.或者，
62.将第一样本图像输入待训练模型中的多个图像网络进行图像重建获得多个预测形象，并将多个预测形象输入融合网络进行预测形象融合获得融合预测形象；
63.将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象，并基于融合预测形象和目标预测形象对第一重建网络和融合网络进行参数更新；
64.将参数更新后的网络参数满足收敛条件的第一重建网络作为第一模型；在此基础上，此处提供的训练方式可与本实施例提供的其他处理步骤组成新的实现方式。
65.步骤s104，基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像。
66.上述基于第一样本图像对第一待训练模型进行模型训练获得第一模型，本步骤中，通过第一模型生成第二待训练模型的训练数据，具体的，以在第一模型对初始图像进行图像重建获得的虚拟形象和基准虚拟形象为依据，在第一模型进行反向传播处理，从而获得第二样本图像。
67.本实施例所述基准虚拟形象，是指用于与虚拟形象进行对比的对比基准或者对比依据，可选的，所述基准虚拟形象包括：将第一样本图像输入第一模型进行图像重建获得的虚拟形象，或者，在虚拟世界中采集的虚拟形象，或者，对在虚拟世界中采集的虚拟形象进行形象预处理后获得的虚拟形象；其中，所述形象预处理包括随机裁剪、随机旋转和/或叠加噪声。
68.上述与基准虚拟形象共同在第一模型进行反向传播处理的虚拟形象，可在对初始图像进行图像重建后获得，为了提升图像重建效率，可选的，所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得。所述初始图像包括随机生成的图像或者对随机生成的图像进行噪声叠加获得的图像。所述图像重建包括三维图像重建，所述图像重建包括从初始图像中提取图像特征，基于图像特征进行三维图像重建。
69.需要说明的是，本实施例中，基于第一模型生成训练第二待训练模型的第二样本图像，为了增强对第二待训练模型进行模型训练获得的第二模型的模型性能，第二样本图像的数量可尽可能高，可选的，第二样本图像的数量级别高于第一样本图像的数量级别。
70.具体实施时，为了提升第二样本图像的有效性，以进一步通过第二样本图像对第二待训练模型进行模型训练获得第二模型，提升第二模型的模型精度，可在基于基准虚拟形象和虚拟形象在第一模型进行反向传播处理的过程中，根据基于基准虚拟形象和虚拟形象计算的形象差异数据对初始图像进行参数调整，即所述第二样本图像，在根据形象差异数据对初始图像进行图像参数调整后获得；所述形象差异数据基于基准虚拟形象和虚拟形象计算获得。本实施例提供的一种可选实施方式中，在基于基准虚拟形象和虚拟形象在第一模型进行反向传播处理，获得第二样本图像的过程中，执行如下操作：
71.基于所述基准虚拟形象和所述虚拟形象计算形象差异数据；
72.根据所述形象差异数据对所述初始图像进行图像参数调整，获得所述第二样本图像。
73.其中，所述形象差异数据是指基准虚拟形象和虚拟形象之间的形象差异值，可选的，所述形象差异数据包括基准虚拟形象和虚拟形象的形象差距，此处的形象差距可用欧式距离表示。
74.具体的，基于基准虚拟形象和虚拟形象计算形象差异数据，可通过将基准虚拟形象和虚拟形象输入差异计算模型进行形象差异计算，获得形象差异数据的方式实现；通过基于形象差异数据对初始图像进行图像参数调整，来获得基准虚拟形象对应的第二样本图像，即在第一模型对基准虚拟形象进行反向传播处理获得的第二样本图像，从而提升第二样本图像的有效性。
75.需要补充的是，步骤s104可被替换为在所述第一模型对基准虚拟形象进行反向传播处理，获得第二样本图像，并与本实施例提供的其他处理步骤组成新的实现方式。具体此
处进行反向传播处理的实现过程，与基于基准虚拟形象和虚拟形象在第一模型进行反向传播处理获得第二样本图像的实现过程类似，本实施例在此不再赘述。
76.步骤s106，对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
77.上述在第一模型对基准虚拟形象进行反向传播处理获得第二样本图像，本步骤中，对基于第二样本图像进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成，具体的，第二模型在基于第二样本图像对第二待训练模型进行模型训练后获得。
78.实际应用中，虚拟形象模型在生成虚拟形象的过程中，可能存在针对不同的用户，生成同样的虚拟形象，在此情况下，无法针对不同的用户灵活化地生成对应的虚拟形象，生成的虚拟形象不具有针对性，导致用户的体验感较差，针对于此，为了实现虚拟形象模型生成的虚拟形象的多样性和灵活性，可在基于第二样本图像对第二待训练模型进行模型训练获得第二模型的过程中，针对每一轮模型训练所需的样本图像进行形象特征检测，以此来评价每一轮模型训练所需的样本图像的图像损失，防止每一轮模型训练的样本图像的模式塌陷，进而提升基于样本图像进行模型训练获得的第二模型的灵活性，从而提升虚拟形象模型的灵活性。
79.本实施例提供的一种可选实施方式中，所述第二待训练模型的训练损失包括图像损失；
80.可选的，所述图像损失基于所述第二样本图像确定，具体所述图像损失根据所述第二样本图像在至少一个形象特征维度的形象特征数据和所述第二样本图像确定或者根据第二样本图像在至少一个形象特征维度的形象特征数据的数据方差和第二样本图像的图像方差确定，所述图像损失，采用如下方式计算获得：
81.计算所述第二样本图像在至少一个形象特征维度的形象特征数据的数据方差，以及计算所述第二样本图像的图像方差；
82.基于所述数据方差和所述图像方差计算所述图像损失。
83.其中，所述形象特征维度包括下述至少一项：姿态特征维度、情绪类别维度、关键部位位置维度、形象完整度维度；所述形象特征数据，包括下述至少一项：第二样本图像中目标形象的姿态特征数据、目标形象的情绪类别、目标形象的关键部位位置数据、目标形象的形象完整度。例如，姿态特征数据为目标形象是正向或者反向的数据，情绪类别为目标形象的情绪类别是正面情绪或者负面情绪，关键部位位置数据为目标形象的左手位置数据，形象完整度为目标形象的完整度或者残缺率。关键部位位置可以是关键特征点，形象完整度是指目标形象的完整程度。
84.在此基础上，本实施例提供的一种可选实施方式中，所述形象特征数据，通过如下方式获得：将所述第二样本图像输入所述第二待训练模型中的特征检测网络进行形象特征检测，获得所述形象特征数据；可选的，所述形象特征检测，包括下述至少一项：
85.对所述第二样本图像中的目标形象进行姿态特征检测，对所述目标形象进行情绪类别检测，检测所述目标形象的关键部位位置，检测所述目标形象的形象完整度。
86.其中，情绪类别包括正面情绪或者负面情绪，检测目标形象的关键部位位置的过
程，可通过检测目标形象的关键部位点或者检测目标形象的关键特征点的方式实现。
87.此外，所述形象特征数据也可通过如下方式获得：对第二样本图像进行形象特征检测获得形象特征数据，或者，对第二样本图像中的目标形象进行形象特征检测获得形象特征数据。
88.除上述提供的第二待训练模型的训练损失包括图像损失之外，第二待训练模型的训练损失还可包括形象对比损失，可选的，形象对比损失包括形象损失和/或对比损失，以此来评价第二待训练模型的拟合能力，本实施例提供的一种可选实施方式中，所述第二待训练模型的训练损失还包括形象对比损失；
89.可选的，所述形象对比损失，采用如下方式计算获得：基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并将更新获得的第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
90.根据所述第二预测形象、第三预测形象和所述基准虚拟形象计算所述形象对比损失；
91.可选的，所述第一预测形象在将所述第二样本图像输入所述第一模型后获得；所述第三预测形象在将所述第三样本图像输入所述第一模型后获得。
92.具体的，在基于第二样本图像对第二待训练模型中的第二重建网络进行一轮模型训练(包括对第二重建网络进行参数更新)之后，若对第二重建网络进行参数调整后的网络参数不满足收敛条件，即参数更新后的网络参数不满足收敛条件，基于基准虚拟形象和第一预测形象对第二样本图像进行图像参数更新，将参数更新获得的第三样本图像输入第二重建网络进行图像重建获得第二预测形象，并以第二预测形象、第三预测形象和基准虚拟形象为依据计算形象对比损失。
93.在上述根据第二预测形象、第三预测形象和基准虚拟形象计算形象对比损失的过程中，本实施例提供的一种可选实施方式中，采用如下方式计算形象对比损失：
94.计算所述第二预测形象和所述基准虚拟形象的形象损失，并计算所述第二预测形象和所述第三预测形象的对比损失；
95.基于所述形象损失和所述对比损失计算所述形象对比损失。
96.其中，所述形象损失包括第二预测形象和基准虚拟形象的形象差异数据，所述对比损失包括第二预测形象和第三预测形象的形象差异数据。
97.具体的，基于形象损失和对比损失计算形象对比损失的过程，可通过将形象损失和对比损失之和作为形象对比损失，或者，将形象损失与第一分配权重的乘积和对比损失与第二分配权重的乘积之和作为形象对比损失的方式实现。
98.上述详细说明了第二待训练模型的训练损失的组成部分，第二待训练模型的训练损失包括图像损失和/或形象对比损失，训练损失可以是图像损失、形象对比损失二者中的任意一者，也可以是图像损失与形象对比损失之和或者差值，还可以是图像损失与第一分配权重的乘积和形象对比损失与第二分配权重的乘积之和或者差值，下述对基于第二样本图像对第二待训练模型进行模型训练的过程提供的两种实现方式进行详细说明。
99.(1)实现方式一
100.在基于第二样本图像对第二待训练模型进行模型训练的过程中，若前一轮模型训练后的模型参数不满足收敛条件，对前一轮的样本图像进行图像参数更新，并基于参数更
新后的样本图像进行下一轮的模型训练，为了防止模型训练获得的第二模型的模式塌陷，可对每一轮的样本图像在至少一个形象特征维度进行形象特征检测，并计算相应的损失值，具体可采用如下方式对第二待训练模型进行模型训练：
101.基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并将更新获得的第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
102.基于第二预测形象、第三预测形象、基准虚拟形象和第三样本图像对第二重建网络进行参数更新；
103.或者，
104.基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并对更新获得的第三样本图像进行形象特征检测，获得至少一个形象特征维度的形象特征数据；
105.将所述第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
106.基于所述第二预测形象、第三预测形象、基准虚拟形象和第三样本图像对第二重建网络进行参数更新。
107.可选的，所述第一预测形象在将所述第二样本图像输入所述第一模型后获得；所述第三预测形象在将所述第三样本图像输入所述第一模型后获得。
108.在基于第二预测形象、第三预测形象、基准虚拟形象和第三样本图像对第二重建网络进行参数更新的过程中，根据第三样本图像的图像方差与第三样本图像在至少一个形象特征维度的形象特征数据的数据方差计算图像损失，并根据第二预测形象、第三预测形象和基准虚拟形象计算形象对比损失，基于图像损失和形象对比损失构建的训练损失对第二重建网络进行参数更新，在根据第二预测形象、第三预测形象和基准虚拟形象计算形象对比损失的过程中，计算第二预测形象和基准虚拟形象的形象损失，并计算第二虚拟形象和第三虚拟形象的对比损失，基于形象损失和对比损失计算形象对比损失，具体计算形象对比损失的实现过程，与上述第二待训练模型的训练损失包括的形象比对损失的计算过程类似，本实施例在此不再赘述。
109.参见上述基于第二样本图像对第二待训练模型进行模型训练的训练方式，重复上述训练过程对第二待训练模型中的第二重建网络进行训练，并可借助特征检测网络对第二重建网络进行调参，直至损失函数收敛，在损失函数收敛后即完成训练，并将训练完成的第二重建网络作为第二模型。
110.例如，在从第二待训练模型中的第二重建网络出发训练获得第二模型的过程中，构建的损失函数为：
111.loss2＝(loss
pattern
loss
variance
) (loss
l2
loss
kd
)
112.其中，loss2为第二待训练模型的训练损失，第二待训练模型的训练损失根据图像损失和形象对比损失计算获得，(loss
pattern
loss
variance
)为图像损失，(loss
l2
loss
kd
)为形象对比损失，图像损失根据第三样本图像在至少一个形象特征维度的形象特征数据的数据方差和第三样本图像的图像方差计算获得，loss
pattern
为第三样本图像在至少一个形象特征维度的形象特征数据的数据方差，loss
variance
为第三样本图像的图像方差，形象对比损失
根据形象损失和对比损失计算获得，loss
l2
为形象损失，具体为第二预测形象和基准虚拟形象的形象损失，loss
kd
为对比损失，具体为第二虚拟形象和第三虚拟形象的对比损失。
113.(2)实现方式二
114.在基于第二样本图像对第二待训练模型进行模型训练的过程中，也可仅通过形象对比损失来评价模型的拟合能力，具体可采用如下方式对第二待训练模型进行模型训练：
115.基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并将更新获得的第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
116.根据所述第二预测形象、第三预测形象和所述基准虚拟形象进行第二重建网络的参数更新；
117.可选的，所述第一预测形象在将所述第二样本图像输入所述第一模型后获得；所述第三预测形象在将所述第三样本图像输入所述第一模型后获得。
118.上述根据第二预测形象、第三预测形象和基准虚拟形象进行第二重建网络的参数更新的过程，可通过根据第二预测形象、第三预测形象和基准虚拟形象计算训练损失，并通过训练损失对第二重建网络进行参数更新的方式实现。
119.此外，除上述提供的两种对第二待训练模型进行模型训练的实现方式之外，也可基于基准虚拟形象和第一预测形象对第二样本图像进行图像参数更新，基于参数更新获得的第三样本图像在至少一个形象特征维度的形象特征数据和第三样本图像计算图像损失，并通过图像损失对第二待训练模型中的第二重建网络进行参数更新。
120.在基于上述对第二待训练模型进行模型训练的训练方式获得第二模型的基础上，为了进一步对第二模型进行模型简化，提升第二模型的模型适应力，提升基于第二模型生成虚拟形象的便捷性和效率，可进一步对第二模型进行模型裁剪处理，本实施例提供的一种可选实施方式中，在对基于第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理的过程中，执行如下操作：
121.对所述第二模型的模型参数进行参数更新处理；
122.确定参数更新后的模型参数中的目标模型参数，并对所述目标模型参数进行参数裁剪。
123.例如，目标模型参数为参数是0的参数，确定参数更新后的模型参数中为0的模型参数，将参数为0的模型参数进行裁剪或者剪切或者剪枝。
124.在对第二模型的模型参数进行参数更新处理的过程中，为了提升参数更新的精确度，并确保训练获得的虚拟形象模型生成的虚拟形象的局部质量一致性，可基于第二中间模型输出的重建结果的部位评估分对局部质量的一致性进行把控，本实施例提供的一种可选实施方式中，通过如下方式对第二模型的模型参数进行参数更新处理：
125.将第二中间模型对所述第二样本图像的第一重建结果输入形象评估模型进行形象评估，输出所述第一重建结果中多个形象部位的部位评估分；
126.根据所述第二中间模型的特定模型参数、所述部位评估分、所述第一重建结果和第二重建结果对所述第二中间模型进行参数更新；
127.可选的，所述第二中间模型在对所述第二模型的目标模型参数进行参数裁剪后获得；所述第二重建结果在将所述第二样本图像输入所述第二模型进行图像重建后获得。
128.其中，所述部位评估分包括第一重建结果中目标形象的多个形象部位的质量评分，比如左手的质量评分为x分；所述特定模型参数包括第二中间模型的模型参数中的特定模型参数，比如第二中间模型的模型参数中的非0参数；所述第一重建结果包括将第二样本图像输入第二中间模型进行图像重建后获得的预测形象，所述第二重建结果包括将第二样本图像输入第二模型进行图像重建后获得的预测形象。
129.在此基础上，本实施例提供的一种可选实施方式中，在根据第二中间模型的特定模型参数、部位评估分、第一重建结果和第二重建结果对第二中间模型进行参数更新的过程中，执行如下操作：
130.确定所述特定模型参数的参数数目，计算目标评估分中每两个评估分的差值，以及计算所述第一重建结果和所述第二重建结果的重建损失；所述目标评估分从所述部位评估分中随机选择获得；
131.基于所述参数数目、所述差值和所述重建损失进行所述参数更新。
132.其中，基于参数数目、每两个评估分的差值和重建损失进行参数更新，包括将参数数目、每两个评估分的差值的平均值和重建损失三者之和作为训练损失，基于训练损失对第二中间模型进行参数更新。
133.例如，模型参数中的特定模型参数为非0参数，确定非0参数的参数数目为b，所有的部位评估分为c、d、e、f、g，从部位评估分中随机选择目标评估分为c、d、e，c、d、e的大小关系为c》d》e，计算目标评估分中每两个评估分的差值的平均值[(c-d) (c-e) (d-e)]/3，计算第一重建结果和第二重建结果的重建损失h，训练损失为b [(c-d) (c-e) (d-e)]/3 h，基于该训练损失对第二中间模型进行参数更新。
[0134]
参见上述对第二模型进行模型裁剪处理的方式，重复上述模型裁剪处理过程对第二模型进行模型裁剪处理，直至进行模型参数更新后的模型参数满足收敛条件，即将该模型参数对应的模型作为虚拟形象模型。
[0135]
例如，在对第二模型进行模型裁剪处理的过程中，即相当于对第二模型进行进一步模型训练，构建的损失函数为：
[0136]
loss3＝loss
sparse
loss
quality
loss
reconstruction
[0137]
其中，loss3为训练损失，此处的训练损失根据特定模型参数的参数数目、目标评估分中每两个评估分的差值和重建损失计算获得，loss
sparse
为特定模型参数的参数数目，loss
quality
为目标评估分中每两个评估分的差值的平均值，loss
reconstruction
为重建损失，目标评估分从第二样本图像的第一重建结果中多个形象部位的部位评估分中随机抽选获得，重建损失根据第一重建结果和第二样本图像在第二模型的第二重建结果计算获得。
[0138]
此外，上述对第二模型的模型参数进行参数更新处理的实现过程，可被替换为对第二样本图像在第二模型的图像重建结果进行形象评估，获得图像重建结果中多个形象部位的部位评估分；根据从部位评估分中随机选择的目标评估分和第二模型的特定模型参数的参数数目，对第二模型进行参数更新，并与本实施例提供的其他处理步骤组成新的实现方式；
[0139]
或者，也可被替换为对第二样本图像在第二模型的图像重建结果进行形象评估，获得图像重建结果中多个形象部位的部位评估分；根据部位评估分对第二模型进行参数更新，即根据从部位评估分中随机选择的目标评估分对第二模型进行参数更新，并与本实施
例提供的其他处理步骤组成新的实现方式。
[0140]
需要说明的是，此处根据部位评估分对第二模型进行参数更新，即是根据从部位评估分中随机选择的目标评估分中每两个评估分的差值对第二模型进行参数更新。
[0141]
实际应用中，在对第二模型进行模型裁剪处理获得虚拟形象模型的基础上，可将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成，本实施例提供的一种可选实施方式中，所述虚拟形象生成，包括：根据所述接入设备的设备用户针对虚拟形象的申请请求，采集所述设备用户在所述物理世界的图像数据；将所述图像数据输入所述虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象。
[0142]
需要说明的是，步骤s106可被替换为对基于第二样本图像进行模型训练获得的第二模型进行模型裁剪处理获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成，并与本实施例提供的其他处理步骤组成新的实现方式。
[0143]
综上所述，本实施例提供的虚拟形象模型训练方法，可应用于服务器，首先，根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；
[0144]
其次，基于基准虚拟形象和将初始图像输入第一模型得到的虚拟形象，在第一模型构建第二样本图像，在此过程中，通过基准虚拟形象和虚拟形象的形象差异数据，对初始图像进行图像参数调整，获得第二样本图像，以此获得基准虚拟形象通过反向传播获得的第二样本图像；
[0145]
再通过在第一模型构建的第二样本图像进行模型训练获得第二模型，来实现对第一模型的简化从而得到第二模型，降低模型计算量；
[0146]
在此基础上，进一步对基于第二样本图像进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成；以此，通过对第二模型进行模型裁剪，实现对第二模型进行模型简化，降低模型计算量，提升模型处理效率，进而实现在接入设备进行模型部署，提升虚拟形象生成的效率，并且实现在离线场景下的虚拟形象生成。
[0147]
下述以本实施例提供的一种虚拟形象模型训练方法在虚拟世界场景的应用为例，对本实施例提供的虚拟形象模型训练方法进行进一步说明，参见图2，应用于虚拟世界场景的虚拟形象模型训练方法，具体包括如下步骤。
[0148]
步骤s202，根据从物理世界采集的第一样本彩色图像对第一待训练模型进行模型训练，获得第一模型。
[0149]
步骤s204，将初始彩色图像输入第一模型进行图像重建获得虚拟形象。
[0150]
步骤s206，基于基准虚拟形象和虚拟形象计算形象差异数据，并根据形象差异数据对初始彩色图像进行图像参数调整，获得第二样本彩色图像。
[0151]
步骤s208，基于第二样本彩色图像对第二待训练模型进行模型训练，获得第二模型。
[0152]
步骤s210，对第二模型的目标模型参数进行参数裁剪，获得第二中间模型。
[0153]
步骤s212，将第二中间模型对第二样本彩色图像的第一重建结果输入形象评估模型进行形象评估，输出第一重建结果中多个形象部位的部位评估分。
[0154]
步骤s214，根据第二中间模型的特定模型参数、部位评估分、第一重建结果和第二重建结果对第二中间模型进行参数更新。
[0155]
步骤s216，确定参数更新后的模型参数中的目标模型参数，并对目标模型参数进行参数裁剪。
[0156]
步骤s218，若参数裁剪后的第二中间模型满足收敛条件，将该第二中间模型作为虚拟形象模型。
[0157]
本说明书提供的一种虚拟形象处理方法实施例如下：
[0158]
本实施例提供的虚拟形象处理方法，可应用于虚拟世界的接入设备，根据虚拟世界的接入设备的设备用户针对虚拟世界的虚拟形象的申请请求，采集设备用户在物理世界的图像数据，并将图像数据输入虚拟形象模型进行图像重建处理，获得设备用户在虚拟世界的虚拟形象，以此根据设备用户的多样化需求，向对应的设备用户生成虚拟形象，提升生成的虚拟形象的灵活性。
[0159]
参照图3，本实施例提供的虚拟形象处理方法，具体包括步骤s302至步骤s306。
[0160]
步骤s302，获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求。
[0161]
本实施例中，虚拟世界是指基于去中心化协作实现并且具有开放经济系统的虚拟的拟真世界。具体的，物理世界(真实世界)中的用户可通过接入设备接入虚拟世界，以在虚拟世界中进行行为活动，比如用户通过接入设备进行游戏交互的游戏虚拟世界，再比如用户通过接入设备进行在线会议的会议虚拟世界；所述虚拟世界的接入设备，可以是连接虚拟世界的vr(virtual reality，虚拟现实)设备、ar(augmented reality，增强现实)设备等，比如连接虚拟世界的头戴式vr设备。所述物理世界，是指与虚拟世界对应的世界，即真实存在的世界，可选的，所述物理世界包括真实世界。
[0162]
虚拟形象是指从用户的图像出发，采用图像重建技术对用户的图像进行重建获得的用于在虚拟世界内展示用户形象的三维数字图像(三维数字形象)，或者，从用户的图像出发，采用图像重建技术对用户的图像进行重建获得的虚拟世界内的与用户具有数字孪生关系或者身份映射的数字孪生形象。比如，在采集到用户在物理世界(真实世界)的用户图像的基础上，通过将用户图像输入图神经网络gnn(graph neural network)进行图像重建，获得虚拟世界内的三维数字形象、数字孪生形象或者身份映射形象。
[0163]
具体实施时，获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求，申请请求是指设备用户对设备用户在虚拟世界的虚拟形象的申请请求。
[0164]
步骤s304，响应于所述申请请求，采集所述设备用户在物理世界的图像数据。
[0165]
上述获取虚拟世界的接入设备的设备用户针对虚拟世界的虚拟形象的申请请求，本步骤中，采集设备用户在物理世界的图像数据。
[0166]
可选的，所述图像数据，通过虚拟世界的接入设备集成或者配置的图像传感器进行采集，所述图像数据包括彩色图像数据，比如通过虚拟世界的接入设备集成或者配置的可见光传感器采集的彩色图像数据，彩色图像数据可以是rgb图像数据。
[0167]
步骤s306，将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象。
[0168]
上述采集设备用户在物理世界的图像数据，本步骤中，将图像数据输入虚拟形象模型进行图像重建处理，获得设备用户在虚拟世界的虚拟形象。
[0169]
具体实施时，所述图像重建处理，包括：从所述图像数据中提取图像特征，并基于
图像特征进行三维图像重建，获得设备用户在虚拟世界的虚拟形象。
[0170]
实际应用中，为了提升生成虚拟形象的效率，可提前训练获得虚拟形象模型，将虚拟形象模型部署于虚拟世界的接入设备，一方面，可提升虚拟形象生成的效率，无需将采集的图像数据发送至服务器在服务器进行虚拟形象生成，以此提升虚拟形象的生成效率，另一方面将虚拟形象模型部署于虚拟世界的接入设备之后，在离线场景下也可利用接入设备部署的虚拟形象模型生成用户的虚拟形象，提升用户体验，此处的离线场景是指网络处于离线状态。
[0171]
在具体的执行过程中，所述虚拟形象模型可通过如下方式训练获得：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
[0172]
所述第一样本图像，是指通过虚拟世界的接入设备集成或者配置的图像传感器采集获得的图像，可选的，所述第一样本图像，通过虚拟世界的接入设备集成或者配置的图像传感器进行采集，所述第一样本图像包括采用图像传感器采集的彩色图像，比如采用可见光传感器采集的rgb图像。所述第一模型，是指用于构建虚拟形象模型的第一模型，可选的，所述第一模型包括教师模型。
[0173]
具体实施时，为了实现在虚拟世界的接入设备部署虚拟形象模型以生成虚拟形象，可在服务器先训练获得第一模型，将该第一模型作为训练第二模型的指导模型，进一步从第二模型获得虚拟形象模型，提升虚拟形象模型的训练效率和有效性，在训练获得第一模型的过程中，服务器在根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型的过程中，可执行如下操作：
[0174]
对多个预测形象进行形象融合获得融合预测形象，并将所述第一样本图像输入第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象；
[0175]
基于融合预测形象、目标预测形象和第一样本图像对第一重建网络进行参数更新。
[0176]
其中，多个预测形象在对第一样本图像进行多次图像重建后获得，所述多个预测形象的形象数目基于所述图像重建的重建次数确定，即多个预测形象的形象数目与图像重建的重建次数对应。
[0177]
具体的，服务器在对多个预测形象进行形象融合的过程中，为了提升训练效率，还可在模型训练过程中针对第一待训练模型引入融合网络，通过引入的融合网络对多个预测形象进行形象融合，所述对多个预测形象进行形象融合获得融合预测形象的过程，可通过将多个预测形象输入融合网络进行形象融合获得融合预测形象的方式实现，或者，也可通过按照多个预测形象的形象像素进行像素融合获得融合预测形象的方式实现。
[0178]
可选的，所述多个预测形象在将所述第一样本图像输入所述第一待训练模型中的多个图像网络进行图像重建后获得；所述多个预测形象的形象数目基于所述多个图像网络的网络数目确定，即多个预测形象的形象数目与多个图像网络的网络数目对应；其中，多个图像网络的网络数目可预先设置，也可根据实际训练场景确定，本实施例在此不作具体限
定。
[0179]
需要补充的是，所述多个图像网络中任意两个图像网络的网络结构可相同，也可不同，为了提升第一模型生成的虚拟形象的多样性，可选的，多个图像网络中任意两个图像网络的网络结构不同，比如1个图像网络的网络结构为u-net(卷积神经网络)，另1个图像网络的网络结构为3d-gnn(3d图神经网络)，通过不同的网络结构提升多个预测形象的多样化，提升融合预测形象的多样化，进一步提升第一模型生成的虚拟形象的多样性。
[0180]
在具体的执行过程中，为了提升第一模型的模型精度，通过构建的损失函数计算的训练损失更新第一重建网络的网络参数，直至损失函数收敛得到第一模型，具体的，在上述基于融合预测形象和目标预测形象对第一重建网络进行参数更新的过程中，可基于融合预测形象和目标预测形象构建训练损失，基于训练损失对第一重建网络进行参数更新。
[0181]
服务器在基于融合预测形象、目标预测形象和第一样本图像对第一重建网络进行参数更新的过程中，可执行如下操作：
[0182]
基于目标预测形象和第一样本图像对应的真实形象计算第一形象损失，基于融合预测形象和目标预测形象计算第二形象损失，以及基于融合预测形象和真实形象确定融合损失；
[0183]
根据第一形象损失、第二形象损失和融合损失进行参数更新。
[0184]
可选的，所述第一样本图像对应的真实形象，通过虚拟世界的接入设备集成或者配置的深度传感器进行采集，所述真实形象包括真实三维形象。
[0185]
具体的，服务器可计算目标预测形象和真实形象的第一形象差值，并计算融合预测形象和目标预测形象的第二形象差值，并基于融合预测形象和真实形象确定融合损失，根据第一形象差值、第二形象差值和融合损失构建训练损失，基于训练损失对第一重建网络进行参数更新。
[0186]
在基于融合预测形象和真实形象确定融合损失的过程中，可采用如下方式确定融合损失：对所述融合预测形象进行形象部位划分，获得多个形象部位；
[0187]
按照所述多个形象部位中各形象部位的部位权重，计算所述融合预测形象的融合权重；
[0188]
基于所述融合预测形象和所述真实形象计算融合形象损失，并将所述融合权重和所述融合形象损失之和作为所述融合损失。
[0189]
可选的，所述各形象部位的部位权重基于各形象部位的部位概率确定，所述各形象部位的部位权重与各形象部位的部位概率正相关。例如，对融合预测形象进行形象部位划分，获得的多个形象部位包括手、臂膀、腿，手的部位概率为m，臂膀的部位概率为n，腿的部位概率为o，手、臂膀和腿的部位概率之间的大小关系为m》n》o，由于手的部位概率m最大，所以手的部位权重最大，臂膀的部位权重处于中间，腿的部位权重最小。
[0190]
具体的，服务器按照多个形象部位中各形象部位的部位权重，计算融合预测形象的融合权重的过程，可通过计算多个形象部位中各形象部位的部位权重之和作为融合预测形象的融合权重的方式实现，也可通过确定多个形象部位中各形象部位的部位权重的分配系数，按照形象部位计算部位权重与分配系数的乘积，并将各形象部位对应的乘积的加和作为融合权重的方式实现，还可通过计算多个形象部位中各形象部位的部位权重的加和的平均值作为融合权重的方式实现；
[0191]
基于融合预测形象和真实形象计算融合形象损失的过程，可通过计算融合预测形象和真实形象的形象差值作为融合形象损失的方式实现；
[0192]
基于融合权重和融合形象损失计算融合损失的过程，可通过计算融合权重和融合形象损失的加和作为融合损失或者计算融合权重和融合形象损失的加和的平均值作为融合损失的方式实现。
[0193]
参见上述基于第一样本图像对第一待训练模型进行模型训练的训练方式，重复上述训练过程对第一待训练模型中的第一重建网络进行训练，并可借助多个图像网络和/或融合网络对第一重建网络进行调参，直至损失函数收敛，在损失函数收敛后即完成训练，并将训练完成的第一重建网络作为第一模型。
[0194]
例如，在从第一待训练模型中的第一重建网络出发训练获得第一模型的过程中，构建的损失函数为：
[0195]
loss1＝loss
reconstruction
loss
cis
loss
merge
) loss
kd
[0196]
其中，loss1为第一待训练模型的训练损失，第一待训练模型的训练损失根据第一形象损失、融合损失和第二形象损失计算获得，loss
reconstruction
为第一形象损失，loss
cis
为融合权重，loss
merge
为融合形象损失，(loss
cis
loss
merge
)为融合损失，融合损失基于融合权重和融合形象损失计算获得，loss
kd
为第二形象损失。
[0197]
需要说明的是，由于实际中物理世界的用户图像和真实形象涉及用户隐私，所以为了保障用户隐私安全，在获取到用户的授权指令后，服务器可采集第一样本图像和对应的真实形象，并且，在第一样本图像和对应的真实形象涉及用户隐私的基础上，无法大规模进行采集，采集的第一样本图像和对应的真实形象的数量级别也会较小，第一样本图像和第一样本图像对应的真实形象的数量级别可小于第二样本图像的数量级别。
[0198]
除上述提供的对第一重建网络进行训练获得第一模型的实现方式之外，还可采用下述提供的三种训练方式中的任意一种进行训练获得第一模型：
[0199]
将多个预测形象输入融合网络进行预测形象融合获得融合预测形象，并将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象；
[0200]
基于所述融合预测形象和所述目标预测形象对所述第一重建网络和融合网络进行参数更新；
[0201]
将参数更新后的网络参数满足收敛条件的第一重建网络作为第一模型；在此基础上，此处提供的训练方式可与本实施例提供的其他处理步骤组成新的实现方式；
[0202]
或者，
[0203]
将第一样本图像输入待训练模型中的多个图像网络进行图像重建获得多个预测形象，并将多个预测形象输入融合网络进行预测形象融合获得融合预测形象；
[0204]
将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象，并基于融合预测形象和目标预测形象对第一重建网络进行参数更新；在此基础上，此处提供的训练方式可与本实施例提供的其他处理步骤组成新的实现方式；
[0205]
或者，
[0206]
将第一样本图像输入待训练模型中的多个图像网络进行图像重建获得多个预测形象，并将多个预测形象输入融合网络进行预测形象融合获得融合预测形象；
[0207]
将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象，并基于融合预测形象和目标预测形象对第一重建网络和融合网络进行参数更新；
[0208]
将参数更新后的网络参数满足收敛条件的第一重建网络作为第一模型；在此基础上，此处提供的训练方式可与本实施例提供的其他处理步骤组成新的实现方式。
[0209]
上述服务器基于第一样本图像对第一待训练模型进行模型训练获得第一模型，在此之后，服务器通过第一模型生成第二待训练模型的训练数据，具体的，以在第一模型对初始图像进行图像重建获得的虚拟形象和基准虚拟形象为依据，在第一模型进行反向传播处理，从而获得第二样本图像。
[0210]
本实施例所述基准虚拟形象，是指用于与虚拟形象进行对比的对比基准或者对比依据，可选的，所述基准虚拟形象包括：将第一样本图像输入第一模型进行图像重建获得的虚拟形象，或者，在虚拟世界中采集的虚拟形象，或者，对在虚拟世界中采集的虚拟形象进行形象预处理后获得的虚拟形象；其中，所述形象预处理包括随机裁剪、随机旋转和/或叠加噪声。
[0211]
上述与基准虚拟形象共同在第一模型进行反向传播处理的虚拟形象，可在对初始图像进行图像重建后获得，为了提升图像重建效率，可选的，所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得。所述初始图像包括随机生成的图像或者对随机生成的图像进行噪声叠加获得的图像。所述图像重建包括三维图像重建，所述图像重建包括从初始图像中提取图像特征，基于图像特征进行三维图像重建。
[0212]
需要说明的是，本实施例中，服务器基于第一模型生成训练第二待训练模型的第二样本图像，为了增强对第二待训练模型进行模型训练获得的第二模型的模型性能，第二样本图像的数量可尽可能高，可选的，第二样本图像的数量级别高于第一样本图像的数量级别。
[0213]
具体实施时，为了提升第二样本图像的有效性，以进一步通过第二样本图像对第二待训练模型进行模型训练获得第二模型，提升第二模型的模型精度，可在基于基准虚拟形象和虚拟形象在第一模型进行反向传播处理的过程中，根据基于基准虚拟形象和虚拟形象计算的形象差异数据对初始图像进行参数调整，即所述第二样本图像，在根据形象差异数据对初始图像进行图像参数调整后获得；所述形象差异数据基于基准虚拟形象和虚拟形象计算获得。服务器在基于基准虚拟形象和虚拟形象在第一模型进行反向传播处理，获得第二样本图像的过程中，可执行如下操作：
[0214]
基于所述基准虚拟形象和所述虚拟形象计算形象差异数据；
[0215]
根据所述形象差异数据对所述初始图像进行图像参数调整，获得所述第二样本图像。
[0216]
其中，所述形象差异数据是指基准虚拟形象和虚拟形象之间的形象差异值，可选的，所述形象差异数据包括基准虚拟形象和虚拟形象的形象差距，此处的形象差距可用欧式距离表示。
[0217]
具体的，服务器基于基准虚拟形象和虚拟形象计算形象差异数据，可通过将基准虚拟形象和虚拟形象输入差异计算模型进行形象差异计算，获得形象差异数据的方式实现；通过基于形象差异数据对初始图像进行图像参数调整，来获得基准虚拟形象对应的第
二样本图像，即在第一模型对基准虚拟形象进行反向传播处理获得的第二样本图像，从而提升第二样本图像的有效性。
[0218]
需要补充的是，上述服务器基于基准虚拟形象和虚拟形象在第一模型进行反向传播处理，获得第二样本图像可被替换为在所述第一模型对基准虚拟形象进行反向传播处理，获得第二样本图像，并与本实施例提供的其他处理步骤组成新的实现方式。具体此处进行反向传播处理的实现过程，与基于基准虚拟形象和虚拟形象在第一模型进行反向传播处理获得第二样本图像的实现过程类似，本实施例在此不再赘述。
[0219]
上述服务器在第一模型对基准虚拟形象进行反向传播处理获得第二样本图像，在此之后，服务器对基于第二样本图像进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成，具体的，第二模型在基于第二样本图像对第二待训练模型进行模型训练后获得。
[0220]
实际应用中，虚拟形象模型在生成虚拟形象的过程中，可能存在针对不同的用户，生成同样的虚拟形象，在此情况下，无法针对不同的用户灵活化地生成对应的虚拟形象，生成的虚拟形象不具有针对性，导致用户的体验感较差，针对于此，为了实现虚拟形象模型生成的虚拟形象的多样性和灵活性，可在基于第二样本图像对第二待训练模型进行模型训练获得第二模型的过程中，针对每一轮模型训练所需的样本图像进行形象特征检测，以此来评价每一轮模型训练所需的样本图像的图像损失，防止每一轮模型训练的样本图像的模式塌陷，进而提升基于样本图像进行模型训练获得的第二模型的灵活性，从而提升虚拟形象模型的灵活性。
[0221]
本实施例提供的一种可选实施方式中，所述第二模型在对第二待训练模型进行模型训练后获得；所述第二待训练模型的训练损失包括图像损失；
[0222]
可选的，所述图像损失，采用如下方式计算获得：
[0223]
计算所述第二样本图像在至少一个形象特征维度的形象特征数据的数据方差，以及计算所述第二样本图像的图像方差；
[0224]
基于所述数据方差和所述图像方差计算所述图像损失。
[0225]
其中，所述形象特征维度包括下述至少一项：姿态特征维度、情绪类别维度、关键部位位置维度、形象完整度维度；所述形象特征数据，包括下述至少一项：第二样本图像中目标形象的姿态特征数据、目标形象的情绪类别、目标形象的关键部位位置数据、目标形象的形象完整度。例如，姿态特征数据为目标形象是正向或者反向的数据，情绪类别为目标形象的情绪类别是正面情绪或者负面情绪，关键部位位置数据为目标形象的左手位置数据，形象完整度为目标形象的完整度或者残缺率。关键部位位置可以是关键特征点，形象完整度是指目标形象的完整程度。
[0226]
本实施例提供的一种可选实施方式中，上述提到的所述形象特征数据，通过如下方式获得：将所述第二样本图像输入所述第二待训练模型中的特征检测网络进行形象特征检测，获得所述形象特征数据；可选的，所述形象特征检测，包括下述至少一项：
[0227]
对所述第二样本图像中的目标形象进行姿态特征检测，对所述目标形象进行情绪类别检测，检测所述目标形象的关键部位位置，检测所述目标形象的形象完整度。
[0228]
其中，情绪识别包括目标形象的情绪为正向或者负向，检测目标形象的关键部位位置的过程，可通过检测目标形象的关键部位点或者检测目标形象的关键特征点的方式实
现。
[0229]
此外，所述形象特征数据也可通过如下方式获得：对第二样本图像进行形象特征检测获得形象特征数据，或者，对第二样本图像中的目标形象进行形象特征检测获得形象特征数据。
[0230]
除上述提供的第二待训练模型的训练损失包括图像损失之外，第二待训练模型的训练损失还可包括形象对比损失，可选的，形象对比损失包括形象损失和/或对比损失，以此来评价第二待训练模型的拟合能力，具体的，所述第二待训练模型的训练损失还包括形象对比损失；
[0231]
可选的，所述形象对比损失，采用如下方式计算获得：基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并将更新获得的第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
[0232]
根据所述第二预测形象、第三预测形象和所述基准虚拟形象计算所述形象对比损失；
[0233]
可选的，所述第一预测形象在将所述第二样本图像输入所述第一模型后获得；所述第三预测形象在将所述第三样本图像输入所述第一模型后获得。
[0234]
具体的，在基于第二样本图像对第二待训练模型中的第二重建网络进行一轮模型训练(包括对第二重建网络进行参数更新)之后，若对第二重建网络进行参数调整后的网络参数不满足收敛条件，即参数更新后的网络参数不满足收敛条件，服务器可基于基准虚拟形象和第一预测形象对第二样本图像进行图像参数更新，将参数更新获得的第三样本图像输入第二重建网络进行图像重建获得第二预测形象，并以第二预测形象、第三预测形象和基准虚拟形象为依据计算形象对比损失。
[0235]
在上述根据第二预测形象、第三预测形象和基准虚拟形象计算形象对比损失的过程中，可选的，采用如下方式计算形象对比损失：
[0236]
计算所述第二预测形象和所述基准虚拟形象的形象损失，并计算所述第二预测形象和所述第三预测形象的对比损失；
[0237]
基于所述形象损失和所述对比损失计算所述形象对比损失。
[0238]
其中，所述形象损失包括第二预测形象和基准虚拟形象的形象差异数据，所述对比损失包括第二预测形象和第三预测形象的形象差异数据。
[0239]
具体的，基于形象损失和对比损失计算形象对比损失的过程，可通过将形象损失和对比损失之和作为形象对比损失，或者，将形象损失与第一分配权重的乘积和对比损失与第二分配权重的乘积之和作为形象对比损失的方式实现。
[0240]
上述详细说明了第二待训练模型的训练损失的组成部分，第二待训练模型的训练损失包括图像损失和/或形象对比损失，训练损失可以是图像损失、形象对比损失二者中的任意一者，也可以是图像损失与形象对比损失之和或者差值，还可以是图像损失与第一分配权重的乘积和形象对比损失与第二分配权重的乘积之和或者差值，下述对基于第二样本图像对第二待训练模型进行模型训练的过程提供的两种实现方式进行详细说明。
[0241]
(1)实现方式一
[0242]
在服务器基于第二样本图像对第二待训练模型进行模型训练的过程中，若前一轮模型训练后的模型参数不满足收敛条件，对前一轮的样本图像进行图像参数更新，并基于
参数更新后的样本图像进行下一轮的模型训练，为了防止模型训练获得的第二模型的模式塌陷，可对每一轮的样本图像在至少一个形象特征维度进行形象特征检测，并计算相应的损失值，具体可采用如下方式对第二待训练模型进行模型训练：
[0243]
基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并将更新获得的第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
[0244]
基于第二预测形象、第三预测形象、基准虚拟形象和第三样本图像对第二重建网络进行参数更新；
[0245]
或者，
[0246]
基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并对更新获得的第三样本图像进行形象特征检测，获得至少一个形象特征维度的形象特征数据；
[0247]
将所述第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
[0248]
基于所述第二预测形象、第三预测形象、基准虚拟形象和第三样本图像对第二重建网络进行参数更新。
[0249]
可选的，所述第一预测形象在将所述第二样本图像输入所述第一模型后获得；所述第三预测形象在将所述第三样本图像输入所述第一模型后获得。
[0250]
在服务器基于第二预测形象、第三预测形象、基准虚拟形象和第三样本图像对第二重建网络进行参数更新的过程中，根据第三样本图像的图像方差与第三样本图像在至少一个形象特征维度的形象特征数据的数据方差计算图像损失，并根据第二预测形象、第三预测形象和基准虚拟形象计算形象对比损失，基于图像损失和形象对比损失构建的训练损失对第二重建网络进行参数更新，在根据第二预测形象、第三预测形象和基准虚拟形象计算形象对比损失的过程中，计算第二预测形象和基准虚拟形象的形象损失，并计算第二虚拟形象和第三虚拟形象的对比损失，基于形象损失和对比损失计算形象对比损失，具体计算形象对比损失的实现过程，与上述第二待训练模型的训练损失包括的形象比对损失的计算过程类似，本实施例在此不再赘述。
[0251]
参见上述基于第二样本图像对第二待训练模型进行模型训练的训练方式，重复上述训练过程对第二待训练模型中的第二重建网络进行训练，并可借助特征检测网络对第二重建网络进行调参，直至损失函数收敛，在损失函数收敛后即完成训练，并将训练完成的第二重建网络作为第二模型。
[0252]
例如，在服务器从第二待训练模型中的第二重建网络出发训练获得第二模型的过程中，构建的损失函数为：
[0253]
loss2＝loss
pattern
loss
variance
) (loss
l2
loss
kd
)
[0254]
其中，loss2为第二待训练模型的训练损失，第二待训练模型的训练损失根据图像损失和形象对比损失计算获得，(loss
pattern
loss
variance
)为图像损失，(loss
l2
loss
kd
)为形象对比损失，图像损失根据第三样本图像在至少一个形象特征维度的形象特征数据的数据方差和第三样本图像的图像方差计算获得，loss
pattern
为第三样本图像在至少一个形象特征维度的形象特征数据的数据方差，loss
variance
为第三样本图像的图像方差，形象对比损失
根据形象损失和对比损失计算获得，loss
l2
为形象损失，具体为第二预测形象和基准虚拟形象的形象损失，loss
kd
为对比损失，具体为第二虚拟形象和第三虚拟形象的对比损失。
[0255]
(2)实现方式二
[0256]
在服务器基于第二样本图像对第二待训练模型进行模型训练的过程中，也可仅通过形象对比损失来评价模型的拟合能力，具体可采用如下方式对第二待训练模型进行模型训练：
[0257]
基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并将更新获得的第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；
[0258]
根据所述第二预测形象、第三预测形象和所述基准虚拟形象进行第二重建网络的参数更新；
[0259]
可选的，所述第一预测形象在将所述第二样本图像输入所述第一模型后获得；所述第三预测形象在将所述第三样本图像输入所述第一模型后获得。
[0260]
上述根据第二预测形象、第三预测形象和基准虚拟形象进行第二重建网络的参数更新的过程，可通过根据第二预测形象、第三预测形象和基准虚拟形象计算训练损失，并通过训练损失对第二重建网络进行参数更新。
[0261]
此外，除上述提供的两种对第二待训练模型进行模型训练的实现方式之外，服务器也可基于基准虚拟形象和第一预测形象对第二样本图像进行图像参数更新，基于参数更新获得的第三样本图像在至少一个形象特征维度的形象特征数据和第三样本图像计算图像损失，并通过图像损失对第二待训练模型中的第二重建网络进行参数更新。
[0262]
在基于上述对第二待训练模型进行模型训练的训练方式获得第二模型的基础上，为了进一步对第二模型进行模型简化，提升第二模型的模型适应力，提升基于第二模型生成虚拟形象的便捷性和效率，服务器可进一步对第二模型进行模型裁剪处理，具体在对基于第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理的过程中，服务器可执行如下操作：
[0263]
对所述第二模型的模型参数进行参数更新处理；
[0264]
确定参数更新后的模型参数中的目标模型参数，并对所述目标模型参数进行参数裁剪。
[0265]
例如目标模型参数为参数是0的参数，确定参数更新后的模型参数中为0的模型参数，将参数为0的模型参数进行裁剪或者剪切或者剪枝。
[0266]
在对第二模型的模型参数进行参数更新处理的过程中，为了提升参数更新的精确度，并确保训练获得的虚拟形象模型生成的虚拟形象的局部质量一致性，可基于第二中间模型输出的重建结果的部位评估分对局部质量的一致性进行把控，具体服务器可通过如下方式对第二模型的模型参数进行参数更新处理：
[0267]
将第二中间模型对所述第二样本图像的第一重建结果输入形象评估模型进行形象评估，输出所述第一重建结果中多个形象部位的部位评估分；
[0268]
根据所述第二中间模型的特定模型参数、所述部位评估分、所述第一重建结果和第二重建结果对所述第二中间模型进行参数更新；
[0269]
可选的，所述第二中间模型在对所述第二模型的目标模型参数进行参数裁剪后获
得；所述第二重建结果在将所述第二样本图像输入所述第二模型进行图像重建后获得。
[0270]
其中，所述部位评估分包括第一重建结果中目标形象的多个形象部位的质量评分，比如左手的质量评分为x分；所述特定模型参数包括第二中间模型的模型参数中的特定模型参数，比如第二中间模型的模型参数中的非0参数；所述第一重建结果包括将第二样本图像输入第二中间模型进行图像重建后获得的预测形象，所述第二重建结果包括将第二样本图像输入第二模型进行图像重建后获得的预测形象。
[0271]
在根据第二中间模型的特定模型参数、部位评估分、第一重建结果和第二重建结果对第二中间模型进行参数更新的过程中，服务器可执行如下操作：
[0272]
确定所述特定模型参数的参数数目，计算目标评估分中每两个评估分的差值，以及计算所述第一重建结果和所述第二重建结果的重建损失；所述目标评估分从所述部位评估分中随机选择获得；
[0273]
基于所述参数数目、所述差值和所述重建损失进行所述参数更新。
[0274]
其中，基于参数数目、每两个评估分的差值和重建损失进行参数更新，包括将参数数目、每两个评估分的差值的平均值和重建损失三者之和作为训练损失，基于训练损失对第二中间模型进行参数更新。
[0275]
例如，模型参数中的特定模型参数为非0参数，确定非0参数的参数数目为b，所有的部位评估分为c、d、e、f、g，从部位评估分中随机选择目标评估分为c、d、e，c、d、e的大小关系为c》d》e，计算目标评估分中每两个评估分的差值的平均值[(c-d) (c-e) (d-e)]/3，计算第一重建结果和第二重建结果的重建损失h，训练损失为b [(c-d) (c-e) (d-e)]/3 h，基于该训练损失对第二中间模型进行参数更新。
[0276]
参见上述对第二模型进行模型裁剪处理的方式，服务器重复上述模型裁剪处理过程对第二模型进行模型裁剪处理，直至进行模型参数更新后的模型参数满足收敛条件，即将该模型参数对应的模型作为虚拟形象模型。
[0277]
例如，在对第二模型进行模型裁剪处理的过程中，即相当于对第二模型进行进一步模型训练，构建的损失函数为：
[0278]
loss3＝loss
sparse
loss
quality
loss
reconstruction
[0279]
其中，loss3为训练损失，此处的训练损失根据特定模型参数的参数数目、目标评估分中每两个评估分的差值和重建损失计算获得，loss
sparse
为特定模型参数的参数数目，loss
quality
为目标评估分中每两个评估分的差值的平均值，loss
reconstruction
为重建损失，目标评估分从第二样本图像的第一重建结果中多个形象部位的部位评估分中随机抽选获得，重建损失根据第一重建结果和第二样本图像在第二模型的第二重建结果计算获得。
[0280]
此外，上述对第二模型的模型参数进行参数更新处理的实现过程，可被替换为对第二样本图像在第二模型的图像重建结果进行形象评估，获得图像重建结果中多个形象部位的部位评估分；根据从部位评估分中随机选择的目标评估分和第二模型的特定模型参数的参数数目，对第二模型进行参数更新，并与本实施例提供的其他处理步骤组成新的实现方式；
[0281]
或者，也可被替换为对第二样本图像在第二模型的图像重建结果进行形象评估，获得图像重建结果中多个形象部位的部位评估分；根据部位评估分对第二模型进行参数更新，即根据从部位评估分中随机选择的目标评估分对第二模型进行参数更新，并与本实施
例提供的其他处理步骤组成新的实现方式。
[0282]
需要说明的是，此处根据部位评估分对第二模型进行参数更新，即是根据从部位评估分中随机选择的目标评估分中每两个评估分的差值对第二模型进行参数更新。
[0283]
需要说明的是，上述服务器对基于第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成可被替换为对基于第二样本图像进行模型训练获得的第二模型进行模型裁剪处理获得虚拟形象模型，以将虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
[0284]
下述以本实施例提供的一种虚拟形象处理方法在虚拟世界场景的应用为例，对本实施例提供的虚拟形象处理方法进行进一步说明，参见图4，应用于虚拟世界场景的虚拟形象处理方法，具体包括如下步骤。
[0285]
步骤s402，获取虚拟世界的接入设备的设备用户针对虚拟世界的三维虚拟形象的申请请求。
[0286]
步骤s404，采集设备用户在物理世界的彩色图像数据。
[0287]
步骤s406，将彩色图像数据输入通过接入设备部署的虚拟形象模型进行图像重建处理，获得设备用户在虚拟世界的三维虚拟形象。
[0288]
本说明书提供的一种虚拟形象模型训练装置实施例如下：
[0289]
在上述的实施例中，提供了一种虚拟形象模型训练方法，与之相对应的，还提供了一种虚拟形象模型训练装置，下面结合附图进行说明。
[0290]
参照图5，其示出了本实施例提供的一种虚拟形象模型训练装置示意图。
[0291]
由于装置实施例对应于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
[0292]
本实施例提供一种虚拟形象模型训练装置，包括：
[0293]
模型训练模块502，被配置为根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；
[0294]
反向传播模块504，被配置为基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；
[0295]
模型裁剪模块506，被配置为对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
[0296]
本说明书提供的一种虚拟形象处理装置实施例如下：
[0297]
在上述的实施例中，提供了一种虚拟形象处理方法，与之相对应的，还提供了一种虚拟形象处理装置，下面结合附图进行说明。
[0298]
参照图6，其示出了本实施例提供的一种虚拟形象处理装置示意图。
[0299]
由于装置实施例对应于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下述描述的装置实施例仅仅是示意性的。
[0300]
本实施例提供一种虚拟形象处理装置，包括：
[0301]
请求获取模块602，被配置为获取虚拟世界的接入设备的设备用户针对在所述虚
拟世界的虚拟形象的申请请求；
[0302]
图像数据采集模块604，被配置为响应于所述申请请求，采集所述设备用户在物理世界的图像数据；
[0303]
图像重建模块606，被配置为将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象；
[0304]
其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。
[0305]
本说明书提供的一种虚拟形象模型训练设备实施例如下：
[0306]
对应上述描述的一种虚拟形象模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种虚拟形象模型训练设备，该虚拟形象模型训练设备用于执行上述提供的虚拟形象模型训练方法，图7为本说明书一个或多个实施例提供的一种虚拟形象模型训练设备的结构示意图。
[0307]
本实施例提供的一种虚拟形象模型训练设备，包括：
[0308]
如图7所示，虚拟形象模型训练设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器701和存储器702，存储器702中可以存储有一个或一个以上存储应用程序或数据。其中，存储器702可以是短暂存储或持久存储。存储在存储器702的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括虚拟形象模型训练设备中的一系列计算机可执行指令。更进一步地，处理器701可以设置为与存储器702通信，在虚拟形象模型训练设备上执行存储器702中的一系列计算机可执行指令。虚拟形象模型训练设备还可以包括一个或一个以上电源703，一个或一个以上有线或无线网络接口704，一个或一个以上输入/输出接口705，一个或一个以上键盘706等。
[0309]
在一个具体的实施例中，虚拟形象模型训练设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对虚拟形象模型训练设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
[0310]
根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；
[0311]
基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；
[0312]
对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
[0313]
本说明书提供的一种虚拟形象处理设备实施例如下：
[0314]
对应上述描述的一种虚拟形象处理方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种虚拟形象处理设备，该虚拟形象处理设备用于执行上述提供的虚拟形象处理方法，图8为本说明书一个或多个实施例提供的一种虚拟形象处理设备的结构示意图。
[0315]
本实施例提供的一种虚拟形象处理设备，包括：
[0316]
如图8所示，虚拟形象处理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括虚拟形象处理设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在虚拟形象处理设备上执行存储器802中的一系列计算机可执行指令。虚拟形象处理设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入/输出接口805，一个或一个以上键盘806等。
[0317]
在一个具体的实施例中，虚拟形象处理设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对虚拟形象处理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
[0318]
获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求；
[0319]
响应于所述申请请求，采集所述设备用户在物理世界的图像数据；
[0320]
将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象；
[0321]
其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。
[0322]
本说明书提供的一种存储介质实施例如下：
[0323]
对应上述描述的一种虚拟形象模型训练方法，基于相同的技术构思，本说明书一个或多个实施例还提供一种存储介质。
[0324]
本实施例提供的存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：
[0325]
根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；
[0326]
基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；
[0327]
对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。
[0328]
需要说明的是，本说明书中关于一种存储介质的实施例与本说明书中关于一种虚拟形象模型训练方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应方法的实施，重复之处不再赘述。
[0329]
本说明书提供的另一种存储介质实施例如下：
[0330]
对应上述描述的一种虚拟形象处理方法，基于相同的技术构思，本说明书一个或
多个实施例还提供另一种存储介质。
[0331]
本实施例提供的存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：
[0332]
获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求；
[0333]
响应于所述申请请求，采集所述设备用户在物理世界的图像数据；
[0334]
将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象；
[0335]
其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。
[0336]
需要说明的是，本说明书中关于另一种存储介质的实施例与本说明书中关于一种虚拟形象处理方法的实施例基于同一发明构思，因此该实施例的具体实施可以参见前述对应方法的实施，重复之处不再赘述。
[0337]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0338]
在20世纪30年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device，pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
[0339]
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理
器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0340]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0341]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0342]
本领域内的技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0343]
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0344]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0345]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0346]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0347]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0348]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0349]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0350]
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书的一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0351]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0352]
以上所述仅为本文件的实施例而已，并不用于限制本文件。对于本领域技术人员来说，本文件可以有各种更改和变化。凡在本文件的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本文件的权利要求范围之内。