虚拟形象模型训练方法及装置与流程

技术特征：
1.一种虚拟形象模型训练方法，包括：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。2.根据权利要求1所述的虚拟形象模型训练方法，所述第二待训练模型的训练损失包括图像损失；其中，所述图像损失，采用如下方式计算获得：计算所述第二样本图像在至少一个形象特征维度的形象特征数据的数据方差，以及计算所述第二样本图像的图像方差；基于所述数据方差和所述图像方差计算所述图像损失。3.根据权利要求2所述的虚拟形象模型训练方法，所述形象特征数据，通过如下方式获得：将所述第二样本图像输入所述第二待训练模型中的特征检测网络进行形象特征检测，获得所述形象特征数据；其中，所述形象特征检测，包括下述至少一项：对所述第二样本图像中的目标形象进行姿态特征检测，对所述目标形象进行情绪类别检测，检测所述目标形象的关键部位位置，检测所述目标形象的形象完整度。4.根据权利要求1所述的虚拟形象模型训练方法，所述基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像，包括：基于所述基准虚拟形象和所述虚拟形象计算形象差异数据；根据所述形象差异数据对所述初始图像进行图像参数调整，获得所述第二样本图像。5.根据权利要求1所述的虚拟形象模型训练方法，所述对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，包括：对所述第二模型的模型参数进行参数更新处理；确定参数更新后的模型参数中的目标模型参数，并对所述目标模型参数进行参数裁剪。6.根据权利要求5所述的虚拟形象模型训练方法，所述对所述第二模型的模型参数进行参数更新处理，包括：将第二中间模型对所述第二样本图像的第一重建结果输入形象评估模型进行形象评估，输出所述第一重建结果中多个形象部位的部位评估分；根据所述第二中间模型的特定模型参数、所述部位评估分、所述第一重建结果和第二重建结果对所述第二中间模型进行参数更新；其中，所述第二中间模型在对所述第二模型的目标模型参数进行参数裁剪后获得；所述第二重建结果在将所述第二样本图像输入所述第二模型进行图像重建后获得。7.根据权利要求6所述的虚拟形象模型训练方法，所述根据所述第二中间模型的特定
模型参数、所述部位评估分、所述第一重建结果和第二重建结果对所述第二中间模型进行参数更新，包括：确定所述特定模型参数的参数数目，计算目标评估分中每两个评估分的差值，以及计算所述第一重建结果和所述第二重建结果的重建损失；所述目标评估分从所述部位评估分中随机选择获得；基于所述参数数目、所述差值和所述重建损失进行所述参数更新。8.根据权利要求1所述的虚拟形象模型训练方法，所述根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型，包括：对多个预测形象进行形象融合获得融合预测形象，并将所述第一样本图像输入所述第一待训练模型中的第一重建网络进行图像重建，获得目标预测形象；基于所述融合预测形象、所述目标预测形象和所述第一样本图像对所述第一重建网络进行参数更新。9.根据权利要求8所述的虚拟形象模型训练方法，所述多个预测形象在将所述第一样本图像输入所述第一待训练模型中的多个图像网络进行图像重建后获得；其中，所述多个预测形象的形象数目基于所述多个图像网络的网络数目确定。10.根据权利要求2所述的虚拟形象模型训练方法，所述第二待训练模型的训练损失还包括形象对比损失；其中，所述形象对比损失，采用如下方式计算获得：基于所述基准虚拟形象和第一预测形象对所述第二样本图像进行图像参数更新，并将更新获得的第三样本图像输入所述第二待训练模型中的第二重建网络进行图像重建，获得第二预测形象；根据所述第二预测形象、第三预测形象和所述基准虚拟形象计算所述形象对比损失；其中，所述第一预测形象在将所述第二样本图像输入所述第一模型后获得；所述第三预测形象在将所述第三样本图像输入所述第一模型后获得。11.根据权利要求10所述的虚拟形象模型训练方法，所述根据所述第二预测形象、第三预测形象和所述基准虚拟形象计算所述形象对比损失，包括：计算所述第二预测形象和所述基准虚拟形象的形象损失，并计算所述第二预测形象和所述第三预测形象的对比损失；基于所述形象损失和所述对比损失计算所述形象对比损失。12.根据权利要求8所述的虚拟形象模型训练方法，所述基于所述融合预测形象、所述目标预测形象和所述第一样本图像对所述第一重建网络进行参数更新，包括：基于所述目标预测形象和所述第一样本图像对应的真实形象计算第一形象损失，基于所述融合预测形象和所述目标预测形象计算第二形象损失，以及基于所述融合预测形象和所述真实形象确定融合损失；根据所述第一形象损失、所述第二形象损失和所述融合损失进行所述参数更新。13.根据权利要求12所述的虚拟形象模型训练方法，所述基于所述融合预测形象和所述真实形象确定融合损失，包括：对所述融合预测形象进行形象部位划分，获得多个形象部位；按照所述多个形象部位中各形象部位的部位权重，计算所述融合预测形象的融合权
重；基于所述融合预测形象和所述真实形象计算融合形象损失，并基于所述融合权重和所述融合形象损失计算所述融合损失。14.根据权利要求1所述的虚拟形象模型训练方法，所述虚拟形象生成，包括：根据所述接入设备的设备用户针对虚拟形象的申请请求，采集所述设备用户在所述物理世界的图像数据；将所述图像数据输入所述虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象。15.一种虚拟形象处理方法，包括：获取虚拟世界的接入设备的设备用户针对所述虚拟世界的虚拟形象的申请请求；响应于所述申请请求，采集所述设备用户在物理世界的图像数据；将所述图像数据输入通过所述虚拟世界的接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象；其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。16.根据权利要求15所述的虚拟形象处理方法，所述第二模型在对第二待训练模型进行模型训练后获得；所述第二待训练模型的训练损失包括图像损失；其中，所述图像损失，采用如下方式计算获得：计算所述第二样本图像在至少一个形象特征维度的形象特征数据的数据方差，以及计算所述第二样本图像的图像方差；基于所述数据方差和所述图像方差计算所述图像损失。17.根据权利要求16所述的虚拟形象处理方法，所述形象特征数据，通过如下方式获得：将所述第二样本图像输入所述第二待训练模型中的特征检测网络进行形象特征检测，获得所述形象特征数据；其中，所述形象特征检测，包括下述至少一项：对所述第二样本图像中的目标形象进行姿态特征检测，对所述目标形象进行情绪类别检测，检测所述目标形象的关键部位位置，检测所述目标形象的形象完整度。18.一种虚拟形象模型训练装置，包括：模型训练模块，被配置为根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；反向传播模块，被配置为基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；模型裁剪模块，被配置为对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。19.一种虚拟形象处理装置，包括：
请求获取模块，被配置为获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求；图像数据采集模块，被配置为响应于所述申请请求，采集所述设备用户在物理世界的图像数据；图像重建模块，被配置为将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象；其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。20.一种虚拟形象模型训练设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。21.一种虚拟形象处理设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求；响应于所述申请请求，采集所述设备用户在物理世界的图像数据；将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象；其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。22.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。23.一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执
行时实现以下流程：获取虚拟世界的接入设备的设备用户针对在所述虚拟世界的虚拟形象的申请请求；响应于所述申请请求，采集所述设备用户在物理世界的图像数据；将所述图像数据输入通过所述接入设备部署的虚拟形象模型进行图像重建处理，获得所述设备用户在所述虚拟世界的虚拟形象；其中，所述虚拟形象模型对基于第二样本图像训练获得的第二模型进行模型裁剪处理后获得；所述第二样本图像在基于第一样本图像训练获得的第一模型进行反向传播处理后获得。

技术总结
本说明书实施例提供了虚拟形象模型训练方法及装置，其中，一种虚拟形象模型训练方法包括：根据从物理世界采集的第一样本图像对第一待训练模型进行模型训练，获得第一模型；基于基准虚拟形象和虚拟形象在所述第一模型进行反向传播处理，获得第二样本图像；所述虚拟形象在将初始图像输入所述第一模型进行图像重建后获得；对基于所述第二样本图像对第二待训练模型进行模型训练获得的第二模型进行模型裁剪处理，获得虚拟形象模型，以将所述虚拟形象模型部署于虚拟世界的接入设备进行虚拟形象生成。形象生成。形象生成。


技术研发人员：曹佳炯
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2022.12.09
技术公布日：2023/3/10