生成三维虚拟人物的方法、装置、存储介质及家教机与流程

技术特征：
1.一种生成三维虚拟人物的方法，其特征在于，所述方法包括：获取用户输入的全身图像；通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数，所述关键点信息包括所述关键点的序号以及所述关键点的三维坐标；根据所述关键点的序号将所述全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据所述关键点的三维坐标调整所述三维虚拟人物模型中所述预设关键点的位置，得到候选三维虚拟人物；根据所述全身图像中所述用户对应的衣着参数以及所述候选三维虚拟人物，生成目标三维虚拟人物。2.根据权利要求1所述的方法，其特征在于，所述图像特征提取模型包括图像预处理网络和特征提取网络，所述通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数包括：将所述全身图像输入到图像特征提取模型，并通过所述图像特征提取模型中的所述图像预处理网络基于至少一种预设图像处理策略对所述全身图像进行图像预处理得到目标图像；通过所述图像特征模型中的所述特征提取网络对所述目标图像进行特征提取，获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数。3.根据权利要求2所述的方法，其特征在于，所述通过所述图像特征提取模型中的所述图像预处理层基于至少一种预设图像处理策略对所述全身图像进行图像预处理得到目标图像，包括：通过所述图像特征提取模型中的所述图像预处理层基于以下至少一种预设图像处理策略对所述全身图像进行图像预处理，得到多个目标子图像：rgb通道分离处理、hsi通道分离处理、ycrcb通道分离处理、灰度处理、直方图均衡化处理和图像锐化处理；将所述多个目标子图像进行叠加，得到所述目标图像。4.根据权利要求2所述的方法，其特征在于，所述特征提取网络的训练过程包括：获取标注有样本关键点信息以及样本衣着参数的样本图像；将所述样本图像输入所述图像特征提取网络，得到所述样本图像的预测关键点信息以及预测衣着参数；根据所述样本图像中的所述样本关键点信息与所述预测关键点信息、以及所述样本衣着参数与所述预测衣着参数计算损失函数，并根据所述损失函数的计算结果，调整所述特征提取网络的参数。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述关键点的三维坐标调整所述三维虚拟人物模型中所述预设关键点的位置，包括：根据所述关键点的三维坐标执行全局调整策略和局部调整策略；其中，所述全局调整策略用于根据每一所述关键点的三维坐标调整所述三维虚拟人物模型中与所述关键点对应的所述预设关键点的位置；所述局部调整策略用于在执行所述全局调整策略后，根据所述关键点中目标关键点的三维坐标调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置，
所述目标关键点为能够用于唯一确定所述用户的人脸轮廓的关键点。6.根据权利要求5所述的方法，其特征在于，所述通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息，包括：通过图像特征提取模型获得所述全身图像中所有关键点、所有关键点的序号、所有关键点的三维坐标和目标关键点的第一法向量；所述根据所述关键点中目标关键点的三维坐标调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置，包括：根据所述目标关键点的三维坐标以及所述所有关键点中与所述目标关键点距离最近的预设个数的关键点的三维坐标，确定所述目标关键点的第二法向量；对所述目标关键点的所述第一法向量和所述第二法向量求均值，得到所述目标关键点的目标法向量，并根据所述目标法向量调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置。7.根据权利要求1-4任一项所述的方法，其特征在于，所述通过图像特征提取模型获得所述全身图像中所述用户对应的衣着参数，包括：通过图像特征提取模型获得所述全身图像中所述用户对应的衣着款式参数以及衣着颜色参数；所述根据所述全身图像中所述用户对应的衣着参数以及所述候选三维虚拟人物，生成目标三维虚拟人物，包括：根据所述全身图像中所述用户对应的衣着款式参数以及衣着颜色参数，对所述候选三维虚拟人物生成对应的衣着，得到目标三维虚拟人物。8.根据权利要求1-4任一项所述的方法，其特征在于，所述获取用户输入的全身图像，包括：响应于用户在家教机中的三维虚拟人物创建操作，获取所述用户输入的全身图像；所述生成所述目标三维虚拟人物之后，还包括：在所述家教机中显示所述目标三维虚拟人物和目标学习内容；响应于采集到所述用户针对所述目标学习内容的学习动作，驱动所述目标三维虚拟人物基于所述学习动作进行相应的表情和/或动作。9.一种生成三维虚拟人物的装置，其特征在于，所述装置包括：获取模块，用于获取用户输入的全身图像；提取模块，用于通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数，所述关键点信息包括所述关键点的序号以及所述关键点的三维坐标；调整模块，用于根据所述关键点的序号将所述全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据所述关键点的三维坐标调整所述三维虚拟人物模型中所述预设关键点的位置，得到候选三维虚拟人物；生成模块，用于根据所述全身图像中所述用户对应的衣着参数以及所述候选三维虚拟人物，生成目标三维虚拟人物。10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述方法的步骤。
11.一种家教机，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-8中任一项所述方法的步骤。

技术总结
本公开涉及一种生成三维虚拟人物的方法、装置、存储介质及家教机，从而能够利用一张二维全身图像生成三维虚拟人物，并且生成的三维虚拟人物包括人脸部分和身体部分。该方法包括：获取用户输入的全身图像；通过图像特征提取模型获得全身图像中关键点对应的关键点信息以及全身图像中用户对应的衣着参数，关键点信息包括关键点的序号以及关键点的三维坐标；根据关键点的序号将全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据关键点的三维坐标调整三维虚拟人物模型中预设关键点的位置，得到候选三维虚拟人物；根据全身图像中用户对应的衣着参数以及候选三维虚拟人物，生成目标三维虚拟人物。生成目标三维虚拟人物。生成目标三维虚拟人物。


技术研发人员：陈奕名 贾兆柱 张建鑫
受保护的技术使用者：北京精鸿软件科技有限公司
技术研发日：2022.01.27
技术公布日：2022/5/20