生成三维虚拟人物的方法、装置、存储介质及家教机与流程

1.本公开涉及计算机图像处理领域，具体地，涉及一种生成三维虚拟人物的方法、装置、存储介质及家教机。


背景技术：

2.随着科技的发展，人们对各种影像资源的要求越来越高，为了给用户营造身临其境的感觉，越来越多的影像资源均使用了三维显示技术，因此三维显示技术得到了空前的发展以及应用。用户在通过电子产品使用例如游戏、教学、唱歌等应用时，希望可以通过建立与用户自身形象高度相似的三维虚拟人物显示在应用界面，以获得身临其境的使用感受。
3.相关技术中，通常需要拍摄多张多角度的二维人脸照片才能生成三维虚拟人脸，然后将三维虚拟人脸与系统预设的三维虚拟人物模型融合得到全身的三维虚拟人物，最终得到的三维虚拟人物仅脸部与用户相似。


技术实现要素：

4.本公开的目的是提供一种生成三维虚拟人物的方法、装置、存储介质及家教机，以解决相关技术生成三维虚拟人物需要多张二维人脸照片且只有脸部与用户相似的技术问题。
5.为了实现上述目的，本公开的第一方面提供一种生成三维虚拟人物的方法，所述方法包括：
6.获取用户输入的全身图像；
7.通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数，所述关键点信息包括所述关键点的序号以及所述关键点的三维坐标；
8.根据所述关键点的序号将所述全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据所述关键点的三维坐标调整所述三维虚拟人物模型中所述预设关键点的位置，得到候选三维虚拟人物；
9.根据所述全身图像中所述用户对应的衣着参数以及所述候选三维虚拟人物，生成目标三维虚拟人物。
10.可选地，所述图像特征提取模型包括图像预处理网络和特征提取网络，所述通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数包括：
11.将所述全身图像输入到图像特征提取模型，并通过所述图像特征提取模型中的所述图像预处理网络基于至少一种预设图像处理策略对所述全身图像进行图像预处理得到目标图像；
12.通过所述图像特征模型中的所述特征提取网络对所述目标图像进行特征提取，获
得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数。
13.可选地，所述通过所述图像特征提取模型中的所述图像预处理层基于至少一种预设图像处理策略对所述全身图像进行图像预处理得到目标图像，包括：
14.通过所述图像特征提取模型中的所述图像预处理层基于以下至少一种预设图像处理策略对所述全身图像进行图像预处理，得到多个目标子图像：rgb通道分离处理、hsi通道分离处理、ycrcb通道分离处理、灰度处理、直方图均衡化处理和图像锐化处理；
15.将所述多个目标子图像进行叠加，得到所述目标图像。
16.可选地，所述特征提取网络的训练过程包括：
17.获取标注有样本关键点信息以及样本衣着参数的样本图像；
18.将所述样本图像输入所述图像特征提取网络，得到所述样本图像的预测关键点信息以及预测衣着参数；
19.根据所述样本图像中的所述样本关键点信息与所述预测关键点信息、以及所述样本衣着参数与所述预测衣着参数计算损失函数，并根据所述损失函数的计算结果，调整所述特征提取网络的参数。
20.可选地，所述根据所述关键点的三维坐标调整所述三维虚拟人物模型中所述预设关键点的位置，包括：
21.根据所述关键点的三维坐标执行全局调整策略和局部调整策略；
22.其中，所述全局调整策略用于根据每一所述关键点的三维坐标调整所述三维虚拟人物模型中与所述关键点对应的所述预设关键点的位置；
23.所述局部调整策略用于在执行所述全局调整策略后，根据所述关键点中目标关键点的三维坐标调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置，所述目标关键点为能够用于唯一确定所述用户的人脸轮廓的关键点。
24.可选地，所述通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息，包括：
25.通过图像特征提取模型获得所述全身图像中所有关键点、所有关键点的序号、所有关键点的三维坐标和目标关键点的第一法向量；
26.所述根据所述关键点中目标关键点的三维坐标调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置，包括：
27.根据所述目标关键点的三维坐标以及所述所有关键点中与所述目标关键点距离最近的预设个数的关键点的三维坐标，确定所述目标关键点的第二法向量；
28.对所述目标关键点的所述第一法向量和所述第二法向量求均值，得到所述目标关键点的目标法向量，并根据所述目标法向量调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置。
29.可选地，所述通过图像特征提取模型获得所述全身图像中所述用户对应的衣着参数，包括：
30.通过图像特征提取模型获得所述全身图像中所述用户对应的衣着款式参数以及衣着颜色参数；
31.所述根据所述全身图像中所述用户对应的衣着参数以及所述候选三维虚拟人物，
生成目标三维虚拟人物，包括：
32.根据所述全身图像中所述用户对应的衣着款式参数以及衣着颜色参数，对所述候选三维虚拟人物生成对应的衣着，得到目标三维虚拟人物。
33.可选地，所述获取用户输入的全身图像，包括：
34.响应于用户在家教机中的三维虚拟人物创建操作，获取所述用户输入的全身图像；
35.所述生成所述目标三维虚拟人物之后，还包括：
36.在所述家教机中显示所述目标三维虚拟人物和目标学习内容；
37.响应于采集到所述用户针对所述目标学习内容的学习动作，驱动所述目标三维虚拟人物基于所述学习动作进行相应的表情和/或动作。
38.本公开的第二方面还提供一种生成三维虚拟人物的装置，所述装置包括：
39.获取模块，用于获取用户输入的全身图像；
40.提取模块，用于通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数，所述关键点信息包括所述关键点的序号以及所述关键点的三维坐标；
41.调整模块，用于根据所述关键点的序号将所述全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据所述关键点的三维坐标调整所述三维虚拟人物模型中所述预设关键点的位置，得到候选三维虚拟人物；
42.生成模块，用于根据所述全身图像中所述用户对应的衣着参数以及所述候选三维虚拟人物，生成目标三维虚拟人物。
43.本公开的第三方面还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
44.本公开的第四方面还提供一种家教机，包括：
45.存储器，其上存储有计算机程序；
46.处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面中任一项所述方法的步骤。
47.通过上述技术方案，至少能够达到以下技术效果：
48.获取用户输入的全身图像，通过图像特征提取模型获得全身图像中关键点对应的关键点信息以及全身图像中用户对应的衣着参数，关键点信息包括关键点的序号以及关键点的三维坐标，然后根据关键点的序号将全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据关键点的三维坐标调整三维虚拟人物模型中预设关键点的位置，得到候选三维虚拟人物，最后根据全身图像中用户对应的衣着参数以及候选三维虚拟人物，生成目标三维虚拟人物。通过该方法，能够利用一张二维全身图像生成三维虚拟人物，并且基于全身图像生成的三维虚拟人物不仅包括人脸部分，还包括身体部分，此外还获取了用户的衣着参数，从而建立与用户自身形象高度相似的三维虚拟人物。
49.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
50.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具
体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
51.图1是本公开实施例提供的一种生成三维虚拟人物的方法的流程示意图；
52.图2是本公开实施例提供的一种三维虚拟人物模型的示意图；
53.图3是本公开实施例提供的一种图像特征提取模型识别关键点的示意图；
54.图4是本公开实施例提供的一种生成三维虚拟人物的装置的框图；
55.图5是本公开实施例提供的一种家教机的框图。
具体实施方式
56.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
57.在应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
58.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。另外，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
59.目前，为了使用户在通过电子产品使用例如游戏、教学、唱歌等应用时，可以建立与用户自身形象高度相似的三维虚拟人物显示在应用界面，以获得身临其境的使用感受。但是在相关技术中，通常需要拍摄多张多角度的二维人脸照片才能生成三维虚拟人脸，然后将三维虚拟人脸与系统预设的三维虚拟人物模型融合得到全身的三维虚拟人物，最终得到的三维虚拟人物仅脸部与用户相似。
60.有鉴于此，本公开提供一种生成三维虚拟人物的方法、装置、存储介质及家教机，以解决上述问题。
61.在对本公开的技术方案进行详细的实施例说明之前，下面先对本公开技术方案的应用场景进行说明。
62.家教机是指存储丰富的学习资料和学习方法，能够对孩子的学习起到辅助作用的电子教学类产品，通常包含教学课程、作业辅导、学习型游戏等功能。本公开提供的生成三维虚拟人物的方法可以通过获取用户的一张全身照片，生成与用户自身形象高度相似的三维虚拟人物显示在家教机的应用界面上，并且还可以控制三维虚拟人物做出动作，例如在学习型游戏中举手、说话、走路等等，使用户获得身临其境的使用感受。
63.下面对本公开的技术方案进行详细的实施例说明。
64.参照图1，本公开实施例提供一种生成三维虚拟人物的方法，该方法包括：
65.s101、获取用户输入的全身图像。
66.s102、通过图像特征提取模型获得全身图像中关键点对应的关键点信息以及全身图像中用户对应的衣着参数，关键点信息包括关键点的序号以及关键点的三维坐标。
67.s103、根据关键点的序号将全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据关键点的三维坐标调整三维虚拟人物模型中预设关键点的位置，得到候选三维虚拟人物。
68.s104、根据全身图像中用户对应的衣着参数以及候选三维虚拟人物，生成目标三维虚拟人物。
69.采用上述方法，通过图像特征提取模型获得用户的全身图像中关键点对应的关键点信息以及全身图像中用户对应的衣着参数，生成目标三维虚拟人物。通过该方法，能够利用一张二维全身图像生成三维虚拟人物，并且基于全身图像生成的三维虚拟人物不仅包括人脸部分，还包括身体部分，并且三维虚拟人物的衣着也与用户输入的全身图像相似，从而建立与用户自身形象高度相似的三维虚拟人物。
70.为了使得本领域技术人员更加理解本公开提供的生成三维虚拟人物的方法，下面对上述各步骤进行详细举例说明。
71.在可能的方式中，图像特征提取模型包括图像预处理网络和特征提取网络，通过图像特征提取模型获得全身图像中关键点对应的关键点信息以及全身图像中用户对应的衣着参数包括以下步骤：首先，将全身图像输入到图像特征提取模型，并通过图像特征提取模型中的图像预处理网络基于至少一种预设图像处理策略对全身图像进行图像预处理得到目标图像。然后，通过图像特征模型中的特征提取网络对目标图像进行特征提取，获得全身图像中关键点对应的关键点信息以及全身图像中用户对应的衣着参数。
72.其中，通过图像特征提取模型中的图像预处理网络基于至少一种预设图像处理策略对全身图像进行图像预处理得到目标图像包括：通过图像特征提取模型中的图像预处理层基于至少一种预设图像处理策略对全身图像进行图像预处理，得到多个目标子图像，然后将多个目标子图像进行叠加，得到目标图像。其中，预设图像处理策略包括rgb通道分离处理、hsi通道分离处理、ycrcb通道分离处理、灰度处理、直方图均衡化处理和图像锐化处理中的至少一种。
73.示例地，用户输入的图像通常是具有rgb三通道的彩色图像，通过rgb通道分离处理可以分别得到r(红)通道子图像、g(绿)通道子图像以及b(蓝)通道子图像。相应地，通过hsi通道分离处理可以分别得到h(色调)通道子图像、s(饱和度)通道子图像以及i(亮度)通道子图像，通过ycrcb通道分离处理可以分别得到y(明亮度)通道子图像、cr(rgb图像红色部分与亮度值之间的差异)通道子图像以及cb(rgb图像蓝色部分与亮度值之间的差异)通道子图像。以及，通过灰度处理得到灰度子图像，通过直方图均衡化处理得到增强对比效果的均衡化子图像以及通过图像锐化处理得到增强图像边缘对比效果的锐化子图像，具体可以参照相关技术，本公开在此不再赘述。
74.进一步地，对全身图像进行图像预处理后得到多个不同通道上的目标子图像，然后将多个目标子图像在通道维度上进行叠加，得到最终的目标图像。
75.值得说明的是，可以采用一种预设图像处理策略对全身图像进行图像预处理，也可以采取多种预设图像处理策略对全身图像进行图像预处理，优选地，采用多种预设图像处理策略。通过多种预设图像处理策略对全身图像进行图像预处理能够获得更多的图像信息维度，有利于后续特征提取网络进行特征提取时提取到更多有效特征，进而显著增加图像特征提取模型输出的关键点的准确率。
76.在得到目标图像后，可以将目标图像输入图像特征模型中的特征提取网络进行特征提取。进而在获得全身图像中关键点对应的关键点信息后，可以通过关键点信息调整三维虚拟人物模型中预设关键点的位置，以得到候选三维虚拟人物。
77.在可能的方式中，可以通过如下方式根据关键点的三维坐标调整三维虚拟人物模型中预设关键点的位置：根据关键点的三维坐标执行全局调整策略和局部调整策略，其中，全局调整策略用于根据每一关键点的三维坐标调整三维虚拟人物模型中与关键点对应的预设关键点的位置，局部调整策略用于在执行全局调整策略后，根据关键点中目标关键点的三维坐标调整三维虚拟人物模型中与目标关键点对应的预设关键点的位置，目标关键点为能够用于唯一确定用户的人脸轮廓的关键点。
78.可选地，首先通过图像特征提取模型获得全身图像中所有关键点、所有关键点的序号、所有关键点的三维坐标和目标关键点的第一法向量。然后，通过如下方式根据关键点中目标关键点的三维坐标调整三维虚拟人物模型中与目标关键点对应的预设关键点的位置：首先，根据目标关键点的三维坐标以及所有关键点中与目标关键点距离最近的预设个数的关键点的三维坐标，确定目标关键点的第二法向量；对目标关键点的第一法向量和第二法向量求均值，得到目标关键点的目标法向量，并根据目标法向量调整三维虚拟人物模型中与目标关键点对应的预设关键点的位置。
79.示例地，可以预先构建一个三维坐标系以便确定所有关键点的三维坐标信息，其中，三维坐标系的原点可以是头顶、面部、腰部、脚部等，本公开对此不作具体限定。参照图2，三维虚拟人物模型预先定义了关键点以及目标关键点，每一个关键点都有对应的序号信息及三维坐标信息，目标关键点还包括法向量信息，其中，关键点覆盖三维虚拟人物模型的全身，通过关键点能够还原三维虚拟人物模型的大致轮廓，目标关键点为唯一确定用户的人脸轮廓的关键点，例如鼻子、眼睛、嘴巴、眉毛、颧骨等部位，这些部位的高低、大小的不同对三维虚拟人物与真实人物的相似度影响较大。以眼睛部位为例，可以在眼角、眼尾、眼珠、上眼睑以及下眼睑的位置定义目标关键点，通过眼角的目标关键点和眼尾的目标关键点能够确定眼睛的宽度，通过上眼睑的目标关键点与下眼睑的目标关键点可以确定眼睛的高度，再加上眼珠的目标关键点就能确定眼睛的大小及位置。
80.值得说明的是，由于脸部相较于身体部分更能决定生成的三维虚拟人物与真实人物的相似度，因此，脸部定义的关键点数量要多于身体部分的关键点数量。此外，关键点的数量取决于对三维虚拟人物与真实人物的相似度的不同要求，一般来说，关键点的数量越多，三维虚拟人物与真实人物的相似度越高。此外，除了在脸部设置目标关键点外，还可以在身体部分适当设置一些目标关键点，以提高三维虚拟人物的身体部分与真实人物的身体部分的相似度。图2中的关键点以及目标关键点仅作为本公开实施例的示例性说明，关键点以及目标关键点的数量及位置可以根据需求进行调整，本公开对此不作具体限定。
81.参照图3，通过图像特征提取模型获得全身图像中所有关键点，每一个关键点有对应的序号信息及三维坐标信息，目标关键点还包括第一法向量。根据序号信息将全身图像的关键点与三维虚拟人物模型的预设关键点一一对应，然后基于全身图像每一关键点的三维坐标调整三维虚拟人物模型对应的预设关键点的位置，由此可以得到一个与全身图像中的真实人物大致相似的三维虚拟人物模型。进一步地，为了使三维虚拟人物模型更接近全身图像中的真实人物，可以对决定人脸轮廓的目标关键点进行调整。
82.其中，图像特征提取模型输出目标关键点时可以用欧拉角来表示，进而可以通过欧拉角得到目标关键点的第一法向量。但是，由于目标关键点的第一法向量为图像特征提取模型识别出的法向量信息，与实际真实人像的目标关键点存在一定误差，为了提高三维虚拟人物与真实人物的相似度，可以对目标关键点的法向量进行矫正，进而调整目标关键点的位置，以使三维虚拟人物更接近于真实人物。
83.示例地，首先根据目标关键点的三维坐标以及所有关键点中与目标关键点距离最近的预设个数的关键点的三维坐标，例如可以是与目标关键点距离最近的三个关键点，利用三点求平面法向量确定目标关键点的第二法向量，其中，三点求平面法向量的方法可以参考相关技术，本公开在此不再赘述。进一步地，对目标关键点的第一法向量和第二法向量求均值，得到目标关键点的目标法向量，并根据目标法向量调整三维虚拟人物模型中与目标关键点对应的预设关键点的位置。通过将周围关键点估计得到的目标关键点的第二法向量与图像特征提取模型识别出的目标关键点的第一法向量求均值，得到目标关键点的目标法向量，从而对目标关键点的法向量进行矫正，进而调整目标关键点的位置，使得三维虚拟人物更接近于真实人物。
84.需说明的是，图像特征提取模型能够识别的关键点数量与三维虚拟人物模型定义的预设关键点数量一致。但是，输入的全身图像可能由于人物部分区域被遮挡或者拍摄角度等因素，造成图像特征提取模型无法识别到所有关键点。在这种情况下，可以通过获取周围关键点的三维坐标以及三维虚拟人物模型中对应的预设关键点的坐标，通过设定周围关键点以及预设关键点的权重，计算出未识别到的关键点的三维坐标，进而对三维虚拟人物模型进行调整得到三维虚拟人物。这样即使在部分关键点缺失的情况下，也可以生成三维虚拟人物，且缺失关键点的部分与周围部分过渡自然。
85.在得到与全身图像中真实人物相似的候选三维虚拟人物后，可以进一步获取全身图像的衣着参数，生成候选三维虚拟人物的衣着，得到最终的与真实人物高度相似的目标三维虚拟人物。
86.在可能的方式中，通过图像特征提取模型获得全身图像中用户对应的衣着款式参数以及衣着颜色参数。然后根据全身图像中用户对应的衣着款式参数以及衣着颜色参数，对候选三维虚拟人物生成对应的衣着，得到目标三维虚拟人物。
87.示例地，可以将衣着款式参数分为上衣款式参数和下装款式参数，衣着颜色参数分为上衣颜色参数与下装颜色参数。例如全身图像中用户的穿着为红色短袖上衣和蓝色裤子，对应输出的参数可以表示为【(255，0，0)，1，(0，0，255)，2】，其中，(255，0，0)表示红色，1表示短袖上衣，(0，0，255)表示蓝色，2表示裤子。颜色参数参考rgb图像的参数设计，款式参数以自定义为主，本公开对此不作具体限定。参照图3，输入的全身图像中用户的衣着款式为连衣裙时，若连衣裙款式参数设置为3时，可以将输出的上衣款式参数以及下装款式参数均输出为3，以此表示用户的衣着款式为连衣裙。
88.在得到全身图像中用户对应的衣着款式参数以及衣着颜色参数后，对候选三维虚拟人物生成对应的衣着，其中生成的衣着可以是预先储存的衣着。例如预先建立一个衣着库，存储不同款式不同颜色的衣着，根据全身图像中用户对应的衣着款式参数以及衣着颜色参数，从衣着库中选择对应参数的衣着与候选三维虚拟人物进行融合，得到与真实人物高度相似的目标三维虚拟人物。
89.此外，除了生成与全身图像中用户所穿的相似的衣着外，还可以将衣着库中的衣着向用户进行展示，用户可以根据需求更换三维虚拟人物的衣着，以此满足用户更换衣着的需求，增加趣味性。
90.下面说明本公开中图像特征提取模型中特征提取网络的训练过程。
91.在可能的方式中，可以通过如下方式对特征提取网络的进行训练：首先获取标注有样本关键点信息以及样本衣着参数的样本图像，然后将样本图像输入图像特征提取网络，得到样本图像的预测关键点信息以及预测衣着参数，最后根据样本图像中的样本关键点信息与预测关键点信息、以及样本衣着参数与预测衣着参数计算损失函数，并根据损失函数的计算结果，调整特征提取网络的参数。
92.示例地，首先对样本图像的样本关键点信息以及样本衣着参数进行标注，其中，样本图像的样本关键点信息是指样本图像中人物每一关键点类别、序号、三维坐标，样本衣着参数是指样本图像中人物所穿的衣着款式参数以及衣着颜色参数。将样本图像输入图像特征提取网络得到样本图像的预测关键点信息以及预测衣着参数，进而计算损失函数。其中，损失函数表示样本关键点信息与预测关键点信息之间的差异程度，以及样本衣着参数与预测衣着参数之间的差异程度。根据损失函数的计算结果，调整特征提取网络的参数重新进行模型训练，使得特征提取网络输出的预测关键点信息越来越接近样本关键点信息，以及预测衣着参数越来越接近样本衣着参数，从而完成对特征提取网络的训练。
93.需说明的是，本公开实施例所使用的特征提取网络为神经网络，例如可以是卷积神经网络、残差网络等等，本公开对此不作具体限定。此外，可以先将样本图像输入图像预处理网络进行预处理后得到的图像输入特征提取网络中进行训练，有利于特征提取网络提取出更多的图像特征，更有效的进行模型训练。
94.通过上述方法对特征提取网络进行训练，能够使特征提取网络从用户的全身图像中识别出关键点信息以及衣着参数，有助于后续步骤中生成与用户相似的三维虚拟人物。
95.下面对本公开提供的生成三维虚拟人物的方法结合家教机的应用场景进行举例说明。
96.在可能的方式中，通过以下方式获取用户输入的全身图像：响应于用户在家教机中的三维虚拟人物创建操作，获取用户输入的全身图像。然后在生成目标三维虚拟人物之后，在家教机中显示目标三维虚拟人物和目标学习内容，并响应于采集到用户针对目标学习内容的学习动作，驱动目标三维虚拟人物基于学习动作进行相应的表情和/或动作。
97.示例地，用户可以通过家教机自带的摄像头获取用户的全身图像，也可以从其他设备或者历史照片库中获取用户的全身图像。在获取用户的全身图像后，生成与用户全身图像相似的目标三维虚拟人物显示在家教机的显示屏中，用户可以对目标三维虚拟人物进行修改，例如替换衣着、修改发型等等，本公开对此不作具体限定。进一步地，用户可以通过点击家教机的显示屏进入的不同功能模块，例如进入课程学习模块，用户进行朗读课文时，家教机采集到用户的语音，可以驱动目标三维虚拟人物做出张嘴朗读的动作，等等。此外，可以针对不同的功能模块，驱动目标三维虚拟人物做出相应的表情或者动作，本公开在此不再赘述。
98.通过上述方法，将生成的目标三维虚拟人物应用于家教机中，通过生成与用户形象高度相似的三维虚拟人物，使用户在不同的学习场景下有身临其境的感受，增加了用户
在学习过程中的趣味性。并且，可以响应于采集到用户针对目标学习内容的学习动作，驱动三维虚拟人物基于学习动作进行相应动作，可以在学习过程中实时与用户进行互动，有利于用户专注于学习场景中。
99.图4是根据一示例性实施例示出的一种生成三维虚拟人物的装置的框图。如图4所示，该装置400包括：
100.获取模块401，用于获取用户输入的全身图像；
101.提取模块402，用于通过图像特征提取模型获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数，所述关键点信息包括所述关键点的序号以及所述关键点的三维坐标；
102.调整模块403，用于根据所述关键点的序号将所述全身图像的关键点与三维虚拟人物模型中具有相同序号的预设关键点一一对应，并根据所述关键点的三维坐标调整所述三维虚拟人物模型中所述预设关键点的位置，得到候选三维虚拟人物；
103.生成模块404，用于根据所述全身图像中所述用户对应的衣着参数以及所述候选三维虚拟人物，生成目标三维虚拟人物。
104.采用上述装置，通过图像特征提取模型获得用户的全身图像中关键点对应的关键点信息以及全身图像中用户对应的衣着参数，生成目标三维虚拟人物。通过该装置，能够利用一张二维全身图像生成三维虚拟人物，并且基于全身图像生成的三维虚拟人物不仅包括人脸部分，还包括身体部分，并且三维虚拟人物的衣着也与用户输入的全身图像相似，从而建立与用户自身形象高度相似的三维虚拟人物。
105.可选地，所述图像特征提取模型包括图像预处理网络和特征提取网络，所述提取模块402包括：
106.预处理模块，用于将所述全身图像输入到图像特征提取模型，并通过所述图像特征提取模型中的所述图像预处理网络基于至少一种预设图像处理策略对所述全身图像进行图像预处理得到目标图像；
107.提取子模块，用于通过所述图像特征模型中的所述特征提取网络对所述目标图像进行特征提取，获得所述全身图像中关键点对应的关键点信息以及所述全身图像中所述用户对应的衣着参数。
108.可选地，所述预处理模块用于：
109.通过所述图像特征提取模型中的所述图像预处理层基于以下至少一种预设图像处理策略对所述全身图像进行图像预处理，得到多个目标子图像：rgb通道分离处理、hsi通道分离处理、ycrcb通道分离处理、灰度处理、直方图均衡化处理和图像锐化处理；
110.将所述多个目标子图像进行叠加，得到所述目标图像。
111.可选地，所述装置400还包括训练模块，所述训练模块用于：
112.获取标注有样本关键点信息以及样本衣着参数的样本图像；
113.将所述样本图像输入所述图像特征提取网络，得到所述样本图像的预测关键点信息以及预测衣着参数；
114.根据所述样本图像中的所述样本关键点信息与所述预测关键点信息、以及所述样本衣着参数与所述预测衣着参数计算损失函数，并根据所述损失函数的计算结果，调整所述特征提取网络的参数。
115.可选地，所述调整模块403用于：
116.根据所述关键点的三维坐标执行全局调整策略和局部调整策略；
117.其中，所述全局调整策略用于根据每一所述关键点的三维坐标调整所述三维虚拟人物模型中与所述关键点对应的所述预设关键点的位置；
118.所述局部调整策略用于在执行所述全局调整策略后，根据所述关键点中目标关键点的三维坐标调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置，所述目标关键点为能够用于唯一确定所述用户的人脸轮廓的关键点。
119.可选地，所述提取模块402用于：
120.通过图像特征提取模型获得所述全身图像中所有关键点、所有关键点的序号、所有关键点的三维坐标和目标关键点的第一法向量。
121.所述调整模块403用于：
122.根据所述目标关键点的三维坐标以及所述所有关键点中与所述目标关键点距离最近的预设个数的关键点的三维坐标，确定所述目标关键点的第二法向量；
123.对所述目标关键点的所述第一法向量和所述第二法向量求均值，得到所述目标关键点的目标法向量，并根据所述目标法向量调整所述三维虚拟人物模型中与所述目标关键点对应的所述预设关键点的位置。
124.可选地，所述提取模块402用于：
125.通过图像特征提取模型获得所述全身图像中所述用户对应的衣着款式参数以及衣着颜色参数。
126.所述生成模块404用于：
127.根据所述全身图像中所述用户对应的衣着款式参数以及衣着颜色参数，对所述候选三维虚拟人物生成对应的衣着，得到目标三维虚拟人物。
128.可选地，所述获取模块401用于：
129.响应于用户在家教机中的三维虚拟人物创建操作，获取所述用户输入的全身图像。
130.所述生成所述目标三维虚拟人物之后，所述装置400还用于：
131.在所述家教机中显示所述目标三维虚拟人物和目标学习内容；
132.响应于采集到所述用户针对所述目标学习内容的学习动作，驱动所述目标三维虚拟人物基于所述学习动作进行相应的表情和/或动作。
133.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
134.本公开实施例还提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例提供的生成三维虚拟人物的方法的步骤。
135.本公开实施例还提供一种家教机，包括：
136.存储器，其上存储有计算机程序；
137.处理器，用于执行所述存储器中的所述计算机程序，以实现上述实施例提供的生成三维虚拟人物的方法的步骤。
138.图5是根据一示例性实施例示出的一种家教机500的框图。如图5所示，该家教机500可以包括：处理器501，存储器502。该家教机500还可以包括多媒体组件503，输入/输出
(i/o)接口504，以及通信组件505中的一者或多者。
139.其中，处理器501用于控制该家教机500的整体操作，以完成上述的生成三维虚拟人物的方法中的全部或部分步骤。存储器502用于存储各种类型的数据以支持在该家教机500的操作，这些数据例如可以包括用于在该家教机500上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器502可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件503可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器502或通过通信组件505发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口504为处理器501和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件505用于该家教机500与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g、4g、nb-iot、emtc、或其他5g等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件505可以包括：wi-fi模块，蓝牙模块，nfc模块等等。
140.在一示例性实施例中，家教机500可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的生成三维虚拟人物的方法。
141.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的生成三维虚拟人物的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器502，上述程序指令可由家教机500的处理器501执行以完成上述的生成三维虚拟人物的方法。
142.以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
143.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
144.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。