基于图像的逐步生成式的人体重建方法及装置

1.本发明涉及图像处理的技术领域，具体涉及一种基于图像的逐步生成式的人体重建方法 及装置。


背景技术：

2.现有的基于深度学习的人体重建技术主要分为两类：第一类是基于参数化模型的三维人 体重建，通过神经网络估计人体模型参数，利用参数化模型直接生成三维人体网格模型；第 二类三维人体重建不利用参数化模型生成人体网格模型，而是基于图像特征信息直接回归人 体三维模型顶点的坐标。
3.其中，基于图像特征信息直接回归人体三维模型顶点的坐标一般有两种实现方法：一是 利用神经网络估计三维人体姿态以及三维人体网格模型在x、y、z三个轴的热图分布，再利 用热图积分的方式回归人体关节点坐标和人体网格模型顶点坐标。二是借助人体模型模板， 通过transformer和逐步降维的思路逐步回归人体模型三维网格坐标。
4.上述现有技术中，一的主要的缺点是各方向维度热图估计相对独立，丢失了不同方向维 度热图信息之间的关联性；二的主要缺点是需要借助人体模型模板，且模型计算量较大，训 练时间较长。


技术实现要素：

5.本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于图像的逐步生成式的 人体重建方法及装置，本发明引入注意力机制来学习不同方向维度热图分布的关系，通过不 同方向维度热图信息交互优化三维人体关节点估计和人体网格模型重建；同时基于人体关节 点热图信息，采用由粗到细的方式逐步回归人体网格模型顶点坐标，可不依赖于人体模型模 板，并降低模型计算量及训练时长。
6.为了达到上述目的，本发明采用以下技术方案：
7.本发明一方面提供了一种基于图像的逐步生成式的人体重建方法，包括下述步骤：
8.提取给定人体图像的图像特征，将所述图像特征解码生成x、y、z三个方向维度的热图， 再将x、y、z三个方向维度的热图分布进行连接，编码后分离出x、y、z三个方向维度的热 图分布，再经过热图积分回归出人体关节点坐标；
9.将人体关节点热图分布经过transfomer编码器进行人体关节点及人体网格模型顶点信息 交互、人体网格模型顶点上采样以及批正则化后逐步生成最终的人体网格模型；
10.将人体关节点坐标输入人体网格模型，经过通用的smpl模型回归器后，输出人体模型 对应的人体关节点坐标，作为人体网格模型重建约束。
11.作为优选的技术方案，所述提取给定人体图像的图像特征，具体为：
12.给定一张人体图像，基于标注边框或检测边框对所述人体图像进行裁剪，去除背景影响， 保留纯人体图像，并调整人体图像大小使其匹配后续神经网络处理；
13.将处理后图像输入编码器进行特征提取，获得人体图像特征f
p
，f
p
特征维度为c
×h×
w；
14.对于获得的人体图像特征，在x、y轴方向先利用逆卷积操作将特征图f
p
升维至 c
′×
8h
×
8w。，之后，在x轴方向，对y轴维度进行求均值操作avgy，再利用一维卷积获 得x轴方向的热图分布p
h,x
∈j
×
8h；同理，在y轴方向，对x轴维度进行求均值操作avg
x
， 再利用一维卷积获得y轴方向的热图分布p
h,y
∈j
×
8w。；
[0015][0016][0017]
在z轴方向，对x、y轴维度进行求均值操作avg
x,y
，利用一维卷积f
p
和特征变形操作将 特征维度转为c
′×
d，最后，再利用一维卷积获得z轴方向的热图分布p
h,z
∈j
×
d。
[0018][0019]
作为优选的技术方案，所述再将x、y、z三个方向维度的热图分布进行连接，经 transformer编码器编码后分离出x、y、z三个方向维度的热图分布，具体为：
[0020]
对x、y、z三个方向维度的热图分布p
h,x
,p
h,y
,p
h,z
∈rj×
64
在最后一维度进行融合，得 到融合后特征ph＝[p
h,x
,p
h,y
,p
h,z
]∈rj×
192
，将该融合后特征包含三个方向维度的热图分布 信息，之后，将该融合后特征作为transformer编码器的输入；
[0021]
融合后特征ph输入到n层注意力模块进行不同方向维度及不同关节点之间的热图信息交 互；其中，每层注意力模块依次进行多头注意力、残差连接和正则化、前馈网络处理、残差 连接和正则化四个操作，最终输出热图分布p
′h∈rj×
192
；
[0022]
将输出的热图分布p
′h分别经过独立的特征全连接层fc
x
、fcy、fcz进行特征映射，再 与原热图分布p
h,x
、p
h,y
、p
h,z
进行加和，重新分离为x、y、z三个方向维度的热图分布 p
′
h,x
,p
′
h,y
,p
′
h,z
；
[0023]
p
′
(h,x)
＝p
h,x
fc
x
(p
′h)
[0024]
p
′
(h,y)
＝p
h,y
fcy(p
′h)
[0025]
p
′
(h,z)
＝p
h,z
fcz(p
′h)
[0026]
对每个关节点三个方向维度的热图分布，使用soft-argmax对坐标点进行回归，获得 p
′
c,x
,p
′
c,y
,p
′
c,z
∈rj×1，再进行连接操作获得最终的人体关节点坐标 p
′c＝[p
′
c,x
,p
′
c,y
,p
′
c,z
]∈rj×3；。
[0027]
作为优选的技术方案，其中soft-argmax定义如下：
[0028][0029]
作为优选的技术方案，所述人体关节点及人体网格模型顶点信息交互，具体为：
[0030]
给定热图特征fh＝[p
′
h,x
,p
′
h,y
,p
′
h,z
]∈rj×
192
，经过位置嵌入获得特征f
embed
＝ fh pe，位置嵌入pe定义如下： pos
为位置，i为特征维度下标， d
model
为特征维度；
[0031]
经过位置嵌入后特征f
embed
输入transformer编码器中，transformer编码器包含n个块， 每个块包含一个多头注意力模块以及一个前馈神经网络；在每个块中，f
embed
先经过多头注 意力模块计算规范化的注意力权重再经过前馈神经网络进行特征变换，最终，经过n个块后， 输出即为当前有v个顶点的人体模型的顶点热图分布。
[0032]
作为优选的技术方案，所述人体模型顶点上采样，具体为：
[0033]
将transformer编码器处理后的输出输入至1
×
1的卷积层进行上采样操作，输出为即经过1
×
1卷积操作后，现有模型顶点数增加一倍，从而实 现模型的细化。
[0034]
作为优选的技术方案，所述将人体关节点坐标输入人体网格模型，经过通用的smpl模 型回归器后，输出人体模型对应的人体关节点坐标，完成人体重建，具体为：
[0035][0036]
其中，smpl.j_regressor∈24
×
6890，为smpl模型的关节回归矩阵，m
′c∈6890
×
3为 上述方法中估计获得的人体网格模型，为回归获得的人体关节点坐标。
[0037]
本发明另一方面提供了一种基于图像的逐步生成式的人体重建系统，应用于所述的基于 图像的逐步生成式的人体重建方法，包括人体姿态估计模块、人体网络生成模块以及人体关 节点回归模块；
[0038]
所述人体姿态估计模块，用于提取给定人体图像的图像特征，将所述图像特征解码生成 x、y、z三个方向维度的热图，再将x、y、z三个方向维度的热图分布进行连接，编码后分离 出x、y、z三个方向维度的热图分布，再经过热图积分回归出人体关节点坐标；
[0039]
将人体关节点热图分布经过transfomer编码器进行人体关节点及人体网格模型顶点信息 交互、人体网格模型顶点上采样以及批正则化后逐步生成最终的人体网格模型；；
[0040]
所述人体关节点回归模块，用于将人体关节点坐标输入人体网格模型，经过通用的smpl 模型回归器后，输出人体模型对应的人体关节点坐标，作为人体网格模型重建约束。
[0041]
本发明又一方面提供了一种电子设备，所述电子设备包括：
[0042]
至少一个处理器；以及，
[0043]
与所述至少一个处理器通信连接的存储器；其中，
[0044]
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指 令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于图像的逐步生 成式的人体重建方法。
[0045]
本发明再一方面提供了一种计算机可读存储介质，存储有程序，所述程序被处理器执行 时，实现所述的基于图像的逐步生成式的人体重建方法。
[0046]
本发明与现有技术相比，具有如下优点和有益效果：
[0047]
1、本发明引入了注意力机制，使人体姿态估计和形态重建能更好地利用不同方向维度热 图分布的关联信息，从而实现不同方向维度下热图分布的微调。而现有的方案直接利用单一 方向维度热图估计人体姿态和进行形体重建，丢失了不同方向维度信息的交互。
[0048]
2、本发明采用了由粗到细的逐步生成式的人体重建方案，减少了对人体模型模板的依赖， 且减少了训练所需用时；现有方法依赖于人体模型模板，且计算量较大，训练时间较长。
[0049]
3、本发明采用的由粗到细的逐步生成式的人体重建方案，相较于直接生成的方案，能减 少训练所需的显存要求。
附图说明
[0050]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附 图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域 普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0051]
图1是本发明实施例基于图像的逐步生成式的人体重建方法的流程图；
[0052]
图2是本发明实施例人体姿态估计的流程示意图；
[0053]
图3是本发明实施例进行不同方向维度及不同关节点之间的热图信息交互的示意图；
[0054]
图4是本发明实施例人体网络成像的示意图；
[0055]
图5本发明实施例提供的基于图像的逐步生成式的人体重建系统的结构示意图；
[0056]
图6是本发明实施例电子设备的结构示意图。
具体实施方式
[0057]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术中的实施例及附图， 对本发明的技术方案进行清楚、完整地描述，应当理解，附图仅用于示例性说明，不能理解 为对本专利的限制。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施 例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其 他实施例，都属于本技术保护的范围。
[0058]
在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含 在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实 施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地 理解的是，本技术所描述的实施例可以与其它实施例相结合。
[0059]
如图1所示，本实施例基于图像的逐步生成式的人体重建方法，主要包括以下三个步骤： (1)人体姿态估计步骤；(2)人体网格生成步骤；(3)人体关节点回归步骤；本技术一方面 引入注意力机制来学习不同方向维度热图分布的关系，通过不同方向维度热图信息交互优化 三维人体关节点估计和人体网格模型重建；另一方面基于人体关节点热图信息，采用由粗到 细的方式逐步回归人体网格模型顶点坐标，可不依赖于人体模型模板，并降低模型计算量及 训练时长。
[0060]
下面，将按具体工作流程详述该基于图像的逐步生成式的人体重建方法：
[0061]
(1)人体姿态估计步骤；
[0062]
如图2所示，为人体姿态估计的具体流程，该人体姿态估计模块是基于编码器、解码器 以及transformer编码器实现。给定一张人体图像i作为输入，i经过编码器进行特征
提取获 得图像特征f，图像特征f经过解码器解码生成x、y、z三个方向维度的热图分布，再将x、 y、z三个方向维度的热图分布进行连接，输入到n层transformer编码器中，输出后再分离 出x、y、z三个方向维度的热图分布，再经过热图积分回归出人体关节点坐标。
[0063]
进一步的，该人体姿态估计的具体流程如下：
[0064]
(1.1)人体图像特征提取；
[0065]
(1.1.1)给定一张人体图像i，基于标注边框或检测边框对图像进行裁剪，去除背景影响， 保留纯人体图像，并调整图像大小使其匹配后续神经网络处理。
[0066]
(1.1.2)将处理后图像输入编码器进行特征提取，获得人体图像特征f
p
。f
p
特征维度为 x
×h×
w。
[0067]
对于获得的人体图像特征，在x、y轴方向先利用逆卷积操作将特征图f
p
升维至 c
′×
8h
×
8w。之后，在x轴方向，对y轴维度进行求均值操作avgy，再利用一维卷积获得 x轴方向的热图分布p
h,x
∈j
×
8h；同理，在y轴方向，对x轴维度进行求均值操作avg
x
，再 利用一维卷积获得y轴方向的热图分布p
h,y
∈j
×
8w。
[0068][0069][0070]
在z轴方向，对x、y轴维度进行求均值操作avg
x,y
，利用一维卷积f
p
和特征变形操作将 特征维度转为c
′×
d，最后，再利用一维卷积获得z轴方向的热图分布p
h,z
∈j
×
d。
[0071][0072]
在本实施例的具体实现阶段8h＝8w＝d＝64。
[0073]
更进一步的，进行特征提取时，可选用残差网络resnet50，resnet50有两个基本的块， 分别名为conv block和identity block，其中conv block输入和输出的维度是不一样的，所以 不能连续串联，它的作用是改变网络的维度；identity block输入维度和输出维度相同，可以 串联，用于加深网络的。本实施例采用残差网络resnet50可以很好的进行人体特征的提取； 当然本技术进行特征提取时并不仅仅限于残差网络resnet50，其他可以实现本技术技术方案 的残差网络均适用于本技术，在此不再赘述。
[0074]
(1.2)x、y、z方向维度热图生成；
[0075]
(1.2.1)将提取的人体图像特征f输入解码器，输出x、y、z三个方向维度的多维热图 分布，在本实施例中，输出了j个关节点的64维热图分布p
h,x
,p
h,y
,p
h,z
∈rj×
64
。
[0076]
(1.3)不同方向维度热图信息交换；
[0077]
(1.3.1)对x、y、z三个方向维度的热图分布p
h,x
,p
h,y
,p
h,z
∈rj×
64
在最后一维度进行 连接(concate)融合，得到融合后特征ph＝[p
h,x
,p
h,y
,p
h,z
]∈rj×
192
，该特征将包含三个 方向维度的热图分布信息，之后，将该融合后特征作为transformer编码器的输入。
[0078]
(1.3.2)融合后特征ph输入到n层注意力模块(如图3)进行不同方向维度及不同关节 点之间的热图信息交互。其中，每层注意力模块依次进行多头注意力、残差连接和正则化、 前馈网络处理、残差连接和正则化等四个操作，最终输出热图分布p
′h∈rj×
192
。
[0079]
(1.3.3)将输出的热图分布p
′h分别经过独立的特征全连接层fc
x
、fcy、fcz进行特征 映射，再与原热图分布p
h,x
、p
h,y
、p
h,z
进行加和，即可重新分离为x、y、z三个方向维度的 热图分布p
′
h,x
,p
′
h,y
,p
′
h,z
；
[0080]
p
′
(h,x)
＝p
h,x
fc
x
(p
′h)
[0081]
p
′
(h,y)
＝p
h,y
fcy(p
′h)
[0082]
p
′
(h,z)
＝p
h,z
fcz(p
′h)
[0083]
(1.3.4)对每个关节点三个方向维度的热图分布，使用soft-argmax对坐标点进行回归， 获得p
′
c,x
,p
′
c,y
,p
′
c,z
∈rj×1，再进行连接操作获得最终的人体关节点坐标 p
′c＝[p
′
c,x
,p
′
c,y
,p
′
c,z
]∈rj×3。
[0084]
进一步的，本实施例中，soft-argmax定义如下：
[0085]
(1.3.5)人体姿态估计模块采用关节点损失和骨骼损失作为训练指标，分别定义如下： l
joint
＝||p
′
c-pc||1，其中，pc为真实数据，p
′c为网络预测数据。
[0086]
(2)人体网格模型生成步骤；
[0087]
如图4所示，对于步骤(1)中给定的中间输出p
′h＝[p
′
h,x
,p
′
h,y
,p
′
h,z
]∈rj×
192
，p
′h经 过多次下述步骤：
①
热图特征输入到transformer编码器进行信息交互；
②
热图特征输入到1
ꢀ×
1卷积网络进行网格顶点的上采样，增加网格模型的顶点数；
③
热图特征进行批正则化； 逐步生成最终的人体网格模型。
[0088]
上述人体网格模型具体流程为：
[0089]
在此先假设单层操作的热图特征输入为fh∈b
×v×
192，其中，b为批处理数，v为当 前关节点与模型顶点数的和，192为当前特征维度。
[0090]
(2.1)关节点及模型顶点信息交互；
[0091]
(2.1.1)给定热图特征fh＝[p
′
h,x
,p
′
h,y
,p
′
h,z
]∈rj×
192
，经过位置嵌入获得特征 f
embed
＝fh pe，位置嵌入pe定义如下： pe，位置嵌入pe定义如下：pos为位置，i为特征维度下标，d
model
为特征维度(取定值256)。
[0092]
经过位置嵌入后特征f
embed
输入transformer编码器中，transformer编码器包含n个块， 每个块包含一个多头注意力模块以及一个前馈神经网络(见图3)。在每个块中，f
embed
先经 过多头注意力模块计算规范化的注意力权重再经过前馈神经网络进行特征变换，最终，经过 n个块后，输出即为当前有v个顶点的人体模型的顶点热图分布。
[0093]
(2.2)模型顶点上采样；
[0094]
(2.2.1)将transformer编码器处理后的输出输入至1
×
1的卷积层进行上采样操作， 输出为即经过1
×
1卷积操作后，现有模型顶点数增加一倍， 从而实现模型的细化。
[0095]
(2.3)批正则化；
[0096]
(2.3.1)对采样后的顶点热图进行批正则化。
[0097]
综上，经过以上(2.1)-(2.3)步操作后，人体模型顶点数翻倍，实现了模型从粗到细 的构建过程。最终，同人体姿态估计模块类似，将输出的热图分布f
′h重新分离为x、y、z三 个方向维度的热图分布f
′
h,x
,f
′
h,y
,f
′
h,z
，使用soft-argmax对坐标点进行回归。其中，引入顶 点损失作为优化目标。l
vertex
＝||v
′
c-vc||1,vc为真实数据，v
′c为网络预测数据。
[0098]
(3)人体关节点回归步骤；
[0099]
以人体网格模型v
′c作为输入，经过通用的smpl模型回归器后，可输出人体模型对应的 人体关节点坐标再引入关节点损失来约束人体模型的生成。
[0100]
具体为：
[0101][0102]
其中，smpl.j_regressor∈24
×
6890，为smpl模型的关节回归矩阵，m
′c∈6890
×
3为 上述方法中估计获得的人体网格模型，为回归获得的人体关节点坐标。
[0103]
进一步的，
[0104]
本发明所述技术方案的人体姿态估计及形体重建结果更精确，由于引入了注意力机制来对 不同方向维度的热图分布进行处理，能更有效的利用不同方向维度下的热图信息来指导人体 姿态估计和形体重建。且模型训练时长更短，相较于依赖于人体模型模板的方法，本发明采 用的是由粗到细的逐步生成的方案，比直接基于人体模型模板进行调优的方法计算量小，从 而缩短模型训练时长。
[0105]
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作 组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本 发明，某些步骤可以采用其它顺序或者同时进行。
[0106]
基于与上述实施例中的基于图像的逐步生成式的人体重建方法相同的思想，本发明还提 供了基于图像的逐步生成式的人体重建方法系统，该系统可用于执行上述基于图像的逐步生 成式的人体重建方法。为了便于说明，基于图像的逐步生成式的人体重建方法系统实施例的 结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结 构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不 同的部件布置。
[0107]
如图6所示，在本技术的另一个实施例中，提供了一种基于图像的逐步生成式的人体重 建方法系统100，包括人体姿态估计模块101、人体网络生成模块102以及人体关节点回归模 块103。
[0108]
进一步的，所述人体姿态估计模块101，用于提取给定人体图像的图像特征，所述图像 特征解码生成x、y、z三个方向维度的热图，将再将x、y、z三个方向维度的热图分布进行 连接，编码后分离出x、y、z三个方向维度的热图分布，再经过热图积分回归出人体关节点 坐标；
[0109]
进一步的，所述人体网络生成模块102，用于将人体关节点热图分布经过transfomer编码 器进行人体关节点及人体网格模型顶点信息交互、人体网格模型顶点上
采样以及批正则化后 逐步生成最终的人体网格模型；
[0110]
进一步的，所述人体关节点回归模块103，用于将人体关节点坐标输入人体网格模型， 经过通用的smpl模型回归器后，输出人体模型对应的人体关节点坐标，作为人体网格模型 重建约束。
[0111]
本系统三个模块分两阶段进行训练，第一阶段训练人体姿态估计模块参数，给定输入数 据集，经过上述人体姿态估计流程获得人体关节点坐标p
′c,并采用关节点损失和骨骼损失作 为训练指标，分别定义如下：l
joint
＝||p
′
c-pc||1，，其中，pc为真实数据，p
′c为网络预测数据。此阶段数据流动不经过人体网格生成模 块和人体关节点回归模块。第二阶段训练人体网格生成模块和人体关节点回归模块，此时固 定人体姿态估计模块参数，将人体姿态估计模块估计的x、y、z三个方向热图分布输入人体 网格生成模块，估计人体网格模型m
′c,m
′c再经过关节回归模块输出回归后的关节坐标 此阶段采用顶点损失和关节点回归损失作为训练指标，分别定义如下：l
vertex
＝ ||m
′
c-mc||1和
[0112]
需要说明的是，本发明的基于图像的逐步生成式的人体重建方法系统与本发明的基于图 像的逐步生成式的人体重建方法一一对应，在上述基于图像的逐步生成式的人体重建方法的 实施例阐述的技术特征及其有益效果均适用于基于图像的逐步生成式的人体重建方法的实施 例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
[0113]
此外，上述实施例的基于图像的逐步生成式的人体重建方法系统的实施方式中，各程序 模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或 者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于图像的逐 步生成式的人体重建方法系统的内部结构划分成不同的程序模块，以完成以上描述的全部或 者部分功能。
[0114]
如图6所示，在一个实施例中，提供了一种实现基于图像的逐步生成式的人体重建方法 的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以 包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如基于 图像的逐步生成式的人体重建程序203。
[0115]
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括 闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、 光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该 电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的 外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(smart media card， smc)、安全数字(securedigital，sd)卡、闪存卡(flash card)等。进一步地，所述第一存储器 202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202 不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如基于图像的逐步生成式 的人体重建程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0116]
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装
的集成 电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多 个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种 控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(control unit)，利用各 种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内 的程序或者模块(例如联邦学习防御程序等)，以及调用存储在所述第一存储器202内的数据， 以执行电子设备200的各种功能和处理数据。
[0117]
图6仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图6示出的结构并 不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部 件，或者不同的部件布置。
[0118]
所述电子设备200中的所述第一存储器202存储的基于图像的逐步生成式的人体重建程 序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
[0119]
提取给定人体图像的图像特征，将所述图像特征解码生成x、y、z三个方向维度的热图， 将再将x、y、z三个方向维度的热图分布进行连接，编码后分离出x、y、z三个方向维度的 热图分布，再经过热图积分回归出人体关节点坐标；
[0120]
将热图分布经过关节点及模型顶点信息交互、人体模型顶点上采样以及批正则化后逐步 生成最终的人体网格模型；
[0121]
将人体关节点坐标输入人体网格模型，经过通用的smpl模型回归器后，输出人体模型 对应的人体关节点坐标，完成人体重建。
[0122]
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独 立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可 读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动 硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0123]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计 算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质 中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施 例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失 性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程 rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储 器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态 ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、 增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直 接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态 ram(rdram)等。
[0124]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各 个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应 当认为是本说明书记载的范围。
[0125]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制， 其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应 为等效的置换方式，都包含在本发明的保护范围之内。