一种三维人体模型生成方法、装置、电子设备及存储介质与流程

1.本发明涉及三维人体模型领域，特别涉及一种三维人体模型生成方法、装置、电子设备及存储介质。


背景技术：

2.随着监控摄像头的广泛使用，视频监控和分析已在众多场景中得到应用。在相关技术中，视频监控及分析方案基于单个视角进行监控和分析，只能从单个视角对视频画面中出现的人物进行姿态分析，难以全面有效地重构人物的三维姿态，进而难以全面有效地分析人物的姿态及运动情况。


技术实现要素：

3.本发明的目的是提供一种三维人体模型生成方法、装置、电子设备及存储介质，可从多个视角分析人物的姿态，并可提取待检测图像中包含人体区域及骨骼关键点数据，最后可利用人体区域之间的匹配关系及骨骼关键点数据组生成三维人体模型，可全面有效还原人体三维姿态。
4.为解决上述技术问题，本发明提供一种三维人体模型生成方法，包括：
5.获取在多个视角中拍摄的待检测图像；
6.检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；
7.利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；
8.利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型。
9.可选地，所述检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组，包括：
10.在所述待检测图像中执行人体检测操作，得到所述待检测图像包含的人体区域；
11.在所述人体区域中执行人体骨骼关键点检测，得到所述人体区域包含的骨骼关键点数据组。
12.可选地，所述在所述人体区域中执行人体骨骼关键点检测之前，还包括：
13.将所述人体区域输入空间变换网络进行修正计算，得到修正后的人体区域；
14.利用修正后的人体区域执行所述在所述人体区域中执行人体骨骼关键点检测的步骤。
15.可选地，所述利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，包括：
16.计算所述人体区域之间的外观相似度，并利用所述外观相似度构建所述待检测图像之间的外观亲和性矩阵；
17.利用所述骨骼关键点数据组计算所述人体区域之间的几何相似度，并利用所述几何相似度构建所述待检测图像之间的几何亲和性矩阵；
18.利用所述外观亲和性矩阵及所述几何亲和性矩阵，构建所述待检测图像之间的融合亲和性矩阵。
19.可选地，当所述视角的数量为两个时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：
20.创建所述待检测图像之间的初始置换矩阵，并计算所述初始置换矩阵与所述融合亲和性矩阵的内积；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；
21.调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述内积最大；
22.将所述内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。
23.可选地，当所述视角的数量为三个及三个以上时，所述利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系，包括：
24.创建所述待检测图像之间的初始置换矩阵；所述初始置换矩阵表示所述待检测图像包含的人体区域之间的初始匹配关系；
25.计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积；
26.将所述内积及所述低秩项输入目标函数，得到所述目标函数的输出值；
27.调整所述初始置换矩阵，并利用调整后的初始置换矩阵执行所述计算所述初始置换矩阵的低秩项以及所述初始置换矩阵与所述融合亲和性矩阵的内积的步骤，直至所述输出值最小；
28.将所述输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到所述人体区域之间的匹配关系。
29.可选地，所述利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型，包括：
30.利用确定所述匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，所述初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值；
31.利用所述初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据；
32.对所述三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的所述三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至所述后验分布数据最大；
33.利用所述后验分布数据最大时的初始三维人体姿态生成所述三维人体模型。
34.本发明还提供一种三维人体模型生成装置，包括：
35.图像获取模块，用于获取在多个视角中拍摄的待检测图像；
36.检测模块，用于检测所述待检测图像包含的人体区域，并检测所述人体区域中包
含的骨骼关键点数据组；
37.匹配模块，用于利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；
38.模型生成模块，用于利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型。
39.本发明还提供一种电子设备，包括：
40.存储器，用于存储计算机程序；
41.处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的三维人体模型生成方法。
42.本发明还提供一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的三维人体模型生成方法。
43.本发明提供一种三维人体模型生成方法，包括：获取在多个视角中拍摄的待检测图像；检测所述待检测图像包含的人体区域，并检测所述人体区域中包含的骨骼关键点数据组；利用所述人体区域及所述骨骼关键点数据组，构建所述待检测图像之间的融合亲和性矩阵，并利用所述融合亲和性矩阵确定所述人体区域之间的匹配关系；利用所述匹配关系以及所述骨骼关键点数据组进行姿态构造，生成三维人体模型。
44.可见，本方法利用多个视角拍摄的待检测图像，对人物的三维姿态进行了构造，得到了三维人体模型。在相关技术中，视频监控及分析基于单个视角进行，只能从单个视角对人物的姿态及运动情况进行有限分析。而在本方法中，首先可从多个视角中对人物的姿态及运动情况进行分析，同时，本方法在采集了多个视角拍摄的待检测图像后，还对待检测图像中包含人体区域及骨骼关键点数据进行了检测提取，并对人体区域的匹配关系进行了计算，最后可根据人体区域的匹配关系及骨骼关键点数据组，对人体的三维人体模型进行构造，可全面有效地还原人体姿态及人体的运动情况，进而有效提升监控人员的分析及管理效率。本发明还提供一种三维人体模型生成装置、电子设备及存储介质，具有上述有益效果。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
46.图1为本发明实施例所提供的一种三维人体模型生成方法的流程图；
47.图2为本发明实施例所提供的利用对极约束计算两人体区域几何相似度的示意图；
48.图3为本发明实施例所提供的一种三维人体模型生成装置的结构框图。
r
‑
cnn目标识别网络能够快速且有效地进行人体区域检测，因此可用faster r
‑
cnn目标识别网络在待检测图像中提取人体区域。需要说明的是，本发明实施例并不限定faster r
‑
cnn目标识别网络的部署及训练方式，用户可参考相关技术。
58.进一步，可以理解的是，在人体区域中提取骨骼关键点数据组的功能可利用单人骨骼关键点检测器实现，单人骨骼关键点检测器是一种可提取图像中单个人物骨骼关键点数据的深度卷积神经网络。需要说明的是，本发明实施例并不限定单人骨骼关键点检测器基于的网络结构，例如可以为传统的卷积神经网络结构，也可以为stacked hourglass网络结构，其中stacked hourglass可利用多尺度特征来识别人物姿态。考虑到采用stacked hourglass网络结构可提升骨骼关键点数据组的提取准确度，因此在本发明实施例中，单人骨骼关键点检测器可采用stacked hourglass网络结构。
59.在一种可能的情况中，检测待检测图像包含的人体区域，并检测人体区域中包含的骨骼关键点数据组的过程，可以包括：
60.步骤11：在待检测图像中执行人体检测操作，得到待检测图像包含的人体区域；
61.步骤12：在人体区域中执行人体骨骼关键点检测，得到人体区域包含的骨骼关键点数据组。
62.进一步，考虑到利用目标识别网络提取人体区域时，可能出现人体区域提取错误的情况，例如人体并未出现在该区域中央，或是人体在人体区域中所占据的面积较小，又或是人体区域中的人体信息不完全。当人体区域提取错误时，将会影响骨骼关键点数据组提取的效率及准确度，因此在得到人体区域之后，也可以对人体区域进行修正，以确保人体处于人体区域中央、人体数据完整且人体所占人体区域的比例符合计算要求。本发明实施例并不限定对人体区域进行修正的具体方法，当每次提取人体区域时均会出现相同的检测错误时，可对人体检测区域进行放大或是缩小，也可以对人体检测区域在待检测图像中沿预设方向进行移动；当然，也可以将人体区域输入空间变换网络中进行修正，其中空间变化网络(spatial transformer networks)可对输入的图像进行平移、旋转、缩放及裁剪等操作，以确保图像维持空间不变性。考虑到空间变换网络可自动实现对人体区域的修正，因此在本发明实施例中，可采用空间变化网络对人体区域进行修正。
63.在一种可能的情况中，在人体区域中执行人体骨骼关键点检测之前，还可以包括：
64.步骤21：将人体区域输入空间变换网络进行修正计算，得到修正后的人体区域；
65.步骤22：利用修正后的人体区域执行在人体区域中执行人体骨骼关键点检测的步骤。
66.需要说明的是，本发明实施例并不限定空间变化网络对人体区域进行修正计算的具体过程，本发明也不限定空间变换网络的具体结构，用户可参考空间变换网络的相关技术。在一种可能的情况中，空间变换网络可以分为三个模块：1)本地网络(localization network)；2)网格生成器(grid generator)；3)采样器(sampler)。本地网络是一个用来回归变换参数的网络，其输入来自卷积神经网络的深度特征，输出空间变换参数。空间变换参数的形式可以多样，如需实现2d仿射变换，就是一个6维(2x3)向量的输出；网格生成器可根据本地网络产生的空间变换参数，以及边界框在图像中的位置，计算出新的坐标位置；采样器利用采样网格和输入的特征图同时作为输入产生输出，得到了特征图经过变换之后的结果。
67.s103、利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵，并利用融合亲和性矩阵确定人体区域之间的匹配关系。
68.在得到人体区域及人体区域包含的骨骼关键点数据组后，还需对人体区域之间的匹配关系进行确定，才可进行三维人体模型的构建。在本发明实施例中，采用待检测图像之间的融合亲和性矩阵确定人体区域之间的匹配关系，而融合亲和性矩阵中包含有人体区域之间的相似度信息，可用于确定不同视角中的人体区域之间的匹配关系。需要说明的是，本发明实施例并不限定融合亲和性矩阵中包含有哪种人体区域之间的相似度信息，例如可以包含有人体区域之间的外观相似度信息，也可以包含有人体区域的骨骼关键点数据组之间的几何相似度信息，其中，可以理解的是，对于同一场景中的同一人物，其骨架结构具有几何相似性，进而可通过骨骼关键点数据组之间的几何相似度信息确定人体区域之间的匹配关系。当然，融合亲和性矩阵中也可以包含以上两种信息的组合，即通过外观特征和几何特征两方面进一步提升匹配计算的准确性。
69.需要说明的是，本发明实施例并不限定计算人体区域之间外观相似度的具体计算方式，该计算可通过任意计算图像相似度的深度学习卷积网络实现。在本发明实施例中，优选地，可采用行人重识别深度卷积网络(person re
‑
id cnn)计算人体区域之间的外观相似度。需要说明的是，本发明实施例并不限定利用行人识别深度卷积网络进行外观相似度计算的具体过程，用户可参考相关技术。在一种可能的情况中，可将两个人体区域输入同一行人重识别卷积网络提取深度外观特征，然后计算两人体区域之间深度外观特征的欧式距离，得到外观相似度。当然，为了方便后续的矩阵计算，也可以将外观相似度进行归一化处理，以减少计算量。本发明实施例并不限定归一化处理的具体方式，用户可参考相关技术，例如可利用sigmoid函数进行归一化。
70.进一步，本发明也不限定计算人体区域之间几何相似度的具体计算方式，用户可参考计算三维几何相似度的相关技术。在一种可能的情况中，可采用对极约束(epipolar constraint)的方式计算人体区域之间的几何相似度。需要说明的是，本发明实施例并不限定利用对极约束计算人体区域的骨骼关键点数据组之间相似性的具体方法，用户可参考对极约束的相关技术。在一种可能的情况中，假设骨骼关键点数据组中包含n个骨骼关键点，那么对于两个不同待检测图像i和j中的人体区域，其几何相似度可通过如下公式进行计算：
[0071][0072]
其中，x
i
和x
j
分别表示待检测图像待检测图像i和j中的人体区域，d
g
(x
i
,x
j
)表示两人体区域的几何相似性，和分别表示人体区域x
i
和x
j
中的第n个骨骼关键点；表示在待检测图像j中与相关的极线，表示在待检测图像i中与相关的极线。请参考图2，图2为本发明实施例所提供的利用对极约束计算两人体区域几何相似度的示意图，视角i和视角j即为待检测图像i和待检测图像j，o1和o2分别为拍摄两待检测图像的图像采集设备的光心，e1和e2为两光心相连直线在各自待检测图像平面的焦点，点p为和o1所在直线与和o2所在直线的交点。在此图中，为和e2所在直线，而为和e1所
在直线。d
g
(
·
,l)表示点到直线之间的距离。在利用如上公式计算两个人体区域的几何一致性后，也可以对d
g
进行归一化操作。需要说明的是本发明并不限定具体的归一化方式，例如可通过sigmoid函数进行归一化。
[0073]
可以理解的是，图2所示的光心以及光心连线在各自图像平面的交点，均为图像采集设备的校准数据，即本发明实施例需要对图像采集设备进行光学校准，然后才可利用校准数据进行计算。
[0074]
在计算得到人体区域之间的外观相似度及几何相似度后，便可构建待检测图像之间的外观亲和性矩阵及几何亲和性矩阵，并利用外观亲和新矩阵及集合亲和性矩阵构造融合亲和性矩阵。对于待检测图像i和待检测图像j，设p
i
和p
j
分别为i和j中包含的人体区域数量，那么i和j之间的融合亲和性矩阵、外观亲和性矩阵及几何亲和性矩阵可分别表示为：以及其中表示实数集。外观亲和性矩阵及几何亲和性矩阵中各元素的值分别表示待检测图像i所包含的人体区域与待检测图像j所包含的人体区域之间的外观相似度以及几何相似度。融合亲和性矩阵可通过如下方式进行设置：
[0075][0076]
其中，th为可设置的阈值。
[0077]
在一种可能的情况中，利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵的过程，可以包括：
[0078]
步骤31：计算人体区域之间的外观相似度，并利用外观相似度构建待检测图像之间的外观亲和性矩阵；
[0079]
步骤32：利用骨骼关键点数据组计算人体区域之间的几何相似度，并利用几何相似度构建待检测图像之间的几何亲和性矩阵；
[0080]
步骤33：利用外观亲和性矩阵及几何亲和性矩阵，构建待检测图像之间的融合亲和性矩阵。
[0081]
进一步，在得到融合亲和性矩阵后，便可利用该矩阵确定人体区域之间的匹配关系。在本发明实施例中，可利用置换矩阵及匈牙利算法确定人体区域之间的匹配关系。具体的，可首先为待检测图像i和j的融合性亲和矩阵a
ij
设置初始的置换矩阵并计算p
ij
与a
ij
的内积；随后，不断调整置换矩阵直至内积最大，最后，将内积最大时对应的置换矩阵输入匈牙利算法中进行计算，便可得到人体区域之间的最佳匹配关系。当然在人体区域来自拍摄与三个及三个以上视角的待检测图像时，也可考虑人体区域之间的回路一致性。以视角数量为三个为例，当两个视角中的人体区域建立匹配关系时，这两个人体区域应当在第三个视角中也匹配到同一人体区域，才可满足回路一致性。关于在视角数为三个及三个以上时，判断人体区域是否满足回路一致性的具体过程，将在后续的实施例中进行介绍。
[0082]
s104、利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型。
[0083]
在确定了人体区域之间的匹配关系后，便可利用匹配关系及骨骼关键点数据组进
行姿态构造，得到最终的三维人体模型。需要说明的是，本发明并不限定利用匹配关系及骨骼关键点数据组进行姿态构造的具体方式，例如可通过立体三角测量的方式进行三维人体模型的生成，也可以利用3dps模型进行三维人体模型的生成，其中3dps(3d pictorial structure)是一种利用人体骨架结构先验知识以及2d姿态数据近似推理3d人体姿态的方法。考虑到人体区域中的骨骼关键点数据组存在计算误差，简单使用三角测量将会降低三维人体模型的生成精度，因此在本发明实施例中可采用3dps模型进行三维人体模型的生成。
[0084]
在一种可能的情况中，利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型的过程，可以包括：
[0085]
步骤41：利用确定匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值。
[0086]
需要说明的是，本发明实施例并不限定三角测量的具体过程，用户可参考三角测量的相关技术。同时，需要说明的是，关节候选值是通过建立匹配关系的人体区域之间两两进行三角测量得到的，例如当存在三个建立匹配关系的人体区域时，此时某一三维人体骨骼关节点便具有三个候选值。
[0087]
步骤42：利用初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据。
[0088]
假设三维骨骼关节点i的空间位置为t＝{t
i
|i＝1,
…
,n},给定不同视角下的待检测图像i＝{i
v
|v＝1,
…
,v}，三维人体姿态的后验分布数据可以表示为：
[0089][0090]
其中，
∝
表示正比于，p(t|i)为三维人体姿态的后验概率；p(i
v
|π
v
(t
i
))表示第v个视角中，3d骨骼关键点的2d投影，同样为后验概率；π
v
(t
i
)来自于2d骨骼关键点检测器的热力图输出，表示每个关节点的2d空间分布，p(t
i
,t
j
)表示关节点的结构依赖，服从于高斯分布。ε指的是在人体结构上存在依存关系的关键点连边，即人体骨架结构先验数据。需要说明的是，本发明并不限定该人体骨架结构先验数据的具体形式，只要能够表示人体骨架结构即可。在一种可能情况中，人体骨架结构先验数据为关键点“鼻”、“左右肩”、“左右肘”、“左右腕”、“左右臀”、“左右膝”、“左右踝”的序号分别为0到12，则在结构上有依存连边的有：(0,1)、(0,2)、(1,3)、(2,4)、(3,5)、(4,6)、(0,7)、(0,8)、(7,9)、(8,10)、(9,11)、(10,12)。p(t
i
,t
j
)采用如下公式进行计算：
[0091]
p(t
i
,t
j
)
∝
n(||t
i
‑
t
j
|||l
ij
,σ
ij
)
[0092]
其中n表示高斯分布，||t
i
‑
t
j
||表示关节点t
i
和t
j
的欧式距离，l
ij
和σ
ij
分别为该欧式距离的均值及方差，l
ij
和σ
ij
均属于人体骨架结构的先验数据。在得到上述三维人体姿态的后验分布数据之后，便可进行推理计算。
[0093]
步骤43：对三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至后验分布数据最大。
[0094]
在3dps模型中，对p(t|i)的推理过程为：将状态空间离散为统一的三维网络，并应用max
‑
product算法进行推理求解，以使p(t|i)取值最大，其中状态空间针对的是单个三维骨骼关键点，为该骨骼关键点可能取值的集合。max
‑
product的算法复杂度会随着状态空间维数的增加而快速增长，此处的状态空间维数至的是骨骼关键点可能取值的集合中的元素个数。由于在原有3dps模型中，推理将会使用由连续空间离散化得到的网状点集进行计算，而点的数量较多，将会增加推理的复杂度，减低推理效率，因此在本发明实施例中，将会采用上述由三角测量得到的每个三维人体骨骼关节点的关节候选值作为状态空间，减小了状态空间的维度；同时本发明实施例只要能在任意两个建立匹配关系的人体区域中检测到三维关节点，便会将该三维关节点作为最终三维人体模型的关节点，可大大减少3dps模型的计算复杂度，并提升计算效率。
[0095]
步骤44：利用后验分布数据最大时的初始三维人体姿态生成三维人体模型。
[0096]
基于上述实施例，本方法利用多个视角拍摄的待检测图像，对人物的三维姿态进行了构造，得到了三维人体模型。在相关技术中，视频监控及分析基于单个视角进行，只能从单个视角对人物的姿态及运动情况进行有限分析。而在本方法中，首先可从多个视角中对人物的姿态及运动情况进行分析，同时，本方法在采集了多个视角拍摄的待检测图像后，还对待检测图像中包含人体区域及骨骼关键点数据进行了检测提取，并对人体区域的匹配关系进行了计算，最后可根据人体区域的匹配关系及骨骼关键点数据组，对人体的三维人体模型进行构造，可全面有效地还原人体姿态及人体的运动情况，进而有效提升监控人员的分析及管理效率。
[0097]
基于上述实施例，下面对本发明实施例所提供的一种利用融合亲和性矩阵确定人体区域之间的匹配关系的方式进行介绍。在一种可能的情况中，当视角的数量为两个时，利用融合亲和性矩阵确定人体区域之间的匹配关系，包括：
[0098]
s201、创建待检测图像之间的初始置换矩阵，并计算初始置换矩阵与融合亲和性矩阵的内积；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系；
[0099]
s202、调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵与融合亲和性矩阵的内积的步骤，直至内积最大；
[0100]
s203、将内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
[0101]
基于上述实施例，本方法可通过调整初始置换矩阵，并将内积最大时对应的置换矩阵输出匈牙利算法中计算得到人体区域之间的匹配关系。
[0102]
基于上述实施例，下面对本发明实施例所提供的另一种利用融合亲和性矩阵确定人体区域之间的匹配关系的方式进行介绍。在一种可能的情况中，当视角的数量为三个及三个以上时，利用融合亲和性矩阵确定人体区域之间的匹配关系，包括：
[0103]
s301、创建待检测图像之间的初始置换矩阵；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系。
[0104]
假设矩阵p表示所有相机视角下的所有边界框的对应关系：
[0105][0106]
其中，p
ij
,i,j∈[1,n]表示待检测图像i和j的置换矩阵，其中各元素值表示待检测图像i中各人体区域与待检测图像j中各人体区域的对应关系，例如元素值为0表示无对应，而1表示有对应。p
ii
表示视角i至视角i的置换矩阵，由于同视角的人体区域之间没有对应关系，只与自身具有对应关系，因此矩阵p
ii
为单位矩阵。
[0107]
如果p满足回路一致性，则当且仅当：
[0108]
rank(p)≤s,p≥0
[0109]
其中，rank(p)表示矩阵p的秩，s表示所有待检测图像所拍摄的场景中潜在的人员数量。同时，若p满足回路一致性，则可被因式分解为yyt，其中y表示所有人体区域与人员的对应关系。
[0110]
s302、计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积。
[0111]
s303、将内积及低秩项输入目标函数，得到目标函数的输出值。
[0112]
目标函数为：
[0113][0114]
其中，a为所有由a
ij
组成的分块矩阵，其形式类似于矩阵p，λ为低秩项的系数。
[0115]
s304、调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积的步骤，直至输出值最小。
[0116]
对上述目标函数进行最小化后，便可得到满足回路一致性的置换矩阵。
[0117]
s305、将输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
[0118]
基于上述实施例，本方法可对人体区域的匹配增加回路一致性约束，确保待检测图像所覆盖场景中的人物，可在所有待检测图像中均有相对应的人体区域，进而确保能够使用建立匹配关系的人体区域进行三维人体模型的生成。
[0119]
下面对本发明实施例提供的三维人体模型生成装置、电子设备及存储介质进行介绍，下文描述的三维人体模型生成装置、电子设备及存储介质与上文描述的三维人体模型生成方法可相互对应参照。
[0120]
请参考图3，图3为本发明实施例所提供的一种三维人体模型生成装置的结构框图，该装置可以包括：
[0121]
图像获取模块301，用于获取在多个视角中拍摄的待检测图像；
[0122]
检测模块302，用于检测待检测图像包含的人体区域，并检测人体区域中包含的骨骼关键点数据组；
[0123]
匹配模块303，用于利用人体区域及骨骼关键点数据组，构建待检测图像之间的融合亲和性矩阵，并利用融合亲和性矩阵确定人体区域之间的匹配关系；
[0124]
模型生成模块304，用于利用匹配关系以及骨骼关键点数据组进行姿态构造，生成三维人体模型。
[0125]
可选地，检测模块301，包括：
[0126]
人体区域检测子模块，用于在待检测图像中执行人体检测操作，得到待检测图像包含的人体区域；
[0127]
骨骼关键点提取子模块，用于在人体区域中执行人体骨骼关键点检测，得到人体区域包含的骨骼关键点数据组。
[0128]
可选地，检测模块301，还可以包括：
[0129]
修正子模块，用于将人体区域输入空间变换网络进行修正计算，得到修正后的人体区域。
[0130]
可选地，匹配模块303，包括：
[0131]
外观亲和性矩阵计算子模块，用于计算人体区域之间的外观相似度，并利用外观相似度构建待检测图像之间的外观亲和性矩阵；
[0132]
几何亲和性矩阵计算子模块，用于利用骨骼关键点数据组计算人体区域之间的几何相似度，并利用几何相似度构建待检测图像之间的几何亲和性矩阵；
[0133]
融合亲和性矩阵计算子模块，用于利用外观亲和性矩阵及几何亲和性矩阵，构建待检测图像之间的融合亲和性矩阵；
[0134]
匹配子模块，用于利用融合亲和性矩阵确定人体区域之间的匹配关系。
[0135]
可选地，当视角的数量为两个时，匹配子模块，可以包括：
[0136]
第一计算单元，用于创建待检测图像之间的初始置换矩阵，并计算初始置换矩阵与融合亲和性矩阵的内积；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系；
[0137]
第一调整单元，用于调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵与融合亲和性矩阵的内积的步骤，直至内积最大；
[0138]
第一匹配单元，用于将内积最大时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
[0139]
可选地，当视角的数量为三个及三个以上时，匹配子模块，可以包括：
[0140]
创建单元，用于创建待检测图像之间的初始置换矩阵；初始置换矩阵表示待检测图像包含的人体区域之间的初始匹配关系；
[0141]
第二计算单元，用于计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积；
[0142]
输出单元，用于将内积及低秩项输入目标函数，得到目标函数的输出值；
[0143]
第二调整单元，用于调整初始置换矩阵，并利用调整后的初始置换矩阵执行计算初始置换矩阵的低秩项以及初始置换矩阵与融合亲和性矩阵的内积的步骤，直至输出值最小；
[0144]
第二匹配单元，用于将输出值最小时对应的初始置换矩阵输入匈牙利算法中进行计算，得到人体区域之间的匹配关系。
[0145]
可选地，模型生成模块304，可以包括：
[0146]
初始数据生成子模块，用于利用确定匹配关系的人体区域包含的骨骼关键点数据组进行三角测量，得到初始三维人体姿态数据；其中，初始三维人体姿态数据中包含每个三维人体骨骼关节点的关节候选值；
[0147]
后验分布计算子模块，用于利用初始三维人体姿态数据和人体骨架结构先验数据，计算三维人体姿态的后验分布数据；
[0148]
调整子模块，用于对三维人体姿态数据中包含的关节候选值进行调整，并利用调整后的三维人体姿态数据执行计算三维人体姿态的后验分布数据的步骤，直至后验分布数据最大；
[0149]
模型生成子模块，用于利用后验分布数据最大时的初始三维人体姿态生成三维人体模型。
[0150]
本发明实施例还提供一种电子设备，包括：
[0151]
存储器，用于存储计算机程序；
[0152]
处理器，用于执行计算机程序时实现如上述的三维人体模型生成方法的步骤。
[0153]
由于电子设备部分的实施例与三维人体模型生成方法部分的实施例相互对应，因此电子设备部分的实施例请参见三维人体模型生成方法部分的实施例的描述，这里暂不赘述。
[0154]
本发明实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述任意实施例的三维人体模型生成方法的步骤。
[0155]
由于存储介质部分的实施例与三维人体模型生成方法部分的实施例相互对应，因此存储介质部分的实施例请参见三维人体模型生成方法部分的实施例的描述，这里暂不赘述。
[0156]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0157]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0158]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0159]
以上对本发明所提供的一种三维人体模型生成方法、装置、电子设备及存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的
普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。