一种人体姿态估计方法及装置与流程

1.本发明涉及图像处理技术领域，特别是涉及一种人体姿态估计方法及装置。


背景技术：

2.人体姿态估计技术，其能够基于红外图像得到人体姿态，有着重要的应用价值，因此人体姿态估计技术逐渐应用于人机协作、视频监控、影视制作和工农业生产等领域。
3.目前，传统的人体姿态估计方法通常是直接对红外图像采用深度学习的方法，获取人体的人体关键点的位置，并根据所获取的人体关键点得到人体姿态。这种传统的人体姿态估计方法存在如下缺陷：提取人体特征以人工设定的神经网络模型为主，神经网络模型识别结果的好坏很大程度上依赖于红外图像的拍摄环境，拍摄环境出现的诸如遮挡、光照强度、视角变动等情况都会对人体关键点的识别结果造成干扰，尤其红外图像中存在遮挡的情况时，神经网络模型无法有效的区分背景和人体，以及人体与人体的重叠情况，导致人体姿态估计的准确度较低。


技术实现要素：

4.有鉴于此，本发明提出了一种人体姿态估计方法及装置，主要目的在于提高红外图像中人体姿态估计的准确度。
5.为了达到上述目的，本发明主要提供了如下技术方案：
6.第一方面，本发明提供了一种人体姿态估计方法，该方法包括：
7.获取红外图像，其中，所述红外图像中包括有人体影像和散斑影像；
8.对所述红外图像进行人体关键点检测，得到所述人体影像对应的人体关键点信息；
9.基于所述散斑影像，校正所述人体关键点信息；
10.根据校正后的人体关键点信息，确定人体姿态。
11.第二方面，本发明提供了一种人体姿态估计装置，该装置包括：
12.获取单元，用于获取红外图像，其中，所述红外图像中包括有人体影像和散斑影像；
13.检测单元，用于对所述红外图像进行人体关键点检测，得到所述人体影像对应的人体关键点信息；
14.校正单元，用于基于所述散斑影像，校正所述人体关键点信息；
15.确定单元，用于根据校正后的人体关键点信息，确定人体姿态。
16.第三方面，本发明提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行第一方面所述的人体姿态估计方法。
17.第四方面，本发明提供了一种存储管理设备，所述存储管理设备包括：
18.存储器，用于存储程序；
19.处理器，耦合至所述存储器，用于运行所述程序以执行第一方面所述的人体姿态估计方法。
20.借由上述技术方案，本发明提供的人体姿态估计方法及装置，在获取到包括有人体影像和散斑影像的红外图像时，对红外图像进行人体关键点检测，得到人体影像对应的人体关键点信息。然后基于散斑影像校正人体关键点信息，最后根据校正后的人体关键点信息确定人体姿态。可见，本发明提供的方案通过规则性的散斑来辅助红外图像的人体姿态估计，此辅助主要体现在人体姿态估计所用的人体关键点信息是基于红外图像中散斑影像校正后的，其能够准确的反映出人体的人体关键点的位置，因此根据这种校正后的人体关键点信息确定人体姿态，能够提高红外图像中人体姿态估计的准确度。
21.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1示出了本发明一个实施例提供的一种人体姿态估计方法的流程图；
24.图2示出了本发明另一个实施例提供的一种人体姿态估计方法的流程图；
25.图3示出了本发明一个实施例提供的一种人体影像的示意图；
26.图4示出了本发明一个实施例提供的一种人体姿态的示意图；
27.图5示出了本发明另一个实施例提供的一种人体姿态的示意图；
28.图6示出了本发明一个实施例提供的一种人体姿态估计装置的结构示意图；
29.图7示出了本发明另一个实施例提供的一种人体姿态估计装置的结构示意图。
具体实施方式
30.下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
31.人体姿态估计是指从诸如红外图像等二维图像中估计出人体关键点的位置，并最终基于所估计出的人体关键点，形成完整的人体骨架结构，其可应用在诸如人机交互、视觉监控等领域。
32.目前，传统的人体姿态估计方法通常是直接对红外图像采用深度学习的方法，获取人体关键点的位置。这种传统的人体姿态估计方法存在如下两点缺陷：一是，由于红外图像的纹理信息较少，对红外图像采用深度学习的方法，往往导致人体姿态估计不准确。二是，提取人体特征以人工设定的神经网络模型为主，神经网络模型识别结果的好坏很大程度上依赖于红外图像的拍摄环境，拍摄环境出现的诸如遮挡、光照强度、视角变动等情况都
会对人体关键点的识别结果造成干扰，尤其红外图像中存在遮挡的情况时，神经网络模型无法有效的区分背景和人体，以及人体与人体的重叠情况，导致人体姿态估计的准确度较低。
33.可见，直接对红外图像采用深度学习的方法进行人体姿态估计的方式，存在人体姿态估计准确度较低的问题。为了提高红外图像中人体姿态估计的准确度，本发明实施例提供了一种人体姿态估计方法及装置，下面对该人体姿态估计方法及装置进行具体说明。
34.如图1所示，本发明实施例提供了一种人体姿态估计方法，该方法主要包括：
35.101、获取红外图像，红外图像中包括有人体影像和散斑影像。
36.红外图像为人体姿态估计方法的应用场景下的红外图像。应用场景的具体类型本实施例不做具体限定。可选的，应用场景可以为动作识别、人机交互、视觉监控等。
37.红外图像中包括有人体影像和散斑影像。红外图像中的人体影像为待人体姿态估计的人体对应的影像。红外图像中的散斑影像用于辅助人体姿态估计。散斑影像会根据空间距离的变化而发生几何形变，而且由于人体的肢体的近似刚体特性，几何形变会在肢体上呈现规律性变化，例如，散斑影像在不同距离的人体上呈现尺寸大小的变化，在手臂等肢体上呈现同一方向的特征，在肢体边缘处则出现不规则形状等。可见，散斑影像能够反映出人体的肢体姿态，因此红外图像中的散斑影像能够辅助人体姿态估计。
38.下面对红外图像的采集过程进行说明：红外发射器发射红外线的同时，散斑投射器投射出散斑。红外接收器利用人体与背景间的红外线差，获取红外线和散斑的反馈，基于所获取的反馈形成红外图像。需要说明的是，散斑投射器可以是单独的设备，也可以集成在红外发射器内，也就是说，红外发射器在具有发射红外线功能的同时，还具有投射散斑的功能。
39.102、对所述红外图像进行人体关键点检测，得到所述人体影像对应的人体关键点信息。
40.人体关键点检测是人体姿态估计的基础，其主要用于从红外图像中定位人体关键点，以利用这些定位出的人体关键点，确定人体姿态。人体关键点主要对应于如下17个：鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝。
41.下面对红外图像进行人体关键点检测，得到红外图像中人体影像对应的人体关键点信息的具体过程进行说明，该过程包括如下步骤一至步骤四：
42.步骤一，提取红外图像中人体影像对应的人体特征。
43.人体特征为红外图像中人体影像所涉及的人体关键点的特征，用于体现人体关键点在红外图像中的定位，其可以包括人体关键点的诸如位置坐标、轮廓、边缘、颜色、纹理和形状等特征。上述人体特征是红外图像中人体影像的浅层语义特征，基于这些人体特征能够定位红外图像中人体影像所涉及的人体关键点的位置。
44.采用如下方法提取红外图像中人体影像对应的人体特征：将红外图像输入人体特征识别模型，得到人体特征。其中，人体特征识别模型用于对红外图像进行人体特征识别，其以包括人体影像的红外图像为输入，并识别红外图像中的人体特征，以识别出的人体特征为输出。人体特征识别模型是以大量标注过人体特征的红外图像为样本训练而得。
45.步骤二，提取红外图像中散斑影像对应的散斑特征。
46.散斑影像用于辅助人体姿态估计，散斑影像会根据空间距离的变化而发生几何形
变，而且由于人体的肢体的近似刚体特性，散斑影像的几何形变会在肢体上呈现规律性变化。可见，散斑特征为对应于红外图像中人体影像的人体关键点的特征，用于体现人体关键点在红外图像中的定位，因此需要提取红外图像中散斑影像对应的散斑特征。散斑特征为诸如散斑坐标、散斑形状、散斑大小等，基于这些散斑特征能够定位红外图像中人体关键点的位置。
47.采用如下方法提取红外图像中散斑影像对应的散斑特征：将红外图像输入散斑特征识别模型，得到散斑特征。其中，散斑特征识别模型用于对红外图像进行散斑特征识别，其以包括散斑影像的红外图像为输入，并识别红外图像的散斑特征，以识别出的散斑特征为输出。该散斑特征识别模型是以大量标注过散斑特征的红外图像为样本训练而得。
48.步骤三，融合人体特征和散斑特征，生成融合特征。
49.为了更为准确的确定出红外图像中人体影像所涉及的人体关键点的特征，需要融合人体特征和散斑特征。生成融合特征的过程为：将人体特征和散斑特征输入融合模型，得到融合特征。其中，融合模型用于融合人体特征和散斑特征，其以人体特征和散斑特征为输入，对上述两个特征进行特征融合，并以融合后形成的融合特征为输出。该融合模型是以大量存在对应关系的人体特征和散斑特征为样本训练而得。
50.步骤四，将融合特征输入人体姿态识别模型，得到人体关键点信息。
51.融合特征是基于人体特征和散斑特征融合而得，其是能够体现人体关键点在红外图像中精确定位的特征。在确定人体关键点信息时，将融合特征输入人体姿态识别模型，得到人体关键点信息。其中，人体姿态识别模型用于识别人体关键点信息，其以融合特征为输入，对融合特征进行人体关键点信息识别，并以识别出的人体关键点信息为输出。该人体姿态识别模型是以大量标注过的融合特征为样本训练而得。
52.本实施例中所提及的人体关键点信息存在如下特征：一个人体关键点信息对应一个人体关键点，人体关键点信息中包括人体关键点坐标；或，一个人体关键点信息包括人体关键点坐标和人体关键点对应的人体肢体名称；或，一个人体关键点信息包括人体关键点坐标、人体关键点对应的人体肢体名称、人体关键点所处的人体标号。由于红外图像中可能不止存在一个人体，因此为了区分人体关键点信息属于哪个人体，则人体关键点信息中可存在人体标号。
53.103、基于所述红外图像中散斑影像，校正所述人体关键点信息。
54.红外图像中的人体影像可能存在被遮挡的情况，这种情况会导致人体关键点信息确定的不精确，因此为了提高人体关键信息的准确度，需要根据红外图像中散斑散斑，校正人体关键点信息。
55.下面对校正人体关键点信息的具体过程进行说明，该过程包括：基于红外图像中散斑影像的位置和形状，确定红外图像中人体影像所涉及的人体肢体对应的肢体轮廓区域。针对每一个肢体轮廓区域均执行：确定肢体轮廓区域对应的人体关键点信息，若人体关键点信息对应的人体关键点不位于肢体轮廓区域的中心线，则修正人体关键点信息，以使人体关键点信息对应的人体关键点位于肢体轮廓区域的中心线。需要说明的是，肢体轮廓区域的中心线，体现了人体的精确定位，若人体关键点信息对应的人体关键点不位于肢体轮廓区域的中心线，则说明若依据人体关键点估计人体姿态，必然会导致人体的定位出现偏移，因此需要修正人体关键点信息。
56.人体肢体需要通过一个或多个人体关键点来描绘，因此一个人体肢体涉及一个或多个人体关键点，人体肢体所涉及到的人体关键点均应位于其对应的肢体轮廓区域内，一旦其所涉及的人体关键点未位于其对应的肢体轮廓区域内，则说明人体关键点识别错误，需要对人体关键点对应的人体关键点信息进行校正。
57.示例性的，左臂涉及到的人体关键点包括左肩、左肘和左腕，左臂对应的肢体轮廓区域1，则左肩、左肘和左腕的人体关键点均应位于肢体轮廓区域1中。若左肩的人体关键点不位于肢体轮廓区域1，则说明左肩识别错误，需要对该左肩对应的人体关键点信息进行校正。校正的方式存在如下两种：第一种是，若人体关键点“左肩”与肢体轮廓区域1的轮廓边缘之间的距离在预设距离范围内，则修正人体关键点“左肩”的位置，并基于修改后的位置，修改人体关键点“左肩”对应的人体关键点信息。第二种是，若人体关键点“左肩”与肢体轮廓区域1的轮廓边缘之间的距离不在预设距离范围内，则说明人体关键点“左肩”识别错误，其大概率不是左臂上的人体关键点，需要将其剔除。
58.下面对基于散斑影像的位置和形状，确定人体肢体对应的肢体轮廓区域的过程进行说明，该过程包括如下步骤一至步骤三：
59.步骤一，确定散斑影像中位于人体肢体边缘轮廓的第一目标散斑影像，其中，第一目标散斑影像在红外图像中的形状与预设形状不同。
60.人体肢体是刚性的，因此散斑影像会在肢体上呈现规则化的形变。在红外图像中人体肢体与背景的分界处，散斑影像的形状会与原有的预设形状不同。示例性的，散斑影像原有的预设形状为圆形，在红外图像中人体肢体与背景的分界处，由于人体肢体的遮挡，散斑影像会发生形状，变为椭圆形。因此，在红外图像中的形状与预设形状不同的散斑影像必然位于人体肢体边缘轮廓，因此将红外图像中的形状与预设形状不同的散斑影像，确定为位于人体肢体边缘轮廓的第一目标散斑影像。
61.步骤二，基于第一目标散斑影像的位置，确定属于同一人体肢体的目标散斑影像。
62.每种人体肢体的目标散斑影像之间均具有其各自对应的预设位置关系，因此在确定属于同一人体肢体的目标散斑影像时，可根据各人体肢体对应的预设位置关系，选取属于同一人体肢体对应的目标散斑影像。
63.步骤三，针对每一个人体肢体均执行：基于属于人体肢体的第一目标散斑影像的位置，形成人体肢体对应的肢体轮廓区域。
64.由于每一个人体肢体的肢体轮廓区域的确定过程均相同，因此下面以一个人体肢体对肢体轮廓区域的确定过程说明：确定属于人体肢体的目标散斑影像，然后根据目标散斑影像在红外图像中的位置对应的坐标，连接各目标散斑影像，形成人体肢体对应的肢体轮廓区域，从而以该肢体轮廓区域限定人体肢体的人体关键点所处位置，该人体肢体的人体关键点仅能位于该肢体轮廓区域内，若位于该肢体轮廓区域外，则说明该人体肢体的人体关键点确定错误。
65.在确定出各人体肢体对应的肢体轮廓区域后，需要根据各人体肢体对应的肢体轮廓区域校正各人体肢体对应的人体关键点信息。由于每一个人体肢体的肢体轮廓区域涉及的校正过程均相同，因此下面以一个肢体轮廓区域涉及的校正过程进行说明：首先确定肢体轮廓区域对应的人体关键点信息。该确定人体关键点信息为：根据人体关键点信息涉及到的人体关键点坐标，确定肢体轮廓区域对应的人体关键点信息。若所确定的人体关键点
信息对应的人体关键点位于肢体轮廓区域的中心线，则说明该人体关键点信息识别的较为准确，无需校正人体关键点信息。若人体关键点信息对应的人体关键点不位于肢体轮廓区域的中心线，说明人体关键点信息识别的不准确，其与人体关键点的位置发生偏移，则修正人体关键点信息，以使人体关键点信息对应的人体关键点位于肢体轮廓区域的中心线。
66.104、根据校正后的人体关键点信息，确定人体姿态。
67.根据校正后的人体关键点信息，确定人体姿态的具体过程包括如下步骤一至步骤二：
68.步骤一，确定属于同一人体影像的人体关键点信息。
69.由于红外图像中可能存在一个人体的人体影像，也可能存在多个人体的人体影像，因此在确定人体姿态时，为了避免人体姿态确定混乱，需要确定属于同一人体影像的人体关键信息。在确定属于同一人体影像的人体关键点信息时，可根据人体关键点信息中包括的人体标号进行，将具有同一人体标号的人体关键点信息确定为属于同一人体影像的人体关键点信息。
70.步骤二，针对每一个所述人体影像均执行：确定所述人体影像的人体关键点信息对应的人体关键点之间的肢体连接向量，通过所述肢体连接向量连接所述人体关键点，形成所述人体的人体姿态。
71.由于每一个人体影像的人体姿态的确定过程均相同，因此下面以一个人体影像为例进行说明：首先确定人体影像的人体关键点信息对应的人体关键点之间的肢体连接向量，在确定肢体连接向量时，需要先确定属于同一人体肢体的人体关键点之间的肢体连接向量，然后，在确定具有连接关系的人体肢体中需要相互连接的人体关键点，最后确定需要相互连接的人体关键点之间的肢体连接向量。在确定肢体连接向量之后，通过肢体连接向量连接各人体关键点，形成人体影像的人体姿态。
72.本发明实施例提供的人体姿态估计方法，在获取到包括有人体影像和散斑影像的红外图像时，对红外图像进行人体关键点检测，得到人体影像对应的人体关键点信息。然后基于红外图像中散斑影像校正人体关键点信息，最后根据校正后的人体关键点信息确定人体姿态。可见，本发明实施例提供的方案通过规则性的散斑来辅助红外图像的人体姿态估计，此辅助主要体现在人体姿态估计所用的人体关键点信息是基于红外图像中散斑影像校正后的，其能够准确的反映出人体的人体关键点的位置，因此根据这种校正后的人体关键点信息确定人体姿态，能够提高红外图像中人体姿态估计的准确度。
73.进一步的，根据图1所示的方法，本发明的另一个实施例还提供了一种人体姿态估计方法，如图2所示，该方法主要包括：
74.201、获取红外图像，红外图像中包括有人体影像和散斑影像。
75.202、对红外图像进行人体关键点检测，得到人体影像对应的人体关键点信息。
76.203、基于红外图像中散斑影像，校正人体关键点信息。
77.204、检测是否存在需要剔除的人体关键点信息，若存在，执行205，否则，执行206。
78.为了保证最后得到的人体姿态符合人体生理构造，则需要检测是否存在需要剔除的人体关键点信息，以滤除掉会导致人体姿态不符合人体生理构造的人体关键点信息。
79.检测是否存在需要剔除的人体关键点信息的方法包括如下步骤一至步骤二：
80.步骤一，基于红外图像中散斑影像的位置和形状，确定红外图像中人体的人体肢
体对应的肢体轮廓区域。
81.这里所述的基于红外图像中散斑影像的位置和形状确定红外图像中人体的人体肢体对应的肢体轮廓区域的过程与步骤103中所提及的基于红外图像中散斑影像的位置和形状确定红外图像中人体的人体肢体对应的肢体轮廓区域的过程基本相同，这里将不再赘述。
82.步骤二、针对每一个肢体轮廓区域均执行：若肢体轮廓区域的形变特征与肢体轮廓区域对应的人体部位的形变特征不匹配，则剔除人体肢体对应的人体关键信息。
83.由于每一个肢体轮廓区域的处理过程均相同，因此下面以一个肢体轮廓区域为例进行说明：每一种人体肢体均存在其各自对应的形变特征，这个形变特征是符合人体生理构造的。肢体轮廓区域具有其自身的形状，将该肢体轮廓区域的形状的形变特征与肢体轮廓区域对应的人体肢体的形变特征进行匹配。若肢体轮廓区域的形变特征与肢体轮廓区域对应的人体肢体的形变特征不匹配，则说明该肢体轮廓区域的形变特征是不符合人体生理构造的，因此需要剔除人体肢体对应的人体关键信息。若肢体轮廓区域的形变特征与肢体轮廓区域对应的人体肢体的形变特征匹配，则说明肢体轮廓区域的形变特征符合人体生理构造，无需进行剔除处理。
84.205、剔除需要剔除的人体关键点信息，并执行206。
85.若肢体轮廓区域的形状的形变特征与肢体轮廓区域对应的人体肢体的形变特征不匹配，则说明该肢体轮廓区域的形变特征是不合人体生理构造的，因此直接剔除人体肢体对应的人体关键信息。
86.206、根据校正后的人体关键点信息，确定人体姿态。
87.207、针对每一个所述人体姿态均执行：确定所述人体姿态涉及到的散斑影像，若所述散斑影像中存在尺寸不位于预设尺寸范围的第二目标散斑影像，则从所述人体姿态中剔除所述第二目标散斑影像对应的人体关键点。
88.在采集红外图像时，采集时人体所处的位置决定了位于同一人体的散斑影像大小在一定范围内，因此对于一个人体姿态来说，若其所涉及的散斑影像中存在尺寸不位于预设尺寸范围内的第二目标散斑影像，则说明这些第二目标散斑影像是不属于该人体姿态的散斑影像，为了保证人体姿态的正确性，则从该人体姿态中剔除第二目标散斑对应的人体关键点。
89.示例性的，在红外图像采集时，存在两个人体，人体1与红外发射器之间的距离比人体2与红外发射器之间的距离近，人体1和人体2部分重叠，采集到的红外图像中的人体影像如图3所示。图3中，没有阴影的部分为人体1对应的人体影像1，由于人体1的左臂被其自身躯体遮挡所以人体影像1中不存在人体1的左臂影像。图3中，有阴影的部分为人体2对应的人体影像2，由于人体2的其余躯体均与人体1重合，被人体1遮挡，所有人体影像2仅包括人体2的左臂影像。由于上述两个人体影像部分重叠，导致确定出的人体影像1对应的人体姿态为如图4所示的人体姿态1。显然，人体姿态1不仅涉及到了人体影像1而且还涉及到了人体影像2，其不能真实反映人体影像1的姿态。由于人体1与红外发射器之间的距离比人体2与红外发射器之间的距离近，可根据散斑影像来对人体姿态1进行校正。校正时需要确定人体姿态1涉及到的散斑影像，从散斑影像中确定尺寸不位于预设尺寸范围的第二目标散斑影像，即人体影像2对应的散斑影像。并从人体姿态1中剔除第二目标散斑影像对应的人
体关键点，从而得到如图5所示的人体姿态2，人体姿态2即为人体影像1对应的正确的人体姿态。
90.208、对各人体姿态进行整理，得到精确的人体姿态。
91.步骤207优化了人体姿态的人体关键点，因此经步骤207处理后的人体姿态，能够反映出正确的人体姿态。故对步骤207处理后的人体姿态进行整理，能够得到精确的人体姿态。具体的，对各人体姿态进行整理的过程具体为整理属于同一人体姿态的人体关键点信息。
92.进一步的，依据上述方法实施例，本发明的另一个实施例还提供了一种人体姿态估计装置，如图6所示，所述装置包括：
93.获取单元31，用于获取红外图像，其中，所述红外图像中包括有人体影像和散斑影像；
94.检测单元32，用于对所述红外图像进行人体关键点检测，得到所述人体影像对应的人体关键点信息；
95.校正单元33，用于基于所述散斑影像，校正所述人体关键点信息；
96.确定单元34，用于根据校正后的人体关键点信息，确定人体姿态。
97.本发明实施例提供的人体姿态估计装置，在获取到包括有人体影像和散斑影像的红外图像时，对红外图像进行人体关键点检测，得到人体影像对应的人体关键点信息。然后基于散斑影像校正人体关键点信息，最后根据校正后的人体关键点信息确定人体姿态。可见，本发明实施例提供的方案通过规则性的散斑来辅助红外图像的人体姿态估计，此辅助主要体现在人体姿态估计所用的人体关键点信息是基于红外图像中散斑影像校正后的，其能够准确的反映出人体的人体关键点的位置，因此根据这种校正后的人体关键点信息确定人体姿态，能够提高红外图像中人体姿态估计的准确度。
98.可选的，如图7所示，所述校正单元33包括：
99.确定模块331，用于基于所述散斑影像的位置和形状，确定所述红外图像中人体的人体肢体对应的肢体轮廓区域；
100.修正模块332，用于针对每一个所述肢体轮廓区域均执行：确定所述肢体轮廓区域对应的人体关键点信息，若所述人体关键点信息对应的人体关键点不位于所述肢体轮廓区域的中心线，则修正所述人体关键点信息，以使所述人体关键点信息对应的人体关键点位于所述肢体轮廓区域的中心线。
101.可选的，如图7所示，确定模块331，具体用于确定所述散斑影像中位于人体肢体边缘轮廓的第一目标散斑影像，其中，所述第一目标散斑影像在所述红外图像中的形状与预设形状不同；基于所述第一目标散斑影像的位置，确定属于同一人体肢体的目标散斑影像；针对每一个所述人体肢体均执行：基于属于所述人体肢体的第一目标散斑影像的位置，形成所述人体肢体对应的肢体轮廓区域。
102.可选的，如图7所示，所述装置还包括：
103.第一剔除单元35，用于在确定单元34根据校正后的人体关键点信息，确定人体姿态之前，基于所述散斑影像的位置和形状，确定人体肢体对应的肢体轮廓区域；针对每一个所述肢体轮廓区域均执行：确定所述肢体轮廓区域对应的人体关键点信息；若所述肢体轮廓区域的形变特征与所述肢体轮廓区域对应的人体肢体的形变特征不匹配，则剔除所述人
体关键点信息。
104.可选的，如图7所示，第一剔除单元35，具体用于确定所述散斑影像中位于人体肢体边缘轮廓的第一目标散斑影像，其中，所述第一目标散斑影像在所述红外图像中的形状与预设形状不同；基于所述第一目标散斑影像的位置，确定属于同一人体肢体的第一目标散斑影像；针对每一个所述人体肢体均执行：基于属于所述人体肢体的第一目标散斑影像的位置，形成所述人体肢体对应的肢体轮廓区域。
105.可选的，如图7所示，确定单元34，具体用于确定属于同一人体影像的人体关键点信息；针对每一个所述人体影像均执行：确定所述人体影像的人体关键点信息对应的人体关键点之间的肢体连接向量，通过所述肢体连接向量连接所述人体关键点，形成所述人体影像的人体姿态。
106.可选的，如图7所示，所述装置还包括：
107.第二剔除单元36，用于在确定单元34根据校正后的人体关键点信息，确定人体姿态之后，针对每一个所述人体姿态均执行：确定所述人体姿态涉及到的散斑影像，若所述散斑影像中存在尺寸不位于预设尺寸范围的第二目标散斑影像，则从所述人体姿态中剔除所述第二目标散斑影像对应的人体关键点。
108.可选的，如图7所示，检测单元32包括：
109.提取模块321，用于提取所述红外图像中人体影像对应的人体特征；提取所述红外图像中散斑影像对应的散斑特征；
110.融合模块322，用于融合所述人体特征和所述散斑特征，生成融合特征；
111.识别模块323，用于将所述融合特征输入人体姿态识别模型，得到所述人体关键点信息。
112.可选的，如图7所示，提取模块321，具体用于将所述红外图像输入人体特征识别模型，得到所述人体特征。
113.可选的，如图7所示，提取模块321，具体用于将所述红外图像输入散斑特征识别模型，得到所述散斑特征。
114.可选的，如图7所示，融合模块322，具体用于将所述人体特征和所述散斑特征输入融合模型，得到所述融合特征。
115.本发明实施例提供的人体姿态估计装置中，各个功能模块运行过程中所采用的方法详解可以参见图1-图2方法实施例的对应方法详解，在此不再赘述。
116.进一步的，依据上述实施例，本发明的另一个实施例还提供了一种计算机可读存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行图1或图2所述的人体姿态估计方法。
117.进一步的，依据上述实施例，本发明的另一个实施例还提供了一种存储管理设备，所述存储管理设备包括：
118.存储器，用于存储程序；
119.处理器，耦合至所述存储器，用于运行所述程序以执行图1或图2所述的人体姿态估计方法。
120.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
121.可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
122.本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
123.本技术是参照本公开的实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
124.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
125.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
126.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
127.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
128.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
129.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
130.本领域技术人员应明白，本公开的实施例可提供为方法、系统或计算机程序产品。因此，本公开的实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本公开的实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
131.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。