一种人体语义识别方法和装置与流程

1.本发明涉及图像技术领域，特别是涉及一种人体语义识别方法和一种人体语义识别装置。


背景技术：

2.现有技术中，对于人体语义的识别方式，通常可以根据图像中人体的关键点位置信息或人体骨架的关键点坐标值得到人体姿态信息，然后通过对所得到的人体姿态信息进行匹配或相关处理识别得到相关的人体语义。
3.然而，无论是上述人体关键点图像、所定位的关键点还是关键点坐标，将会受到图像中人体尺寸(例如人体的身高、身形以及骨架大小等)的影响，即不同尺寸的人体所得到的关键点位置信息或骨架的关键点坐标值不同，使得可能存在用于确定人体姿态的关键点位置信息或骨架的关键点的确定标准不统一的现象，进而可能影响到对人体识别的精确度。


技术实现要素：

4.鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种人体语义识别方法和相应的一种人体语义识别装置。
5.本发明实施例公开了一种人体语义识别方法，所述方法包括：
6.获取所采集的包含人体姿态的图像数据；所述图像数据包括按照时间戳顺序排列的包含人体姿态的单帧姿态估计序列；
7.对所述单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状；所述立体形状中各个关键点的相对位置基于各个关键点在归一化处理后的人体姿态中的相对角度进行调整；
8.根据预设人体姿态模型对任一帧转化为立体形状中所包含的各个关键点进行对比，提取所述图像数据所包含人体姿态的人体语义。
9.可选地，所述对所述单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状，包括：
10.对所述单帧姿态估计序列中的人体姿态归一化处理；其中，所进行归一化处理后的人体姿态具有预定距离的预设数量关键点；
11.根据归一化处理后的人体姿态中各个关键点与预定衡量点间的相对角度，确定各个关键点在预设立体形状中的相对位置以调整各个关键点，完成对人体姿态的表达。
12.可选地，所述预定衡量点包括分别与各个关键点的相邻关键点；所述根据归一化处理后的人体姿态中各个关键点与预定衡量点间的相对角度，确定各个关键点在预设立体形状中的相对位置，包括：
13.在所述归一化处理后的人体姿态中，基于各个关键点与相邻关键点间的相对角度，确定各个关键点与相邻关键点的相对位置，以实现基于与各个关键点的相邻关键点迭
代确定各个关键点在预设立体形状中的相对位置。
14.可选地，在所述对所述单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状之后，还包括：
15.采用将转化为立体形状后所包含的人体姿态中各个关键点相对位置，作为一维数组的元素得到一维数组。
16.可选地，所述根据预设人体姿态模型对任一帧转化为立体形状中所包含的各个关键点进行对比，提取所述图像数据所包含人体姿态的人体语义，包括：
17.基于所述表示各个关键点相对位置的一维数组与相应时间戳得到多个二维数组；
18.按照时间戳顺序根据预设人体姿态模型，对各个二维数组中用于估计同一关键点的各个数组元素进行对比，提取所述图像数据所包含人体姿态的人体语义。
19.可选地，所述根据预设人体姿态模型，对各个二维数组中用于估计同一关键点的各个数组元素进行对比，包括：
20.获取预先基于针对立体形状中人体姿态的数据集进行训练的预设人体姿态模型；所述针对立体形状中人体姿态的数据集包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注；
21.采用所述各个二维数组中用于估计同一关键点的各个数组元素在立体形状中的相对角度，输入至所述预设人体姿态模型得到所述图像数据所包含人体姿态的人体语义。
22.可选地，所述根据预设人体姿态模型，对各个二维数组中用于估计同一关键点的各个数组元素进行对比，包括：
23.获取用于训练预设人体姿态模型的针对立体形状中人体姿态的数据集；所述针对立体形状中人体姿态的数据集包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注；
24.采用所述各个二维数组中用于估计同一关键点的各个数组元素在立体形状中的相对角度，计算与所述针对立体形状中人体姿态的数据集的欧式距离，以基于所计算得到的欧式距离的值，确定在转化为立体形状中各个关键点按照时间戳顺序变化的动作语义。
25.本发明实施例还公开了一种人体语义识别装置，所述装置包括：
26.图像数据获取模块，用于获取所采集的包含人体姿态的图像数据；所述图像数据包括按照时间戳顺序排列的包含人体姿态的单帧姿态估计序列；
27.立体形状转化模块，用于对所述单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状；所述立体形状中各个关键点的相对位置基于各个关键点在归一化处理后的人体姿态中的相对角度进行调整；
28.人体语义提取模块，用于根据预设人体姿态模型对任一帧转化为立体形状中所包含的各个关键点进行对比，提取所述图像数据所包含人体姿态的人体语义。
29.可选地，所述立体形状转化模块包括：
30.归一化处理子模块，用于对所述单帧姿态估计序列中的人体姿态归一化处理；其中，所进行归一化处理后的人体姿态具有预定距离的预设数量关键点；
31.关键点调整子模块，用于根据归一化处理后的人体姿态中各个关键点与预定衡量点间的相对角度，确定各个关键点在预设立体形状中的相对位置以调整各个关键点，完成对人体姿态的表达。
32.可选地，所述预定衡量点包括分别与各个关键点的相邻关键点；所述关键点调整子模块包括：
33.关键点调整单元，用于在所述归一化处理后的人体姿态中，基于各个关键点与相邻关键点间的相对角度，确定各个关键点与相邻关键点的相对位置，以实现基于与各个关键点的相邻关键点迭代确定各个关键点在预设立体形状中的相对位置。
34.可选地，在所述对所述单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状之后，所述装置还包括：
35.一维数组生成模块，用于采用将转化为立体形状后所包含的人体姿态中各个关键点相对位置，作为一维数组的元素得到一维数组。
36.可选地，所述人体语义提取模块包括：
37.二维数组生成子模块，用于基于所述表示各个关键点相对位置的一维数组与相应时间戳得到多个二维数组；
38.人体语义提取子模块，用于按照时间戳顺序根据预设人体姿态模型，对各个二维数组中用于估计同一关键点的各个数组元素进行对比，提取所述图像数据所包含人体姿态的人体语义。
39.可选地，所述人体语义提取子模块包括：
40.预设人体姿态模型获取单元，用于获取预先基于针对立体形状中人体姿态的数据集进行训练的预设人体姿态模型；所述针对立体形状中人体姿态的数据集包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注；
41.人体语义提取单元，用于采用所述各个二维数组中用于估计同一关键点的各个数组元素在立体形状中的相对角度，输入至所述预设人体姿态模型得到所述图像数据所包含人体姿态的人体语义。
42.可选地，所述人体语义提取子模块包括：
43.数据集获取单元，用于获取用于训练预设人体姿态模型的针对立体形状中人体姿态的数据集；所述针对立体形状中人体姿态的数据集包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注；
44.动作语义确定单元，用于采用所述各个二维数组中用于估计同一关键点的各个数组元素在立体形状中的相对角度，计算与所述针对立体形状中人体姿态的数据集的欧式距离，以基于所计算得到的欧式距离的值，确定在转化为立体形状中各个关键点按照时间戳顺序变化的动作语义。
45.本发明实施例还公开了一种电子设备，包括：所述人体语义识别装置、处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现任一项所述人体语义识别方法的步骤。
46.本发明实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现任一项所述人体语义识别方法的步骤。
47.本发明实施例包括以下优点：
48.在本发明实施例中，所采集的包含人体姿态的图像数据可以包括按照时间戳顺序排列的包含人体姿态的单帧姿态估计序列，此时可以对单帧姿态估计序列中的人体姿态转
化为用于表示人体姿态的立体形状，其中立体形状中各个关键点的相对位置可以基于各个关键点在归一化处理后的人体姿态中的相对角度进行调整，然后可以根据预设人体姿态模型对任一帧转化为立体形状中所包含的各个关键点进行对比，提取图像数据所包含人体姿态的人体语义。通过采用归一化人体姿态检测方法以及结合时间轴得到连续变化的人体姿态，避免在对人体姿态进行表达与识别时受到图像中人体尺寸的影响，保证用于确定人体姿态的关键点位置信息或骨架的关键点标准的统一，实现对其动态人体姿态的语义提取。
附图说明
49.图1是本发明实施例所提供的一种人体语义识别方法的步骤流程图；
50.图2是本发明实施例所提供的另一种人体语义识别方法的步骤流程图；
51.图3是本发明实施例所提供的相对角度的计算示意图；
52.图4是本发明实施例所提供的人体姿态表达的示意图；
53.图5是本发明实施例所提供的人体姿态变化的表达示意图；
54.图6是本发明实施例所提供的一种人体语义识别装置的结构框图。
具体实施方式
55.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
56.对于人体语义的识别方式，通常可以根据图像中人体的关键点位置信息或人体骨架的关键点坐标值得到人体姿态信息，然后通过对所得到的人体姿态信息进行匹配或相关处理识别得到相关的人体语义。
57.例如，通过检测移动过程中人体关键点对应的人体关键点图像，并通过多层深度可分离卷积网络对所述人体关键点图像进行多层深度可分离卷积，提取语义信息；例如，通过“特征编码 姿态解码”模块中进行模型训练，依次预测每个人的关键点的定位，以表示每个关键点的位置置信度，以得到最终的人体姿态；例如，将人物的关键点坐标以及与关键点坐标对应的置信度作为人体姿态信息。
58.然而，无论是上述人体关键点图像、所定位的关键点还是关键点坐标，将会受到图像中人体尺寸(例如人体的身高、身形以及骨架大小等)的影响，即不同尺寸的人体所得到的关键点位置信息或骨架的关键点坐标值不同，使得可能存在用于确定人体姿态的关键点位置信息或骨架的关键点的确定标准不统一的现象，进而可能影响到对人体识别的精确度。
59.本发明实施例的核心思想之一在于通过采用归一化人体姿态检测方法以及结合时间轴得到连续变化的人体姿态，实现对其动态人体姿态的语义提取，以避免在对人体姿态进行表达与识别时受到图像中人体尺寸的影响，保证用于确定人体姿态的关键点位置信息或骨架的关键点标准的统一，提供对人体语义识别的精确度。
60.参照图1，示出了本发明实施例所提供的一种人体语义识别方法的步骤流程图，具体可以包括如下步骤：
61.步骤101，获取所采集的包含人体姿态的图像数据；
62.在本发明实施例中，通过采用归一化人体姿态检测方法以及结合时间轴得到连续
变化的人体姿态，实现对其动态人体姿态的语义提取。首先需要对所采集的包含人体姿态的图像数据进行获取，以便对所获取的图像数据中的人体姿态进行人体语义的提取。
63.其中，所采集的包含人体姿态的图像数据可以包括按照时间戳顺序排列的包含人体姿态的多帧姿态估计序列，此包含人体姿态的图像数据可以表现为具有时间戳顺序的视频数据，也可以是按照时间戳顺序排列的图像集，那么图像数据中所包含的多帧姿态估计序列可以指的是在具有时间戳顺序的视频数据中的某帧视频帧，也可以指的是在按照时间顺序排列的图像集中的某帧图像，对此，本发明实施例不加以限制。
64.步骤102，对单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状；
65.在对所获取的视频数据或图像集中所包含的人体姿态进行人体语义提取的过程中，可以对单帧姿态估计序列中的人体姿态进行静态检测，具体可以表现为对单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状，以在确定关键点位置时能够避免受到图像中人体尺寸的影响。
66.其中，在所转化为的立体形状中，各个关键点的相对位置可以基于各个关键点在归一化处理后的人体姿态中的相对角度进行调整。
67.在实际应用中，可以对单帧姿态估计序列中的人体姿态归一化处理，使得无论图像中的人体尺寸如何，均可以将人体定义为具有n个预设数量关键点的抽象立体形状，即在进行归一化处理后的人体姿态具有预定距离的预设数量关键点，然后可以根据归一化处理后的人体姿态中各个关键点与预定衡量点间的相对角度，确定各个关键点在预设立体形状中的相对位置以调整各个关键点，完成对单帧姿态估计序列中人体姿态的静态表达。
68.在具体实现中，预定衡量点可以指的是分别与各个关键点的相邻关键点，在确定各个关键点与预定衡量点间的相对位置时，可以在归一化处理后的人体姿态中，基于各个关键点与相邻关键点间的相对角度，确定各个关键点与相邻关键点的相对位置，以实现基于与各个关键点的相邻关键点迭代确定各个关键点在预设立体形状中的相对位置。
69.其中，可以对各个关键点在预设立体形状中的相对位置进行迭代确定，可以是在确定当前关键点为预定关键点的情况下，获取当前关键点在空间坐标系中的空间三维坐标，与当前关键点相邻的相邻关键点，以及与所获取的相邻关键点的空间三维坐标，然后采用当前关键点在空间坐标系中的空间三维坐标和所获取的相邻关键点的空间三维坐标，确定当前关键点和所获取的相邻关键点在归一化处理后的人体姿态中的相对角度，并采用确定当前关键点与所获取的相邻关键点在归一化处理后的人体姿态中的相对角度，确定所获取的相邻关键点相对当前关键点在预设立体形状中的相对位置。
70.在一种优选的实施例中，在确定所获取的相邻关键点相对当前关键点在预设立体形状中的相对位置后，可以将所获取的相邻关键点作为预定关键点以获取与所获取的相邻关键点相邻的另一关键点，并确定所获取的相邻关键点与相邻的另一关键点的相对位置，直至对预设立体形状中各个关键点的相对位置调整完毕为止。
71.作为一种示例，可以在所定义的抽象立体形状中，以某个关键点a点为衡量点确定另一关键点b点相对a点的位置，具体通过b点相对于a点的角度(例如相对经纬度)确定；在确定又一关键点c点时，可以b点为衡量点确定c点与b点的相对位置，通过上述方式进行关键点的迭代，直至抽象立体形状中的所有关键点的角度数均获取完毕为止。由于某个关键
点的位置基于另一关键点为衡量点进行确定，不同的关键点间相互联系，在得到所有关键点的角度数之后能够基于关键点间的相互联系实现对人体姿态的表达。
72.步骤103，根据预设人体姿态模型对任一帧转化为立体形状中所包含的各个关键点进行对比，提取图像数据所包含人体姿态的人体语义。
73.转化为立体形状中的人体姿态表达，具体可以通过基于调整后的各个关键点的位置(即相对角度)迭代构成的一维数组实现，在对单帧姿态估计序列，即所构成的一维数值中的用于构成人体姿态的各个关键点进行静态检测后，可以采用预设人体姿态模型，对所检测到的任一单帧姿态估计序列中的人体姿态进行比对，以提取图像数据所包含人体姿态的人体语义。
74.在本发明的一种实施例中，所采用的预设人体姿态模型可以是预先将已知的人体姿态动作与此已知动作的一维数据作为训练数据，进行真实标注与训练得到的模型，此时可以将与单帧图像所转化的一维数组输入至预先训练的预设人体姿态模型中，将所得到的图像中任一帧转化为立体形状中一维数组所包含的各个关键点，与模型中所得到所进行标注的真实人体姿态的某帧进行对比，输出符合关键点分布的动作，完成对人体姿态语义的提取。
75.在本发明实施例中，所采集的包含人体姿态的图像数据可以包括按照时间戳顺序排列的包含人体姿态的单帧姿态估计序列，此时可以对单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状，其中立体形状中各个关键点的相对位置可以基于各个关键点在归一化处理后的人体姿态中的相对角度进行调整，然后可以根据预设人体姿态模型对任一帧转化为立体形状中所包含的各个关键点进行对比，提取图像数据所包含人体姿态的人体语义。通过采用归一化人体姿态检测方法以及结合时间轴得到连续变化的人体姿态，避免在对人体姿态进行表达与识别时受到图像中人体尺寸的影响，保证用于确定人体姿态的关键点位置信息或骨架的关键点标准的统一，实现对其动态人体姿态的语义提取。
76.参照图2，示出了本发明实施例所提供的另一种人体语义识别方法的步骤流程图，具体可以包括如下步骤：
77.步骤201，对单帧姿态估计序列中的人体姿态进行归一化处理，得到用于表示人体姿态中各个关键点相对位置的一维数组；
78.在本发明实施例中，通过采用归一化人体姿态检测方法以及结合时间轴得到连续变化的人体姿态，实现对其动态人体姿态的语义提取。主要可以表现为利用归一化的人体姿态检测方法，将每个时刻的人的姿态表达为一个一维数组，连续变化的人体姿态可通过以时间为轴的二维数组表示，此时可以通过对该二维数组以及人体姿态的真实标注与训练，理解人体肢体语言。
79.在对所获取的视频数据或图像集中所包含的人体姿态进行人体语义提取的过程中，可以对单帧姿态估计序列中的人体姿态进行静态检测，具体的，为了在确定关键点位置时能够避免受到图像中人体尺寸的影响，可以对单帧姿态估计序列中的人体姿态归一化处理，将人体定义为具有n个预设数量关键点的抽象立体形状，以便根据归一化处理后的人体姿态中各个关键点与预定衡量点间的相对角度，调整各个关键点在预设立体形状中的相对位置。
80.在具体实现中，可以获取各个关键点在归一化处理后的人体姿态中与预定衡量点
的相对角度数中的相对经度与相对纬度，并采用各个关键点在归一化处理后的人体姿态中与预定衡量点的相对经度与相对纬度，确定各个关键点相对预定衡量点在立体形状中的相对位置。
81.具体的，参照图3，示出了本发明实施例所提供的相对角度的计算示意图，预定衡量点可以指的是分别与各个关键点的相邻关键点，在确定各个关键点与预定衡量点的相对经度与相对纬度的过程中，首先可以获取各个关键点与各个相邻关键点在空间坐标系中的空间三维坐标，然后采用每个关键点与每个相邻关键点的空间三维坐标，确定每个关键点相对每个相邻关键点在归一化处理后的人体姿态中的相对空间三维坐标。
82.如图3所示，可以分别以作为预定衡量点的关键点为原点构建三维空间坐标系，其所构建的三维空间坐标系可以类似于地心坐标系(为地心地固坐标系的简称，earth
‑
centered,earth
‑
fixed，简称ecef)的构建，即以原点为地球质心(在本发明实施例中为预定衡量点)，ecef的z轴与地轴平行指向北极点(north pole)，x轴指向本初子午线(prime meridian)与赤道(equator)的交点，y轴垂直于xz平面(即东经90度与赤道的交点)构成右手坐标系实现，然后可以基于图3所示的坐标系获取各个关键点与各个相邻关键点在空间坐标系中的空间三维坐标。
83.对于各个关键点在归一化处理后的人体姿态中与预定衡量点的相对经度的确定，在所确定的相对空间三维坐标中可以包括长轴major axis方向上的相对坐标，其可以表现为某个关键点相对预定衡量点投射在xy平面上所距离x轴的相对垂直距离dx，以及相对预定衡量点投射在xy平面上的所距离y轴的相对垂直距离dy；然后可以采用长轴方向上的相对坐标确定每个关键点在长轴方向上相对每个相邻关键点的相对偏移角度，将在长轴方向上相对每个相邻关键点的相对偏移角度作为每个关键点与每个相邻关键点间的相对经度。
84.对于各个关键点在归一化处理后的人体姿态中与预定衡量点的相对纬度的确定，在所确定的相对空间三维坐标中可以包括短轴minoraxis方向上的相对坐标，其可以表现为某个关键点相对预定衡量点投射在xz平面或yz平面上所距离z轴的相对垂直距离dz，以及基于长轴方向上相对坐标与短轴方向上相对坐标确定的相对三维半径ra，可以指的是由dx、dy以及dz所构成图形中的边长度，ra＝math.sqrt(dx*dx dy*dy dz*dz) 0.0000001，math.sqrt()表示返回对dx*dx、dy*dy以及dz*dz的平方根，其可以为与人体的一般结构相关的常数，例如假设某个关键点为右髋，以及作为预定衡量点的关键点为人体的左髋时，其所得到的ra的值可以为0.3，而左髋到左膝的距离在人体结构中一般相对左髋到左膝的距离较长，那么在将左髋关键点作为左膝关键点的预定衡量点时，对于左膝关键点与左髋关键点间所对应的ra取值可以为0.5，即大于左髋关键点与右髋关键点的ra取值；然后采用可以短轴方向上的相对坐标与相对三维半径，确定每个关键点在短轴方向上相对每个相邻关键点的相对偏移角度，将在短轴方向上相对每个相邻关键点的相对偏移角度作为每个关键点与每个相邻关键点间的相对纬度。
85.需要说明的是，图3所示的r可以是关节的长度，即某个关键点与作为该关键点的预定衡量点(即空间坐标系的原点)的距离，在本发明实施例中某个关键点与预定衡量点间相对角度的确定不受人体尺寸带下的影响，故两个关键点间的关节长度r并不影响各个关键点间相对经度与相对纬度的计算，那么对于关节长度r，在计算过程中可忽略不计。
86.作为一种示例，如图3所示，在对各个关键点的相对角度进行计算的过程中，可以
通过def xyz2polar(cur_point,base_point)实现，即通过借助关键点的xyz，并基于多组当前关键点cur_point和与当前关键点对应的预定衡量点base_poin，定义与极坐标的相关函数实现。其所定义的相关函数，首先可以是通过theta＝np.zeros(2)中的np.zeros函数，其用于限定返回来的值为给定形状和类型的用0填充的数组，即返回一个二维数组，所返回的二维数组中的数组元素可以指的是各个关键点的两个角度数(包括相对经度和相对纬度)，此时在确定某个关键点相对预定衡量点投射在xy平面上所距离x轴的相对垂直距离dx时，可以通过dx＝cur_point0.‑
base_point[0]确定，其中cur_point[0]可以是当前关键点投影在xy平面上的点所距离x轴的垂直距离，base_point[0]可以是与当前关键点对应的预定衡量点，通常为与当前关键点的相邻关键点投影在xy平面上的点所距离x轴的垂直距离；在确定某个关键点相对预定衡量点投射在xy平面上的所距离y轴的相对垂直距离dy时，可以通过dy＝cur_point[1]
‑
base_point[1]确定，其中cur_point[1]可以是当前关键点投影在xy平面上的点所距离y轴的垂直距离，base_point[1]可以是与当前关键点对应的预定衡量点，通常为与当前关键点的相邻关键点投影在xy平面上的点所距离y轴的垂直距离；在确定某个关键点相对预定衡量点投射在xz平面或yz平面上所距离z轴的相对垂直距离dz时，可以通过dz＝cur_point[2]
‑
base_point[2]确定，其中cur_point[2]可以是当前关键点投影在xz平面或yz平面上的点所距离z轴的垂直距离，base_point[2]可以是与当前关键点对应的预定衡量点，通常为与当前关键点的相邻关键点投影在xz平面或yz平面上的点所距离z轴的垂直距离。
[0087]
那么，某个关键点与预定衡量点的相对经度longtitude，即theta[0]，可以表现为在图3所示的λ的角度，可通过用于求某个角度的弧度值的函数math.atan2(dy,dx)，得到从原点(0,0)到(dy,dx)的线段与x轴正方向之间的平面角度，即确定此关键点对应的偏移角度；某个关键点与预定衡量点的相对纬度latitude，即theta[1]，可以表现为在图3所示的θ的角度，可通过反正弦函数math.asin(dz/ra)，对dz/ra取反正弦以返回一个弧度值实现。
[0088]
具体的，参照图4，示出了本发明实施例所提供的人体姿态表达的示意图，人体姿态具体可以表达为通过基于调整后的各个关键点的位置所构成的一维数组实现，其基于关键点位置构成一维数组的方式，可以通过以某个关键点为衡量点，确定另一关键点相对此衡量点的相对角度为另一关键点的数值，并通过对人体姿态中所包含关键点的相对角度进行迭代，实现对一维数组中各个关键点的数组确定，对此，本发明实施例不加以限制。其中，一维数组中的某个元素即可以表示人体姿态中的某个关键点相对衡量点的相对角度，图4中所提供的人体姿态可以包括与所构建一维数组中所有元素所对应的关键点，例如鼻(关键点0)、左眼内外侧(关键点1、2、3)、右眼内外侧(关键点4、5、6)、左右耳(关键点7、8)、嘴两侧(关键点9、10)、左右肩(关键点11、12)、左右肘(关键点13、14)、左右腕(关键点15、16)、左右小指(关键点17、18)、左右指(关键点19、20)、左右拇指(关键点21、22)、左右胯(关键点23、24)、左右膝(关键点25、26)、左右脚踝(关键点27、28)、左右脚跟(关键点29、30)、左右脚拇指(关键点31、32)等32个关键点。
[0089]
示例性地，可以采用某个预定衡量点，假设图4中的关键点24为预定衡量点时，可以确定预定衡量点与所获取的相邻关键点在归一化处理后的人体姿态中的相对角度，例如关键点12相对关键点24的相对角度，确定所获取的相邻关键点相对其在预设立体形状中的相对位置为斜左上方，以在确定预定衡量点(即关键点24)的位置的基础上，实现对关键点
12相对关键点24的位置。通过上述方式进行关键点的迭代，直至抽象立体形状中的所有关键点的角度数均获取完毕为止。
[0090]
需要说明的是，归一化处理后的人体姿态中各个关键点之间的距离是固定的，那么在转化为预设立体形状中的各个关键点之间也是具有预定距离的，例如关键点1与关键点2之间的距离固定为0.5，关键点2与关键点3之间的距离固定为0.3等，其关键点之间所固定的距离保证了用于表现人体姿态的各个关键点并不会受到图像中人体尺寸的影响，以保证用于确定人体姿态的关键点位置信息或骨架的关键点的确定标准统一，提高所确定人体姿态的位置信息的精确度。
[0091]
在本发明的一种实施例中，在对单帧姿态估计序列中的人体姿态进行静态检测后，即在对单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状之后，可以采用将转化为立体形状后所包含的人体姿态中各个关键点相对位置，作为一维数组的元素得到一维数组。
[0092]
步骤202，基于表示各个关键点相对位置的一维数组与相应时间戳得到多个二维数组；
[0093]
在采用将转化为立体形状后所包含的人体姿态中各个关键点相对位置，作为一维数组的元素得到一维数组后，可以基于表示各个关键点相对位置的一维数组与相应时间戳得到多个二维数组，以将某个时间戳与其所对应的人体姿态表达建立对应关系，便于后续对动态人体姿态的人体语义识别。
[0094]
作为一种示例，可以将上述每个时刻(即每个时间戳)下所检测得到的人体姿态，即所表达的一维数组按照以时间为轴的二维数组进行表达，假设具有100个时间段(t1、t2、...t100)，那么所得到的可以相当于20*100大小的矩阵，通过此矩阵用于表示连续变化的人体姿态。
[0095]
步骤203，按照时间戳顺序根据预设人体姿态模型，对各个二维数组中用于估计同一关键点的各个数组元素进行对比，提取图像数据所包含人体姿态的人体语义。
[0096]
在本发明的一种实施例中，在利用归一化的人体姿态检测方法，将每个时刻的人的姿态表达为一个一维数组，连续变化的人体姿态可通过以时间为轴的二维数组表示之后，此时可以通过对该二维数组以及人体姿态的真实标注与训练的预设人体姿态模型，实现对人体肢体语言的理解。
[0097]
在实际应用中，所获取的预设人体姿态模型可以是预先基于针对立体形状中人体姿态的数据集进行训练的模型，其中，针对立体形状中人体姿态的数据集可以包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注，即预设人体姿态模型已进行真实标注与训练。
[0098]
此时可以采用各个二维数组中用于估计同一关键点的各个数组元素在立体形状中的相对角度，输入至预设人体姿态模型得到所述图像数据所包含人体姿态的人体语义。
[0099]
其中，在对各个二维数组中用于估计同一关键点的各个数组元素进行对比的过程中，具体是通过任一帧转化为立体形状中所包含的各个关键点，计算与模型中所得到所进行标注的真实人体姿态的某帧中各个关键点的实现。
[0100]
具体的，针对立体形状中人体姿态的数据集可以包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注，可以采用各个二维数组中用
于估计同一关键点的各个数组元素在立体形状中的相对角度，计算与针对立体形状中人体姿态的数据集的欧式距离，以基于所计算得到的欧式距离的值，确定在转化为立体形状中各个关键点按照时间戳顺序变化的动作语义。
[0101]
在具体实现中，在步骤202所得到的20*100大小的矩阵中，每个时间段(即每个时间戳)可以相当于图像中的一帧，此时可以通过预先进行真实标注与训练的模型实现人体肢体语言的理解，具体通过将所得到的图像中的某一帧与模型中所得到所进行标注的真实人体姿态的某帧进行对比，提取人体姿态的语义。
[0102]
作为一种示例，假设某个动作，通过转换得到每个关键点的角度如图5所示，例如标记其动作1为charge，标记其动作2为x_pose，直至对动作n进行标记后，采集这一批标记的数据得到数据集合，其所得到的数据集合可以为用于训练预设人体姿态模型的针对立体形状中人体姿态的数据集，例如，pose_str＝["back","charge","x_pose","hi_right_hand","hi_left_hand","hi_both_hand","god","surrender","clap","forward","forward_up","fly","squat","power","hug"]，此时在进行各个关键点的对比时，在一种情况下，能够直接通过对比确定相应的动作语义；在另一种情况下，当遇到一个新的动作时，可以将动作的关键点角度与这个数据集合求欧式距离，其具体公式如下：
[0103][0104]
在闵可夫斯基距离公式中，当p＝2时，此公式即为求欧氏距离的公式。其中，xi可以是新动作中某个关键点的数值，x
j
可以是数据集合中相同关键点的数值，l
p
(x
i
，x
j
)可以是新动作中的某个关键点与数据集合中相同关键点的数值的差，即相同关键点在新动作与数据集合的欧式距离，l可以是所要计算的新动作中关键点的序号，可以采用l＝1
‑
n的值来表示，那么在计算新动作关键点的角度时能够按照l的值来相应提取进行计算欧式距离的关键点。在本发明实施例中，所计算得到的欧式距离最小的几个关键点所能够组成的动作，即为在数据集合中最有可能符合的动作含义。
[0105]
在本发明实施例中，通过采用归一化人体姿态检测方法以及结合时间轴得到连续变化的人体姿态，避免在对人体姿态进行表达与识别时受到图像中人体尺寸，保证用于确定人体姿态的关键点位置信息或骨架的关键点标准的统一，实现对其动态人体姿态的语义提取。
[0106]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
[0107]
参照图6，示出了本发明实施例所提供的一种人体语义识别装置的结构框图，具体可以包括如下模块：
[0108]
图像数据获取模块601，用于获取所采集的包含人体姿态的图像数据；所述图像数据包括按照时间戳顺序排列的包含人体姿态的单帧姿态估计序列；
[0109]
立体形状转化模块602，用于对所述单帧姿态估计序列中的人体姿态转化为用于
表示人体姿态的立体形状；所述立体形状中各个关键点的相对位置基于各个关键点在归一化处理后的人体姿态中的相对角度进行调整；
[0110]
人体语义提取模块603，用于根据预设人体姿态模型对任一帧转化为立体形状中所包含的各个关键点进行对比，提取所述图像数据所包含人体姿态的人体语义。
[0111]
在本发明的一种实施例中，立体形状转化模块602可以包括如下子模块：
[0112]
归一化处理子模块，用于对所述单帧姿态估计序列中的人体姿态归一化处理；其中，所进行归一化处理后的人体姿态具有预定距离的预设数量关键点；
[0113]
关键点调整子模块，用于根据归一化处理后的人体姿态中各个关键点与预定衡量点间的相对角度，确定各个关键点在预设立体形状中的相对位置以调整各个关键点，完成对人体姿态的表达。
[0114]
在本发明的一种实施例中，所述预定衡量点包括分别与各个关键点的相邻关键点；关键点调整子模块可以包括如下单元：
[0115]
关键点调整单元，用于在所述归一化处理后的人体姿态中，基于各个关键点与相邻关键点间的相对角度，确定各个关键点与相邻关键点的相对位置，以实现基于与各个关键点的相邻关键点迭代确定各个关键点在预设立体形状中的相对位置。
[0116]
在本发明的一种实施例中，在所述对所述单帧姿态估计序列中的人体姿态转化为用于表示人体姿态的立体形状之后，所述装置还可以包括如下模块：
[0117]
一维数组生成模块，用于采用将转化为立体形状后所包含的人体姿态中各个关键点相对位置，作为一维数组的元素得到一维数组。
[0118]
在本发明的一种实施例中，人体语义提取模块可以包括如下子模块：
[0119]
二维数组生成子模块，用于基于所述表示各个关键点相对位置的一维数组与相应时间戳得到多个二维数组；
[0120]
人体语义提取子模块，用于按照时间戳顺序根据预设人体姿态模型，对各个二维数组中用于估计同一关键点的各个数组元素进行对比，提取所述图像数据所包含人体姿态的人体语义。
[0121]
在本发明的一种实施例中，人体语义提取子模块可以包括如下单元：
[0122]
预设人体姿态模型获取单元，用于获取预先基于针对立体形状中人体姿态的数据集进行训练的预设人体姿态模型；所述针对立体形状中人体姿态的数据集包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注；
[0123]
人体语义提取单元，用于采用所述各个二维数组中用于估计同一关键点的各个数组元素在立体形状中的相对角度，输入至所述预设人体姿态模型得到所述图像数据所包含人体姿态的人体语义。
[0124]
在本发明的一种实施例中，人体语义提取子模块可以包括如下单元：
[0125]
数据集获取单元，用于获取用于训练预设人体姿态模型的针对立体形状中人体姿态的数据集；所述针对立体形状中人体姿态的数据集包括转化后各个立体形状中每个关键点的相对角度，以及与各个立体形状相对应的动作标注；
[0126]
动作语义确定单元，用于采用所述各个二维数组中用于估计同一关键点的各个数组元素在立体形状中的相对角度，计算与所述针对立体形状中人体姿态的数据集的欧式距离，以基于所计算得到的欧式距离的值，确定在转化为立体形状中各个关键点按照时间戳
顺序变化的动作语义。
[0127]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0128]
本发明实施例还提供了一种电子设备，包括：
[0129]
包括上述人体语义识别装置、处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述人体语义识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0130]
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现上述人体语义识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
[0131]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0132]
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0133]
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0134]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0135]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0136]
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
[0137]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包
括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0138]
以上对本发明所提供的一种人体语义识别方法和一种人体语义识别装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。