一种图像识别方法、装置及存储介质与流程

一种图像识别方法、装置及存储介质
1.相关申请的交叉引用
2.本技术要求于2020年04月01日提交的题为“image recognition method,apparatus,and storage medium(一种图像识别方法、装置及存储介质)”的新加坡专利申请10202003027q的优先权，该专利申请的全部内容通过引用并入本文。
技术领域
3.本公开实施例涉及但不限于图像处理技术，尤其涉及一种图像识别方法、装置及存储介质。


背景技术：

4.随着图像识别技术的发展，图像识别装置可以将图像画面中的人脸和操作部位，例如人的手部，进行关联匹配，即识别出人脸和操作部位是否属于同一个人。目前，常用的将人脸与操作部位关联的方法有两类，一类是先从图像中分别识别出多个人脸和多个操作部位，然后利用深度学习模型对人脸和操作部位之间的关系进行推断；另一类是基于人体关键点的关联算法，对人脸和操作部位进行关联。
5.然而，利用深度学习模型推断人脸和操作部位之间的关系时，针对每个人脸、操作部位的组合都需要调用深度学习模型，而当人脸与操作部位距离较远时，深度学习模型直接对人脸与操作部位的关系进行判断的难度较高，导致人脸与操作部位关联的准确度较低；利用人体关键点的关联算法时，由于图像中存在多个人体时，关键点会丢失部分人体信息，使得人脸与操作部位关联的准确度较低。


技术实现要素：

6.本公开实施例提供一种图像识别方法、装置及存储设备，能够提高人脸与操作部位关联的准确度。
7.本公开的技术方案是这样实现的：
8.本公开实施例提供一种图像识别方法，包括：
9.对待识别图像进行图像检测，得到至少一个人脸检测结果、至少一个操作部位检测结果以及至少一个躯干检测结果；一个人脸检测结果中包含一个人脸检测检测框，一个操作部位检测结果中包含一个操作部位的检测框，一个躯干检测结果中包括一个躯干的检测框；
10.将所述至少一个躯干检测结果中的每个躯干检测结果，分别与各个人脸检测结果进行组合，得到至少一个第一结果组合；
11.将所述每个躯干检测结果，分别和各个操作部位检测结果进行组合，得到至少一个第二结果组合；
12.对所述至少一个第一结果组合和所述至少一个第二结果组合进行关联，得到关联结果。
13.本公开实施例提供一种图像识别装置，包括：
14.检测模块，用于对待识别图像进行图像检测，得到至少一个人脸检测结果、至少一个操作部位检测结果以及至少一个躯干检测结果；一个人脸检测结果中包括一个人脸的检测框，一个操作部位检测结果中包括一个操作部位的检测框，一个躯干检测结果中包括一个躯干的检测框；
15.组合模块，用于将所述至少一个躯干检测结果中的每个躯干检测结果，分别与各个人脸检测结果进行组合，得到至少一个第一结果组合；将所述每个躯干检测结果，分别和各个操作部位检测结果进行组合，得到至少一个第二结果组合；
16.关联模块，用于对所述至少一个第一结果组合和所述至少一个第二结果组合进行关联，得到关联结果。
17.本公开实施例提供一种电子设备，包括：
18.存储器，用于存储计算机可执行指令；
19.处理器，用于执行所述存储器中存储的计算机可执行指令时，实现本公开实施例提供的图像识别方法。
20.本公开实施例提供一种存储介质，存储有计算机可执行指令，当计算机可执行指令被处理器执行时，使得所述处理器实现本公开实施例提供的图像识别方法。
21.本公开实施例提供一种计算机程序，包括计算机可执行代码，其中，当所述计算机可执行代码在设备上运行时，所述设备中的处理器执行本公开实施例提供的图像识别方法的步骤的指令。
22.本公开实施例具有以下有益效果：
23.本公开实施例中，在对待识别图像进行检测时，得到至少一个人脸检测结果、至少一个操作部位检测结果和至少一个躯干检测结果，接着利用至少一个躯干检测结果中的每个躯干检测结果，分别与各个人脸检测结果进行组合，得到至少一个第一结果组合，同时再利用每个躯干检测结果，分别和各个操作部位检测结果进行组合，得到至少一个第二结果组合，最后对至少一个第一结果整合和至少一个第二结果组合进行关联，得到关联结果。通过上述方式，判断出躯干检测结果和人脸检测结果的关系，以及躯干检测结果和操作部位检测结果的关系，从而利用躯干检测结果将人脸检测结果和操作部位检测结果进行关联，降低了判断人脸和操作部位的难度，同时不会丢失图像中人体的关键信息，提高了人脸与操作部位关联的准确度。
附图说明
24.图1为本公开实施例提供的图像识别场景100的示意图；
25.图2为本公开实施例提供的图像识别方法的一个可选的流程示意图一；
26.图3为本公开实施例提供的图像识别方法的一个可选的流程示意图二；
27.图4为本公开实施例提供的图像识别方法的一个可选的流程示意图三；
28.图5是本公开实施例提供的图像识别方法的一个可选的流程示意图四；
29.图6是本公开实施例提供的躯干检测区域的宽度、高度以及面积的示意图；
30.图7为本公开实施例提供的图像识别方法的一个可选的流程示意图五；
31.图8为本公开实施例提供的一种图像识别装置的结构示意图一；
32.图9为本公开实施例提供的一种电子设备的结构示意图二。
具体实施方式
33.下面将结合本公开实施例中的附图，对本公开实施例中的技术中的方案进行清楚、完整地描述。
34.本公开实施例提供一种图像识别场景，如图1所示，图1为本公开实施例提供的图像识别场景100的示意图，在图像识别场景100中，包括对待识别区域200进行图像识别的图像识别装置300，在待识别区域200中，具有至少一个人物对象(示例性的示出了人物对象400-1，人物对象400-2和人物对象400-3)，其中，每个人物对象400都可以以人脸来进行区分。图像识别装置300可以是设置于待识别区域200的正面或侧面，以平行角度对待识别区域200进行图像识别。具体的，图像识别装置300可以先对待识别区域200进行图像采集，然后从所采集到的图像中检测出躯干检测结果500(示例性的示出了躯干检测结果500-1、躯干检测结果500-2和躯干检测结果500-3)、人脸检测结果600(示例性的示出了人脸检测结果600-1、人脸检测结果600-2和人脸检测结果600-3)，以及操作部位检测结果700(示例性的示出了操作部位检测结果700-1、操作部位检测结果700-2和操作部位检测结果700-3)，然后对这些检测结果进行关联分析，进而确定出图像画面中的人脸与操作部位的关系，即确定出操作部位检测结果700是属于人物对象400中的哪个人物对象的，如此，当操作部位检测结果700中的任意一个操作部位检测结果进行活动时，图像识别装置都可以判断出该是人物对象检测400中的哪个人物对象通过该操作部位进行了活动。
35.可以理解的是，在本公开的一些实施例中，操作部位可以是指人物对象400的手部，也可以是指其他部位。
36.参见图2，图2是本公开实施例提供的图像识别方法一个可选的的流程示意图一，本公开实施例提供的一种图像识别方法，包括：
37.s101、对待识别图像进行检测，得到至少一个人脸检测结果、至少一个操作部位检测结果以及至少一个躯干检测结果；一个人脸检测结果中包括一个人脸的检测框，一个操作部位检测结果中包括一个操作部位的检测框，一个躯干检测结果中包括一个躯干的检测框。
38.本公开实施例是在需要对图像画面进行识别，进而对图像画面中的人脸和操作部位进行关联的场景下实现的，例如对课堂上各个学生的人脸和操作部位进行关联，以便于区分不同学生在课堂上的行为的场景，又例如对公交车上的各个乘客的人脸和操作部位进行关联，以便于区分不同乘客在公交车上的行为的场景等。在进行图像识别时，首先会通过设置的图像采集设备，实时采集检测区域的图像画面，并将实时采集到的图像画面作为待识别图像。在实时采集到的图像中，存在有多个人物的影像，然而，由于人与人之间的遮挡，并不能看出人脸与操作部位之间的对应关系，即分辨不出哪个操作部位是属于哪个人脸的。在获得待识别图像之后，就会利用预先存储的检测模型，将待识别图像中的所有人脸、所有操作部位和所有躯干都检测出来，并用人脸的检测框将人脸图像框选出来，用操作部位的检测框将操作部位图像框选出来，以及用躯干的检测框将躯干图像框选出来，如此，就可以得到至少一个人脸检测结果、至少一个操作部位检测结果和至少一个躯干检测结果。
39.需要说明的是，检测区域是指图像识别场景中的任意一个需要进行图像识别的区
域，检测区域可以是人为设置好的，也可以是利用图像处理技术自动分析出来的。实际中，可以通过多个图像采集设备，采集各个检测区域的图像。
40.可以理解的是，上述的图像采集设备，可以是高清照相机等，此时，所获取到的待识别图像是单张的检测区域的照片；图像采集设备还可以是视频摄像头，所获取到的待识别图像是检测区域的视频序列。
41.在本公开的一些实施例中，图像采集设备可以是彩色的采集设备，所采集到的待识别图像为彩色图像，也可以是灰度的采集设备，所采集到的待识别图像为灰度图像。
42.可以理解的是，上述的检测模型，是已经训练好的检测模型，该模型可以是对图像进行处理的深度学习模型，例如，卷积神经网络(convolutional neural network，cnn)模型，还可以其他网络模型，本公开实施例在此不作限定。
43.需要说明的是，本公开实施例中的检测模型，可以是利用人脸训练图像、操作部位训练图像和躯干训练图像共同训练出来的一个模型，此时，需要利用一个检测模型，可以将待识别图像中的人脸检测结果、操作部位检测结果和躯干检测结果全部检测出来；当然，本公开实施例中的检测模型，还可以是三个不同的模型，这三个模型分别是利用人脸训练图像、操作部位训练图像和躯干训练图像训练出来的，此时，可以将待识别图像分别输入这三个检测模型中，分别得到人脸检测结果、操作部位检测结果和躯干检测结果。
44.本公开实施例中，操作部位是指人物的影像中进行各种动作的部位，例如，人物的手、脚等，躯干部位是指除了人物的影像中除了操作部位和人脸之外的部分。
45.s102、将至少一个躯干检测结果中的每个躯干检测结果，分别与各个人脸检测结果进行组合，得到至少一个第一结果组合。
46.在得到至少一个人脸检测结果，至少一个操作部位检测结果和至少一个躯干检测结果之后，便会用至少一个躯干检测结果中的每个躯干检测结果，与至少一个人脸检测结果中的每个人脸检测结果进行组合，得到躯干检测结果与人脸检测结果的组合，并将该组合，作为第一结果组合。由于至少一个躯干检测结果中具有一个或多个躯干检测结果，至少一个人脸检测结果中也具有一个或多个人脸检测结果，因而，可以得到至少一个第一结果组合的。
47.更进一步的，得到的第一结果组合的数目，等于躯干检测结果的数目与人脸检测结果数目的乘积。一个躯干检测结果与各个人脸检测结果进行组合时，可以得到人脸检测结果的数目的第一结果组合；由于躯干检测结果的数目为至少一个，因而会得到躯干检测结果与人脸检测结果数目的乘积个第一结果组合。
48.示例性的，当从检测区域中检测出了2个躯干检测结果，3个人脸检测结果(由于遮挡原因使得1个人物的躯干部位没有被检测出来)，其中，2个躯干检测结果分别为躯干结果-1，躯干结果-2，3个人脸检测结果分别为人脸结果-1，人脸结果-2和人脸结果-3，这时，可以用躯干结果-1分别与人脸结果-1，人脸结果-2和人脸结果-3进行组合，得到3个第一结果组合，即《躯干结果-1，人脸结果-1》、《躯干结果-1，人脸结果-2》和《躯干结果-1，人脸结果-3》，之后，再用躯干结果-2分别与人脸结果-1，人脸结果-2和人脸结果-3进行组合，再得到3个第一结果组合，即《躯干结果-2，人脸结果-1》、《躯干结果-2，人脸结果-2》和《躯干结果-2，人脸结果-3》。这样，总共得到了6个第一结果组合。
49.s103、将每个躯干检测结果，分别和各个操作部位检测结果进行组合，得到至少一
个第二结果组合。
50.利用每个躯干检测结果，和至少一个操作部位检测结果中的每个操作部位检测结果进行组合，得到躯干检测结果和操作部位检测结果的组合，并将该组合作为第二结果组合。并且，与第一组合结果类似，由于至少一个躯干检测结果中具有一个或多个躯干检测结果，至少一个操作部位检测结果中也具有一个或多个操作部位检测结果，因而，可以得到至少一个第二结果组合的。
51.可以理解的是，与第一组合结果类似，图像识别装置所得到的第二结果组合的数目，与躯干检测结果的数目和操作部位检测结果数目的乘积相同。
52.示例性的，当图像识别装置从检测区域中检测出了2个躯干检测结果，4个操作部位检测结果，其中，躯干检测结果分别为躯干结果-1、躯干结果-2，操作部位检测结果分别为操作部位结果-1、操作部位结果-2、操作部位结果-3和操作部位结果-4，这时，可以用躯干结果-1分别与操作部位结果-1、操作部位结果-2、操作部位结果-3和操作部位结果-4进行组合，得到4个第二结果组合，即《躯干结果-1，操作部位结果-1》、《躯干结果-1，操作部位结果-2》、《躯干结果-1，操作部位结果-3》和《躯干结果-1，操作部位结果-4》，接着，再用躯干结果-2分别与操作部位结果-1、操作部位结果-2、操作部位结果-3和操作部位结果-4进行组合，再得到4个第二结果组合，即《躯干结果-2，操作部位结果-1》、《躯干结果-2，操作部位结果-2》、《躯干结果-2，操作部位结果-3》和《躯干结果-2，操作部位结果-4》。这样，总共得到了8个第二结果组合。
53.s104、对至少一个第一结果组合和至少一个第二结果组合进行关联，得到关联结果。
54.在得到至少一个第一结果组合和至少一个第二结果组合之后，就可以对至少一个结果组合中的每个第一结果组合，与至少一个第二结果组合中的每个第二结果组合进行关联，即判断人脸检测结果和操作部位检测结果是否属于同一个人，并将判断结果作为关联结果，从而完成对检测区域的图像识别，进而判断出检测区域中的各个人脸与各个操作部位之间的关系。其中，关联结果是指与同一躯干分别对应的一个人脸和一个人手，也就是得到同属于同一个人的躯干、人脸和人手
55.需要说明的是，本公开实施例中，在对第一结果组合和第二结果组合进行关联时，是先判断各个第一结果组合中躯干检测结果和人脸检测结果是否属于同一个人，然后判断各个第二结果组合中躯干检测结果和操作部位检测结果是否属于同一个人，当一个第一结果组合中的躯干检测结果和人脸检测结果属于同一个人，且包括该第一结果组合中的躯干检测结果的第二结果组合中的躯干检测结果和操作部位检测结果属于同一个人时，那么，该第一结果组合和该第二结果组合相关联，即该第一结果组合中的人脸检测结果和该第二结果组合中的操作部位检测结果也属于同一个人的，即可以利用躯干检测结果，将人脸检测结果和操作部位检测结果关联起来。
56.本公开实施例中，对待识别图像进行检测，得到至少一个人脸检测结果、至少一个操作部位检测结果和至少一个躯干检测结果，接着利用至少一个躯干检测结果中的每个躯干检测结果，分别与各个人脸检测结果进行组合，得到至少一个第一结果组合，同时再利用每个躯干检测结果，分别和各个操作部位检测结果进行组合，得到至少一个第二结果组合，最后对至少一个第一结果整合和至少一个第二结果组合进行关联，得到关联结果，进而完
成针对检测区域的图像识别。通过上述方式，能够判断躯干检测结果和人脸检测结果的关系，以及躯干检测结果和操作部位检测结果的关系，从而利用躯干检测结果将人脸检测结果和操作部位检测结果进行关联，降低了判断人脸和操作部位的难度，同时不会丢失图像中人体的关键信息，提高了人脸与操作部位关联的准确度。
57.参见图3，图3是本公开实施例提供的图像识别方法一个可选的的流程示意图二，在本公开的一些实施例中，对至少一个第一结果组合和至少一个第二结果组合进行关联，得到关联结果，即s104的具体实现过程，可以包括：s1041-s1044，如下：
58.s1041、分别对每个躯干检测结果、每个人脸检测结果，以及每个操作部位检测结果进行特征提取，得到每个躯干检测结果对应的躯干特征序列、每个人脸检测结果对应的人脸特征序列，以及每个操作部位检测结果对应的操作部位特征序列。
59.在对至少一个第一结果组合和至少一个第二结果组合进行关联时，是需要先知晓第一结果组合中的躯干检测结果对应的特征序列，以及人脸检测结果对应的特征序列，同理，还需要知晓第二结果组合中的操作部位检测结果对应的特征序列，以便于根据这些特征序列，分别判断躯干检测结果和人脸检测结果的是否关联，躯干检测结果和操作部位检测结果是否关联。因此，需要先针对每个躯干检测结果、每个人脸检测结果和每个操作部位检测结果进行特征提取，得到每个躯干检测结果对应的躯干特征序列、每个人脸检测结果对应的人脸特征序列以及每个操作部位检测结果对应的操作部位特征序列。
60.需要说明的是，在本公开的一些实施例中，特征序列是由位置特征和外观特征组成的，也即是说，躯干特征序列是由躯干位置特征与躯干外观特征组合而成的，人脸特征序列是由人脸位置特征和人脸外观特征组合而成的，同理的，操作部位特征序列是由操作部位位置特征和操作部位外观特征组合而来的。
61.s1042、根据躯干特征序列和人脸特征序列，将每个第一结果组合的躯干检测结果和人脸检测结果进行关联，得到各个第一结果组合对应的第一子关联结果。
62.利用所得到的躯干特征序列和人脸特征序列，判断每个第一结果组合中的躯干检测结果和人脸检测结果是否属于同一个人，并将判断结果作为第一子关联结果，这样，就会得到与各个第一结果组合对应的第一子关联结果，即得到至少一个第一子关联结果。
63.需要说明的是，由于对于同一个人的躯干检测结果和人脸检测结果而言，可能会在位置关系上存在一定的规律，例如，人的脸部与人的躯干之间会有一个距离范围，不会相差的太远，也不会相差的太近，同时，对于同一个人的躯干检测结果和人脸检测结果而言，在外观上也会存在类似的地方，例如的脸部与躯干的脖子的肤色是较为相近的，而躯干特征序列是由躯干位置特征和躯干外观特征组合而成的，人脸特征序列是人脸位置特征和人脸外观特征组合而成的，因此可以利用躯干特征序列和人脸特征序列判断出躯干检测结果和人脸检测结果是否属于同一个人，进而得到第一子关联结果。
64.s1043、根据躯干特征序列和操作部位特征序列，将每个第二结果组合的躯干检测结果和操作部位检测结果进行关联，得到各个第二结果组合对应的第二子关联结果。
65.进一步地，可以利用躯干特征序列和操作部位特征序列，判断躯干检测结果和操作部位检测结果是否属于同一个人，并将判断结果作为第二子关联结果，如此，就可以得到与各个第二结果组合一一对应的至少一个第二子关联结果。
66.与s1042类似的是，对于同一个人的躯干检测结果和操作部位检测结果而言，可能
会在位置关系上存在一定的规律，例如，人的操作部位，例如人手，与人的躯干之间会有一个距离范围，同理，对于同一个人的躯干检测结果和操作部位检测结果，在外观上也会存在类似的地方，例如的操作部位与躯干的一些部分，例如手腕、胳膊等，肤色是较为相近的，同样的，操作部位特征序列是操作部位位置特征和操作部位外观特征组合而成的，因此，可以利用躯干特征序列和操作部位特征序列判断出躯干检测结果和操作部位检测结果是否属于同一个人，进而得到第二子关联结果。
67.s1044、根据各个第一子关联结果和各个第二子关联结果确定关联结果。
68.在得到第一子关联结果和第二子关联结果之后，就可以对第一子关联结果和第二子关联结果进行分析，并将最终的分析结果作为关联结果，如此就能够判断出人脸检测结果和操作部位检测结果是否属于同一个人，完成对检测区域的图像识别过程。
69.本公开实施例中，可以先分别提取出每个躯干检测结果对应的躯干特征序列，每个人脸检测结果对应的人脸特征序列和每个操作部位检测结果对应的操作部位特征序列，接着根据躯干特征序列和人脸特征序列，对每个第一结果组合中的躯干检测结果和人脸检测结果进行关联，得到各个第一结果组合对应的第一子关联结果，并根据躯干特征序列和操作部位特征序列，对每个第二结果组合中的躯干检测结果和操作部位检测结果进行关联，得到各个第二结果组合对应的第二子关联结果，最后根据各个第一子关联结果和各个第二子关联结果确定出最后的关联结果，如此就完成了对至少一个第一结果组合和至少一个第二结果组合的关联过程，判断出待识别图像中的躯干检测结果、人脸检测结果以及操作部位检测结果之间的关系，完成针对检测区域的图像识别过程。
70.在本发明的一些实施例中，根据各个第一子关联结果和各个第二子关联结果确定出关联结果，即s1044的具体实现过程，可以包括：s1044a-s1044c，如下：
71.s1044a、根据各个第一子关联结果，确定至少一个第一结果组合中躯干检测结果和人脸检测结果相关联的关联第一结果组合。
72.在得到各个第一子关联结果之后，根据各个第一子关联结果，能够判断各个第一结果组合中躯干检测结果和人脸检测结果是否相关联，也即判断出各个第一结果组合中躯干检测结果和人脸检测结果属于同一个人的，之后，就可以从各个第一结果组合中，将躯干检测结果和人脸检测结果相关联的的第一结果组合挑选出来，作为关联第一结果组合。
73.s1044b、根据各个第二子关联结果，确定至少一个第二结果组合中躯干检测结果和操作部位检测结果相关联的关联第二结果组合。
74.类似的，在得到各个第二子关联结果之后，根据各个第二子关联结果，能够明确各个第二结果组合中躯干检测结果和操作部位检测结果是否相关联，也即判断出各个第二结果组合中躯干检测结果和操作部位检测结果属于同一个人的，之后，就可以从各个第二结果组合中，将躯干检测结果和操作部位检测结果相关联的的第二结果组合挑选出来，作为关联第二结果组合。
75.s1044c、确定具有相同躯干检测结果的关联第一结果组合和关联第二结果组合相关联，得到所述关联结果；其中，一个关联第一结果组合中的人脸检测结果表征的人脸与与其相关联的关联第二结果组合中的操作部位检测结果表征的操作部位相互关联。
76.按照躯干检测结果将关联第一结果组合和关联第二结果组合分类，具有同一个躯干检测结果的关联第一结果组合和关联第二结果组合必然是相关联的，此时，关联结果就
是具有同一个躯干检测结果的关联第一结果组合中的人脸检测结果与和关联第二结果组合中的操作部位检测结果关联。
77.本公开实施例中，可以根据第一子关联结果和第二子关联结果，挑选出关联第一结果组合和关联第二结果组合，进而将具有相同的躯干检测结果的关联第一结果组合和关联第二结果组合相互关联，如此，就能够判断出人脸检测结果和操作部位检测结果是否属于同一个人，进而得到关联结果。
78.在本公开的一些实施例中，根据躯干特征序列和人脸特征序列，将每个第一结果组合的躯干检测结果和人脸检测结果进行关联，得到各个第一结果组合对应的第一子关联结果，即s1042的具体实现过程，可以包括：s1042a-s1042b，如下：
79.s1042a、根据一个第一结果组合中的人脸检测结果对应的人脸特征序列，以及该第一结果组合中的躯干检测结果对应的躯干特征序列，拼接出该第一结果组合对应的第一组合特征。
80.在对一个第一结果组合中的躯干检测结果和人脸检测结果进行关联时，是先对该第一结果组合中的躯干检测结果对应的躯干特征序列，以及人脸检测结果对应的人脸特征序列进行拼接，将所得到的拼接结果作为第一组合特征，因此第一组合特征与第一结果组合是一一对应的。
81.可以理解的是，可以将躯干特征序列和人脸特征序列首尾相接进行拼接，所得到的第一组合特征是一维的特征序列；也可以是用躯干特征序列和人脸特征序列分别作为矩阵元素，拼接出特征矩阵，此时第一组合特征为所生成的特征矩阵。当然，还可以利用其他方式，对躯干特征序列和人脸特征序列进行拼接，得到第一组合特征，本公开实施例在此不作限定。
82.s1042b、利用各个第一结果组合对应的第一组合特征对各个第一结果组合进行分类，得到各个第一结果组合对应的第一子关联结果。
83.也就是说，可以利用用于对组合特征进行分类预设分类模型，将每个第一结果组合所对应的第一组合特征输入进预设分类模型，以进行分类，最后将预设分类模型输出的结果作为第一子关联结果。
84.需要说明的是，预设分类模型输出的结果仅有两种类型，其中一种类型是关联，表征第一结果组合中的躯干和人脸之间存在关联关系；另一种是不关联，表征第一结果组合中的躯干和人脸之间不存在关联关系。
85.在本公开的一些实施例中，预设分类模型输出的结果可以用具体的数值来表示，例如，用1表示第一结果组合中的躯干和人脸之间存在关联关系，用0第一结果组合中的躯干和人脸之间不存在关联关系。
86.可以理解的是，预设分类模型是利用大量的组合特征序列作为训练数据，用这些组合特征序列的关联结果作为监督项所训练出来的二分类模型。预设分类模型可以是多层感知机，还可以是其他模型，本公开实施例在此不作限定。
87.本公开实施例中，可以对各个第一结果组合中的躯干特征序列和人脸特征序列进行拼接，得到各个第一结果组合所对应的第一组合特征，进而利用预设分类模型根据第一组合特征对第一结果组合进行分类，得到各个第一结果组合对应的第一子关联结果。如此，就能够确定出躯干检测结果和人脸检测结果关联与否，得到第一子关联结果。
88.在本公开的一些实施例中，根据躯干特征序列和操作部位特征序列，将每个第二结果组合的躯干检测结果和操作部位检测结果进行关联，得到各个第二结果组合对应的第二子关联结果，即s1043的具体实现过程，可以包括：s1043a-s1043b，如下：
89.s1043a、根据一个第二结果组合中的躯干检测结果对应的躯干特征序列，以及该第二结果组合中操作部位检测结果对应的操作部位特征序列，拼接出该第二结果组合对应的第二组合特征。
90.在实际应用中，可以按照首尾拼接、或是拼接矩阵的方式，对一个第二结果组合中的躯干特征序列和操作部位特征序列进行拼接，并将所得到的拼接结果作为与该第二结果组合对应的第二组合特征。对每个第二结果组合中的躯干特征序列和操作部位特征序列都进行上述操作，得到各个第二结果组合所对应的第二组合特征。
91.需要说明的是，可以利用与躯干特征序列和人脸特征序列相同的拼接方式，对躯干特征序列和操作部位特征序列进行拼接，也可以利用与躯干特征序列和人脸特征序列不同的拼接方式，对躯干特征序列和操作部位特征序列进行拼接。
92.s1043b、利用各个第二结果组合对应的第二组合特征对各个第二结果组合进行分类，得到各个第二结果组合的第二子关联结果。
93.然后再将第二组合特征，输入进预设分类模型中以进行分类计算，并将预设分类模型输出的计算结果，作为第二结果组合所对应的第二子关联结果，如此，就完成了对第二结果组合中的躯干检测结果和操作部位检测结果的关联过程。
94.本公开实施例中，可以用各个第二结果组合中的躯干特征序列和操作部位特征序列，拼接出第二组合特征，并利用预设分类模型对第二组合特征进行分类，得到各个第二结果组合所对应的第二子关联结果，如此，就能判断出第二结果组合中的躯干检测结果和操作部位检测结果关联与否。
95.参见图4，图4是本公开实施例提供的图像识别方法一个可选的的流程示意图三，在本公开的一些实施例中，分别对每个躯干检测结果、每个人脸检测结果，以及每个操作部位检测结果分别进行特征提取，得到每个躯干检测结果对应的躯干特征序列、每个人脸检测结果对应的人脸特征序列，以及每个操作部位检测结果对应的操作部位特征序列，即s1041的具体实现过程，可以包括：s1041a-s1041c，如下：
96.s1041a、分别对每个躯干检测结果中的躯干图像、每个人脸检测结果中的人脸图像，和每个操作部位检测结果中的操作部位图像进行特征提取，得到每个躯干检测结果的躯干外观特征、每个人脸检测结果的人脸外观特征和每个操作部位检测结果的操作部位外观特征。
97.在针对每个躯干检测结果、每个人脸检测结果和每个操作部位检测结果进行特征提取时，是先将每个躯干检测结果中的躯干图像截取出来、将每个人脸检测结果中的人脸图像截取出来，以及将每个操作部位检测结果中的操作部位图像截取出来，然后对这些躯干图像、人脸图像和操作部位图像进行特征提取，分别得到躯干图像所对应的躯干外观特征、人脸图像所对应的人脸外观特征，以及操作部位图像所对应的操作部位外观特征。
98.可以理解的是，本公开实施例中，可以直接从待识别图的特征图中，分别得到躯干外观特征、人脸外观特征和操作部位外观特征，还可以利用其他外观特征提取算法，分别从躯干图像、人脸图像和操作部位图像中，得到躯干外观特征、人脸外观特征和操作部位外观
特征。具体得到外观特征的方法可以根据实际情况进行设定，本公开实施例在此不作限定。
99.需要说明的是，本公开实施例中，由于对每个躯干检测结果中的躯干图像，每个人脸检测结果中的人脸图像，以及每个操作部位检测结果中的操作部位图像都进行特征提取，因而，所得到的躯干外观特征的数目，是与躯干检测结果的数目相同的，同理的，人脸外观特征的数目与人脸检测结果的数目相同，操作部位外观特征的数目与操作部位检测结果的数目相同。
100.本公开实施例中，所得到的躯干外观特征、人脸外观特征和操作部位外观特征，可以是一维的特征向量，还可以是其他形式的特征，本公开实施例在此不作限定。
101.s1041b、根据每个躯干检测结果中的躯干检测框的坐标信息，确定每个躯干检测结果的躯干位置特征；根据每个人脸检测结果中的人脸检测框的坐标信息确定每个人脸检测结果的人脸位置特征；根据每个操作部位检测结果中的操作部位检测框的坐标信息确定每个操作部位检测结果的操作部位位置特征。
102.从待识别图像中，获取到每个躯干检测结果中的躯干检测框的坐标信息，然后根据躯干检测框的坐标信息，构造出每个躯干检测结果对应的躯干位置特征，同理的，从待识别图像中获取到每个人脸检测结果中的人脸检测框的坐标信息，以及每个操作部位检测结果中的操作部位检测框的坐标信息，并根据这些坐标信息，构造出每个人脸检测结果对应的人脸位置特征，以及每个操作部位检测结果对应的操作部位位置特征。
103.可以理解的是，本公开实施例中，所得到的躯干位置特征的数目，与躯干检测结果的数目相同，所得到的人脸位置特征的数目，与人脸检测结果的数目相同，所得到的操作部位位置特征的数目，与操作部位检测结果的数目相同。
104.在本公开的一些实施例中，可以直接利用坐标信息构造出位置特征，还可以先利用坐标信息计算出检测区域的高度、宽度、面积等参数，并利用这些参数构造出位置特征，本公开实施例在此不作限定。
105.s1041c、利用每个躯干检测结果的躯干外观特征和躯干位置特征拼接出每个躯干检测结果的躯干特征序列，利用每个人脸检测结果的人脸外观特征和人脸位置特征拼接出每个人脸检测结果的人脸特征序列，以及利用每个操作部位检测结果的操作部位外观特征和操作部位位置特征拼接出每个操作部位检测结果的操作部位特征序列。
106.由于躯干外观特征的数目，以及躯干位置特征的数目均与躯干检测结果的数目相同，因而，所得到的躯干特征序列的数目，也必然会与躯干检测结果的数目相同，同理，人脸特征序列的数目与人脸检测结果的数目相同，操作部位特征序列的数目与操作部位检测结果的数目也相同。
107.本公开实施例中，可以分别提取出每个躯干检测结果的躯干外观特征、每个人脸检测结果的人脸外观特征和每个操作部位检测结果的操作部位外观特征，并根据每个躯干检测结果的躯干检测框的坐标信息、每个人脸检测结果的人脸检测框的坐标信息，以及每个操作部位检测结果的操作部位检测框的坐标信息，生成躯干位置特征、人脸位置特征和操作部位位置特征，最后对这些外观特征和位置特征进行相应拼接，得到每个躯干检测结果的躯干特征序列、每个人脸检测结果的人脸特征序列和每个操作部位检测结果的操作部位特征序列，如此，就能够完成对每个躯干检测结果、每个人脸检测结果和每个操作部位检测结果的特征提取过程。
108.参见图5，图5是本公开实施例提供的图像识别方法的一个可选的流程示意图四，在本公开的一些实施例中，根据每个躯干检测结果中的躯干检测框的坐标信息，确定每个躯干检测结果的躯干位置特征；根据每个人脸检测结果中的人脸检测框的坐标信息确定人脸位置特征；根据每个操作部位检测结果中的操作部位检测框的坐标确定每个操作部位检测结果的操作部位位置特征，即s1041b的具体实现过程，可以包括：s201-s204，如下：
109.s201、根据每个躯干检测框的坐标信息，生成每个躯干检测结果的躯干区域位置参数；利用每个人脸检测框的坐标信息，生成每个人脸检测结果的人脸区域位置参数；以及采用每个操作部位检测框的坐标信息，生成每个操作部位检测结果的操作部位区域位置参数。
110.在本发明的一些实施例中，一个躯干检测结果的躯干区域位置参数包括：该躯干检测结果中的躯干检测框的坐标信息、该躯干检测结果中的躯干检测框的宽度、高度和面积中的至少一个；一个人脸检测结果的人脸区域位置参数包括：该人脸检测结果中的人脸检测框的坐标信息、该人脸检测结果中的人脸检测框的宽度、高度和面积中的至少一个；同理的，一个操作部位检测结果的操作部位区域位置参数包括：该操作部位检测结果的操作部位检测框的坐标信息、该操作部位检测结果中操作部位检测框的宽度、高度和面积中的至少一个。
111.然后利用所获取到的躯干检测框的四个坐标信息，计算出躯干检测框的长度、宽度以及面积，然后从躯干检测框的四个坐标信息中，躯干检测框的长度、躯干检测框的宽度以及躯干检测框的面积中，挑选出一个或多个参数，作为躯干检测框的位置参数。同理的，可以利用与躯干检测区域位置参数相同的方式得到人脸区域位置参数，和操作部位检测区域位置参数。
112.s202、基于预设的躯干序列位数、预设的躯干特征构造模型和躯干特征构造参数，根据每个躯干检测结果的躯干区域位置参数构造每个躯干检测结果的躯干位置序列，并根据每个躯干检测结果的躯干位置序列生成每个躯干检测结果的躯干位置特征；其中，躯干特征构造参数根据预设的躯干序列位数生成。
113.也就是说，可以根据预设的躯干序列位数确定出所要构造的躯干的位置序列的长度，进而根据躯干的位置序列的长度确定出躯干子构造参数，然后将预设的躯干序列位数中的一些位数下标挑选出来，例如所有偶数位，所有奇数位等，然后根据这些位数的位数下标，和子构造参数生成躯干特征构造参数。之后，利用躯干特征构造参数和躯干特征构造模型构造出每个躯干检测结果的躯干位置特征，进而用躯干位置特征拼接生成每个躯干检测结果的躯干位置特征。其中，预设的躯干序列位数，指的是设置好的躯干序列下标的位数。
114.需要说明的是，本公开实施例中，可以利用所挑选出的位数下标，与躯干子构造参数相比，得到位数下标比值，接着将位数下标比值作为指数，将躯干子构造参数的倍数作为基数，进行指数运算，将指数运算的结果，作为躯干特征构造参数。
115.示例性的，本公开实施例提供了构造躯干特征构造参数的公式，如式(1)所示：
116.σ＝na
2i/a
ꢀꢀꢀꢀ
(1)
117.其中，n为倍数，可以根据实际情况进行设置，a为躯干子构造参数，2i为预设的躯干序列位数中的偶数位，σ为躯干特征构造参数。当图像识别装置在获取到预设的躯干序列位数，确定出躯干的位置序列的长度之后，就可以根据躯干的位置序列的长度确定出躯干
子构造参数a，并获取预设的躯干序列位数中的所有偶数位下标，然后将这些参数代入式(1)中，就可以得到躯干特征构造参数。
118.可以理解的是，在本公开实施例中，预设的躯干序列位数可以是根据实际所确定好的，本公开实施例在此不作限定。示例性的，预设的躯干序列位数，可以是0，1，2，
……
，255，此时，共有256个下标；预设的躯干序列位数，还可以是1，2，
……
128，此时，共有128个下标。
119.需要说明的是，当图像识别装置获取到预设的躯干序列位数时，所要构造的躯干的位置序列的长度实际上也就确定了。所构造出的位置序列的长度，与预设的躯干序列位数的最后一个下标相关的。在本公开实施例中，当序列下标的位数可以是从0开始时，躯干的位置序列的长度为预设的序列位数的最后一个下标-1，当序列下标的位数也可以是从1开始，躯干的位置序列的长度与预设的序列位数的最后一个下标相同。进一步的，当躯干的位置序列的长度确定后，躯干特征构造参数中的躯干子构造参数也就确定了。
120.在本公开的一些实施例中，躯干特征构造参数中的躯干子构造参数与躯干的位置序列的长度相同，例如，当躯干的位置序列的长度为256时，躯干的子构造参数也为256；躯干特征构造参数中的躯干子构造参数也可以是躯干的位置序列长度的一半，例如躯干的位置序列长度为256时，躯干子构造参数为128，本公开实施例在此不作限定。
121.需要说明的是，由于躯干区域位置参数包括躯干检测框的坐标、长度、宽度和面积中的至少一个，由于是针对每个躯干区域位置参数构造出位置序列的，因而，位置序列的数目是与区域位置参数的数目相同的。
122.示例性的，当仅利用躯干检测区域的4个坐标(可以是躯干检测框的四个角的坐标)作为躯干区域位置参数时，可以针对一个躯干检测区域得到4个位置序列，并且，这4个位置序列与这4个坐标一一对应；当利用4个坐标、高度、宽度以及面积共同作为躯干区域位置参数时，可以针对一个躯干检测区域得到7个躯干位置序列，并且，这7个位置序列分别与4个坐标、高度、宽度以及面积相对应。
123.可以理解的是，预设的躯干特征构造模型是用于对预设的躯干序列位数中的每个下标位数构造出位置元素的，预设的躯干特征构造模型可以是余弦构造模型，也可以是正弦构造模型，还可以是其他构造模型，本公开实施例在此不作限定。
124.由于躯干位置序列的数目是与躯干区域位置参数的数目相同的，当躯干区域位置参数中只有一个参数时，躯干位置序列也只有一个，此时，可以直接将躯干位置序列作为躯干位置特征；当躯干区域位置参数中有多个参数时，躯干位置序列也会有多个，此时，可以将多个躯干位置序列首尾相接，拼接出躯干位置特征。
125.可以理解的是，由于得到了一个或多个躯干位置序列，因而，躯干位置特征的长度，是躯干位置序列的长度与位置序列的数目的乘积。
126.s203、基于预设的人脸序列位数、预设的人脸特征构造模型和人脸特征构造参数，根据每个人脸检测结果的人脸区域位置参数构造每个人脸检测结果的人脸位置序列，并根据每个人脸检测结果的人脸位置序列生成每个人脸检测结果的人脸位置特征；其中，人脸特征构造参数根据预设的人脸序列位数生成。
127.s204、基于预设的操作部位序列位数、预设的操作部位特征构造模型和操作部位特征构造参数，根据每个操作部位检测结果的操作部位区域位置参数构造每个操作部位检
测结果的操作部位位置序列，并根据每个操作部位检测结果的操作部位位置序列生成每个操作部位检测结果的操作部位位置特征；其中，操作部位特征构造参数根据预设的操作部位序列位数生成。
128.可以利用与s201相类似的方式，得到每个人脸检测结果的人脸位置特征，以及每个操作部位检测结果的操作部位位置特征。需要说明的是，预设的躯干序列位数、预设的人脸序列位数和预设的操作部位序列位数可以是相同的，也可以是不相同的，本发明实施例中在此不足限定。
129.本公开实施例中，可以分别根据躯干检测框的坐标信息、人脸检测框的坐标信息和操作部位检测框的坐标信息，分别生成躯干区域位置参数、人脸区域位置参数和操作部位区域位置参数，并基于这些位置参数、预设好的序列位数，预设的特征构造模型以及所生成的特征构造参数，得到躯干位置序列、人脸位置序列和操作部位位置序列，进而得到躯干位置特征、人脸位置特征和操作部位位置特征。这样，就能够完成对躯干位置特征、人脸位置特征和操作部位位置特征的生成。
130.在本公开的一些实施例中，当预设的序列位数为偶数位时，预设的特征构造模型可以是正弦构造模型；所述位置序列采用步骤s205-s208确定，具体如下：
131.s205、用每个检测结果的区域位置参数与特征构造参数相比，得到各个检测结果的第一参数比值。
132.示例性的，本公开实施例提供了生成第一参数比值的过程，如式(2)所示：
[0133][0134]
其中，p是区域位置参数，σ是所计算出的特征构造参数，h是第一参数比值。在获得每个检测结果的区域位置参数以及计算出特征构造参数之后，就可以将这些参数代入至式(2)中，分别得到各个检测结果的第一参数比值。
[0135]
需要说明的是，由于一个检测结果的区域位置参数包括检测区域的坐标、长度、宽度和面积中的至少一个，因而，可以分别确定出该检测结果的一个或多个第一参数比值，且这些第一参数比值均与区域位置参数相对应。
[0136]
s206、利用正弦构造模型对各个检测结果的第一参数比值进行正弦值计算，得到第一位置元素。
[0137]
在得到第一参数比值之后，就可以针对预设的序列位数中的每个位数下标，进行位置元素的构造。在本公开实施例中，当位置下标为偶数时，即预设的序列位数为偶数位时，可以将第一参数比值代入至正弦构造模型中，进行正弦值的计算，并将所得到的正弦值记为第一位置元素。这样，就完成了对预设的序列位数中的所有偶数位的第一位置元素的计算。
[0138]
示例性的，本公开实施例提供了计算偶数位的第一位置元素的过程，如式(3)所示：
[0139]
pe
2i
＝sinh
ꢀꢀꢀ
(3)
[0140]
其中，h是第一参数比值，2i是指预设的序列位数中的偶数位，pe
2i
是计算出的第一位置元素。在得到第一参数比值之后，就可以将第一参数比值代入至式(3)中，计算出第一位置元素。
[0141]
需要说明的是，第一位置元素是指偶数位上的位置元素，在预设的序列位数可能会有多个偶数位，因而，第一位置元素并不特指某一个元素，而是泛指所有偶数位上的第一位置元素。
[0142]
s207、根据各个检测结果的第一位置元素确定每个检测结果的位置序列。
[0143]
针对一个检测结果，在得到该检测结果的第一位置元素之后，就会按照位数下标的顺序，对该检测结果的所有的第一位置元素进行排列整合，将整合结果作为该检测结果的位置序列。
[0144]
s208、当预设的序列位数为预设的躯干序列位数时，预设的特征构造模型为预设的躯干特征构造模型，特征构造参数为躯干特征构造参数，检测结果为躯干检测结果，区域位置参数为躯干区域位置参数，位置序列为躯干位置序列；当预设的序列位数为预设的人脸序列位数时，预设的特征构造模型为预设的人脸特征构造模型，特征构造参数为人脸特征构造参数，检测结果为人脸检测结果，区域位置参数为人脸区域位置参数，位置序列为人脸位置序列；当预设的序列位数为预设的操作部位序列位数时，预设的特征构造模型为预设的操作部位特征构造模型，特征构造参数为操作部位特征构造参数，检测结果为操作部位检测结果，区域位置参数为操作部位区域位置参数，位置序列为操作部位位置序列。
[0145]
本公开实施例中，可以利用正弦构造模型，为预设的序列位数中的偶数位生成第一位置元素，用第一位置元素得到位置序列，进而得到位置特征。如此，就可以利用得到位置序列的方式，构造出躯干位置特征，人脸位置特征和操作部位位置特征。
[0146]
在本公开的一些实施例中，当预设的序列位数为奇数位时，预设的特征构造模型可以是余弦构造模型；所述位置序列采用步骤s209-s212确定，具体如下：
[0147]
s209、用每个检测结果的区域位置参数与特征构造参数相比，得到各个检测结果的第二参数比值。
[0148]
s210、，利用余弦构造模型对各个检测结果的第二参数比值进行余弦值计算，得到第二位置元素。
[0149]
当位数下标为奇数时，即预设的序列位数为奇数位时，可以将第二参数比值代入至余弦构造模型中进行计算，并将所得到的余弦值，分别记为第二位置元素。
[0150]
示例性的，本公开实施例提供了计算奇数位的第二位置元素的过程，如式(4)所示：
[0151]
pe
2i 1
＝cosh
ꢀꢀꢀ
(4)
[0152]
其中，h是第一参数比值，2i 1是指预设的序列位数中的奇数位，pe
2i 1
是计算出的第二位置元素。将第二参数比值代入至式(4)中，计算出第二位置元素。
[0153]
可以理解的是，与第一位置元素类似，第二位置元素并不特指某一个躯干位置元素，而是泛指所有奇数位上的位置元素。
[0154]
s211、根据各个检测结果的第二位置元素确定每个检测结果的位置序列。
[0155]
s212、当预设的序列位数为预设的躯干序列位数时，预设的特征构造模型为预设的躯干特征构造模型，特征构造参数为预设的躯干特征构造参数，检测结果为躯干检测结果，区域位置参数为躯干区域位置参数，位置序列为躯干位置序列；
[0156]
当预设的序列位数为预设的人脸序列位数时，预设的特征构造模型为预设的人脸特征构造模型，特征构造参数为预设的人脸特征构造参数，检测结果为人脸检测结果，区域
位置参数为人脸区域位置参数，位置序列为人脸位置序列；当预设的序列位数为预设的操作部位序列位数时，预设的特征构造模型为预设的操作部位特征构造模型，特征构造参数为预设的操作部位特征构造参数，检测结果为操作部位检测结果，区域位置参数为操作部位区域位置参数，位置序列为操作部位位置序列。
[0157]
本公开实施例中，可以利用余弦构造模型，为预设的序列位数中的奇数位生成第二位置元素，并用第二位置元素得到位置序列。如此，图像识别装置就利用得到位置序列的方式，构造出躯干位置特征，人脸位置特征和操作部位位置特征。
[0158]
在本公开的一些实施例中，根据每个躯干检测框的坐标信息，生成每个躯干检测结果的躯干区域位置参数；利用每个人脸检测框的坐标信息，生成每个人脸检测结果的人脸区域位置参数，以及采用每个操作部位检测框的坐标信息，生成每个操作部位检测结果的操作部位区域位置参数，即s201的具体实现过程，可以包括：s2011-s2014，如下：
[0159]
s2011、根据每个躯干检测结果中的躯干检测框的坐标信息，计算出每个躯干检测结果中的躯干检测框的宽度、高度和面积；根据每个人脸检测结果中的人脸检测框的坐标信息，计算出每个人脸检测结果中的人脸检测框的宽度、高度和面积；根据每个操作部位检测结果中的操作部位检测框的坐标信息，计算出每个操作部位检测结果中的操作部位检测框的宽度、高度和面积。
[0160]
利用躯干检测框左上角的横轴坐标，与躯干检测框右上角的横轴做差，将所得到的差值作为躯干检测框的宽度，将躯干检测框左下角的纵轴坐标，与躯干检测框左上角的纵轴坐标做差，将所得到的差值作为躯干检测框的高度，最后对宽度和高度求乘积，就能够得到躯干检测框的面积。同时，还可以利用与求躯干检测框的宽度相同的方法，分别求出人脸检测框的宽度和操作部位检测框的宽度，用于求躯干检测框的高度相同的方法，分别求出人脸检测框的高度和操作部位检测框的高度，以及利用与求出躯干检测框的面积相同的方法，分别求出人脸检测框的面积和操作部位检测框的面积。
[0161]
示例性的，本公开提供了躯干检测框的宽度、高度以及面积的示意图，如图6所示，(x1,y1)为躯干检测框左上角的坐标，(x2,y1)为躯干检测框右上角的坐标，(x1,y2)为躯干检测框左下角的坐标，(x2,y2)为躯干检测框右下角的坐标。此时，躯干检测框的宽度为x
2-x1，躯干检测框的高度为y
2-y1，相应的，躯干检测框的面积为(x
2-x1)
×
(y
2-y1)。
[0162]
s2012、利用每个躯干检测结果中的躯干检测框的坐标信息、宽度、高度和面积中的至少一个，构成每个躯干检测结果的躯干区域位置参数。
[0163]
在得到每个躯干检测结果中的躯干检测框的4个坐标，躯干检测框的宽度、躯干检测框的高度以及躯干检测框的面积之后，就可以从这些参数中，选择出一个或多个参数，作为躯干区域位置参数，如此，图像识别装置就得到了每个躯干检测结果的躯干区域位置参数。
[0164]
s2013、根据每个人脸检测结果中的人脸检测区域的坐标信息、宽度、高度和面积中的至少一个，构成每个人脸检测结果的人脸区域位置参数。
[0165]
同理的，在得到每个人脸检测结果的人脸检测框的4个坐标，人脸检测框的宽度，人脸检测框的高度以及人脸检测框的面积之后，可以从这些参数中选择出一个或多个参数，作为每个人脸检测结果的人脸区域位置参数。
[0166]
s2014、采用每个操作部位检测结果中的操作部位检测框的坐标信息、宽度、高度
和面积中的至少一个，构成每个操作部位检测结果的操作部位区域位置参数。
[0167]
类似的，采用每个操作部位检测结果的操作部位检测框的4个坐标、操作部位检测框的宽度，操作部位检测框的高度以及操作部位检测框的面积中的一个或多个参数，作为每个操作部位检测结果的操作部位区域位置参数。
[0168]
本公开实施例中，分别利用躯干检测框的坐标信息、人脸检测框的坐标信息以及操作部位检测框的坐标信息，得到躯干检测区域位置参数、人脸检测区域位置参数和操作部位检测区域位置参数，如此，就能够在后续利用这些位置参数得到位置序列了。
[0169]
参见图7，图7为本公开实施例提供的图像识别方法的一个可选的流程示意图五，在本公开的一些实施例中，分别针对每个躯干检测结果中的躯干图像、每个人脸检测结果中的人脸图像，和每个操作部位检测结果中的操作部位图像进行外观特征提取，得到每个躯干检测结果的躯干外观特征、每个人脸检测结果的人脸外观特征和每个操作部位检测结果的操作部位外观特征，即s1041a的具体实现过程，可以包括：s301-s304，如下：
[0170]
s301、获取待识别图像对应的至少一个特征图。
[0171]
在进行特征提取时，需要先从对待识别图像进行区域检测时所生成的特征图进行提取，以便于后续直接从特征图中提取外观特征。需要说明的是，由于图像识别装置在进行区域检测时，会将待识别图像输入进多个不同的通道中进行卷积运算，其中，一个通道对应一个卷积核，一个卷积核可以得到一个特征图，因而，图像识别装置共能得到至少一个特征图，特征图的个数与通道数目相同。
[0172]
示例性的，当图像识别装置将待识别图像分别送入64通道进行卷积计算时，这时，图像识别装置就可以得到64个特征图。
[0173]
s302、从至少一个特征图中的每个特征图中，获取到每个躯干检测结果的躯干特征图；对每个躯干检测结果的躯干特征图进行区域划分，得到至少一个躯干特征子区域，并对每个躯干特征子区域进行最大值特征提取，得到每个躯干检测结果对应的至少一个躯干外观子特征；利用每个躯干检测结果对应的至少一个躯干外观子特征构造出每个躯干检测结果的躯干外观特征。
[0174]
即从每个特征图中，分别获取每个躯干检测结果的躯干图像所对应的图像内容，得到每个躯干检测结果的躯干特征图。按照预设的子区域划分规则分别将躯干特征图划分为多个躯干特征子区域。由于在躯干特征子区域中可能会有一个或多个特征像素，因此可以从这些特征像素中取出最大的一个特征像素，作为这个躯干子区域对应的躯干外观子特征，进而得到每个躯干检测结果对应的至少一个躯干外观子特征。当得到一个躯干外观子特征时，可以直接将该躯干外观子特征作为躯干外观特征。当分别得到多个躯干外观子特征时，就可以将多个躯干外观子特征中的每个躯干外观子特征以首尾相接的方式拼接成为躯干外观特征。
[0175]
可以理解的是，由于特征图是待识别图像经过卷积之后得到的，因而，特征图与待识别图像的尺寸是不同的，因此可以对躯干检测框的坐标信息进行尺寸变换，得到躯干映射框的坐标信息，进而根据躯干映射框的坐标信息，得到躯干映射框所框选出的图像内容，并将这部分内容作为躯干特征图。
[0176]
需要说明的是，在对躯干检测框的坐标信息进行尺寸变换之后，所得到的躯干映射框的坐标信息可能是浮点数，此时，可以直接利用浮点数的坐标信息获取到躯干特征图，
也可以将浮点数的坐标信息转换为整数的坐标信息，再得到躯干特征图。
[0177]
需要说明的是，在本公开的一些实施例中，还可以对躯干子区域继续进行划分，得到躯干子区域的划分结果，并获取划分结果的中间位置的特征像素，再将这些中间位置的特征像素进行比较，将最大的中间位置的特征像素，作为躯干子区域对应的躯干外观子特征。在这里，由于躯干子区域的坐标信息可以是浮点数，进而使得划分结果的中间位置也可以是一个浮点数，即在特征图中无法直接找到划分结果的中间位置对应的特征像素，这时，图像识别装置可以利用双线性差值法，根据与划分结果的中间位置距离较近的特征像素，计算出划分结果的中间位置的特征像素，进而得到躯干外观子特征。
[0178]
s303、从至少一个特征图的每个特征图中，获取到每个人脸检测结果的人脸特征图；对每个人脸检测结果的人脸特征图进行区域划分，得到至少一个人脸特征子区域，并对每个人脸特征子区域进行最大值特征提取，得到每个人脸检测结果对应的至少一个人脸外观子特征；利用每个人脸检测结果对应的至少一个人脸外观子特征构造出每个人脸检测结果的人脸外观特征。
[0179]
s304、从至少一个特征图的每个特征图中，获取到每个操作部位检测结果的操作部位特征图；对每个操作部位检测结果的操作部位特征图进行区域划分，得到至少一个操作部位特征子区域，并对每个操作部位特征子区域进行最大值特征提取，得到每个操作部位检测结果对应的至少一个操作部位外观子特征；利用每个操作部位检测结果对应的至少一个操作部位外观子特征构造出每个操作部位检测结果的操作部位外观特征。
[0180]
需要说明的是，s303和s304的实现过程与s302较为类似，本公开实施例在此不再赘述。
[0181]
本公开实施例中，可以从特征图中得到每个躯干检测结果的躯干图像对应的躯干外观特征，每个人脸检测结果中的人脸图像对应的人脸外观特征，以及每个操作部位检测结果中的操作部位图像对应的操作部位外观特征，以便于后续根据这些外观特征，分别得到躯干特征序列、人脸特征序列和操作部位特征序列。
[0182]
在本公开的一些实施例中，对待识别图像进行检测，得到至少一个躯干检测结果、至少一个人脸检测结果以及至少一个操作部位检测结果，即s101的具体实现过程，可以包括：s1011-s1014，如下：
[0183]
s1011、按照预设检测区域生成规则，为待识别图像生成至少一个候选检测框。
[0184]
在对待识别图像进行检测时，首选会按照预先存储好的预设检测区域生成规则，为待识别图像生成多个候选检测框，这样，就可以看作是图像识别装置将待识别图像划分成为多个大小不一的图像块。
[0185]
可以理解的是，预设检测区域生成规则，可以是指对一个初始检测框进行尺度变换，得到多个检测框的规则，也可以是指其他检测框生成规则，例如滑窗生成等，本公开实施例在此不作具体限定。
[0186]
s1012、针对至少一个候选检测框中的每个候选检测框所框选出的图像，计算出躯干概率；根据躯干概率和预设重合度阈值，从至少一个候选检测框中挑选出至少一个躯干检测框，进而得到至少一个躯干检测结果。
[0187]
将每个候选检测框中的图像内容提取出来，然后利用预先存储的检测模型，分别对每个图像内容进行识别，得到每个图像内容分别为躯干图像的概率，即躯干概率。根据每
个图像内容的躯干概率，并结合预设重合度阈值，从所有的候选检测框中找出躯干检测框，并和躯干检测框中的躯干图像，组成躯干检测结果，得到至少一个躯干检测结果。
[0188]
s1013、针对至少一个候选检测框中的每个候选检测框所框选出的图像，计算出人脸概率；根据人脸概率和预设重合度阈值，从至少一个候选检测框中挑选出至少一个人脸检测框，进而得到至少一个人脸检测结果。
[0189]
s1014、针对至少一个候选检测框中的每个候选检测框所框选出的图像，计算出操作部位概率；根据操作部位概率和预设重合度阈值，从至少一个候选检测框中挑选出至少一个操作部位检测框，进而得到至少一个操作部位检测结果。
[0190]
可以理解的是，由于预设重合度阈值是为了从距离较为相近的若干个检测框中，选出一个检测框的，即所获得的至少一个躯干检测框是经过检测框剔除操作的，因而，候选检测框的数目是大于等于躯干检测结果的数目、人脸检测结果的数目和操作部位检测结果的数目之和。
[0191]
本公开实施例中，可以从待识别图像中的所有候选检测框所框选出的图像内容进行识别，得到躯干概率、人脸概率和操作部位概率，进而根据这些概率得到至少一个躯干检测结果、至少一个人脸检测结果和至少一个操作部位检测结果，如此，就能够在后续对至少一个躯干检测结果、至少一个人脸检测结果和至少一个操作部位检测结果进行组合了。
[0192]
在本公开的一些实施例中，s1011中的预设检测区域生成规则，可以包括：s1011a-s1011b，如下：
[0193]
s1011a、按照预设的初始尺寸，生成初始检测框。
[0194]
s1011b、对初始检测框进行尺度变换和拉伸变换，得到至少一个候选检测框。
[0195]
即先生成预设的初始尺寸的检测框，并将该检测框作为初始检测框，然后对初始检测框的尺度进行变换，得到多个候选检测框，同时在保证初始检测框的面积不变的情况下，对初始检测框的宽和高进行拉伸，继续得到候选检测框，如此，可以根据预设检测框生成规则，进而能够得到至少一个候选检测框。
[0196]
本公开实施例中，可以根据预设的初始尺寸生成初始检测框，然后对初始检测框进行变换，得到至少一个候选检测框，如此，图像识别装置就能够在用至少一个候选检测框框选出图像内容，并计算这些图像内容的躯干概率、人脸概率和操作部位概率，进而得到至少一个躯干检测结果、至少一个人脸检测结果和至少一个操作部位检测结果。
[0197]
在本公开的一些实施例中，根据躯干概率、人脸概率、操作部位概率以及预设重合度阈值，从至少一个候选检测框中挑选出至少一个躯干检测框、至少一个人脸检测框和至少一个操作部位检测框，进而得到至少一个躯干检测结果、至少一个人脸检测结果和至少一个操作部位检测结果，即s1013的具体实现过程，可以包括：s1013a-s1013g，如下：
[0198]
s1013a、根据躯干概率、人脸概率和操作部位概率，从至少一个候选检测框中分别选择出至少一个临时躯干检测区域、至少一个临时人脸检测区域和至少一个临时操作部位检测区域。
[0199]
由于每个候选检测框都对应有躯干概率、人脸概率和操作部位概率三个概率，这时，可以将每个候选检测框的躯干概率、人脸概率和操作部位概率相比较，若是躯干概率最大，则该候选检测框为临时躯干检测框，若是人脸概率最大，则该候选检测框为临时人脸检测框，若是操作部位概率最大，则该候选检测框为临时操作部位检测框。这样，在完成对每
个候选检测框躯干概率、人脸概率和操作部位概率的比较之后，就能够得到至少一个临时躯干检测框、至少一个临时人脸检测框和至少一个临时操作部位检测框。
[0200]
s1013b、将躯干概率最大的临时躯干检测框作为第一躯干检测框；利用第一躯干检测框和第一躯干检测框框选出的躯干图像，组成第一躯干检测结果；从至少一个临时躯干检测框中，去除与第一躯干检测框的重合度超过预设重合度阈值的临时躯干检测框，得到至少一个中间躯干检测框；将至少一个中间躯干检测框作为至少一个临时躯干检测框，继续执行上述过程，直至得到至少一个躯干检测结果。
[0201]
也就是说，可以将所有临时躯干检测框的躯干概率进行比较，从中挑选出躯干概率最大的临时躯干检测框，作为第一躯干检测框，同时，利用第一躯干检测框，以及第一躯干检测框所框选出的躯干图像，组成第一躯干检测结果，这时，图像识别装置就可以得到一个躯干检测结果了。图像识别装置计算第一躯干检测框，与至少一个临时躯干检测框中的其他临时检测框的重合度，当重合度超过预设重合度阈值时，图像识别装置认为临时检测框与第一躯干检测框较为相近，其所框选的躯干图像有可能与第一躯干检测框所框选的躯干图像的重合度较高，这时，可以将这个临时检测框剔除。在完成对所有重合度超过预设重合度阈值的临时躯干检测框的剔除工作之后，就可以得到至少一个中间躯干检测框。
[0202]
在执行完上述过程之后，就已经得到了一个躯干检测结果，以及剔除了与该躯干检测框距离较近的检测框，这时，继续将至少一个中间躯干检测框作为至少一个临时躯干检测框，继续进行上述过程，如此循环往复，就能够得到至少一个躯干检测结果。
[0203]
s1013c、将人脸概率最大的临时人脸检测框作为第一人脸检测框；利用第一人脸检测框和第一人脸检测框框选出的人脸图像，组成第一人脸检测结果；从至少一个临时人脸检测框中，去除与第一人脸检测框的重合度超过预设重合度阈值的临时人脸检测框，得到至少一个中间人脸检测框；将至少一个中间人脸检测框作为至少一个临时人脸检测框，继续执行上述过程，直至得到至少一个人脸检测结果。
[0204]
s1013d、将操作部位概率最大的临时操作部位检测框作为第一操作部位检测框；利用第一操作部位检测框和第一操作部位检测框框选出的操作部位图像，组成第一操作部位检测结果；从至少一个临时操作部位检测框中，去除与第一操作部位检测框的重合度超过预设重合度阈值的临时操作部位检测框，得到至少一个中间操作部位检测框；将至少一个中间操作部位检测框作为至少一个临时操作部位检测框，继续执行上述过程，直至得到至少一个操作部位检测结果。
[0205]
需要说明的是，s1013c和s1013d的实现过程与s1013b较为类似，本公开实施例在此不再赘述。
[0206]
本公开实施例中，可以先从至少一个临时躯干检测框中挑选出第一躯干检测框，进而得到第一躯干检测结果，从至少一个临时人脸检测框中挑选出第一人脸检测框，进而得到第一人脸检测结果，以及从至少一个临时操作部位检测框中挑选出第一操作部位检测框，进而得到第一操作部位检测结果，并分别将与第一躯干检测框、第一人脸检测框和第一操作部位检测框距离较近的检测框删除，如此循环往复，就可以得到至少一个躯干检测结果、至少一个人脸检测结果和至少一个操作部位检测结果。
[0207]
下面，将以实际应用场景中的图像识别过程为例，说明本公开实施例提供的图像识别方法。本公开实施例以图1所提供的实际应用场景为例，说明图像识别方法所包括的过
程。
[0208]
s401、利用卷积神经网络模型检测实际应用场景的图像中的躯干检测结果、人脸检测结果和操作部位检测结果。
[0209]
需要说明的是，此时并不知晓这些躯干、人脸和操作部位之间的关系的。
[0210]
s402、获取实际应用场景的图像的64个特征图。
[0211]
s403、将s401所得到的躯干图像、人脸图像和操作部位图像映射到64个特征图中，得到躯干图像对应的64个躯干特征图、人脸图像对应的64个人脸特征图和操作部位图像对应的64个操作部位特征图。
[0212]
s404、将每个躯干特征图划分为49个躯干特征子区域，将每个人脸特征图划分为49个人脸特征子区域，将每个操作部位特征图划分为49个操作部位特征子区域。
[0213]
图像识别装置共可以得到64
×
49＝3136个躯干特征子区域，得到64
×
49＝3136个人脸特征子区域，以及64
×
49＝3136个操作部位特征子区域。
[0214]
s405、分别提取每个躯干特征子区域的躯干外观子特征，每个人脸特征子区域的人脸外观子特征，操作部位特征子区域的操作部位外观子特征。
[0215]
图像识别装置针对一个特征子区域提取一个外观子特征，如此，可以得到3136个躯干外观子特征，3136个人脸外观子特征以及3136个操作部位外观子特征。
[0216]
s405、分别根据躯干外观子特征、人脸外观子特征和操作部位外观子特征，得到躯干外观特征、人脸外观特征和操作部位外观特征。
[0217]
实际应用中，可以将每个外观子特征量化到0～9之间，这样，所得到的躯干外观特征、人脸外观特征和操作部位外观特征，均为一个长度为3136的一维特征向量。
[0218]
s406、利用躯干检测区域、人脸检测区域和操作部位检测区域的坐标，分别求出躯干检测区域的宽度、高度和面积，人脸检测区域的宽度、高度和面积，以及操作部位检测区域的宽度、高度和面积。
[0219]
若一个检测区域的坐标为(x1，y1，x2，y2)，其中，x1是检测区域左上角的横轴坐标，y1是检测区域左上角的纵轴坐标，x2为检测区域右下角的横轴坐标，y2为检测区域右下角的纵轴坐标。然后根据这四个坐标，求出检测区域的宽度x2-x1，求出检测区域的高度y2-y1，以及求出检测区域的面积(x2-x2)
×
(y2-y1)。需要说明的是，图像识别装置还可以在求出宽度、高度之后，利用宽度对x1和x2进行归一化，利用高度对y1和y2进行归一化，得到归一化的坐标，然后用归一化的坐标，在求出检测区域对应的归一化宽度、归一化高度和归一化面积。
[0220]
s407、将躯干检测区域的坐标、宽度、高度和面积作为躯干区域位置参数，将人脸检测区域的坐标、宽度、高度和面积作为人脸区域位置参数，以及将操作部位检测区域的坐标、宽度、高度和面积作为操作部位区域位置参数。
[0221]
s408、针对躯干区域位置参数中的每个参数，人脸区域位置参数中的每个参数，以及操作部位区域位置参数中的每个参数构造长度为256的位置序列。
[0222]
选择0，1，2，
……
，255作为预设的序列位数，构造长度为256的序列。其中，预设特征构造模型分别如式(5)和式(6)所示：
[0223]
pe
2i
＝sin(p/768
2i/256
)
ꢀꢀꢀ
(5)
[0224]
pe
2i 1
＝cos(p/768
2i/256
)
ꢀꢀꢀ
(6)
[0225]
其中，p为位置参数，2i为偶数位，pe
2i
为偶数位的位置元素，pe
2i 1
为奇数位的位置元素。
[0226]
s409、将躯干区域位置参数中的每个参数的256的位置序列进行拼接，得到1792的躯干位置特征，将人脸区域位置参数中的每个参数的256的位置序列进行拼接，得到1792的人脸位置特征，将操作部位区域位置参数中的每个参数的256的位置序列进行拼接，得到1792的操作部位位置特征。
[0227]
s410、将1792的躯干位置特征和3136的躯干外观特征进行拼接，得到4928的躯干特征序列，将1792的人脸位置特征和3136的人脸外观特征进行拼接，得到4928的人脸特征序列，以及将1792的操作部位位置特征和3136的操作部位外观特征进行拼接，得到4928的操作部位特征序列。
[0228]
s411、对至少一个躯干检测结果和至少一个人脸检测结果两两组合，得到至少一个第一结果组合，对至少一个躯干检测结果和至少一个操作部位检测结果两两组合，得到至少一个第二结果组合。
[0229]
s412、用每个第一结果组合中的4928的躯干特征序列和4928的人脸特征序列，拼接出长度9856的第一组合特征，并用多层感知机对第一组合特征进行二分类，得到每个第一结果组合对应的第一子关联结果。
[0230]
即判断出每个第一结果组合中的躯干检测结果和人脸检测结果是否属于同一个人。
[0231]
s413、用每个第二结果组合中的4928的躯干特征序列和4928的操作部位特征序列，拼接出长度9856的第二组合特征，并用多层感知机对第二组合特征进行二分类，得到每个第二结果组合对应的第二子关联结果。
[0232]
即判断出每个第二结果组合中的躯干检测结果和操作部位检测结果是否属于同一个人。
[0233]
s414、利用第一子关联结果和第二子关联结果确定出人脸检测结果和操作部位检测结果是否属于同一个人，完成图像识别过程。
[0234]
当第一子关联结果为躯干检测结果和人脸检测结果属于同一个人，且第二子关联结果为躯干检测结果和操作部位检测结果属于同一个人时，人脸检测结果和操作部位检测结果关联。其余状况时，人脸检测结果和操作部位检测结果均不关联。
[0235]
通过上述方式，可以判断躯干检测结果和人脸检测结果的关系，以及躯干检测结果和操作部位检测结果的关系，使得能偶利用躯干检测结果将人脸检测结果和操作部位检测结果进行关联，降低了判断人脸和操作部位的难度，同时不会丢失图像中人体的关键信息，提高了人脸与操作部位关联的准确度。
[0236]
本公开实施例提供了一种图像识别装置，对应与一种图像识别方法。参见图8，图8为本公开实施例提供的一种图像识别装置的结构示意图一，本公开实施例提供的图像识别装置300包括：
[0237]
检测模块310，用于对待识别图像进行图像检测，得到至少一个人脸检测结果、至少一个操作部位检测结果以及至少一个躯干检测结果；一个人脸检测结果中包括一个人脸的检测框，一个操作部位检测结果中包括一个操作部位的检测区框，一个躯干检测结果中包括一个躯干的检测框；
[0238]
组合模块320，用于将所述至少一个躯干检测结果中的每个躯干检测结果，分别与各个人脸检测结果进行组合，得到至少一个第一结果组合；将所述每个躯干检测结果，分别和各个操作部位检测结果进行组合，得到至少一个第二结果组合；
[0239]
关联模块330，用于对所述至少一个第一结果组合和所述至少一个第二结果组合进行关联，得到关联结果。
[0240]
在本公开的一些实施例中，所述关联模块330，具体用于分别对所述每个躯干检测结果、每个人脸检测结果，以及每个操作部位检测结果分别进行特征提取，得到每个躯干检测结果对应的躯干特征序列、每个人脸检测结果对应的人脸特征序列，以及每个操作部位检测结果对应的操作部位特征序列；根据所述躯干特征序列和所述人脸特征序列，将每个第一结果组合的躯干检测结果和人脸检测结果进行关联，得到各个第一结果组合对应的第一子关联结果；根据所述躯干特征序列和所述操作部位特征序列，将每个第二结果组合的躯干检测结果和操作部位检测结果进行关联，得到各个第二结果组合对应的至少一个第二子关联结果；根据各个第一子关联结果和各个第二子关联结果确定出所述关联结果。
[0241]
在本公开的一些实施例中，所述关联模块330，具体用于根据各个第一子关联结果，确定至少一个第一结合组合中躯干检测结果和人脸检测结果相关联的关联第一结果组合；根据各个第二子关联结果，确定所述至少一个第二结果组合中躯干检测结果和操作部位检测结果相关联的关联第二结果组合；确定具有相同躯干检测结果的关联第一结果组合和关联第二结果组合相关联，其中，一个关联第一结果组合中的人脸检测结果表征的人脸与与其相关联的关联第二结果组合中的操作部位检测结果表征的操作部位相互关联。。
[0242]
在本公开的一些实施例中，所述关联模块330，具体用于根据一个第一结果组合中的人脸检测结果对应的人脸特征序列，以及该第一结果组合中的躯干检测结果对应的躯干特征序列，拼接出该第一结果组合对应的第一组合特征；利用各个第一结果组合对应的第一组合特征对各个第一结果组合进行分类，得到各个第一结果组合对应的第一子关联结果。
[0243]
在本公开的一些实施例中，所述关联模块330，具体用于根据一个第二结果组合中的躯干检测结果对应的躯干特征序列，以及该第二结果组合中的操作部位检测结果对应的操作部位特征序列，拼接出该第二结果组合对应的第二组合特征；利用各个第二结果组合对应的第二组合特征对各个第二结果组合进行分类，得到所述第二子关联结果。
[0244]
在本公开的一些实施例中，所述关联模块330，具体用于分别对所述每个躯干检测结果中的躯干图像、所述每个人脸检测结果中的人脸图像，和所述每个操作部位检测结果中的操作部位图像进行特征提取，得到每个躯干检测结果的躯干外观特征、每个人脸检测结果的人脸外观特征和每个操作部位检测结果的操作部位外观特征；根据每个躯干检测结果中的躯干检测框的坐标信息，确定每个躯干检测结果的躯干位置特征；根据每个人脸检测结果中的人脸检测框的坐标信息确定每个人脸检测结果的人脸位置特征；根据每个操作部位检测结果中的操作部位检测框的坐标信息确定每个操作部位检测结果的操作部位位置特征；利用每个躯干检测结果的躯干外观特征和躯干位置特征拼接出每个躯干检测结果的躯干特征序列，利用每个人脸检测结果的人脸外观特征和人脸位置特征拼接出每个人脸检测结果的人脸特征序列，以及利用每个操作部位检测结果的操作部位外观特征和操作部位位置特征拼接出每个操作部位检测结果的躯干特征序列。
[0245]
在本公开的一些实施例中，所述关联模块330，具体用于根据每个躯干检测框的坐标信息，生成每个躯干检测结果的躯干区域位置参数；利用每个人脸检测框的坐标信息，生成每个人脸检测结果的人脸区域位置参数；以及采用每个操作部位检测框的坐标信息，生成每个操作部位检测结果的操作部位区域位置参数；基于预设的躯干序列位数、预设的躯干特征构造模型和躯干特征构造参数，根据每个躯干检测结果的躯干区域位置参数构造每个躯干检测结果的躯干位置序列，并根据每个躯干检测结果的躯干位置序列生成每个躯干检测结果的躯干位置特征；其中，所述躯干特征构造参数根据所述预设的躯干序列位数生成；基于预设的人脸序列位数、预设的人脸特征构造模型和人脸特征构造参数，根据每个人脸检测结果的人脸区域位置参数构造每个人脸检测结果的人脸位置序列，并根据每个人脸检测结果的人脸位置序列生成每个人脸检测结果的人脸位置特征；其中，所述人脸特征构造参数根据所述预设的人脸序列位数生成；基于预设的操作部位序列位数、预设的操作部位特征构造模型和操作部位特征构造参数，根据每个操作部位检测结果的操作部位区域位置参数构造每个操作部位检测结果的操作部位位置序列，并根据每个操作部位检测结果的操作部位位置序列生成每个操作部位检测结果的操作部位位置特征；其中，所述操作部位特征构造参数根据所述预设的操作部位序列位数生成。
[0246]
在本公开的一些实施例中，所述关联模块330，具体用于在所述预设的序列位数为偶数位时，预设的特征构造模型为正弦构造模型的情况下，用每个检测结果的区域位置参数与特征构造参数相比，得到各个检测结果的第一参数比值；利用所述正弦构造模型对各个检测结果的第一参数比值进行正弦值计算，得到各个检测结果的第一位置元素；根据各个检测结果的第一位置元素确定每个检测结果的第一位置序列；当预设的序列位数为预设的躯干序列位数时，预设的特征构造模型为预设的躯干特征构造模型，特征构造参数为躯干特征构造参数，检测结果为躯干检测结果，区域位置参数为躯干区域位置参数，第一位置序列为躯干位置序列；当预设的序列位数为预设的人脸序列位数时，预设的特征构造模型为预设的人脸特征构造模型，特征构造参数为人脸特征构造参数，检测结果为人脸检测结果，区域位置参数为人脸区域位置参数，位置序列为人脸位置序列；当预设的序列位数为预设的操作部位序列位数时，预设的特征构造模型为预设的操作部位特征构造模型，特征构造参数为操作部位特征构造参数，检测结果为操作部位检测结果，区域位置参数为操作部位区域位置参数，位置序列为操作部位位置序列。
[0247]
在本公开的一些实施例中，所述关联模块330，具体用于在所述预设的序列位数为奇数位时，预设的特征构造模型为余弦构造模型的情况下，
[0248]
用每个检测结果的区域位置参数与所述特征构造参数相比，得到各个检测结果的第二参数比值；
[0249]
利用所述余弦构造模型对各个检测结果的第二参数比值进行余弦值计算，得到各个检测结果的第二位置元素；
[0250]
根据各个检测结果的第二位置元素确定每个检测结果的位置序列；
[0251]
当预设的序列位数为预设的躯干序列位数时，预设的特征构造模型为预设的躯干特征构造模型，特征构造参数为躯干特征构造参数，检测结果为躯干检测结果，区域位置参数为躯干区域位置参数，位置序列为躯干位置序列；
[0252]
当预设的序列位数为预设的人脸序列位数时，预设的特征构造模型为预设的人脸
特征构造模型，特征构造参数为人脸特征构造参数，检测结果为人脸检测结果，区域位置参数为人脸区域位置参数，位置序列为人脸位置序列；
[0253]
当预设的序列位数为预设的操作部位序列位数时，预设的特征构造模型为预设的操作部位特征构造模型，特征构造参数为操作部位特征构造参数，检测结果为操作部位检测结果，区域位置参数为操作部位区域位置参数，位置序列为操作部位位置序列。
[0254]
在本公开的一些实施例中，所述关联模块330，具体用于根据每个躯干检测结果中的躯干检测框的坐标信息，计算出每个躯干检测结果中的躯干检测框的宽度、高度和面积；根据每个人脸检测结果中的人脸检测框的坐标信息，计算出每个人脸检测结果中的人脸检测框的宽度、高度和面积；根据每个操作部位检测结果中的操作部位检测框的坐标信息，计算出每个操作部位检测结果中的操作部位检测框的宽度、高度和面积；利用每个躯干检测结果中的躯干检测框的坐标信息、宽度、高度和面积中的至少一个，构成每个躯干检测结果的躯干区域位置参数；根据每个人脸检测结果中的人脸检测框的坐标信息、宽度、高度和面积中的至少一个，构成每个人脸检测结果的人脸区域位置参数；采用每个操作部位检测结果中的操作部位检测框的坐标信息、宽度、高度和面积中的至少一个，构成每个操作检测结果的操作部位区域位置参数。
[0255]
在本公开的一些实施例中，所述关联模块330，具体用于获取所述待识别图像对应的至少一个特征图；从所述至少一个特征图的每个特征图中，获取到所述每个躯干检测结果的躯干特征图；对每个躯干检测结果的躯干特征图进行区域划分，得到至少一个躯干特征子区域，并对每个躯干特征子区域进行最大值特征提取，得到每个躯干检测结果对应的至少一个躯干外观子特征；利用每个躯干检测结果对应的至少一个躯干外观子特征构造出每个躯干检测结果的躯干外观特征；从所述至少一个特征图的每个特征图中，获取到所述每个人脸检测结果的人脸特征图；对每个人脸检测结果的人脸特征图进行区域划分，得到至少一个人脸特征子区域，并对每个人脸特征子区域进行最大值特征提取，得到每个人脸检测结果对应的至少一个人脸外观子特征；利用每个人脸检测结果对应的至少一个人脸外观子特征构造出每个人脸检测结果的人脸外观特征；从所述至少一个特征图的每个特征图中，获取到所述每个操作部位检测结果的操作部位特征图；对每个操作部位检测结果的操作部位特征图进行区域划分，得到至少一个操作部位特征子区域，并对每个操作部位特征子区域进行最大值特征提取，得到每个操作部位检测结果对应的至少一个操作部位外观子特征；利用每个操作部位检测结果对应的至少一个操作部位外观子特征构造出每个操作部位检测结果的操作部位外观特征。
[0256]
在本公开的一些实施例中，所述检测模块310，具体用于按照预设检测区域生成规则，为所述待识别图像生成至少一个候选检测框；针对至少一个候选检测框中的每个候选检测框所框选出的图像，计算出躯干概率；根据躯干概率和预设重合度阈值，从至少一个候选检测框中挑选出至少一个躯干检测框，进而得到至少一个躯干检测结果；针对至少一个候选检测框中的每个候选检测框所框选出的图像，计算出人脸概率；根据人脸概率和预设重合度阈值，从至少一个候选检测框中挑选出至少一个人脸检测框，进而得到至少一个人脸检测结果；针对至少一个候选检测框中的每个候选检测框所框选出的图像，计算出操作部位概率；根据操作部位概率和预设重合度阈值，从至少一个候选检测框中挑选出至少一个操作部位检测框，进而得到至少一个操作部位检测结果。
[0257]
在本公开的一些实施例中，所述检测模块310，具体用于按照预设的初始尺寸，生成初始检测框；对初始检测框进行尺度变换和拉伸变换，得到至少一个候选检测框。
[0258]
在本公开的一些实施例中，所述检测模块310，具体用于根据所述躯干概率、所述人脸概率和所述操作部位概率，从所述至少一个候选检测框中分别选择出至少一个临时躯干检测框、至少一个临时人脸检测框和至少一个临时操作部位检测框；将躯干概率最大的临时躯干检测框作为第一躯干检测框；利用第一躯干检测框和第一躯干检测框框选出的躯干图像，组成第一躯干检测结果；从至少一个临时躯干检测框中，去除与第一躯干检测框的重合度超过预设重合度阈值的临时躯干检测框，得到至少一个中间躯干检测框；将至少一个中间躯干检测框作为至少一个临时躯干检测框，继续执行上述过程，直至得到至少一个躯干检测结果；将人脸概率最大的临时人脸检测框作为第一人脸检测框；利用第一人脸检测框和第一人脸检测框框选出的人脸图像，组成第一人脸检测结果；从至少一个临时人脸检测框中，去除与第一人脸检测框的重合度超过预设重合度阈值的临时人脸检测框，得到至少一个中间人脸检测框；将至少一个中间人脸检测框作为至少一个临时人脸检测框，继续执行上述过程，直至得到至少一个人脸检测结果；将操作部位概率最大的临时操作部位检测框作为第一操作部位检测框；利用第一操作部位检测框和第一操作部位检测框框选出的操作部位图像，组成第一操作部位检测结果；从至少一个临时操作部位检测框中，去除与第一操作部位检测框的重合度超过预设重合度阈值的临时操作部位检测框，得到至少一个中间操作部位检测框；将至少一个中间操作部位检测框作为至少一个临时操作部位检测框，继续执行上述过程，直至得到至少一个操作部位检测结果。
[0259]
需要说明的是，在实际应用中，上述检测模块310、组合模块320和关联模块330可由位于电子设备800上的处理器810实现，具体为中央处理器(central processing unit，cpu)、微处理器(microprocessor unit，mpu)、数字信号处理器(digital signal processing，dsp)或现场可编程门阵列(field programmable gate array，fpga)等实现。
[0260]
本公开实施例提供一种电子设备，用于执行本公开实施例提供的图像识别方法；图9为本公开实施例提供的一种电子设备的结构示意图二，如图9所示，该图像识别装置800包括：处理器810、存储器820和通信总线830，存储器820通过通信总线830与处理器810进行通信，存储器820存储处理器810可执行的一个或者多个程序，当一个或者多个程序被执行时，通过处理器810执行如前述实施例的任意一种图像识别方法。
[0261]
本公开实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器810执行，程序被处理器810执行时实现如本公开实施例的图像识别方法。
[0262]
本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0263]
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0264]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0265]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0266]
以上所述，仅为本公开的较佳实施例而已，并非用于限定本公开的保护范围。