行人再识别模型的训练方法、行人再识别方法及装置与流程

1.本发明涉及计算机视觉领域，具体而言，涉及一种行人再识别模型的训练方法、行人再识别方法及装置。


背景技术：

2.行人重识别，也称行人再识别，是计算机视觉领域近些年来一个非常热门的研究课题，可以被视为一个图像检索的子问题，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，即行人再识别能够通过图像或视频进行分析，判断出待测行人是否为目标行人。
3.相关技术中，行人重识别主要集中在对衣服颜色、衣服样式等行人外表特征的分析上，但实际应用中，这些外表特征很容易受到行人姿态因素的影响(例如同一行人在不同姿态情况下，衣服样式可能会被识别成不同样式，或者不同行人在不同姿态情况下，衣服样式被识别成相同样式)，进而大大影响行人再识别模型的识别准确率。


技术实现要素：

4.本发明提供了一种行人再识别模型的训练方法、行人再识别方法及装置，以提高行人再识别的准确率。具体的技术方案如下：
5.第一方面，本发明实施例提供了一种行人再识别模型的训练方法，所述方法包括：
6.获取训练样本中行人图像的行人姿态信息和行人特征向量；所述训练样本包括标记有类别标签的行人图像；所述行人姿态信息包括由头部关键点和/或肩部关键点确定的信息；
7.将所述行人姿态信息嵌入所述行人特征向量后获得的目标向量，输入神经网络进行行人再识别模型训练；
8.从训练样本中获取三元组样本，所述三元组样本包括第一行人图像、第二行人图像和第三行人图像，所述第一行人图像与所述第二行人图像属于同一类别，所述第一行人图像与所述第三行人图像属于不同类别；
9.基于所述三元组样本中每个行人图像的行人特征向量、行人姿态信息和图像宽度，计算三元组损失值；
10.根据所述三元组损失值调整所述行人再识别模型的参数，直至三元组损失值满足收敛条件时，所对应的模型为目标行人再识别模型。
11.可选的，将所述行人姿态信息嵌入所述行人特征向量后获得的目标向量，输入神经网络进行行人再识别模型训练，包括：
12.将所述行人图像切分成多个行人图像块；
13.根据所述肩部关键点和行人倾斜判断基准线确定行人倾斜角度；
14.根据所述行人图像块的位置信息、所述行人倾斜角度、所述行人特征向量，以及所述头部关键点、所述肩部关键点与所述行人图像块的位置关系，计算所述目标向量；
15.将所述目标向量输入神经网络进行行人再识别模型训练。
16.可选的，根据所述行人图像块的位置信息、所述行人倾斜角度、所述行人特征向量，以及所述头部关键点、所述肩部关键点与所述行人图像块的位置关系，计算所述目标向量，包括：
17.根据如下公式计算每个行人图像块的目标特征：
18.e
i
＝λ
i
f(imp
i
) p
i
αθ
19.其中，e
i
为所述行人图像的第i个行人图像块的目标特征；λ
i
为基于所述行人图像中的所述头部关键点和所述肩部关键点，与所述第i个行人图像块的位置关系确定的乘性参数；p
i
为所述行人图像的第i个行人图像块的位置信息；θ为行人倾斜角度；α为权重参数；
20.根据所述行人图像切分后的所有行人图像块的目标特征，确定所述行人图像的所述目标向量。
21.可选的，基于所述三元组样本中每个行人图像的行人特征向量、行人姿态信息和图像宽度，计算三元组损失值，包括：
22.计算所述第一行人图像的行人特征向量与第二行人图像的行人特征向量之间的第一欧式距离，以及计算所述第一行人图像的行人特征向量与第三行人图像的行人特征向量之间的第二欧式距离；
23.计算所述第一行人图像中头部关键点与图像中心之间的第三欧式距离，所述第二行人图像中头部关键点与图像中心之间的第四欧式距离，所述第三行人图像中头部关键点与图像中心之间的第五欧式距离；
24.根据第三欧式距离、第四欧氏距离以及所述图像宽度确定类内姿态权重，根据第三欧式距离、第五欧氏距离以及所述图像宽度确定类间姿态权重；
25.根据所述第一欧式距离、所述类内姿态权重、所述第二欧式距离和所述类间姿态权重，计算所述三元组损失值。
26.可选的，基于所述三元组样本中每个行人图像的行人特征向量、行人姿态信息和图像宽度，计算三元组损失值，包括：
27.根据如下公式计算所述三元组损失值：
[0028][0029][0030]
其中，l为三元组损失，a、p、n分别为第一行人图像、第二行人图像以及第三行人图像，f
a
、f
p
、f
n
分别为第一行人图像、第二行人图像以及第三行人图像的行人特征向量，e
a
、e
p
、e
n
分别为所述第三欧式距离、所述第四欧式距离以及所述第五欧式距离，w为图像宽度，w1、w2为所述类内姿态权重和所述类间姿态权重。
[0031]
可选的，所述方法还包括：
[0032]
按照行人姿态信息中的头部关键点到图像中心的距离从小到大的顺序对训练样本中所有样本进行排序；
[0033]
将排序后的训练样本划分成多个子集；
[0034]
依次针对每个子集，将当前子集输入神经网络进行模型训练，得到当前目标行人再识别模型；
[0035]
将下一子集输入所述当前目标行人再识别模型进行模型训练，得到下一目标行人再识别模型，直至获得目标行人再识别模型；其中，所述当前子集中头部关键点到图像中心的距离，小于所述下一子集中头部关键点到图像中心的距离。
[0036]
可选的，所述方法还包括：
[0037]
基于所述当前子集训练行人再识别模型的训练速率高于基于所述下一子集训练行人再识别模型的训练速率。
[0038]
可选的，将排序后的训练样本划分成多个子集，包括：
[0039]
通过将排序后的训练样本进行聚类获得所述多个子集；
[0040]
或者，基于头部关键点距离图像中心变化的梯度大小，将训练样本划分成多个子集。
[0041]
可选的，基于[r,g,b,h,s,v,edge]七通道训练行人再识别模型，rgb和hsv为两种不同颜色空间表达的图像颜色通道，所述edge为图像边缘通道。
[0042]
第二方面，本发明实施例提供了一种行人再识别方法，所述方法包括：
[0043]
获取待识别行人图像的行人姿态信息和行人特征向量；
[0044]
将所述行人姿态信息嵌入所述行人特征向量后获得目标向量；
[0045]
将所述目标向量输入行人再识别模型中进行识别，获得所述待识别行人图像的行人类别，所述行人再识别模型为基于第一方面所述的方法训练得到的模型。
[0046]
第三方面，本发明实施例提供了一种行人再识别模型的训练装置，所述装置包括：
[0047]
第一获取单元，用于获取训练样本中行人图像的行人姿态信息和行人特征向量；所述训练样本包括标记有类别标签的行人图像；所述行人姿态信息包括由头部关键点和/或肩部关键点确定的信息；
[0048]
输入单元，用于将所述行人姿态信息嵌入所述行人特征向量后获得的目标向量，输入神经网络进行行人再识别模型训练；
[0049]
第二获取单元，用于从训练样本中获取三元组样本，所述三元组样本包括第一行人图像、第二行人图像和第三行人图像，所述第一行人图像与所述第二行人图像属于同一类别，所述第一行人图像与所述第三行人图像属于不同类别；
[0050]
计算单元，用于基于所述三元组样本中每个行人图像的行人特征向量、行人姿态信息和图像宽度，计算三元组损失值；
[0051]
调整确定单元，用于根据所述三元组损失值调整所述行人再识别模型的参数，直至三元组损失值满足收敛条件时，所对应的模型为目标行人再识别模型。
[0052]
可选的，输入单元，包括：
[0053]
切分模块，用于将所述行人图像切分成多个行人图像块；
[0054]
确定模块，用于根据所述肩部关键点和行人倾斜判断基准线确定行人倾斜角度；
[0055]
第一计算模块，用于根据所述行人图像块的位置信息、所述行人倾斜角度、所述行人特征向量，以及所述头部关键点、所述肩部关键点与所述行人图像块的位置关系，计算所述目标向量；
[0056]
输入模块，用于将所述目标向量输入神经网络进行行人再识别模型训练。
[0057]
可选的，第一计算模块，用于根据如下公式计算每个行人图像块的目标特征：
[0058]
e
i
＝λ
i
f(imp
i
) p
i
αθ
[0059]
其中，e
i
为所述行人图像的第i个行人图像块的目标特征；λ
i
为基于所述行人图像中的所述头部关键点和所述肩部关键点，与所述第i个行人图像块的位置关系确定的乘性参数；p
i
为所述行人图像的第i个行人图像块的位置信息；θ为行人倾斜角度；α为权重参数；
[0060]
根据所述行人图像切分后的所有行人图像块的目标特征，确定所述行人图像的所述目标向量。
[0061]
可选的，计算单元，包括：
[0062]
第二计算模块，用于计算所述第一行人图像的行人特征向量与第二行人图像的行人特征向量之间的第一欧式距离，以及计算所述第一行人图像的行人特征向量与第三行人图像的行人特征向量之间的第二欧式距离；
[0063]
第三计算模块，用于计算所述第一行人图像中头部关键点与图像中心之间的第三欧式距离，所述第二行人图像中头部关键点与图像中心之间的第四欧式距离，所述第三行人图像中头部关键点与图像中心之间的第五欧式距离；
[0064]
第四计算模块，用于根据第三欧式距离、第四欧氏距离以及所述图像宽度确定类内姿态权重，根据第三欧式距离、第五欧氏距离以及所述图像宽度确定类间姿态权重；
[0065]
第五计算模块，用于根据所述第一欧式距离、所述类内姿态权重、所述第二欧式距离和所述类间姿态权重，计算所述三元组损失值。
[0066]
可选的，计算单元，用于根据如下公式计算所述三元组损失值：
[0067][0068][0069]
其中，l为三元组损失，a、p、n分别为第一行人图像、第二行人图像以及第三行人图像，f
a
、f
p
、f
n
分别为第一行人图像、第二行人图像以及第三行人图像的行人特征向量，e
a
、e
p
、e
n
分别为所述第三欧式距离、所述第四欧式距离以及所述第五欧式距离，w为图像宽度，w1、w2为所述类内姿态权重和所述类间姿态权重。
[0070]
可选的，所述装置还包括：
[0071]
排序单元，用于按照行人姿态信息中的头部关键点到图像中心的距离从小到大的顺序对训练样本中所有样本进行排序；
[0072]
划分单元，用于将排序后的训练样本划分成多个子集；
[0073]
训练单元，用于依次针对每个子集，将当前子集输入神经网络进行模型训练，得到当前目标行人再识别模型；将下一子集输入所述当前目标行人再识别模型进行模型训练，得到下一目标行人再识别模型，直至获得目标行人再识别模型；其中，所述当前子集中头部关键点到图像中心的距离，小于所述下一子集中头部关键点到图像中心的距离。
[0074]
可选的，基于所述当前子集训练行人再识别模型的训练速率高于基于所述下一子集训练行人再识别模型的训练速率。
[0075]
可选的，划分单元包括聚类模块或划分模块；
[0076]
聚类模块，用于通过将排序后的训练样本进行聚类获得所述多个子集；
[0077]
划分模块，用于基于头部关键点距离图像中心变化的梯度大小，将训练样本划分成多个子集。
[0078]
可选的，所述输入单元，还用于基于[r,g,b,h,s,v,edge]七通道训练行人再识别模型，所述rgb和hsv为两种不同颜色空间表达的图像颜色通道，所述edge为图像边缘通道。
[0079]
第四方面，本发明实施例提供了一种行人再识别装置，所述装置包括：
[0080]
获取单元，用于获取待识别行人图像的行人姿态信息和行人特征向量；
[0081]
嵌入单元，用于将所述行人姿态信息嵌入所述行人特征向量后获得目标向量；
[0082]
识别单元，用于将所述目标向量输入行人再识别模型中进行识别，获得所述待识别行人图像的行人类别，所述行人再识别模型为基于第一方面所述的方法训练得到的模型。
[0083]
第五方面，本发明实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现第一方面或第二方面所述的方法。
[0084]
第六方面，本发明实施例提供了一种电子设备，包括：
[0085]
一个或多个处理器；
[0086]
存储装置，用于存储一个或多个程序，
[0087]
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现第一方面或第二方面所述的方法。
[0088]
由上述内容可知，本发明实施例提供的一种行人再识别模型的训练方法、行人再识别方法及装置，不仅能够将行人姿态信息作为模型输入嵌入行人特征向量中进行模型训练，以避免行人姿态信息对其他特征识别的影响，在计算模型损失时，还能够将行人姿态信息嵌入三元组损失函数中，以使用融入行人姿态信息的三元组损失函数调整模型参数，获得更加平滑的行人再识别模型。此外，为了进一步平滑模型，提高模型训练整体的收敛速度和鲁棒性，可以按照头部关键点到图像中心的距离从小到大的顺序对训练样本中所有样本进行排序，将训练样本拆分成多个子集，先训练距离较小(即行人姿态变化较小)的子集，快速收敛，使得模型学习得到更加平均的参数，然后逐渐训练姿态变化较大的子集，从而从整体上加快了模型训练的收敛速度和模型参数的平滑度，进而进一步提高了模型的鲁棒性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
[0089]
本发明实施例的创新点包括：
[0090]
1、通过分别在模型输入向量和三元组损失函数中嵌入行人姿态信息进行模型训练，不仅可以避免行人姿态信息对模型识别准确性的影响，还可以提高模型参数的平滑度和鲁棒性。基于该模型识别行人图像时，需要先将待识别行人图像的行人姿态信息嵌入行人特征向量，再将嵌入行人特征向量的目标向量输入该模型中进行行人再识别。
[0091]
2、在将行人姿态信息嵌入行人特征向量时，可以根据由行人图像切分的每个行人图像块的位置信息、由肩部关键点和行人倾斜判断基准线确定的行人倾斜角度、行人特征向量，以及头部关键点、肩部关键点与行人图像块的位置关系，计算目标向量。具体可以将该位置关系以乘性方式嵌入行人特征向量，分别将位置信息、行人倾斜角度以加性方式嵌入行人特征向量，以更加准确的表示出行人姿态信息与行人特征向量之间的关联关系。
[0092]
3、在计算三元组损失时，可以先根据第三欧式距离、第四欧氏距离以及图像宽度确定类内姿态权重，根据第三欧式距离、第五欧氏距离以及图像宽度确定类间姿态权重，再根据类内姿态权重、类间姿态权重、第一欧式距离和第二欧式距离计算三元组损失值。
[0093]
4、按照头部关键点到图像中心的距离从小到大的顺序对训练样本中所有样本进
行排序，将训练样本拆分成多个子集，先训练距离较小的子集，再训练距离较大的子集，并且基于后一子集的训练速度小于基于前一子集的训练速度，由此提高了模型训练的收敛速度和鲁棒性。
[0094]
5、在进行模型训练时，可以基于[r,g,b,h,s,v,edge]七通道，强制模型在具有鲜明特征图像通道上进行训练，从而可以引导模型学习有效的特征表达。
附图说明
[0095]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0096]
图1为本发明实施例提供的行人再识别模型的训练方法的一种流程示意图；
[0097]
图2为本发明实施例提供的一种行人倾斜角度示例图；
[0098]
图3为本发明实施例提供的行人再识别模型的训练方法的另一种流程示意图；
[0099]
图4为本发明实施例提供的行人再识别模型的训练方法装置的一种结构示意图。
具体实施方式
[0100]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0101]
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0102]
本发明提供了一种行人再识别模型的训练方法、行人再识别方法及装置，以提高行人再识别的准确率。本发明实施例所提供的方法，可以应用于任一具有计算能力的电子设备，该电子设备可以为终端或者服务器。在一种实现中，实现该方法的功能软件可以以单独的客户端软件的形式存在，也可以以目前相关的客户端软件的插件的形式存在。下面对本发明实施例进行详细说明。
[0103]
图1为本发明实施例提供的行人再识别模型的训练方法的一种流程示意图。该方法可以包括如下步骤：
[0104]
s100：获取训练样本中行人图像的行人姿态信息和行人特征向量。
[0105]
其中，训练样本包括标记有类别标签的行人图像，同一行人为同一个类别，不同行人为不同类别。所述行人姿态信息包括由头部关键点和/或肩部关键点确定的信息。其中头部关键点可以为一个，也可以为多个，肩部关键点包括左肩部关键点和右肩部关键点，且左/右边部关键点可以为一个，也可以为多个。在一种实现中，可以基于关键点识别算法，识别行人图像的头部关键点和肩部关键点。具体的，可以预先训练基于深度学习的一阶段或者两阶段头肩检测模型，以及训练基于深度学习回归方法的头肩检测模型，然后先利用头
肩检测模型检测出视频帧图像中的头部和肩部，再利用头肩检测模型确定出头部关键点和肩部关键点，例如一个头顶中心点和两个左右两肩部边缘关键点。
[0106]
本发明实施例的行人特征包括颜色特征、轮廓边缘特征等。其中，颜色特征可以用rgb和hsv两种颜色空间表达，轮廓边缘特征可以使用滤波器sobel(索贝尔)算法、拉普拉斯算子卷积等算法获得。行人特征向量可以使用任意一种能够提取图像特征的映射函数，例如可以是cnn(convolutional neural networks，卷积神经网络)，也可以是mlp(multilayer perceptron，多层感知机)，在次不做限定。由此，在模型输入时可以强制模型输入[r,g,b,h,s,v,edge]七通道，强制模型在具有鲜明特征图像通道上进行训练，从而可以引导模型学习有效的特征表达。其中，rgb和hsv为两种不同颜色空间表达的图像颜色通道，edge是指图像边缘通道。
[0107]
需要补充的是，采集行人视频序列的摄像头的安装方式可以为俯视方式，镜头平面与地面平行，也可以为其他安装方式。
[0108]
s110：将所述行人姿态信息嵌入所述行人特征向量后获得的目标向量，输入神经网络进行行人再识别模型训练。
[0109]
由于行人姿态对行人再识别具有很大影响，所以可以将行人姿态信息嵌入行人特征向量中，将嵌入行人姿态信息的行人特征向量作为神经网络模型的输入，以使得神经网络模型在学习过程中会结合行人姿态和行人其他特征向量确定模型参数，从而使得模型参数更加准确。
[0110]
具体的，可以先将所述行人图像切分成多个行人图像块；根据所述肩部关键点和行人倾斜判断基准线确定行人倾斜角度，再根据所述行人图像块的位置信息、所述行人倾斜角度、所述行人特征向量，以及所述头部关键点、所述肩部关键点与所述行人图像块的位置关系，计算所述目标向量；最后将所述目标向量输入神经网络进行行人再识别模型训练。
[0111]
行人倾斜判断基准线可以采用多种方式确定，例如可以以背对摄像头，两肩膀关键点连线水平为0度(也可以以正对摄像头、两肩膀关键点连接水平为0度)，并将此时的两肩膀关键点连线作为行人倾斜判断基准线。并且可以以左肩部关键点作为原点，行人沿行人倾斜判断基准线逆时针旋转所形成的旋转角度作为行人倾斜角度。如图2所示，行人倾斜角度为θ。
[0112]
在根据行人图像块的位置信息、行人倾斜角度、行人特征向量，以及头部关键点、肩部关键点与行人图像块的位置关系，计算目标向量时，可以先采用如下公式计算每个行人图像块的目标特征：e
i
＝λ
i
f(imp
i
) p
i
αθ；再根据所述行人图像切分后的所有行人图像块的目标特征，确定所述行人图像的所述目标向量。
[0113]
其中，e
i
为所述行人图像的第i个行人图像块的目标特征；λ
i
为基于所述行人图像中的所述头部关键点和所述肩部关键点，与所述第i个行人图像块的位置关系确定的乘性参数，其取值范围为[0,1]，具体取值与头部关键点、肩部关键点是否落入第i个行人图像块有关；p
i
为所述行人图像的第i个行人图像块的位置信息；θ为行人倾斜角度；α为权重参数。由此，针对每个行人图像的可以表示为[e0,e1,e2,l,e
n
]，即每个行人图像的目标向量，其中e0为类别标签，n为行人图像块的个数。
[0114]
s120：从训练样本中获取三元组样本。
[0115]
行人再识别模型训练后会得到预测结果，即预测出训练样本中每个行人图像的类
别，为了确定其预测结果与真实结果之间的差异，可以采用三元组损失函数进行确定。
[0116]
首先，需要先从训练样本中选择出一个三元组样本，再将三元组样本中的信息带入三元组损失函数中计算三元组损失，并根据三元组损失调整模型参数直至模型收敛。其中，三元组样本所述三元组样本包括第一行人图像、第二行人图像和第三行人图像，所述第一行人图像与所述第二行人图像属于同一类别，所述第一行人图像与所述第三行人图像属于不同类别。
[0117]
s130：基于所述三元组样本中每个行人图像的行人特征向量、行人姿态信息和图像宽度，计算三元组损失值。
[0118]
为了使得最终训练得到的目标行人再识别模型有更好的识别准确率，除了在输入的行人特征向量中嵌入行人姿态信息外，还可以在三元组损失函数中嵌入行人姿态信息，分别在类内欧式距离(第一行人图像的行人特征向量与第二行人图像的行人特征向量之间的第一欧式距离)和类间欧式距离(第一行人图像的行人特征向量与第三行人图像的行人特征向量之间的第二欧式距离)中嵌入类内姿态权重和类间类内姿态权重，以使得类内欧式距离和类间欧式距离更接近真实情况。
[0119]
具体的，可以计算所述第一行人图像的行人特征向量与第二行人图像的行人特征向量之间的第一欧式距离，以及计算所述第一行人图像的行人特征向量与第三行人图像的行人特征向量之间的第二欧式距离；计算所述第一行人图像中头部关键点与图像中心之间的第三欧式距离，所述第二行人图像中头部关键点与图像中心之间的第四欧式距离，所述第三行人图像中头部关键点与图像中心之间的第五欧式距离；根据第三欧式距离、第四欧氏距离以及所述图像宽度确定类内姿态权重，根据第三欧式距离、第五欧氏距离以及所述图像宽度确定类间姿态权重；根据所述第一欧式距离、所述类内姿态权重、所述第二欧式距离和所述类间姿态权重，计算所述三元组损失值。
[0120]
可以根据如下公式计算所述三元组损失值：
[0121][0122][0123]
其中，l为三元组损失，a、p、n分别为第一行人图像、第二行人图像以及第三行人图像，f
a
、f
p
、f
n
分别为第一行人图像、第二行人图像以及第三行人图像的行人特征向量，e
a
、e
p
、e
n
分别为所述第三欧式距离、所述第四欧式距离以及所述第五欧式距离，w为图像宽度，w1、w2为所述类内姿态权重和所述类间姿态权重。其中，图像宽度可以使归一化后的宽度。
[0124]
s140：根据所述三元组损失值调整所述行人再识别模型的参数，直至三元组损失值满足收敛条件时，所对应的模型为目标行人再识别模型。
[0125]
当三元组损失值不满足收敛条件时，可以基于当前的三元组损失值调整行人再识别模型的参数，并基于调整后的参数继续训练，直至三元组损失值满足收敛条件时结束，获得最终需要的目标行人再识别模型。
[0126]
本发明实施例提供的一种行人再识别模型的训练方法，不仅能够将行人姿态信息作为模型输入嵌入行人特征向量中进行模型训练，以避免行人姿态信息对其他特征识别的影响，在计算模型损失时，还能够将行人姿态信息嵌入三元组损失函数中，以使用融入行人
姿态信息的三元组损失函数调整模型参数，获得更加平滑的行人再识别模型。
[0127]
在本发明的另一实施例中，为了更加平滑地训练行人再识别模型，从而进一步提高行人再识别模型的识别准确率和鲁棒性，可以采用逐渐训练的方式训练模型。如图3所示，该方法包括：
[0128]
s300：按照行人姿态信息中的头部关键点到图像中心的距离从小到大的顺序对训练样本中所有样本进行排序。
[0129]
s310：将排序后的训练样本划分成多个子集。
[0130]
划分子集的方法包括但不限于：
[0131]
方法一、通过将排序后的训练样本进行聚类获得所述多个子集。例如，可以将排序样本划分成n个子集，划分的原则可以根据确定的n的数值，对样本进行聚类得到n个子集。
[0132]
方法二、基于头部关键点距离图像中心变化的梯度大小，将训练样本划分成多个子集。例如，根据梯度由小到大的顺序，将训练样本划分为多个子集。
[0133]
s320：依次针对每个子集，将当前子集输入神经网络进行模型训练，得到当前目标行人再识别模型。
[0134]
s330：将下一子集输入所述当前目标行人再识别模型进行模型训练，得到下一目标行人再识别模型，直至获得目标行人再识别模型。
[0135]
其中，所述当前子集中头部关键点到图像中心的距离，小于所述下一子集中头部关键点到图像中心的距离。距离与姿态大小呈现一定的线性关系，即距离图像中心越近，姿态变化越小，距离图像中心越远，姿态变化越大。该距离可以为欧式距离，也可以为其他满足前述映射关系的距离。
[0136]
先对姿态变化小的样本进行训练，可以快速收敛，使得模型学习得到更加平均的参数，然后逐渐增加姿态变化较大的样本进行训练，从而从整体上加快了模型训练的收敛速度和模型参数的平滑度，进而进一步提高了模型的识别准确性和鲁棒性。其中，使用每个子集进行模型训练的过程都与图1所示的方法相同，在此不再赘述。
[0137]
由于按照本发明实施例的模型训练方法，训练样本的方差会越来越大，为了提高模型收敛速度，可以使得基于所述当前子集训练行人再识别模型的训练速率高于基于所述下一子集训练行人再识别模型的训练速率。例如，基于所述下一子集训练行人再识别模型的训练速率为基于所述当前子集训练行人再识别模型的训练速率的50％。
[0138]
基于上述方法实施例，本发明的另一实施例提供了一种行人再识别方法，该方法能够更加准确的识别行人类别。所述方法包括：获取待识别行人图像的行人姿态信息和行人特征向量；将所述行人姿态信息嵌入所述行人特征向量后获得目标向量；将所述目标向量输入行人再识别模型中进行识别，获得所述待识别行人图像的行人类别，所述行人再识别模型为基于上述方法训练得到的模型。
[0139]
获取行人姿态信息和行人特征向量的具体实现方式与上述步骤s100相同，将所述行人姿态信息嵌入所述行人特征向量后获得目标向量的具体实现方式与上述步骤s110相同，在此不再赘述。
[0140]
本发明实施例提供的一种行人再识别方法，能够使用在模型输入向量和三元组损失函数中分别嵌入行人姿态信息训练而得的行人再识别模型对待识别行人图像进行识别，避免了行人姿态信息对行人识别的影响，从而进一步提高了行人再识别的准确性。
[0141]
相应于上述行人再识别模型训练方法实施例，本发明实施例提供了一种行人再识别模型的训练装置，如图4所示，所述装置可以包括：
[0142]
第一获取单元40，用于获取训练样本中行人图像的行人姿态信息和行人特征向量；所述训练样本包括标记有类别标签的行人图像；
[0143]
输入单元42，用于将所述行人姿态信息嵌入所述行人特征向量后获得的目标向量，输入神经网络进行行人再识别模型训练；
[0144]
第二获取单元44，用于从训练样本中获取三元组样本，所述三元组样本包括第一行人图像、第二行人图像和第三行人图像，所述第一行人图像与所述第二行人图像属于同一类别，所述第一行人图像与所述第三行人图像属于不同类别；
[0145]
计算单元46，用于基于所述三元组样本中每个行人图像的行人特征向量、行人姿态信息和图像宽度，计算三元组损失值；
[0146]
调整确定单元48，用于根据所述三元组损失值调整所述行人再识别模型的参数，直至三元组损失值满足收敛条件时，所对应的模型为目标行人再识别模型。
[0147]
可选的，输入单元42，包括：
[0148]
切分模块，用于将所述行人图像切分成多个行人图像块；
[0149]
确定模块，用于根据所述肩部关键点和行人倾斜判断基准线确定行人倾斜角度；
[0150]
第一计算模块，用于根据所述行人图像块的位置信息、所述行人倾斜角度、所述行人特征向量，以及所述头部关键点、所述肩部关键点与所述行人图像块的位置关系，计算所述目标向量；
[0151]
输入模块，用于将所述目标向量输入神经网络进行行人再识别模型训练。
[0152]
可选的，第一计算模块，用于根据如下公式计算每个行人图像块的目标特征：
[0153]
e
i
＝λ
i
f(imp
i
) p
i
αθ
[0154]
其中，e
i
为所述行人图像的第i个行人图像块的目标特征；λ
i
为基于所述行人图像中的所述头部关键点和所述肩部关键点，与所述第i个行人图像块的位置关系确定的乘性参数；p
i
为所述行人图像的第i个行人图像块的位置信息；θ为行人倾斜角度；α为权重参数；
[0155]
根据所述行人图像切分后的所有行人图像块的目标特征，确定所述行人图像的所述目标向量。
[0156]
可选的，计算单元46，包括：
[0157]
第二计算模块，用于计算所述第一行人图像的行人特征向量与第二行人图像的行人特征向量之间的第一欧式距离，以及计算所述第一行人图像的行人特征向量与第三行人图像的行人特征向量之间的第二欧式距离；
[0158]
第三计算模块，用于计算所述第一行人图像中头部关键点与图像中心之间的第三欧式距离，所述第二行人图像中头部关键点与图像中心之间的第四欧式距离，所述第三行人图像中头部关键点与图像中心之间的第五欧式距离；
[0159]
第四计算模块，用于根据第三欧式距离、第四欧氏距离以及所述图像宽度确定类内姿态权重，根据第三欧式距离、第五欧氏距离以及所述图像宽度确定类间姿态权重；
[0160]
第五计算模块，用于根据所述第一欧式距离、所述类内姿态权重、所述第二欧式距离和所述类间姿态权重，计算所述三元组损失值。
[0161]
可选的，计算单元46，用于根据如下公式计算所述三元组损失值：
[0162][0163][0164]
其中，l为三元组损失，a、p、n分别为第一行人图像、第二行人图像以及第三行人图像，f
a
、f
p
、f
n
分别为第一行人图像、第二行人图像以及第三行人图像的行人特征向量，e
a
、e
p
、e
n
分别为所述第三欧式距离、所述第四欧式距离以及所述第五欧式距离，w为图像宽度，w1、w2为所述类内姿态权重和所述类间姿态权重。
[0165]
可选的，所述装置还包括：
[0166]
排序单元，用于按照行人姿态信息中的头部关键点到图像中心的距离从小到大的顺序对训练样本中所有样本进行排序；
[0167]
划分单元410，用于将排序后的训练样本划分成多个子集；
[0168]
训练单元412，用于依次针对每个子集，将当前子集输入神经网络进行模型训练，得到当前目标行人再识别模型；将下一子集输入所述当前目标行人再识别模型进行模型训练，得到下一目标行人再识别模型，直至获得目标行人再识别模型；其中，所述当前子集中头部关键点到图像中心的距离，小于所述下一子集中头部关键点到图像中心的距离。
[0169]
可选的，基于所述当前子集训练行人再识别模型的训练速率高于基于所述下一子集训练行人再识别模型的训练速率。
[0170]
可选的，划分单元410包括聚类模块或划分模块；
[0171]
聚类模块，用于通过将排序后的训练样本进行聚类获得所述多个子集；
[0172]
划分模块，用于基于头部关键点距离图像中心变化的梯度大小，将训练样本划分成多个子集。
[0173]
相应于上述行人再识别方法实施例，本发明实施例提供了一种行人再识别装置，所述装置包括：
[0174]
获取单元，用于获取待识别行人图像的行人姿态信息和行人特征向量；
[0175]
嵌入单元，用于将所述行人姿态信息嵌入所述行人特征向量后获得目标向量；
[0176]
识别单元，用于将所述目标向量输入行人再识别模型中进行识别，获得所述待识别行人图像的行人类别，所述行人再识别模型为基于如上所述的方法训练得到的模型。
[0177]
可选的，所述输入单元42，还用于基于[r,g,b,h,s,v,edge]七通道训练行人再识别模型，rgb和hsv为两种不同颜色空间表达的图像颜色通道，所述edge为图像边缘通道。
[0178]
基于上述方法实施例，本发明实施例提供了一种存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现上述方法。
[0179]
基于上述方法实施例，本发明实施例提供了一种电子设备，包括：
[0180]
一个或多个处理器；
[0181]
存储装置，用于存储一个或多个程序，
[0182]
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述方法。
[0183]
上述系统、装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见
方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0184]
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0185]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。