一种行人属性识别方法、装置、存储介质及电子装置与流程

1.本发明实施例涉及计算机技术领域，具体而言，涉及一种行人属性识别方法、装置、存储介质及电子装置。


背景技术：

2.随着视频监控的广泛普及以及深度学习技术的不断提升，行人属性的识别和分类被广泛的应用于安防领域。
3.安防领域的长期历史经验表明，摄像头采集的人体图像数据是有效的侦缉线索，基于视频数据提取生物特征，开展个人身份识别，可以极大程度提高治安处置的精确性和实效性。传统的视频分析是通过提取人脸特征开展身份识别，然而现实中的抓拍数据很难拍摄到正面、无遮挡、清晰的人脸，从而给个人身份识别、轨迹追踪带来难度。所以多粒度的多维行人全身特征提取与比对变得非常重要，通过行人多维特征的提取与比对，判定出某一时刻某摄像头中出现的目标行人是否在另一时刻另一摄像头监控视频中出现过，从而快速发现、持续跟踪重点人员。目前业界使用的行人特征提取算法，通常是将视觉特征(特征向量)与语义属性特征(衣着款式与颜色等特征)分开提取的深度网络，占用计算资源较多、实时性差。
4.目前用于行人属性识别和分类模型训练的方法大多是利用固定标签来进行有监督学习，利用网络输出的全局特征对行人属性的各个类别进行分类。对于全身各个部位都有属性的行人属性分类来说，很难通过全局特征学习到局部的属性特征。这个过程不仅方法不够简洁，并且在判断过程中会造成计算和存储资源的浪费。
5.并且，行人的属性繁多，只通过简单的网络来分类往往无法学习到分布在行人各个位置的属性特征，通过分割，将各个位置需要的类比划分出来的方法会造成大量的人工标注任务，耗费大量的人力和时间的同时也会造成计算以及存储资源的浪费。


技术实现要素：

6.有鉴于此，本发明实施例提供一种行人属性识别方法、装置、存储介质及电子装置，以至少部分解决上述问题。
7.根据本发明实施例的第一方面，提供了一种行人属性识别方法，包括：
8.获取待识别行人图像；
9.利用预训练的行人属性识别模型对所述待识别行人图像的行人局部属性和行人全局属性进行识别；其中，在预训练过程中，通过计算边缘行人局部子图和基础行人局部子图之间的损失，对所述行人属性识别模型进行预训练；
10.输出所述行人局部属性和所述行人全局属性。
11.在另一些示例中，利用预训练的行人属性识别模型对所述待识别行人图像的行人局部属性和行人全局属性进行识别，包括：
12.利用所述预训练的行人属性识别模型的骨干网络从所述待识别行人图像中提取
所述基础特征图；
13.基于所述基础特征图，利用所述预训练的行人属性识别模型的局部属性识别网络确定不同区域的行人局部属性；
14.基于所述基础特征图，利用所述预训练的行人属性识别模型的全局属性识别网络确定所述行人全局属性。
15.在另一些示例中，基于所述基础特征图，利用所述预训练的行人属性识别模型的全局属性识别网络确定所述行人全局属性后，所述方法还包括：
16.基于所述行人局部属性，通过监督网络对所述行人全局属性进行监督，以修正所述行人全局属性
17.根据本发明实施例的第二方面，了提供一种行人属性识别模型训练方法，包括：
18.获取训练样本；
19.通过边缘检测得到边缘特征图，基于所述边缘特征图得到边缘局部子图，以及通过骨干网络得到基础特征图，基于所述基础特征图得到基础局部子图；
20.计算所述边缘局部子图和所述基础局部子图的损失，基于所述损失，训练所述行人属性识别模型；
21.输出所述行人属性识别模型的模型参数。
22.在另一些示例中，计算所述边缘局部子图和所述基础局部子图的损失，基于所述损失，训练所述行人属性识别模型，包括：
23.计算所述边缘局部子图和所述基础局部子图中目标区域的损失，基于所述损失，训练所述行人属性识别模型。
24.根据本发明实施例的第三方面，提供了一种行人属性识别装置，包括：
25.第一获取模块，用于获取待识别行人图像；
26.识别模块，用于利用预训练的行人属性识别模型对所述待识别行人图像的行人局部属性和行人全局属性进行识别；其中，在预训练过程中，通过计算边缘行人局部子图和基础行人局部子图之间的损失，对所述行人属性识别模型进行预训练；
27.属性输出模块，用于输出所述行人局部属性和所述行人全局属性。
28.根据本发明实施例的第四方面，提供了一种行人属性识别模型训练装置，包括：
29.第二获取模块，用于获取训练样本；
30.第三获取模块，用于通过边缘检测得到边缘特征图，基于所述边缘特征图得到边缘局部子图，以及通过骨干网络得到基础特征图，基于所述基础特征图得到基础局部子图；
31.计算模块，用于计算所述边缘局部子图和所述基础局部子图的损失，基于所述损失，训练所述行人属性识别模型；
32.参数输出模块，用于输出所述行人属性识别模型的模型参数。。
33.在另一些示例中，所述计算模块包括：
34.用于计算所述边缘局部子图和所述基础局部子图中目标区域的损失，基于所述损失，训练所述行人属性识别模型
35.根据本发明实施例的第五方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
36.根据本发明实施例的第六方面，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
37.在本发明实施例的方案中，根据获取待识别行人图像，利用预训练的行人属性识别模型对所述待识别行人图像的行人局部属性和行人全局属性进行识别，其中，在预训练过程中，通过计算边缘行人局部子图和基础行人局部子图之间的损失，对所述行人属性识别模型进行预训练，输出所述行人局部属性和所述行人全局属性，在本发明实施例的方案中，由于预训练的行人属性识别模型学习了对目标对象进行局部区域划分的能力和检测目标对象局部区域中目标区域的能力，因此提高了对行人属性的识别精确率。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
39.图1是根据本发明实施例的一种行人属性识别方法的移动终端的硬件结构框图；
40.图2是根据本发明实施例的一种行人属性识别方法的流程图；
41.图3是根据本发明实施例的一种行人属性识别模型训练方法的流程图；
42.图4是根据本发明实施例的一种行人属性识别装置的结构框图；
43.图5是根据本发明实施例的一种行人属性识别模型训练装置的结构框图；
44.图6是根据本发明具体实施例的流程框图。
具体实施方式
45.为了使本领域的人员更好地理解本发明实施例中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明实施例一部分实施例，而不是全部的实施例。基于本发明实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明实施例保护的范围。
46.下文中将参考附图并结合实施例来详细说明本发明的实施例。
47.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
48.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种行人属性识别方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1 中所示更多或者更少的组件，或者具有与图1所示不同的配置。
49.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发
明实施例中的一种行人属性识别方法对应的计算机程序，处理器 102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
50.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输装置106 包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置 106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
51.为了更好的解决上述背景技术中提出的问题，本发明公开了一种形式属性识别方法、装置、存储介质及电子装置，下面的实施例中将逐一进行详细说明。
52.参见图2，图2示出了根据本说明书一个实施例提供的一种行人属性识别方法的流程图，具体包括以下步骤：
53.s202，获取待识别行人图像；
54.s204，利用预训练的行人属性识别模型对所述待识别行人图像的行人局部属性和行人全局属性进行识别；其中，在预训练过程中，通过计算边缘行人局部子图和基础行人局部子图之间的损失，对所述行人属性识别模型进行预训练；
55.s206，输出所述行人局部属性和所述行人全局属性。
56.在本实施例中，所述待识别行人图像来源于通过外部图像采集设备采集的图片或视频。
57.所述待识别行人图像可以为包括目标对象的图像，本实施例中所述目标对象为行人。
58.优选的，所述行人属性识别模型为多任务分类模型，其针对一个输入可以产生多个输出，输入可以是包括同一个目标对象的一张或多张图像，输出可以是所述目标对象的多个属性，即行人的多个属性。
59.在一些实施例中，所述行人属性识别模型可以识别所述目标对象的多个属性，包括所述行人局部属性和所述行人全局属性，也包括所述行人局部属性的多个不同属性和所述行人全局属性的多个不同属性，例如：所述行人局部属性包括但不限于是否戴帽子、是否带眼镜、是否背包、长裤还是裙子以及上身服装或下身服装的颜色等；所述行人全局属性包括但不限于：年龄、性别和朝向等。
60.优选的，本实施例中的所述行人局部属性包括人体的上中下三部分区域的属性，分别为行人头部区域属性、行人上身区域属性和行人下身区域属性。其中所述行人头部区域属性包括但不限于否戴帽子、是否带眼镜、头发(例如长发、短发)等；所述行人上身区域属性包括但不限于上身衣服颜色(例如红色等)、上身衣服类型(例如短袖、长袖外套等)、是否背包等；所述行人下身区域属性包括但不限于下身衣服颜色(例如红色等)、下身衣服类型(例如长裤、裙子等)等。
61.在一些实施例中，其中所述行人属性识别模型包括：
62.骨干网络，被配置为基于所述待识别行人图像提取基础特征图；其中所述基础特征图用于作为局部属性识别网络和全局属性识别网络的输入。
63.局部属性识别网络，被配置为基于所述基础特征图确定不同位置的行人局部属性信息；通过输入所述基础特征图，输出所述行人局部属性。
64.全局属性识别网络，被配置为基于所述基础特征图和所述行人局部属性确定全局行人属性信息；通过输入所述基础特征图和所述行人局部属性，输出所述行人全局属性。
65.分类网络，被配置为基于所述行人局部属性和所述行人全局属性分别进行属性分类；通过输入所述行人局部属性或所述行人全局属性，对应输出行人局部属性分类或行人全局属性分类。
66.在一些实施例中，所述行人属性识别模型还包括一监督网络，被配置为基于所述行人局部属性，对所述行人全局属性进行监督；通过输入所述行人局部属性和所述行人全局属性，对应输出修正后的所述行人全局属性。
67.在一些实施例中，利用预训练的行人属性识别模型对所述待识别行人图像的行人局部属性和行人全局属性进行识别，包括：
68.s2042，利用所述预训练的行人属性识别模型的骨干网络从所述待识别行人图像中提取所述基础特征图；
69.s2044，基于所述基础特征图，利用所述预训练的行人属性识别模型的局部属性识别网络确定不同区域的行人局部属性；
70.s2046，基于所述基础特征图，利用所述预训练的行人属性识别模型的全局属性识别网络确定所述行人全局属性。
71.其中，在一些实施例中，步骤s2046后还包括一步骤：
72.s2048，基于所述行人局部属性，通过监督网络对所述行人全局属性进行监督，以修正所述行人全局属性。
73.在一些实施例中，所述行人属性识别模型预训练的过程包括，首先收集多个样本图像；然后针对所收集的样本图像进行打标，标注出每个样本图像中目标对象对应的多个属性标签，即多个行人局部属性和行人全局属性，并确定行人局部属性所属类别和行人全局属性所述类别以及每个局部区域所占人体的百分比。在一些实施例中，也可以直接获取已经被标注好属性标签的多个样本图像。
74.将所述样本图像(样本图片)输入所述行人属性识别模型，样本图片经过骨干网络时，在网络中间层输出feature map即基础特征图，同时对feature map 进行两个方向的操作，一个是继续通过深层网络后输出行人全局属性，另一个进行接下来的局部信息处理步骤以得到行人局部属性。
75.其中，在一些实施例中，局部信息处理过程包括：首先对输入的样本图片进行边缘检测操作，即用边缘检测算子对样本图片进行卷积操作。该边缘检测算子能根据图像中亮度变化、色差等勾勒出图像变化边缘，得到边缘特征图。 resize该边缘特征图，使其与网络中间层输出的feature map的大小相等，对 resize后的边缘特征图按标注时的区域百分比提取特定局部区域(例如行人头部区域、行人上身区域、行人下身区域)，并与网络中间层输出的feature map 的相同位置做损失计算。其中loss＝f(feature[h,w],resize(g(image))[h,w]),其中 f为损失函数，feature是基础特征图,image为输入的样本图片，g为
边缘检测算子，h，w，为特定区域的坐标(例如行人头部区域、行人上身区域、行人下身区域)，在本实施例中，两类图片的h和w相同，通过损失函数的计算，不断修正模型参数，直至模型收敛。现有技术中，需要通过人为划分人体的上中下区域部分，在通过目标检测算法，检测每个局部区域图片中的目标区域，例如帽子、背包和裤子颜色。而边缘检测算子由于可以勾勒出行人图像边缘，使得对图片中人体上中下区域部分以及人体某个局部物体边缘的划分更加准确和清晰，通过本实施例中提供的模型训练方法，可以使得该模型学习到边缘检测的能力，使得模型不仅可以具有对人体的上中下区域部分划分的能力，而且在通过目标检测算法检测局部区域图片中的目标区域时更加精准，从而使得模型对行人局部属性的判断更加精准。
[0076]
其中，而在另一些实施例中，局部信息处理过程包括：首先对输入的样本图片进行边缘检测操作，即用边缘检测算子对样本图片进行卷积操作。该边缘检测算子能根据图像中亮度变化、色差等勾勒出图像变化边缘，得到边缘特征图。resize该边缘特征图，使其与网络中间层输出的feature map的大小相等，对resize后的边缘特征图按标注时的区域百分比提取特定局部区域(例如行人头部区域、行人上身区域、行人下身区域)，并与网络中间层输出的featuremap的特定局部区域的目标区域做损失计算。其中loss＝f(feature[h,w], resize(g(image))[h,w]),其中f为损失函数，feature是基础特征图，image为输入的样本图片，g为边缘检测算子，与上个实施例不同的是，这两类图片的h 和w不同，其中，feature(基础特征图)的h和w为特定区域的坐标(例如行人头部区域、行人上身区域、行人下身区域)，而后者为即经过resize后图片中局部区域中目标区域的h和w(例如帽子的h和w)，通过损失函数的计算，不断修正模型参数，直至模型收敛。与上个实施例不同的是，通过本实施例中提供的模型训练方法，除了可以使得该模型学习到边缘检测的能力，使得模型不仅可以具有对人体的上中下区域部分划分的能力，而且具有了可以直接识别行人局部区域图片中目标区域的能力而不需要经过目标检测算法检测局部区域图片中的目标区域，不仅简化了模型，而且同时保持了模型对行人局部属性的精准判断能力。
[0077]
在另一些实施例中，通过训练行人局部属性信息对行人全局属性进行监督，例如当头部局部属性中头发为长发时，则行人全局属性中性别不应为男性，使得该模型具有一监督网络，使得该模型在使用的过程中，可以通过行人局部属性信息监督和修正所述行人全局属性信息。
[0078]
如图3所示，本发明提供一行人属性识别模型训练方法，包括：
[0079]
s302，获取训练样本；
[0080]
s304，通过边缘检测得到边缘特征图，基于所述边缘特征图得到边缘局部子图，以及通过骨干网络得到基础特征图，基于所述基础特征图得到基础局部子图；
[0081]
s306，计算所述边缘局部子图和所述基础局部子图的损失，基于所述损失，训练所述行人属性识别模型；
[0082]
s308，输出所述行人属性识别模型的模型参数。
[0083]
其中所述训练样本包括多个样本图像，每个样本图像对应有多个行人局部属性标签和多个行人全局属性标签；
[0084]
在另一些实施例中，步骤s306还包括：
[0085]
计算所述边缘局部子图和所述基础局部子图中目标区域的损失，基于所述损失，
训练所述行人属性识别模型。
[0086]
根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0087]
在本实施例中还提供了一种行人属性识别装置，该装置用于实现前述多个方法实施例中相应的行人属性识别方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外本实施例的数据处理装置的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0088]
根据本发明另一实施例，参考图4，提供一种行人属性识别装置，包括：
[0089]
第一获取模块40，用于获取待识别行人图像；
[0090]
识别模块50，用于利用预训练的行人属性识别模型对所述待识别行人图像的行人局部属性和行人全局属性进行识别；其中，在预训练过程中，通过计算边缘行人局部子图和基础行人局部子图之间的损失，对所述行人属性识别模型进行预训练；
[0091]
属性输出模块60，用于输出所述行人局部属性和所述行人全局属性。
[0092]
在一些实施例中，所述识别模块50，包括：
[0093]
提取单元52，用于利用所述预训练的行人属性识别模型的骨干网络从所述待识别行人图像中提取所述基础特征图；
[0094]
第一识别单元54，用于基于所述基础特征图，利用所述预训练的行人属性识别模型的局部属性识别网络确定不同区域的行人局部属性；
[0095]
第二识别单元56，用于基于所述基础特征图，利用所述预训练的行人属性识别模型的全局属性识别网络确定所述行人全局属性。
[0096]
其中，在一些实施例中，所述识别模块50还包括：
[0097]
监督单元58，用于基于所述行人局部属性，通过监督网络对所述行人全局属性进行监督，以修正所述行人全局属性。
[0098]
根据本发明又一实施例，参考图5，提供一种行人属性识别模型训练装置，包括：
[0099]
第二获取模块70，用于获取训练样本；
[0100]
第三获取模块80，用于通过边缘检测得到边缘特征图，基于所述边缘特征图得到边缘局部子图，以及通过骨干网络得到基础特征图，基于所述基础特征图得到基础局部子图；
[0101]
计算模块90，用于计算所述边缘局部子图和所述基础局部子图的损失，基于所述损失，训练所述行人属性识别模型；
[0102]
参数输出模块100，用于输出所述行人属性识别模型的模型参数。
[0103]
其中所述训练样本包括多个样本图像，每个样本图像对应有多个行人局部属性标签和多个行人全局属性标签；
[0104]
在另一些实施例中，所述计算模块90还包括：
[0105]
用于计算所述边缘局部子图和所述基础局部子图中目标区域的损失，基于所述损失，训练所述行人属性识别模型。
[0106]
下面通过具体实施例对本发明进行说明。
[0107]
如图6所示，首先输入行人图片(对应前述步骤s202)，随后图片经过主干网络时，在网络中间层输出feature map，同时对feature map进行两个方向的操作，一个是继续通过深层网络后输出全局特征，另一个进行接下来的局部信息处理步骤，如图6虚线框3内所示(对应前述步骤s204)。
[0108]
再对输入图片进行边缘检测操作，即用边缘检测算子对图片进行卷积操作。该算子能根据图像中亮度变化、色差等勾勒出图像变化边缘(对应图6中步骤4)。
[0109]
随后resize步骤4的结果，使其与中间层输出特征图的大小相等(对应图6中步骤5：resize)，对resize后的结果提取特定区域(即预先标注好的部位，头部、身体、腿部)，与网络中间层输出的feature map的相同位置做损失计算(对应图6中步骤5：loss)。
[0110]
其中，loss＝f(feature[h,w]，resize(g(image))[h,w])，其中f为损失函数， feature是特征图，image为输入的图片，g为边缘检测算子，h，w，为特定区域(头部、身体、腿部)。
[0111]
通过分类网络对深层网络输出的全局特征进行分类，得到全局特征的分类结果(性别、年龄、朝向等)。
[0112]
此时，通过分类网络对中间层输出的局部特征图进行分类操作，固定的局部位置输出该位置的属性信息，如头部输出是否戴帽，身体是否背包，腿部则输出下身服饰颜色等，因为固定了特征的具体位置，网络的学习注意力只会放在该位置的学习上，大大提升了网络对局部特征的学习能力。
[0113]
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0114]
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u 盘、只读存储器(read-only memory，简称为rom)、随机存取存储器 (random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0115]
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0116]
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0117]
本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
[0118]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作
成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0119]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。