属性识别、监控数据分析方法、设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种属性识别、监控数据分析方法、设备及存储介质。


背景技术：

2.行人属性识别(pedestrian attribute recognition,par)，是视频监控领域的一个重要技术，其目的是从输入图像中挖掘行人的属性信息，例如头发信息、眼镜信息、背包信息、服装颜色信息等。
3.现有的一种基于人工神经网络实现行人属性识别的方法中，在人工神经网络结构中增加了姿态估计模块，以基于姿态估计结果提取图像中的局部区域特征。但是，这种基于运动估计提取局部区域特征的方式不易准确地识别出多种不同粒度的行人属性。因此，有待提出一种新的解决方案。


技术实现要素：

4.本技术的多个方面提供一种属性识别、监控数据分析方法、设备及存储介质，用以提升不同粒度的行人属性的提取精度。
5.本技术实施例提供一种属性识别方法，包括：响应客户端对第一接口的调用请求，获取接口参数包含的第一图像；所述第一图像包含移动对象；将所述第一图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支；在所述神经网络模型中，基于所述多级特征提取网络，对所述第一图像进行多级特征提取操作；基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值；将所述移动对象的不同粒度的属性的预测值返回至所述客户端。
6.本技术实施例提供一种监控数据分析方法，包括：获取对目标场所进行拍摄得到的监控图像，所述监控图像包括移动对象；将所述监控图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支；在所述神经网络模型中，基于所述多级特征提取网络，对所述监控图像进行多级特征提取操作；基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值。
7.本技术实施例提供一种属性识别方法，包括：获取包含移动对象的第一图像；将所述第一图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支；在所述神经网络模型中，基于所述多级特征提取网络，对所述第一图像进行多级特征提取操作；基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值。
8.本技术实施例还提供一种电子设备，包括：存储器和处理器；所述存储器用于存储
一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本技术实施例提供方法中的步骤。
9.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现本技术实施例提供的方法中的步骤。
10.本技术实施例中，基于神经网络模型中的多级特征提取网络，可提取出多种不同层级的、包含不同粒度的信息的特征。其中，一层特征提取网络对应一个属性识别分支，进而，每个属性识别分支可分别基于对应层级的特征，识别对应粒度的属性，多个属性识别分支可基于多层级特征，识别多种粒度的属性。基于这种实施方式中，满足了不同粒度的属性的识别过程对不同层级的特征的需求，可在有效地保证细粒度的属性的识别精度的同时，提升粗粒度的属性的识别精度。
附图说明
11.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
12.图1为本技术一示例性实施例提供的属性识别方法的流程示意图；
13.图2为本技术一示例性实施例提供的神经网络模型的结构示意图；
14.图3为本技术另一示例性实施例提供的神经网络模型的结构示意图；
15.图4为本技术又一示例性实施例提供的神经网络模型的结构示意图；
16.图5为本技术一示例性实施例提供的损失函数的计算示意图；
17.图6为本技术另一示例性实施例提供的属性识别方法的流程示意图；
18.图7为本技术一示例性实施例提供的监控数据分析方法的流程示意图；
19.图8为本技术一示例性实施例提供的电子设备的结构示意图。
具体实施方式
20.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
21.行人属性识别具有非常广泛的实际意义。例如，在安防领域，可基于监控录像中识别行人属性，并与识别到的行人属性对可疑人员进行跟踪，实现智能安防。例如，智能商业中，可基于无人超市内的监控视频识别顾客属性，并实现顾客跟踪与行为分析。
22.但是，受行人的姿态变化、异物遮挡、光照变化、信息不完整等因素影响，行人属性识别具有较高的技术难度。随着人工神经网络的发展，基于人工神经网络识别行人属性的技术方案逐渐被提出。在现有的基于人工神经网络的技术方案中，为为提升行人属性识别的准确率，有如下的改进方案：
23.第一种改进方案涉及到数据层面的处理，如数据的采集、增强等。
24.第二种改进方案涉及到损失函数方面的改进，主要是二值分类和多分类之间的选择，以及对稀有类别的加强。
25.第三种改进方案涉及到对人工神经网络结构的改进，在人工神经网络结构中增加
了姿态估计模块，以基于姿态估计结果提取图像中的局部区域特征。但是，这种基于运动估计提取局部区域特征的方式不易准确地识别出多种不同粒度级别的行人属性。
26.针对上述技术问题，本技术实施例提供了一种属性识别方法，对人工神经网络模型的结构进行了改进，可自适应地基于不同层级的特征，准确地识别出不同粒度级别的移动对象的属性。以下将结合附图进行说明。
27.图1为本技术一示例性实施例提供的神经网络模型训练方法的流程示意图，如图1所示，该方法包括：
28.步骤101、获取包含移动对象的第一图像。
29.步骤102、将所述第一图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支。
30.步骤103、在所述神经网络模型中，基于所述多级特征提取网络，对所述第一图像进行多级特征提取操作。
31.步骤104、基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值。
32.其中，移动对象可包括：行人、动物、车辆、机器人等，本实施例包含但不限于此。第一图像，可以是对特定场所进行拍摄得到的图像，例如可以是车站候车室拍摄到的监控图像，或者无人售卖场所拍摄到的监控图像等等。
33.识别不同粒度级别的属性时，对图像的特征信息的需求不同。例如，识别图像上发色属性时，需要行人头部细粒度的特征；识别身材属性时，需要行人全身区域的粗粒度特征。
34.基于这种差异化的需求，在本实施例中，对神经网络模型的结构进行了改进，得到了包含多级特征提取网络以及多个属性识别分支的神经网络模型。其中，一级特征提取网络对应一个属性识别分支，每一级特征提取网络提取到的特征，可输入对应的属性识别分支。进而，不同层级的特征可供不同属性识别分支使用。
35.其中，一个属性识别分支，用于识别特定粒度的属性，多个属性识别分支，可识别多种不同粒度的属性。其中，每个属性识别分支，分别在特定粒度的属性的真值的监督下，预先学习了根据对应层级的特征图像，识别特定粒度的属性所需的模型参数。该预先学习模型参数的过程将在后续实施例中进行介绍，此处不赘述。进而，多个属性识别分支，可利用不同层级的特征，识别不同粒度的属性。
36.其中，属性的粒度，可以按照属性的细节程度对多种不同的属性进行划分得到，粒度相同或者相似的属性可被划分至同一个粒度级别。例如，某一粒度级别的属性，可包含粒度相似的发色、鞋子颜色、外套颜色等属性；另一粒度级别的属性，可包含粒度相似的包类型、裤子类型等属性；又一粒度级别的属性，可包含粒度相似的身材、身体朝向等属性，不再赘述。
37.多级特征提取网络在提取图像特征时，随着特征提取网络的层级不断提升，提取出的图像的特征的层次也越深。通常，低层级的特征提取网络可提取到图像中的浅层特征，浅层特征主要用于表达图像中的细节信息。高层级的特征提取网络可提取到图像中的深层特征，深层特征主要用于表达图像中的语义信息。
38.其中，高层级的语义信息包含较多的全局信息，能够帮助对应的属性识别分支准
确地识别对全局信息要求较高的属性条目。细节信息表达的形态信息更加可靠，有利于帮助对应的属性识别分支识别对细节信息要求较高的属性条目。
39.以下将结合图2，对本技术实施例提供的神经网络模型的结构进行示例性说明。如图2所示，神经网络模型中的多级特征提取网络，可包括：特征提取网络1、特征提取网络2、特征提取网络3，以及三个属性识别分支：属性识别分支1、属性识别分支2、属性识别分支3。
40.其中，特征提取网络1对输入的第一图像进行特征提取，得到特征图像1，并将特征图像1输入特征提取网络2；特征提取网络2对特征图像1进一步进行特征提取，得到特征图像2，并将特征图像2输入特征提取网络3；特征提取网络3对输入的特征图像2进行进一进行特征提取，得到特征图像3。其中，特征图像3中的特征的层次，高于特征图像2中的特征的层次；特征图像2中的特征的层次，高于特征图像1中的特征的层次。
41.其中，特征图像1输入与特征提取网络1连接的属性识别分支1，以使属性识别分支1利用输入的特征图像识别第一粒度级别的属性；特征图像2输入与特征提取网络2连接的属性识别分支2，以使属性识别分支2利用输入的特征图像识别第二粒度级别的属性；特征图像3输入与特征提取网络3连接的属性识别分支3，以使属性识别分支3利用输入的特征图像识别第三粒度级别的属性。其中，第一粒度级别的属性具有较高的细节性，第三粒度级别的属性，具有较高的整体性。
42.应当理解，图2示意的特征提取网络的级数以及属性识别分支的数量，仅用于示例性说明，本实施例并不限制其数量为3。通常，特征提取网络的级数以及属性识别分支的数量，可以与属性的粒度划分等级的数量关联。在一些实施例中，可根据属性的粒度等级的划分数量，扩增特征提取网络的级数以及属性识别分支的数量。例如，可设置特征提取网络的级数以及属性识别分支的数量为4、5或者其他可选的数值，本实施例不做限制。
43.在本实施例中，基于神经网络模型中的多级特征提取网络，可提取出多种不同层级的、包含不同粒度的信息的特征。其中，一层特征提取网络对应一个属性识别分支，进而，每个属性识别分支可分别基于对应层级的特征，识别对应粒度的属性，多个属性识别分支可基于多层级特征，识别多种粒度级别的属性。基于这种实施方式中，满足了不同粒度的属性的识别过程对不同层级的特征的需求，可在有效地保证细粒度的属性的识别精度的同时，提升粗粒度的属性的识别精度。
44.在申请的上述以及下述各实施例中，每个特征提取网络，可基于残差网络(residual network,resnet)实现，或者还可以基于其他的卷积神经网络实现，例如vggnet、zfnet、alexnet等等，本实施例包含但不限于此。
45.在以下实施例中，将以神经网络模型中的任一特征提取网络以及与该特征提取网络对应的属性识别分支为例，详细介绍识别某一粒度的属性的可选实施方式。
46.以下为方便描述和区分，将该任一特征提取网络描述为第一特征提取网络，将第一特征提取网络提取到的特征图像描述为第一特征图像，将与该特征提取网络对应的属性识别分支描述为第一属性识别分支。应当理解，该“第一”仅用于方便区分被描述的对象，并不对被描述对象的顺序、等级等信息进行限制。
47.其中，第一特征提取网络提取到的第一特征图像，将输入第一属性识别分支。在第一属性识别分支中，可根据第一特征图像，确定用于局部定位的目标特征图像，并根据目标特征图像以及第一粒度级别的属性对应的定位参数，计算第一粒度级别的属性的位置的预
测值，并输出该位置的预测值。基于该步骤，可预测第一粒度级别的属性所在的局部位置。其中，第一粒度级别，为第一属性识别分支对应的粒度级别，第一粒度级别的属性对应的定位参数，可预先根据样本图像学习得到，此处不赘述。
48.接下来，第一属性识别分支可根据第一粒度级别的属性的位置的预测值，从目标特征图像中提取局部图像特征。基于这种实施方式，可根据不同属性识别分支预先学习到的不同粒度级别的属性对应的定位参数，提取出不同粒度级别的属性对应的局部特征，有利于在属性识别的过程中，增强局部信息的贡献，提升属性识别精度。
49.基于提取到的局部图像特征以及第一粒度级别的属性对应的分类参数，可识别移动对象的第一粒度级别的属性，得到第一粒度级别的属性的预测值。其中，第一粒度级别的属性对应的分类参数，为预先根据样本图像学习得到，此处不赘述。
50.可选地，在上述实施方式中，根据第一特征图像，确定用于局部定位的目标特征图像的实施方式，可包括：
51.实施方式a：将第一特征图像，作为目标特征图像。
52.在这种实施方式中，属性识别分支，可利用对应的特征提取网络提取出的特定层级的图像特征进行属性识别，不依赖其他层级的图像特征，有利于简化计算。例如，高层级的特征提取网络输出的特征图像用于识别粗粒度的属性时，可将高层级的特征提取网络输出的特征图像直接作为用于局部定位的目标特征图像。如图3所示，属性识别分支3输入的特征图像为特征提取网络3输出的特征图像3，属性识别分支3可将特征图像3，作为用于局部定位目标特征图像，不再赘述。
53.实施方式b：可将第二特征图像输入第一属性识别分支，并对第一特征图像和第二特征图像进行融合操作，得到该目标特征图像。
54.其中，第二特征图像由多级特征提取网中的第二特征提取网络输出。基于这种实施方式，可对不同层级的特征图像进行融合，以充分利用不同粒度的特征，为属性识别提供更丰富的图像信息，提升识别精度。
55.其中，不同层级的特征图像具有不同的尺寸。例如，特征提取网络2输出的第二特征图像的尺寸为特征提取网络1输出的第一特征图像的尺寸二分之一；特征提取网络3输出的第三特征图像的尺寸为第二特征图像的尺寸的二分之一，为第一特征图像的尺寸的四分之一。因此，为便于不同层级的特征进行融合，可设置采样模块。
56.以下将继续结合第一属性识别分支进行说明。
57.可选地，第二特征提取网络与第一属性识别分支之间，连接有采样模块。进而，将第二特征图像输入所述第一属性识别分支之前，可基于采样模块，对第二特征图像进行采样处理，使得采样后的第二特征图像与第一特征图像的尺寸匹配，以便于对第一特征图像和第二特征图像进行融合。
58.在一些可选的实施方式中，第二特征提取网络的层级，可高于第一特征提取网络。例如，第二特征提取网络可以是第一特征提取网络的下一层级的特征提取网络，或者，第二特征提取网络，可以是多级特征提取网络中层级最高的特征提取网络。
59.此时，第二特征提取网络与第一属性识别分支之间的采样模块可实现为上采样模块。其中，上采样模块用于对输入的特征图像进行放大操作。基于此，第二特征提取网络输出的第二特征图，可输入该上采样模块。上采样模块，可对第二特征图像进行上采样处理，
以使得第二特征图像的尺寸放大至与第一特征图像的尺寸匹配，并将放大后的第二特征图像输入第一属性识别分支。
60.在这种实施方式中，第二特征图像的层级较高，保留有较多的全局信息，将第一特征图像和第二特征图像进行融合，可辅助第一属性识别分支提升属性识别精度。
61.可选地，上采样模块可基于双线性插值算法、转置卷积算法、上采样(unsampling)算法以及上池化(unpooling)算法中的至少一种算法实现，本实施例不做限制。
62.可选地，神经网络模型中的多个上采样模块可以为级联结构，如图3所示，上采样模块1与上采样模块2级联。进而，特征提取网络3输出的特征图像3，可经上采样模块2放大后，分别输入属性识别分支3以及上采样模块1。上采样模块1，可对上采样模块2输出的特征图像进行进一步放大后输入属性识别分支1，以便于特征图像3分别与特征图像2以及特征图像1进行特征融合。
63.当然，在另一些可选的实施方式中，第二特征提取网络的层级，可低于第一特征提取网络。此时，第二特征提取网络与第一属性识别分支之间的采样模块可实现为下采样模块。下采样模块用于对属输入的特征图像进行缩小操作。即，可基于下采样模块，对第二特征图像进行下采样处理，以使得第二特征图像的尺寸缩小至与第一特征图像的尺寸匹配。在这种实施方式中，第二特征图像的层级较低，保留有较多的细节信息，将第一特征图像和第二特征图像进行融合，可辅助第一属性识别分支提升属性识别精度，不再赘述。
64.在一些可选的实施例中，神经网络模型中，每一个属性识别分支，包括：依次连接的定位网络、局部特征提取网络以及属性分类网络，其中，定位网络与该属性识别分支对应的特征提取网络连接。其中，定位网络用于对属性识别分支对应的粒度级别的属性进行定位。
65.例如，如图4所示，属性识别分支1包括：定位网络1、局部特征提取网络1以及属性分类网络1；属性识别分支2包括：定位网络2、局部特征提取网络2以及属性分类网络2；属性识别分支3包括：定位网络3、局部特征提取网络3以及属性分类网络3。
66.基于图4示意的结构，识别第一图像中的移动对象的属性的过程，可被描述为：特征图像1输入定位网络1；定位网络1根据特征图像1确定目标特征图像1，并基于目标特征图像1和第一粒度级别的属性的定位参数，向局部特征提取网络1输出第一粒度级别的属性的位置的预测值1。局部特征提取网络1，根据所第一粒度级别的属性的位置的预测值1，从目标特征图像1中，提取局部特征1，并将局部特征1输出至属性分类网络1。属性分类网络1可基于局部特征1以及预先学习到的分类参数，计算第一粒度级别的属性的预测值。
67.同理，属性分类网络2可基于输入的局部特征2以及预先学习到的第二粒度等级的属性的分类参数，计算第二粒度级别的属性的预测值，分类网络3可基于输入的局部特征3以及预先学习到的第三粒度等级的属性的分类参数，计算第三粒度级别的属性的预测值。
68.可选地，当存在多级特征融合时，特征图像2，可输入上采样模块1，并经上采样模块1进行上采样放大后，输入定位网络1。定位网络1对第一特征图像和放大后的第二特征图像进行融合，得到目标特征图像1，并基于目标特征图像1和第一粒度级别的属性的定位参数，向局部特征提取网络1输出第一粒度级别的属性的位置的预测值。
69.同理，特征提取网络3输出的特征图像3，可作为上采样模块2的输入；上采样模块2对特征图像3进行放大后，输入定位网络2。定位网络2对特征图像2和放大后的特征图像3进
行融合，得到目标特征图像2，并基于目标特征图像2和第二粒度级别的属性的定位参数，向局部特征提取网络2输出第二粒度级别的属性的位置的预测值。
70.除此之外，上采样模块2与上采样模块1级联，进而，上采样模块2对特征图像3进行放大后输出的特征图像，可进一步作为上采样模块1的输入。即，上采样模块2对特征图像3进行放大后，可输入上采样模块1，并经上采样模块1进一步上采样放大后，输入定位网络1。定位网络1可对特征图像1和放大后的特征图像3进行融合，得到目标特征图像1；或者，定位网络1可对输入的特征图像1、放大后的特征图像2以及放大后的特征图像3进行融合，得到目标特征图像1，本实施例不做限制。
71.基于图4示意的神经网络模块，可实现依赖局部信息的细粒度属性识别与依赖全局信息的粗粒度属性识别相结合的方式，在有效地保证细粒度属性的识别精度的同时，不以牺牲粗粒度属性的识别精度为代价，提升多种不同粒度的属性的识别精度。同时，该神经网络模型的结构具有较强的可扩展性，可根据属性粒度的划分数量适应性调整属性识别分支的数量以及特征提取网络的技术，十分便捷。
72.在上述各实施例的基础上，本技术实施例还提供一种模型训练方法。上述各实施例中记载的第一图像，实现为训练神经网络模型所需的样本蚃。
73.基于上述实施例，获取到每个属性识别分支输出的属性的预测值之后，可根据每个属性识别分支的监督信号，对神经网络模型进行优化。
74.在一些可选的实施例中，第一图像上标注有移动对象的不同粒度的属性的真值。例如，移动对象实现为行人时，针对行人的头发属性，可在样本图像上标注头发的颜色、长度等属性值。又例如，针对行人的鞋子属性，可在样本图像上标注鞋子的颜色、款式等属性值。
75.继续以第一属性识别分支为例进行说明。
76.可选地，可从第一图像上标注的不同粒度的属性的真值中，确定第一粒度级别的属性的真值，作为第一属性识别分支的分类监督信号。接下来，可根据第一属性识别分支输出的第一粒度级别的属性的预测值以及该第一粒度级别的属性的真值，构造第一属性识别分支对应的局部分类损失函数。
77.值得说明的是，在一些可选的实施例中，为进一步优化训练效率，并增强对每个层级的特征提取网络提取到的特征的有效性进行约束，可进一步构造全局分类损失函数，并在每个属性识别分支对应的损失函数中添加该全局分类损失函数。其中，全局分类损失函数可基于该多级特征提取网络输出的全局特征对应的分类结果构造。基于该局部分类损失函数以及全局分类损失函数，对神经网络模型进行参数优化。
78.接下来，将结合图2以及图3示意的包含3个属性识别分支的神经网络模型进行示例性说明。
79.其中，第一图像上可分别标注第一粒度级别的属性的真值、第二粒度级别的属性的真值以及第三粒度的属性的真值。基于此，当属性识别分支1根据输入的特征图像输出第一粒度级别的属性的预测值时，可基于第一粒度级别的属性的真值以及属性识别分支1输出的第一粒度级别的属性的预测值，构造属性识别分支1的局部分类损失1。相应地，可基于第二粒度级别的属性的真值以及属性识别分支2输出的第二粒度级别的属性的预测值，构造属性识别分支2的局部分类损失2，以及，基于第三粒度的属性的真值以及属性识别分支3
输出的第三粒度的属性的预测值，构造属性识别分支3的局部分类损失3。与此同时，可基于特征提取网络3输出的特征图像3的分类结果以及样本图像上标注的分类结果的真值，构造全局分类损失函数。
80.基于属性识别分支1的局部分类损失和全局分类损失函数，可对神经网络模型中的多级特征提取网络的参数以及属性识别分支1的参数进行优化；同理，基于属性识别分支2的局部分类损失和全局分类损失函数，可对神经网络模型中的多级特征提取网络的参数以及属性识别分支2的参数进行优化，基于属性识别分支3的局部分类损失和全局分类损失函数，可对神经网络模型中的多级特征提取网络的参数以及属性识别分支3的参数进行优化，直至损失函数收敛到设定范围。
81.可选地，在一些实施例中，神经网络模型实现为如图4所示的结构时，可基于每个属性识别分支的定位损失、局部分类损失以及全局分类损失对神经网络模型进行联合优化。
82.其中，定位损失根据第一图像上标注的移动对象的不同粒度的属性的位置真值与属性识别分支计算得到的属性的位置的预测值计算得到。
83.继续以第一属性识别分支为例。
84.可选地，第一图像上标注有不同粒度的属性的位置真值。可从第一图像上标注的不同粒度的属性的位置真值中，确定第一粒度级别的属性的位置真值，作为第一属性识别分支的定位监督信号。接下来，根据第一属性识别分支计算得到的第一粒度级别的属性的位置的预测值以及第一粒度级别的属性的位置真值，构造第一属性识别分支对应的局部定位损失函数。
85.接下来，可根据全局分类损失函数、第一属性识别分支的局部定位损失函数以及第一属性识别分支的局部分类损失函数，构造第一属性识别分支对应的联合损失函数，并根据该联合损失函数，对神经网络模型进行参数优化。
86.其中，分类损失函数可实现为softmax函数、交叉熵损失函数，定位损失函数可实现为正则化损失函数、平方损失函数、绝对值损失函数、huber损失函数中的至少一种，本实施例包含但不限于此。特别地，当定位损失函数实现为正则化损失函数时，可在正则化损失函数中添加惩罚项，即对损失函数中的位置预测值和位置标签值加以l2约束，不再赘述。
87.以下将继续结合图5进行示例性说明。
88.例如，对于属性识别分支1而言，可根据定位网络1输出的位置的预测值1以及第一图像上标注的第一粒度级别的属性的位置的真值，构造局部定位损失1。根据属性分类网络1输出的第一粒度级别的属性的预测值以及第一图像上标注的第一粒度级别的属性的真值，构造局部分类损失1。可基于特征提取网络3提取出的全局特征，构造全局分类损失函数。那么，属性识别分支1对应的联合损失函数的构成可包括：局部分类损失1、局部定位损失1以及全局分类损失函数。如以下公式1所示：
89.l
total
＝l
global
l
local
l
location
ꢀꢀ
公式1
90.公式1中，l
total
表示联合损失函数，l
local
表示局部分类损失函数，l
location
表示局部定位损失函数。
91.同理，可计算得到属性识别分支2以及属性识别分支3各自对应的联合损失函数，不再一一赘述。
92.应当理解，神经网络模型的训练过程是一个多次循环迭代的过程。在一些实施例中，在每一轮迭代的过程中，可同步计算多个属性识别分支各自的联合损失函数，并同步对多个属性识别分支进行参数更新，直至每个属性识别分支的联合损失函数均收敛到指定的范围。在另一些实施例中，在每一轮迭代的过程中，可优先对某一个或者多个属性识别分支进行参数更新，并在该一个或者多个属性识别分支各自的联合损失函数收敛到指定范围之后，再优化剩余的其他属性识别分支的模型参数，本实施例对此不作限制。
93.本实施例中，基于级联的多个特征提取网络以及多个属性识别分支各自包含的定位网络，可实现不同粒度的属性的局部定位，以动化地从包含移动对象的图像上提取不同粒度的局部信息，进而，有利于提升不同粒度的属性的识别精度。
94.图6为本技术另一示例性实施例提供的属性识别方法的流程示意图，如图6所示，该方法包括：
95.步骤601、响应客户端对第一接口的调用请求，获取接口参数包含的第一图像；所述第一图像包含移动对象。
96.步骤602、将所述第一图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支。
97.步骤603、在所述神经网络模型中，基于所述多级特征提取网络，对所述第一图像进行多级特征提取操作。
98.步骤604、基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值。
99.步骤605、将所述移动对象的不同粒度的属性的预测值返回至所述客户端。
100.本实施例的执行主体可以是服务端设备，例如常规服务器或者云服务器。其中，客户端可实现为用户侧的手机、计算机、平板电脑等设备。
101.在本实施例中，可将前述各实施例提供的属性识别方法封装为可供第三方使用的软件工具，例如saas(software-as-a-service，软件即服务)工具。其中，该saas工具可实现为插件或者应用程序。该插件或者应用程序可以被部署在服务端设备上，并可向客户端等第三方用户开放指定的接口。为便于描述，在本实施例中，将该指定的接口描述为第一接口。进而，客户端等第三方用户通过调用该第一接口，便捷地访问并使用服务端设备提供的移动对象检测服务。
102.例如，在一些场景下，该saas工具可被部署在云服务器，第三方用户可调用云服务器提供的第一接口来在线使用该saas工具。其中，第三方用户调用第一接口时，可通过配置第一接口的接口参数，向saas工具提供移动对象的属性识别操作所需的输入数据，即本实施例所述的第一图像。可选地，该第一图像数据可包括连续拍摄得到的视频数据，或者离散拍摄得到的图像序列，本实施例不做限制。
103.saas工具接收到针对第一接口的调用请求后，可通过解析第一接口的接口参数，获取客户端提供的第一图像。saas工具基于神经网络模型识别到第一图像中的移动对象的属性后，可通过该第一接口或者其他通信方式，将该移动对象的不同粒度的属性的预测值返回至客户端。其中，基于神经网络模型识别第一图像中的不粒度的属性的可选实施方式可参考前述实施例的记载，此处不再赘述。
104.在本实施例中，服务端设备可基于其上运行的saas工具，向客户端提供移动对象
的属性识别服务，客户端用户可通过调用saas工具提供的接口使用服务端设备提供的移动对象的属性识别服务。基于客户端与服务端设备的交互，客户端可将移动对象的属性识别操作完全交由服务端设备执行，进而，可借助服务端设备强大的计算能力和可靠的属性识别算法，实现低成本、高准确率的属性识别操作。
105.基于本技术上述实例提供的属性识别方法，可应用于无人超市的客户跟踪场景、公共场所的不良行为追踪场景、体育比赛的运动员追踪场景等等。其中，公共场所可包括：交通工具内部、商场、超市、厂房、博物馆、运动场馆、车站候车室、户外景区、路口、步行街等等。
106.在上述多种场景中，可基于图像采集设备、服务器以及警报设备部署行人追踪警报系统。
107.其中，图像采集设备可实现为多种能够实现高清拍摄的电子设备，包括但不限于基于ccd(charge-coupled device，电荷耦合元件)图像传感器或者cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)图像传感器进行成像的电子设备，例如高速摄像机、摄录仪、旋转摄像机、红外夜视相机等，不再赘述。
108.其中，图像采集设备的数量可以是一个或者多个，可根据实际需求进行选择，本实施例不做限制。例如，在无人超市场景中，当无人超市的空间较大时，可在无人超市中设置多个图像采集设备，以使得图像采集设备的拍摄范围能够覆盖无人超市，实现无死角监控。当无人超市的空间较小时，可在无人超市内的一角安装图像采集设备，并调整图像采集设备的拍摄视角。通常，可使得图像采集设备的拍摄视场覆盖室内的购物区域，例如货架、自助收银台、出入口等等。
109.其中，服务器可实现为常规服务器、云服务器、云主机、虚拟中心等服务器等设备，本实施例对此不做限制。其中，服务器设备的构成主要包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似，不再赘述。
110.图像采集设备可将持续拍摄得到的视频流发送至服务器进行处理，或者，可将间隔拍摄得到的图像序列发送至服务器进行处理，本实施例不做限制。
111.其中，图像采集设备与服务器之间的通信，可采用有线通信方式无线通信方式进行通信。其中，无线通信方式包括蓝牙、zigbee、红外线、wifi(wireless-fidelity，无线保真技术)等短距离通信方式，也包括lora等远距离无线通信方式，还可包括基于移动网络的无线通信方式。其中，当通过移动网络通信连接时，移动网络的网络制式可以为2g(gsm)、2.5g(gprs)、3g(wcdma、td-scdma、cdma2000、utms)、4g(lte)、4g (lte )、5g、wimax等中的任意一种，本实施例不做限制。
112.服务器接收到图像采集设备发送的视频流或者离散图像后，可基于前述各实施例记载的神经网络模型，识别行人属性，并基于识别到的行人属性进行人追踪。当基于行人追踪结果确定行人具有不良行为(例如取走无人货架上的商品但为结账)时，可基于警报设备输出警报消息。
113.当然，除了在无人超市中部署行人检测系统之外，还可部署在其他环境中。例如，在路口追踪追踪违反交通规则的行人、在火车站、地铁站等人流量较大的区域追踪嫌疑犯人等等。通常，大多街道、车站、商场等公共场所等均部署有监控摄像头，已部署的监控摄像头等硬件设备可以复用进行行人检测，具有成本低廉等优点。
114.基于上述实施例，本技术还提供一种监控数据分析方法，以下将结合附图进行示例性说明。
115.图7为本技术一示例性实施例提供的监控数据分析方法的流程示意图，如图7所示，该方法包括：
116.步骤701、获取对目标场所进行拍摄得到的监控图像，所述监控图像包括移动对象，所述监控图像包括移动对象。
117.步骤702、将所述监控图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支。
118.步骤703、在所述神经网络模型中，基于所述多级特征提取网络，对所述监控图像进行多级特征提取操作。
119.步骤704、基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值。
120.本实施例的执行主体可以是服务器。其中，目标场所可包括：交通工具内部、商场、超市、厂房、博物馆、运动场馆、车站候车室、户外景区、路口、步行街等等。服务器基于神经网络模型识别移动对象的属性的可选实施方式可参考前述实施例的记载，此处不再赘述。
121.本实施例中，服务器识别到的移动对象的属性，可应用于安防场景、行人数据分析场景等等。以下将进行示例性说明。
122.在安防场景中，可进一步获取指定对象的不同粒度的属性的值。其中，该指定对象，可以是待追踪的目标对象，例如嫌犯、走失人员、运动员等。接下来，可按照属性对应的粒度级别，将移动对象的不同粒度的属性的预测值与指定对象的不同粒度的属性的值进行对比。例如，可比较移动对象的发色和指定对象的发色、比较移动对象的鞋子颜色和指定对象的发色、比较移动对象的外套的颜色和指定对象的外套的颜色。
123.若根据对比的结果，确定移动对象的部分属性的值与指定对象的部分属性的值的相似度满足设定条件，则可确定该移动对象为该指定对象，即该指定对象位于该目标场所中。
124.其中，相似度满足设定条件，可包括：移动对象和指定对象之间，相似度大于指定相似度阈值的属性的数量超过某一数量阈值。或者，相似度满足设定条件，可包括：移动对象和指定对象之间，粒度等级较高的属性的相似度满足第一相似度阈值，粒度等级较低的属性的相似度满足第二相似度阈值。其中，相似度阈值和数量阈值，可根据实际需求进行设置，不再赘述。
125.在行人数据分析场景中，可基于目标场所中的多个移动对象的属性，统计出现在目标场所的多个移动对象的人群特征。该人群特征可包括：性别特征、年龄特征、着装特征等等。基于上述人群特征，可精准地进行广告投放，提升广告效果。
126.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备a；又比如，步骤101和102的执行主体可以为设备a，步骤103的执行主体可以为设备b；等等。
127.另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何
的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
128.需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
129.图8是本技术一示例性实施例提供的电子设备的结构示意图，如图8所示，该电子设备包括：存储器801、处理器802以及通信组件803。
130.存储器801，用于存储计算机程序，并可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
131.其中，存储器801可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
132.处理器802，与存储器801耦合，用于执行存储器801中的计算机程序，以用于：获取包含移动对象的第一图像；将所述第一图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支；在所述神经网络模型中，基于所述多级特征提取网络，对所述第一图像进行多级特征提取操作；基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值。
133.进一步可选地，所述多个属性识别分支中的任一属性识别分支，包括：依次连接的定位网络、局部特征提取网络以及属性分类网络；其中，所述定位网络与所述属性识别分支对应的特征提取网络连接，所述定位网络用于对所述属性识别分支对应的粒度级别的属性进行定位。
134.进一步可选地，处理器802在基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性时，具体用于：针对所述多级特征提取网络中的第一特征提取网络，将所述第一特征提取网络提取到的第一特征图像，输入与所述第一特征提取网络对应的第一属性识别分支；在所述第一属性识别分支中，根据所述第一特征图像，确定用于局部定位的目标特征图像；根据所述目标特征图像以及预先根据样本图像学习到的所述第一粒度级别的属性对应的定位参数，计算所述第一粒度级别的属性的位置的预测值；根据所述第一粒度级别的属性的位置的预测值，从所述目标特征图像中提取局部图像特征；基于提取到的所述局部图像特征以及预先学习到的属性分类参数，识别所述移动对象的第一粒度级别的属性，得到所述第一粒度级别的属性的预测值。
135.进一步可选地，处理器802在所述第一属性识别分支中，根据所述第一特征图像，确定用于局部定位的目标特征图像时，具体用于：将所述第一特征图像，作为所述目标特征图像；或者，将第二特征图像输入所述第一属性识别分支，并对所述第一特征图像和所述第二特征图像进行融合操作，得到所述目标特征图像；其中，所述第二特征图像由所述多级特征提取网中的第二特征提取网络输出。
136.进一步可选地，所述第二特征提取网络的层级高于所述第一特征提取网络。
137.进一步可选地，所述第二特征提取网络与所述第一属性识别分支之间，连接有上
采样模块；处理器802在将第二特征图像输入所述第一属性识别分支之前，还用于：对所述第二特征图像进行上采样处理，以使所述第二特征图像与所述第一特征图像的尺寸匹配。
138.进一步可选地，所述第一图像上标注有所述移动对象的不同粒度的属性的真值；处理器802还用于：从所述不同粒度的属性的真值中，确定所述第一粒度级别的属性的真值，作为所述第一属性识别分支的分类监督信号；根据所述第一属性识别分支输出的所述第一粒度级别的属性的预测值以及所述第一粒度级别的属性的真值，构造所述第一属性识别分支对应的局部分类损失函数；基于所述多级特征提取网络输出的全局特征对应的分类结果，确定全局分类损失函数；根据所述局部分类损失函数以及所属全局分类损失函数，对所述神经网络模型进行参数优化。
139.进一步可选地，所述第一图像上标注有所述移动对象的不同粒度的属性的位置真值；处理器802还用于：从所述不同粒度的属性的位置真值中，确定所述第一粒度级别的属性的位置真值，作为所述第一属性识别分支的定位监督信号；根据所述第一属性识别分支计算得到的所述第一粒度级别的属性的位置的预测值以及所述第一粒度级别的属性的位置真值，构造所述第一属性识别分支对应的局部定位损失函数；相应地，处理器802在根据所述局部分类损失函数以及所属全局分类损失函数，对所述神经网络模型进行参数优化时，具体用于：根据所述局部分类损失函数、所述局部定位损失函数以及所述全局分类损失函数，构造所述第一属性识别分支对应的联合损失函数；根据所述联合损失函数，对所述神经网络模型进行参数优化。
140.进一步，如图8所示，该电子设备还包括：通信组件803、显示组件804、电源组件805、音频组件806等其它组件。图8中仅示意性给出部分组件，并不意味着电子设备只包括图8所示组件。
141.其中，通信组件803被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g或5g，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(nfc)技术、射频识别(rfid)技术、红外数据协会(irda)技术、超宽带(uwb)技术、蓝牙(bt)技术和其他技术来实现。
142.其中，显示组件804包括屏幕，其屏幕可以包括液晶显示组件(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
143.其中，电源组件805，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
144.本实施例中，基于神经网络模型中的多级特征提取网络，可提取出多种不同层级的、包含不同粒度的信息的特征。其中，一层特征提取网络对应一个属性识别分支，进而，每个属性识别分支可分别基于对应层级的特征，识别对应粒度的属性，多个属性识别分支可基于多层级特征，识别多种粒度的属性。基于这种实施方式中，满足了不同粒度的属性的识
别过程对不同层级的特征的需求，可在有效地保证细粒度的属性的识别精度的同时，提升粗粒度的属性的识别精度。
145.除前述实施例之外，图8所示的电子设备，还可执行如下的移动对象的属性识别逻辑，其中，处理器802主要用于：响应客户端对第一接口的调用请求，获取接口参数包含的第一图像；所述第一图像包含移动对象；将所述第一图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支；在所述神经网络模型中，基于所述多级特征提取网络，对所述第一图像进行多级特征提取操作；基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值；将所述移动对象的不同粒度的属性的预测值返回至所述客户端。
146.除前述实施例之外，图8所示的电子设备，还可执行如下的监控数据分析逻辑，其中，处理器802主要用于：获取对目标场所进行拍摄得到的监控图像，所述监控图像包括移动对象；将所述监控图像输入神经网络模型，所述神经网络模型包括多级特征提取网络以及多个属性识别分支，一级特征提取网络对应一个属性识别分支；在所述神经网络模型中，基于所述多级特征提取网络，对所述监控图像进行多级特征提取操作；基于所述多个属性识别分支，分别根据对应的特征提取网络提取到的特征，识别对应粒度级别的属性，得到所述移动对象的不同粒度的属性的预测值。
147.进一步可选地，处理器802还用于：获取指定对象的不同粒度的属性的值；按照属性对应的粒度级别，将所述移动对象的不同粒度的属性的预测值与所述指定对象的不同粒度的属性的值进行对比；若根据所述对比的结果，确定所述移动对象的部分属性的值与所述指定对象的部分属性的值的相似度满足设定条件，则确定所述指定对象位于所述目标场所中。
148.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。
149.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
150.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
151.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
152.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
153.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
154.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
155.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
156.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
157.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。