目标对象的属性分类方法、设备及计算机可读存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种目标对象的属性分类方法、设备及计算机可读存储介质。


背景技术：

2.属性分类即基于目标对象的图像对目标对象进行属性分类，得到目标对象的属性类别信息。在诸多应用场景需要用到属性分类。例如，很多行业（卫生行业、金融行业、能源行业、物流行业和建筑行业等等）的工作场所对穿戴有要求，可以通过属性分类确定工作者的穿戴属性，基于穿戴属性确定工作者的穿戴是否合规。又如，为了实现更好地体育项目训练，对人体动作进行打分。可以通过属性分类确定人体的动作属性，基于动作属性对人体动作打分。
3.但是，目前的目标对象的属性分类方法实现起来较为复杂。


技术实现要素：

4.本技术提供一种目标对象的属性分类方法、设备及计算机可读存储介质，能够提升对目标对象进行属性分类的准确度和便捷度。
5.为解决上述技术问题，本技术采用的一个技术方案是：提供一种目标对象的属性分类方法。该方法包括：对待处理图像中的目标对象进行部件分割，得到目标对象的部件分割信息，部件分割信息表征目标对象包含的至少一个部件的位置信息；基于部件分割信息，得到待处理图像中参考部件的图像区域，参考部件为与待分类属性相关的部件；基于参考部件的图像区域进行属性分类，得到待分类属性类别。
6.为解决上述技术问题，本技术采用的一个技术方案是：提供一种目标对象的属性分类装置。该属性分类装置包括：部件分割模块、区域确定模块和属性分类模块，部件分割模块用于对待处理图像中的目标对象进行部件分割，得到目标对象的部件分割信息，部件分割信息表征目标对象包含的至少一个部件的位置信息；区域确定模块，用于基于部件分割信息，得到待处理图像中参考部件的图像区域，参考部件为与待分类属性相关的部件；属性分类模块用于基于参考部件的图像区域进行属性分类，得到目标对象的待分类属性类别。
7.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种目标对象的属性分类设备，该属性分类设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
8.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
9.通过上述方式，本技术不是直接对目标对象的待处理图像进行属性分类，而是解析出待处理图像中目标对象的参考部件（待分类属性相关的部件）的区域，对参考部件的图像区域进行属性分类，得到目标对象的待分类属性类别。因此，一方面，本技术提供的属性
分类方法通用性高，适用于目标对象的任意部件，无需为了实现不同部件相关的待分类属性任务设置不同的属性分类方法，提高了属性分类的便捷度。另一方面，由于参考部件的图像区域是基于部件分割对待处理图像进行解析得到的，因此能够排除待处理图像中目标对象之外的背景区域带来的干扰，参考部件的图像区域准确度高，从而对参考部件的图像区域进行属性分类得到的待分类属性类别的准确度高。
附图说明
10.图1是本技术目标对象的属性分类方法一实施例的流程示意图；图2是人体的待处理图像的示意图；图3是分割网络的示意图；图4是人体的部件分割信息示意图；图5是分类模型的示意图；图6是左小臂和右小臂的图像区域的示意图；图7是左小腿和右小腿的图像区域的示意图；图8是属性分类系统的示意图；图9是本技术目标对象的属性分类装置一实施例的结构示意图；图10是本技术目标对象的属性分类设备另一实施例的结构示意图；图11是本技术计算机可读存储介质一实施例的结构示意图。
具体实施方式
11.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
12.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
13.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
14.图1是本技术目标对象的属性分类方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：s11：对待处理图像中的目标对象进行部件分割，得到目标对象的部件分割信息。
15.部件分割信息表征目标对象包含的至少一个部件的位置信息。
16.本技术方法实施例的执行主体可以是属性分类设备，该属性分类设备可以是终端设备（如计算机或智能摄像机），该属性分类设备也可以是服务器（如可以但不局限于包括
物理服务器、云端服务器或分布式服务器等）。目标对象可以是人体、动物（猪、牛、羊等）中的任意一种。待处理图像可以是包含目标对象的图像，待处理图像是通过摄像端对目标对象所处区域进行拍摄采集到的。
17.可以对待处理图像进行特征提取，得到图像特征；对图像特征进行部件分割，得到部件分割信息。图像特征可以是通过语义特征提取和空间特征提取中至少一种特征提取方式得到的。即，可以对待处理图像进行语义特征提取得到语义特征；将语义特征作为图像特征。或者，可以对待处理图像进行空间特征提取得到空间特征；将空间特征作为图像特征。或者，可以对待处理图像进行语义特征提取和空间特征提取，对应得到语义特征和空间特征；对语义特征和空间特征进行融合，得到图像特征。其中，语义特征和空间特征两者融合得到图像特征的情况下，得到的图像特征能够更好地表达目标对象，将其应用于部件分割，能够提高部件分割信息的准确度，增加语义分割对不同应用场景的鲁棒性。
18.空间特征包括待处理图像中目标对象各部件的浅层次的整体位置信息。相对于空间特征，语义特征包括待处理图像中目标对象各部件的更深层次的细节位置信息，如边缘信息。结合图2进行说明，图2是人体的待处理图像的示意图，如图2所示，人体的头戴有安全帽和口罩，空间特征包括头的整体位置信息，语义特征包括头的细节位置信息，如安全帽的边缘信息、口罩的边缘信息。语义特征可以是在空间特征的基础上提取得到的；或者，语义特征和空间特征是用分割网络的不同特征提取分支提取到的。
19.结合图3举例说明，图3是分割网络的示意图，如图3所示，分割网络包括空间特征提取分支、语义特征提取分支、特征融合层和部件分割层，空间特征提取分支依序采用连续三层的卷积、批处理归一化、relu激活函数对待处理图像进行处理，得到尺寸大小可以但不局限于为待处理图像的1/8、16/1等的空间特征。语义特征提取分支对待处理图像进行轻量级的特征提取之后，用一个全局平均池化层进一步处理，得到语义特征。特征融合层将空间特征和语义特征融合，得到图像特征；部件分割层对图像特征进行部件分割，得到部件分割信息。
20.目标对象的部件分割信息可以包含各个像素点属于目标对象的至少一个部件中各个部件的概率的信息，如目标对象的部件分割信息可以包括待处理图像中各个像素点的概率分布，各个像素点的概率分布为各个像素点属于目标对象的各个部件的概率的分布。
21.目标对象的部件分割信息可以表征目标对象的至少一个部件在待处理图像中的位置。其中，针对各个像素点，其所属类别为概率的最大值对应的部件，例如，至少一个部件包括部件a1、部件a2和部件a3，像素点a属于部件a1的概率为0.3，属于部件a2的概率为0.1，属于部件a3的概率为0.6，那么该像素点属于部件a3。属于部件a1的像素点共同组成部件a1的位置，属于部件a2的像素点共同组成部件a2的位置，属于部件a3的像素点共同组成部件a3的位置。
22.在一些实施例中，至少一个部件包括目标对象的各基础部件，相应地，部件分割信息为基础部件分割信息。具体来说，s11中，可以对待处理图像中目标对象的各基础部件进行部件分割，得到基础部件分割信息。基础部件包括对目标对象划分得到的所有部件，部件分割信息表征各基础部件在待处理图像中的位置。
23.其中，可以将目标对象划分为多个部分，每个部分为一基础部件。例如，在一种实现方式中，可以按照人体的构造，将人体划分为上半身和下半身，上半身、下半身以及背景
分别为一基础部件。又如，可按照人体的构造以更小的细粒度将人体划分为人头1、左手2、左小臂3、左大臂4、躯干5、右手6、右小臂7、右大臂8、左脚9、左小腿10、左大腿11、右脚12、右小腿13、右大腿14这14个部分，这14个部分以及背景0分别为一基础部件。图4是图2对应的人体的基础部件分割信息示意图，如图4所示，人体的部件分割信息表征前述15个基础部件在待处理图像中的位置。
24.在一些实施例中，待处理图像是针对目标场景采集的，至少一个部件包括目标对象的各特定部件，相应地，部件分割信息为特定部件分割信息。具体来说，s11中，可以对待处理图像中目标对象的各特定部件进行部件分割，得到特定部件分割信息。特定部件是与目标场景关联的部件，特定部件包括至少部分基础部件。目标场景关联一个或多个属性，相应地，特定部件包括一个或多个属性关联的部件。特定部件分割信息表征各特定部件在待处理图像中的位置。
25.在将分割网络应用于部件分割之前，可以将其训练至训练得到的分割网络满足网络性能要求。具体来说，可以获取包含训练对象的训练图像，训练图像标注有真实部件分割信息；对训练图像进行特征提取，得到训练图像特征；对训练图像特征进行部件分割，以得到训练部件分割信息；基于训练部件分割信息与真实部件分割信息之间的差异，调整分割网络的参数。训练部件分割信息和真实部件分割信息的相关说明与应用过程的部件分割信息类似，在此不赘述。
26.其中，训练对象与目标对象是同一类对象，或者是近似类的对象。可以基于训练部件分割信息与真实部件分割信息之间的差异，构建损失函数，基于损失函数调整分割网络的参数。例如，损失函数是交叉熵损失函数：；其中，pi和qi分别表示待处理图像中第i个像素点的真实概率分布、预测概率分布。
27.s12：基于部件分割信息，得到待处理图像中参考部件的图像区域。
28.参考部件为与待分类属性相关的部件。
29.待分类属性可以但不局限于是是穿戴属性（如穿戴的服装颜色属性、穿戴的服装款式属性、穿戴服装的方式属性中的至少一个属性）、动作属性（如腿部动作属性、头部动作属性中的至少一个属性）。若待分类属性是穿戴属性，参考部件可以是与穿戴属性相关的部件。若待分类属性是动作属性，参考部件可以是目标对象的与动作属性相关的部件。例如，待处理图像是针对目标场景采集的，目标场景关联的属性包括穿戴属性和动作属性，待分类属性包括穿戴属性和动作属性。
30.若s11中部件分割信息为基础部件信息，则在s12之前，可以基于基础部件分割信息从各基础部件中确定出参考部件。具体来说，参考部件的标识信息已知，可以基于已知的标识信息从各基础部件中确定出参考部件。或者，各基础部件关联的属性已知，待分类属性的标识信息已知，可以基于待分类属性的标识信息，从各基础部件中确定出关联的属性为待分类属性的部件为参考部件。
31.若s11中部件分割信息为特定部件信息，则在s12之前，可以从各特定部件中确定出参考部件。其中，在特定部件所属目标场景仅对应一个属性且该属性为待分类属性的情况下，可以直接将特定部件确定为参考部件；在特定部件所属目标场景对应多个属性的情
况下，可以基于参考部件的标识信息或者待分类属性的标识信息，从各特定部件中确定出与各个待分类属性相关的参考部件。
32.在s12中，可以将部件分割信息表征的参考部件的位置在待处理图像中对应的连通域，作为参考部件的图像区域。或者，基于部件分割信息，从待处理图像中确定包含参考部件的矩形图像区域；将矩形图像区域中参考部件之外的像素值设为预设像素值（例如0），以得到参考部件的图像区域。
33.s13：基于参考部件的图像区域进行属性分类，得到目标对象的待分类属性类别。
34.在s13中涉及的属性分类为针对待分类属性的分类，待分类属性类别为目标对象的待分类属性的类别。
35.待分类属性可以对应多个类别。例如，若待分类属性是穿戴的服装颜色属性，对应多个颜色类别（如白色、黑色、橙色、红色、绿色或白色中的至少两个）。若待分类属性是穿戴的服装款式属性，对应多个款式类别（如正装、非正装、裙子、裤子、短袖等中的至少两个）；若待分类属性是穿戴服装的方式属性，对应多个方式类别（如挽袖子、未挽袖子）；若待分类属性是腿部动作属性，对应多个腿部动作类别（如弯曲、未弯曲）。
36.可以理解的是，如果直接对目标对象的待处理图像进行属性分类，为了保证属性分类结果的准确度，针对与不同部件相关的待分类属性分类任务，需要用不同的属性分类方法实现。
37.通过本实施例的实施，本技术不是直接对目标对象的待处理图像进行属性分类，而是解析出待处理图像中目标对象的参考部件（待分类属性相关的部件）的图像区域，对参考部件的图像区域进行属性分类，得到目标对象的待分类属性类别。因此，一方面，本技术提供的属性分类方法通用性高，适用于目标对象的任意部件，无需为了实现不同部件相关的待分类属性任务设置不同的属性分类方法，提高了对目标对象进行属性分类的便捷度。另一方面，由于参考部件的图像区域是基于部件分割对待处理图像进行解析得到的，因此能够排除待处理图像中目标对象之外的背景区域带来的干扰，参考部件的图像区域准确度高，从而对参考部件的图像区域进行属性分类得到的待分类属性类别的准确度高。
38.进一步地，本技术提供的目标对象的属性分类方法可以是依据训练好的分类模型实现的。结合参阅图5，分类模型包括分割网络和属性分类网络，分割网络用于部件分割，属性分类网络用于对参考部件的图像区域进行属性分类。基于此，可以利用分割网络对待处理图像中的目标对象进行部件分割，得到部件分割信息；基于部件分割信息确定待处理图像中参考部件的图像区域；利用属性分类网络对参考部件的图像区域进行属性分类，得到目标对象的待分类属性类别。
39.可以理解的是，在目标对象的属性分类方法借助分类模型实现的情况下，无需为了实现不同部件相关的待分类属性任务部署不同的分类模型，降低了属性分类的复杂度。
40.为了便于理解，如下详细介绍几个本技术目标对象的属性分类方法的应用场景：应用场景1：人体穿戴合规识别。在有穿戴要求的场所，人体需要穿戴合规。例如，在卫生行业的工作场所，餐饮工作者需要穿戴白色的工作服、清洁工作者需要穿戴橙色的工作服，在金融行业的工作场所，银行工作者需要穿戴正装，以及在能源行业、物流行业和建筑行业的工作场所的工作者也需要穿戴对应的工作服。穿戴合规可以包括穿戴的服装颜色合规、穿戴的服装款式合规、穿戴服装的方式合规（例如不能撸袖子、挽裤腿等引起皮肤
区域暴露在外）。因此，可以针对穿戴属性（穿戴的服装颜色属性、穿戴的服装款式属性、穿戴服装的方式属性）对人体进行属性分类，确定人体的穿戴类别，即穿戴的服装颜色是什么，穿戴的的服装款式是什么、穿戴服装的方式是什么；基于属性分类结果确定人体的穿戴是否合规。
41.应用场景2：人体动作打分。在人体进行舞蹈、打球等体育项目练习的过程中，对人体的动作进行打分。可以针对动作属性对人体进行属性分类，确定人体的动作类别；基于人体的动作类别对人体的动作进行打分。
42.应用场景3：动物异常行为检测。在无人看管的情况下，动物群居区域容易发生异常行为，例如猪群容易发生猪咬尾。因此，在动物群居区域，可以针对动作属性对动物进行属性分类，确定动物的动作类别；基于动物的动作类别确定动物是否存在异常行为。
43.基于列举的应用场景，在待处理图像是针对目标场景采集的情况下，可以在通过s11~s13确定目标对象的待分类属性类别之后，基于待分类属性类别确定目标对象的待分类属性是否符合目标场景关联的属性规范。
44.例如，待处理图像是在施工场景采集到的，穿戴规范包括佩戴安全帽、穿深蓝色的衣服，目标对象为人体，待分类属性为穿戴属性，基于穿戴属性类别，确定人体的穿戴是否合规（是否佩戴安全帽、穿深蓝色的衣服）。又如，待处理图像是在进行体育项目的过程采集到的，目标对象为人体，待分类属性为动作属性，基于动作属性类别，确定动作属性是否合规。
45.如下结合人体穿戴服装的方式是否合规这一应用场景，对本技术提供的目标对象的属性分类方法进行详细说明：人体的穿戴服装的方式合规的情况下，不暴露人体的皮肤区域，表现为人体不撸袖子、不挽裤腿。因此穿戴服装的方式相关的人体部件是左小臂、右小臂、左小腿、左大腿。
46.1）获取人体的待处理图像，待处理图像示例参见图2。
47.2）对待处理图像中的人体进行部件分割，得到人体的部件分割信息（背景0、人头1、左手2、左小臂3、左大臂4、躯干5、右手6、右小臂7、右大臂8、左脚9、左小腿10、左大腿11、右脚12、右小腿13、右大腿14），其中左小臂3、左大臂4、左小腿10、右小腿13是参考部件，部件分割信息示例参见图4。
48.3）确定左小臂3、右小臂7、左小腿10、右小腿13在待处理图像中的矩形图像区域，分别作为左小臂3、右小臂7、左小腿10、右小腿13的图像区域。
49.4）将左小臂3的图像区域中左小臂3之外的位置用黑色像素填充，右小臂7、左小腿10、右小腿13的图像区域同理。图6的左侧为填充后左小臂3的图像区域的示意图、右侧为填充后右小臂7的图像区域的示意图，图7是左侧为填充后左小腿10的图像区域的示意图、右侧为填充后右小腿13的图像区域的示意图。
50.5）分别对左小臂3、右小臂7、左小腿10、右小腿13的图像区域进行属性分类，以确定穿戴是否合规。
51.本技术提供的目标对象的属性分类方法是依据属性分类系统实现的。如下结合人体穿戴服装的方式是否合规这一应用场景，对属性分类系统进行说明。
52.图8是属性分类系统的示意图，如图8所示，属性分类系统可以包括摄像端和目标对象的属性分类设备/装置。摄像端可以是独立的摄像头，也可以是包含摄像头的设备，属
性分类设备/装置可以是任何具有属性分类能力的设备/装置。摄像端和属性分类设备/装置建立通信连接。摄像端布设在对人体有穿戴要求的工作场所，摄像端用于获取人体的待处理图像；属性分类设备/装置用于从摄像端获取待处理图像并进行属性分类，以确定目标对象的待分类属性类别。
53.图9是本技术目标对象的属性分类装置一实施例的结构示意图。如图9所示，该属性分类装置包括部件分割模块11、区域确定模块12和属性分类模块13。
54.其中，部件分割模块11可以用于对待处理图像中的目标对象进行部件分割，得到目标对象的部件分割信息，部件分割信息表征目标对象包含的至少一个部件的位置信息。区域确定模块12可以用于基于部件分割信息，得到待处理图像中参考部件的图像区域，参考部件为与待分类属性相关的部件；属性分类模块13可以用于基于参考部件的图像区域进行属性分类，得到目标对象的待分类属性类别。
55.通过本实施例的实施，本技术不是直接对目标对象的待处理图像进行属性分类，而是利用部件分割模块、区域确定模块，解析出待处理图像中目标对象的参考部件（待分类属性相关的部件）的区域，利用属性分类模块对参考部件的图像区域进行属性分类，得到目标对象的待分类属性类别。因此，一方面，本技术属性分类装置的属性分类方法通用性高，适用于目标对象的任意部件，无需为了实现不同部件相关的待分类属性任务设置不同的属性分类方法，降低了属性分类的复杂度。另一方面，由于参考部件的图像区域是基于部件分割对待处理图像进行解析得到的，因此能够排除待处理图像中目标对象之外的背景区域带来的干扰，参考部件的图像区域准确度高，从而对参考部件的图像区域进行属性分类得到的待分类属性类别的准确度高。
56.图10是本技术目标对象的属性分类设备另一实施例的结构示意图。如图10所示，该属性分类设备包括处理器21、与处理器21耦接的存储器22。
57.其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为cpu（central processing unit，中央处理单元）。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器（dsp）、专用集成电路（asic）、现场可编程门阵列（fpga）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
58.图11是本技术计算机可读存储介质一实施例的结构示意图。如图11所示，本技术实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本技术上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
59.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以
结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
60.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。