着装识别方法、系统、电子装置和存储介质与流程

1.本技术涉及图像识别领域，特别是涉及着装识别方法、系统、电子装置和存储介质。


背景技术：

2.在很多生产环境中，对于工作人员的着装要求有严格的限制，一旦有着装不规范的人员出现在工作环境内，则会导致工作场景存在安全隐患，从而造成不必要的经济损失。现有技术中检测工作人员着装的方法通常是在工作场景外部安装视频摄像头，通过视频摄像头拍摄进入工作场景的人员，最终由监控人员判断进入工作场景的人员的着装是否规范。但是人工参与识别，消耗监控人员的精力。一些方案提出通过图像识别技术替代人工，实现着装识别，但是存在识别率低、适应性不佳的问题。
3.目前针对相关技术中着装识别效率低的问题，尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种着装识别方法、系统、电子装置和存储介质，以至少解决相关技术中着装识别效率低的问题。
5.第一方面，本技术实施例提供了一种着装识别方法，包括：
6.获取检测目标的人体部位关键点，根据所述人体部位关键点对所述检测目标的检测图像进行部件区域划分，得到部件区域图；
7.对各个所述部件区域图进行着装特征提取，获取检测特征集；
8.在所述检测特征集与标准特征集相似度大于预设阈值的情况下，判断所述检测目标符合预设着装，其中，所述标准特征集与所述预设着装对应。
9.在其中一些实施例中，所述检测特征集包括全局特征集，所述对各个所述部件区域图进行着装特征提取，获取检测特征集包括：
10.对各个所述部件区域图进行子区域划分，提取各个所述子区域的平均颜色；
11.对各个所述子区域的平均颜色进行灰度处理，并进行低通滤波，得到全局特征图；
12.通过神经网络对所述全局特征图进行着装特征提取，获取所述全局特征集。
13.在其中一些实施例中，所述检测特征集包括轮廓特征集，所述对各个所述部件区域图进行着装特征提取，获取检测特征集包括：
14.对各个所述部件区域图进行带通滤波，得到轮廓特征图；
15.通过神经网络对所述轮廓特征图进行着装特征提取，获取所述轮廓特征集。
16.在其中一些实施例中，所述检测特征集包括细节特征集，所述对各个所述部件区域图进行着装特征提取，获取检测特征集包括：
17.根据预设的特异性标识，对各个所述部件区域图进行滑窗遍历匹配；
18.通过与所述特异性标识匹配的滑窗内的图像获取所述细节特征集。
19.在其中一些实施例中，获取检测目标的人体部位关键点，根据所述人体部位关键
点对所述检测目标的检测图像进行部件区域划分之前，所述方法包括：
20.获取所述检测目标的人体特征，根据所述人体特征判断所述检测目标的人体状态；
21.在所述人体状态符合预设状态的情况下，获取所述检测目标的检测图像。
22.在其中一些实施例中，所述人体特征包括人体关节点特征和人体分割特征，所述人体状态包括人体姿态、人体角度和人体遮挡。
23.在其中一些实施例中，所述部件区域包括左腿区域、右腿区域、左手区域、右手区域和腹胸区域。
24.第二方面，本技术实施例提供了一种着装识别系统，包括：图像获取设备和服务器设备，其中；
25.所述图像获取设备用于获取检测目标的检测图像；
26.所述服务器设备用于执行上述第一方面所述的着装识别方法。
27.第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的着装识别方法。
28.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的着装识别方法。
29.相比于相关技术，本技术实施例提供的着装识别方法系统、电子装置和存储介质，通过获取检测目标的人体部位关键点，根据人体部位关键点对检测目标的检测图像进行部件区域划分，得到部件区域图，对各个部件区域图进行着装特征提取，获取检测特征集，在检测特征集与标准特征集相似度大于预设阈值的情况下，判断检测目标符合预设着装，解决了着装识别效率低的问题，实现了准确高效的着装识别。
30.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
31.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
32.图1是根据本技术实施例的着装识别方法的终端的硬件结构框图；
33.图2是根据本技术实施例的着装识别方法的流程图；
34.图3是根据本技术实施例的另一种着装识别方法的流程图；
35.图4是根据本技术优选实施例的着装识别方法的流程图；
36.图5是根据本技术优选实施例的着装识别方法中的人体部位关键点的示意图；
37.图6是根据本技术优选实施例的着装识别方法中的部件区域划分示意图；
38.图7是根据本技术优选实施例的着装识别方法中的全局特征提取示意图；
39.图8是根据本技术优选实施例的着装识别方法中的轮廓特征提取示意图；
40.图9是根据本技术优选实施例的着装识别方法中的细节特征提取示意图；
41.图10是根据本技术实施例的着装识别系统的结构框图。
具体实施方式
42.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
43.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
44.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
45.本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是根据本技术实施例的着装识别方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
46.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的着装识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
47.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括
终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
48.本实施例提供了一种着装识别方法，图2是根据本技术实施例的着装识别方法的流程图，如图2所示，该流程包括如下步骤：
49.步骤s201，获取检测目标的人体部位关键点，根据人体部位关键点对检测目标的检测图像进行部件区域划分，得到部件区域图。人体部位关键点可以是根据人体运动过程中比较容易捕捉和检测的部位例如胯部、脚踝、手臂和肩部等，从而将人体的图像进行部件区域划分，例如将人体图像分为头部、上半身图像和下半身图像，在着装检测中，上半身图像对应检测目标的上衣，下半身图像则对应检测目标的裤子，可以更好地进行不同部位着装图像的处理和比对。根据人体的关键部位进行区域划分的方法，比起直接将检测图片直接分成上中下三部分来对应不同的着装也更加合理和准确。在一些实施例中，通过人体部位关键点将人体目标划分为以下五个部件区域：将左腰、左膝、左足首连线所在区域分割为左腿区域；将右腰、右膝、右足首的连线所在区域分割为右腿区域；将左肩、左肘、左手首连线所在的区域分割为左手区域；将右肩、右肘、右手首连线所在区域分割为右手区域；以及将左肩、右肩、左腰、右腰所限定的区域分割为腹胸区域。将检测目标的图像分割为上述五个部件区域，能够更好地提取各个部件区域的特征，例如，针对着装在躯干部分与衣袖部分可以分别进行特征提取和对比，将进一步提高着装识别的准确性。
50.步骤s202，对各个部件区域图进行着装特征提取，获取检测特征集。分别对各个部件区域图像进行着装特征提取，获取当前检测目标在各个部件区域内的着装特征。上述检测特征集可以是与各个部件区域对应的着装特征集，即各个部件区域可以有不同的着装特征。着装特征可以是该部位服饰的轮廓、纹理、颜色或者其他特定的标识，如纽扣、徽章等。
51.步骤s203，在检测特征集与标准特征集相似度大于预设阈值的情况下，判断所述检测目标符合预设着装。将步骤s202中获取到的检测特征集与标准特征集进行比对，其中，标准特征集为预设着装的图像中提取到的特征集。将各个部件区域的检测特征集与标准特征集一一比对，输出相似度，相似度大于预设阈值则说明检测目标的着装与预设着装是一致的，即检测目标的着装符合预设着装。可选地，在一些应用场景中，也可以设置相似度小于预设阈值的着装为符合预设着装。例如，指定标准特征集反映的是被禁止穿着的着装，则仅有相似度小于预设阈值的着装是被允许的。
52.通过上述步骤，根据人体部位关键点对检测目标的检测图像进行部件区域划分，得到部件区域图，再对部件区域图进行着装特征提取和比对，从而进行着装识别。一方面上述方法通过人体部位关键点进行部件区域的划分比起直接对检测到的图像进行划分更加符合实际情况，部件区域图能更好地对应到人体的各部位的服饰图像，使得在进行特征提取和比对时，检测特征集与标准特征集所对应的区域保持一致；另一方面，本方案只需要切换不同的标准特征集，就能够灵活地应对不同着装识别需求，甚至可以满足同时识别多种着装的场景，提高了着装识别的效率和准确度。
53.在其中一些实施例中，检测特征集包括全局特征集，对各个部件区域图进行着装特征提取，获取检测特征集的过程包括：对各个部件区域图进行子区域划分，提取各个所述
子区域的平均颜色；对部件区域图进行灰度操作，并进行低通滤波，得到全局特征图；通过神经网络对所述全局特征图进行着装特征提取，获取全局特征集。优选地，上述获取检测特征集的过程为：将部件区域图片划分成n*n的子区域，提取子区域内平均颜色；根据各个子区域的平均颜色执行灰度处理，将彩色的图片变成灰度图片后执行低通滤波，即可去除细节特征信息，留下全局特征，再将处理后图像通过神经网络进行特征提取，输出特征层作为全局特征集。
54.在其中一些实施例中，检测特征集包括轮廓特征集，对各个部件区域图进行着装特征提取，获取检测特征集的过程包括：对各个部件区域图进行带通滤波，得到轮廓特征图；通过神经网络对轮廓特征图进行着装特征提取，获取轮廓特征集。优选地，上述获取检测特征集的过程为：对部件区域图像执行带通滤波，例如巴特沃斯带通滤波器、高斯带通滤波器等，去除背景和细节信息，留下轮廓信息。再将处理后图像通过神经网络进行特征提取，获取轮廓特征集。
55.在其中一些实施例中，检测特征集包括细节特征集，对各个部件区域图进行着装特征提取，获取检测特征集的过程包括：根据预设的特异性标识，对各个所述部件区域图进行滑窗遍历匹配。特异性标识可以是着装上与其他部分差异性较大的部分，例如口袋、扣子、衣服上的图式或者身份标识等。优选地，进行滑窗遍历时所采用的滑窗大小与特异性标识的大小相适应。在遍历部位区域图的过程中，在滑窗中的图像与预设的特异性标识相匹配的情况下，将此时滑窗内的图像保存，最终获得细节特征集。
56.需要说明的是，上述全局特征集、轮廓特征集和细节特征集提供了三种不同的着装特征提取维度，可以适应不同的识别需求。在实际应用过程中，可以通过上述任意一种特征集的提取和比对来进行着装识别，也可以采用多种特征集结合比对的方式，为了从多个维度提取着装特征，从而进一步提高识别效率与准确度。各个维度的对比可以是递进式的，例如先对比全局特征集，再对比轮廓特征集，上述两个对比结果均大于阈值，才判定检测目标的着装符合预设着装。各个维度的对比也可以是以加权形式体现的，不同维度的对比结果有不同的权值，仅当各个维度的比较结果的加权结果大于阈值才判定检测目标的着装符合预设着装。具体的判定方式可以根据实际应用进行选择，在此不作约束。
57.在一些实施例中，图3是根据本技术实施例的另一种着装识别方法的流程图，如图3所示，获取检测目标的人体部位关键点，根据人体部位关键点对检测目标的检测图像进行部件区域划分之前，着装识别的方法还包括如下步骤：
58.步骤s301，获取检测目标的人体特征，根据人体特征判断检测目标的人体状态。在本步骤中，还对检测目标的人体特征进行定位，上述人体特征可以是人体关节点例如手腕、肘部、肩部、胯部、膝盖等，也可以是头、脸、手、腰和脚等易于定位的人体定位点，还可以是由关节点或者人体定位点连接成的分割线，例如左腰和右腰连成的分割线，从而将人体分为头部、上半身和下半身等。通过这些人体特征，可以分析出检测目标所处的人体状态，例如检测目标是否在直立行走，是正面还是背面等。在一些实施例中，上述人体状态包括人体姿势，人体角度和人体遮挡，人体姿态又可以包括蹲、坐、直立等姿态，人体角度包括正面、侧面、背面，而人体遮挡则包括上半身遮挡和下半身遮挡等。
59.步骤s302，在人体状态符合预设状态的情况下，获取检测目标的检测图像。通过步骤s301确定人体状态后，可以选择预设状态下检测目标的检测图像进行后续的着装分析。
上述预设状态可以较好呈现着装，尽量减少着装折叠的人体状态，例如，人体姿态为直立，人体角度为正面且人体遮挡为无遮挡的状态。
60.通过上述步骤，可以在获取检测目标的检测图像过程中，通过人体特征信息，可以获取检测目标的当前人体状态，从而对检测图像进行筛选，选取检测目标正面或者背面直立无遮挡人体作为待分析的检测图像，筛除折叠或者重合度过高的图像，能够有效提升检测图像的质量，从而提高识别准确度。
61.下面通过优选实施例对本技术实施例进行描述和说明。
62.图4是根据本技术优选实施例的着装识别方法的流程图，如图4所示，该着装识别方法包括如下步骤：
63.步骤s401，输入视频，目标检测。实时检测视频帧中的人体，获取检测目标；
64.步骤s402，检测目标跟踪。对检测目标进行跟踪，生成id，并根据id进行检测目标跟踪。其目的在于获取检测目标尽可能多的检测图像，以在后续步骤中筛选出便于进行着装特征提取的图像；
65.步骤s403，人体特征分析。分析视频中检测目标的人体特征，人体特征可以包括人体关节点检测与人体分割。通过人体特征分析确定人体状态，人体状态包括蹲、坐、躺、直立、弯腰等人体姿势，正面，侧面，背面等人体角度以及上半身遮挡，下半身遮挡，头部遮挡，无遮挡等人体遮挡状态。
66.步骤s404，检测图像选择。根据人体特征分析得到的人体状态，在跟踪过程中对检测目标进行筛选，选取检测对象处于背面直立无遮挡状态下或者正面直立无遮挡状态下的图像，作为待分析的检测图像。
67.获取筛选后的检测图像，还需要对检测图像进行部件区域的划分。首先获取图像中的检测目标的人体部位关键点，图5是根据本技术优选实施例的着装识别方法中的人体部位关键点的示意图，如图5所示，人体关键部位点包括左手首、右手首、左肘、右肘、左肩、右肩、左腰、右腰、左膝、右膝、左足首和右足首等。根据人体关键部位点将检测目标的检测图像划分为几个部件区域，图6是根据本技术优选实施例的着装识别方法中的部件区域划分示意图，如图6所示，检测图像被分为五个部件区域，分别是左腿区域5，包括左腰、左膝、左足首连线的分割区域；右腿区域4，包括右腰、右膝、右足首连线的分割区域；左手区域3，包括左肩，左肘，左手首连线的分割区域；右手区域1，包括右肩，右肘，右手首连线的分割区域以及腹胸区域2，包括左肩、右肩、左腰、右腰限定的腹胸分割区域。
68.步骤s405，获取检测特征集。对这五块部件区域分别进行着装特征提取。着装特征包含三个维度，全局特征维度，轮廓特征维度和细节特征维度。
69.图7是根据本技术优选实施例的着装识别方法中的全局特征提取示意图，且图7对应于腹胸区域，如图7所示，全局特征维度下，先将部件区域图片划分成n*n的区域，提取区域内平均颜色；再根据子区域图片的平均颜色执行灰度处理，并对得到的灰度图片执行低通滤波，去除细节特征信息，留下全局特征，再将处理后图像通过神经网络进行特征提取，输出特征层作为全局特征集。
70.图8是根据本技术优选实施例的着装识别方法中的轮廓特征提取示意图，且图8对应于腹胸区域，如图8所示，轮廓特征维度下，先对部件区域图像执行带通滤波，例如巴特沃斯带通滤波器、高斯带通滤波器等，去除背景和细节信息，留下轮廓信息；再将处理后图像
通过神经网络进行特征提取，获取轮廓特征集。
71.图9是根据本技术优选实施例的着装识别方法中的细节特征提取示意图，且图9对应于腹胸区域，如图9所示，细节特征维度下，重点在于识别区域的特异性标识，在标准分块区域内，设定特异性标识，然后在人体待识别分块区域图片内进行滑窗遍历匹配。寻找相似标识，获取细节特征集。
72.上述各个维度的特征集最终构成检测目标所对应的检测特征集；
73.步骤s406，获取标准着装图片。标准着装图片用于获取标准特征集；
74.步骤s407，特征提取。通过步骤s405中三个维度的特征提取方法分别进行标准特征提取；
75.步骤s408，获取标准特征集；
76.步骤s409，特征集比对。通过步骤s405获取检测特征集。将测试特征集与标准特征集中的特征一一比对，输出综合比对分析结果。特征比对过程依次判断全局特征、轮廓特征、细节特征是否相似，最终得出着装是否合规。特征比对方法可采用检测特征集与标准特征集相似度是否超过设定阈值判定。
77.步骤s410，着装比对结果输出。在检测特征集与标准特征集相似度超过设定阈值的情况下，指示检测目标的着装符合预设着装要求。
78.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
79.上述着装识别方法，对跟踪人体目标进行人体特征分析，能够获取便于进行特征比对的检测图像，保证着装识别分析质量。将着装比对区域划分为多个部件区域，每个部件区域单独比对，限定了分析边界，有助于模型提取更有针对性的特征。特征提取模拟人眼判断流程分为三个维度，全局特征、轮廓特征与细节特征，辅助神经网络更有针对性的提取特征。此外，着装识别类型切换，无需切换预置模型，仅需要进行标准着装特征的置换。特征对比过程中模拟人的视觉特性，进行多维度特征匹配判断，解决着装变形等带来的识别率降低问题。而结合人体关节点信息，解决区域划分问题，可以很好地避免特征比对区域不一致的问题。
80.本实施例还提供了一种着装识别系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
81.图10是根据本技术实施例的着装识别系统的结构框图，如图10所示，该着装识别系统100包括：图像获取设备1001和服务器设备1002。其中图像获取设备1001用于获取检测目标的检测图像；服务器设备1002用于执行上述着装识别方法。
82.需要说明的是，上述系统可以包含功能模块或者程序模块，上述方法既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
83.本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算
机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
84.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
85.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
86.获取检测目标的人体部位关键点，根据人体部位关键点对检测目标的检测图像进行部件区域划分，得到部件区域图；
87.对各个部件区域图进行着装特征提取，获取检测特征集；
88.在检测特征集与标准特征集相似度大于预设阈值的情况下，判断检测目标符合预设着装，其中，标准特征集与所述预设着装对应。
89.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
90.另外，结合上述实施例中的着装识别方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种着装识别方法。
91.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
92.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。