一种穿戴合规性检测方法、装置和计算机可读存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种穿戴合规性检测方法、装置和计算机可读存储介质。


背景技术：

2.在某些应用场景(比如：电网场景、工地场景或火灾场景)下，合规穿戴工作服或安全帽等物品是工作人员必须遵守的规定；不同的作业场景下工具人员的穿戴要求不完全相同，因此根据具体应用场景判断工作人员的穿戴是否合规，以便及时进行警报对安全作业起着至关重要的作用；但是目前判断穿着是否合规的方案未考虑不同作业场景对着装的不同要求，导致检测不准确。


技术实现要素：

3.本技术提供一种穿戴合规性检测方法、装置和计算机可读存储介质，能够提升检测目标人员的穿戴是否符合规定的准确度。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种穿戴合规性检测方法，该方法包括：对待检测图像中的人员、人员穿戴信息以及与目标场景关联的目标物进行检测；待检测图像是针对目标场景采集的图像；若确定从待检测图像中检测到目标人员和目标物，则基于目标人员的人员穿戴信息、目标人员和目标物的位置关系，确定目标人员的穿戴是否符合目标场景关联的作业人员穿戴规。
5.为解决上述技术问题，本技术采用的另一技术方案是：提供一种检测装置，该检测装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的穿戴合规性检测方法。
6.为解决上述技术问题，本技术采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的穿戴合规性检测方法。
7.通过上述方案，本技术的有益效果是：先获取目标场景下的待检测图像；然后对待检测图像进行检测，得到待检测图像中的目标人员与目标物；然后利用目标人员与目标物的位置关系，确定目标人员与目标物的距离远近，当目标人员与目标物之间的距离较近时，利用目标人员的人员穿戴信息确定在目标场景下目标人员的穿戴是否符合作业人员穿戴规，实现了对目标场景中目标人员的穿戴是否规范的分析判断，而且由于能够根据不同的应用场景设置不同的作业人员穿戴规，即在检测过程中考虑了不同作业场景对穿戴的不同要求，能够提升检测的准确率，而且能够应用在不同的场景中，适用性更广。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术提供的穿戴合规性检测方法一实施例的流程示意图；
10.图2是本技术提供的穿戴合规性检测方法另一实施例的流程示意图；
11.图3是本技术提供的检测装置一实施例的结构示意图；
12.图4是本技术提供的检测装置另一实施例的结构示意图；
13.图5(a)是本技术提供的待检测图像；
14.图5(b)是对图5(a)的待检测图像进行检测得到的目标人员的检测框、目标人员的关键部位以及目标物的检测框；
15.图5(c)是待检测图像中目标人员l1的手部的图像；
16.图5(d)是待检测图像中目标人员l2的手部的图像；
17.图5(e)是待检测图像中操作杆的图像；
18.图6是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
19.下面结合附图和实施例，对本技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施例仅为本技术的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
20.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
21.需要说明的是，本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
22.请参阅图1，图1是本技术提供的穿戴合规性检测方法一实施例的流程示意图，该方法包括：
23.步骤11：对待检测图像中的人员、人员穿戴信息以及与目标场景关联的目标物进行检测。
24.待检测图像是针对目标场景采集的图像，该目标场景可以为电力场景、火灾场景、工地场景或医院场景，可先在目标场景下利用摄像设备进行拍摄，得到待检测图像，该待检测图像包括人员与物体，该物体可以为目标场景中的器件或设备。然后利用目标检测方法对待检测图像进行检测处理，以确定待检测图像中是否存在目标人员以及目标物，该目标
物为与目标场景相关联的物体，即不同的目标场景下的目标物的种类不同，例如，以电力场景为例，目标物可以为绝缘杆、验电器或操作杆等。
25.步骤12：若确定从待检测图像中检测到目标人员和目标物，则基于目标人员的人员穿戴信息、目标人员和目标物的位置关系，确定目标人员的穿戴是否符合目标场景关联的作业人员穿戴规。
26.在检测到待检测图像中存在目标人员以及目标物之后，可利用目标人员与目标物的位置关系以及目标人员的人员穿戴信息，确定目标人员在目标场景中的穿戴是否符合作业人员穿戴规，从而得到的合规性检测结果。具体地，作业人员穿戴规为与目标场景适配的安全规定，比如：需要佩戴安全带、安全帽、手套或穿靴子等。
27.进一步地，可判定目标人员与目标物之间的距离是否大于距离阈值，如果目标人员与目标物之间的距离等于/大于距离阈值，则表明在目标场景中目标人员与目标物的距离较远，即目标人员未与目标物接触，不存在安全隐患，此时可判定目标人员的穿戴符合作业人员穿戴规，合规性检测结果为当前目标人员的穿戴符合作业人员穿戴规；如果目标人员与目标物之间的距离小于距离阈值，则表明在目标场景中目标人员与目标物的距离较近，即目标人员可能与目标物接触，此时为了提升作业的安全性，可进一步判断目标人员的人员穿戴信息是否符合作业人员穿戴规，比如：目标人员是否佩戴手套，如果目标人员未佩戴手套，而作业人员穿戴规为佩戴手套，则判定当前目标人员的穿戴不符合作业人员穿戴规，此时可进行提醒，以提升人工作业的安全性，比如：播放预设语音信息(预设语音信息包括作业所需的穿戴事项)或发出警报声。
28.在其他实施例中，可判定目标人员的检测框与目标物的检测框是否存在重叠的区域，如果目标人员的检测框与目标物的检测框存在重叠的区域，则表明当前目标人员与目标物之间的距离较近，此时可利用目标人员的人员穿戴信息来确定穿戴是否符合规定，从而得到目标场景中目标人员的穿戴是否符合作业人员穿戴规的合规性检测结果。
29.本实施例提供了一种目标场景中识别现场目标人员的穿戴是否合规的方法，先检测出待检测图像中的目标人员与目标物；然后利用目标人员与目标物的位置关系，确定目标人员与目标物的距离远近，当目标人员与目标物之间的距离较近时，利用目标人员的人员穿戴信息确定在目标场景下目标人员的穿戴是否符合作业人员穿戴规，实现了目标场景中目标人员的穿戴规范性的分析判断，而且由于能够根据不同的应用场景设置不同的作业人员穿戴规，即在检测过程中考虑了不同作业场景对穿戴的不同要求，能够提升检测的准确率，而且能够应用在不同的场景中，适用性更广。
30.请参阅图2，图2是本技术提供的穿戴合规性检测方法另一实施例的流程示意图，该方法包括：
31.步骤21：采用第一目标检测模型对待检测图像进行检测，得到第一检测结果。
32.目标人员的位置信息与目标人员的人员穿戴信息是通过第一目标检测模型检测到的；具体地，第一检测结果包括目标人员的位置信息、目标人员的关键部位的位置信息以及目标人员的人员穿戴信息，该人员穿戴信息包括子穿戴信息，子穿戴信息包括手部/脚部是否穿戴绝缘保护物(比如：靴子或手套)、上半身是否佩戴安全绳或头部是否穿戴安全帽，比如：目标人员是否穿靴子、头上是否佩戴安全帽、手部是否穿戴绝缘手套或者身上是否佩戴安全带等，该关键部位可以为目标人员的关节点，比如：头、肘关节、膝关节、脚或者肩关
节等。
33.在一具体的实施例中，可先获取人员检测数据集，该人员检测数据集包括多个人员训练图像、与人员训练图像对应的人员位置标签以及与人员训练图像对应的关键部位标签；然后利用人员训练图像对第一目标检测模型进行训练，得到训练完的第一目标检测模型；然后使用训练完的第一目标检测模型对对待检测图像进行检测，得到第一检测结果。通过使用第一目标检测模型能够实现检测出待检测图像中的目标人员以及该目标人员的关键部位，并识别出关键部位的属性信息，该属性信息包括人员穿戴信息。
34.为了提高对目标人员的关键部位判断的准确率，本实施例采用了改进的目标检测模型(即第一目标检测模型)，该第一目标检测模型包括人员位置检测网络、关键部位检测网络以及属性识别网络，第一目标检测模型可以为改进的yolo(you only look once)模型；人员位置检测网络用于检测人员训练图像中的训练人员，关键部位检测网络用于检测训练人员的关键部位，属性识别网络用于识别关键部位的属性；人员检测数据集还包括与人员训练图像对应的人员位置标签以及关键部位标签，第一目标检测模型的损失函数包括第一损失函数与第二损失函数，第一损失函数为训练人员的位置信息与相应的人员位置标签之间的函数，第二损失函数为关键部位的位置信息与相应的关键部位标签之间的函数。
35.进一步地，可从人员检测数据集挑选出一个人员训练图像；基于人员位置检测网络，对人员训练图像进行检测，得到训练人员的位置信息；基于关键部位检测网络，对训练人员进行检测，得到训练人员的关键部位的位置信息；基于属性识别网络，对关键部位进行识别，得到关键部位的属性信息，属性信息包括人员穿戴信息；计算训练人员的位置信息与相应的人员位置标签之间的误差，得到第一误差值；计算训练人员的关键部位的位置信息与相应的关键部位标签之间的误差，得到第二误差值；基于第一误差值与第二误差值，计算出当前误差值；基于当前误差值或当前训练次数，判断第一目标检测模型是否满足预设训练结束条件；若第一目标检测模型不满足预设训练结束条件，则返回从人员检测数据集挑选出一个人员训练图像的步骤；若第一目标检测模型满足预设训练结束条件，则确定结束训练，得到训练完的目标检测模型。
36.步骤22：采用第二目标检测模型对待检测图像进行检测，得到第二检测结果。
37.目标物的位置信息是通过第二目标检测模型检测到的，第一目标检测模型与第一目标检测模型的结构不同，且训练第一目标检测模型所使用的数据不同与训练第二目标检测模型所使用的数据不同；具体地，可先获取工具检测数据集，工具检测数据集包括工具训练图像，工具训练图像包括目标物；再利用工具训练图像对第二目标检测模型进行训练，得到训练完的第二目标检测模型；然后采用训练完的第二目标检测模型对待检测图像进行检测，得到第二检测结果，该第二检测结果包括目标物的位置信息。例如，以目标场景为电力场景为例，可构建电网场景下电力安全工器件与设备的数据集，该数据集包括绝缘杆或验电器等器件/设备的图像；利用该数据集使用目标检测网络来训练第二目标检测模型，该目标检测网络为常用的目标检测网络，比如：yolo或单级多框检测(single shot multibox detector，ssd)等。在完成第二目标检测模型的训练后，利用该第二目标检测模型对待检测图像进行检测，便能够在待检测图像中检测到电力作业所用的电工器件及设备。
38.可以理解地，在训练第一目标检测模型与第二目标检测模型的过程中，可实时判断第一目标检测模型与第二目标检测模型是否达到预设停止条件，该预设停止条件包括：
损失值收敛，即上一损失值与当前损失值的差值小于设定值；判定当前损失值是否小于预设损失值，该预设损失值为预先设置的损失阈值，若当前损失值小于预设损失值，则确定达到预设停止条件；训练次数达到设定值(例如：训练10000次)；或者使用测试集进行测试时获得的准确率达到设定条件(比如：超过预设准确率)等；如果当前未达到该预设停止条件，则继续使用相应的训练图像(包括人员训练图像或工具训练图像)进行训练。
39.步骤23：基于目标人员和目标物的位置关系，确定目标人员是否存在目标行为。
40.判断目标人员和目标物的距离是否小于距离阈值；若检测到目标人员和目标物的距离小于距离阈值，则确定目标人员存在目标行为；或者判断目标人员的位置区域和目标物的位置区域的重合度是否大于重合度阈值，若检测到目标人员的位置区域和目标物的位置区域的重合度大于重合度阈值，则确定目标人员存在目标行为。
41.在一具体的实施例中，可判断目标人员的位置信息与目标物的位置信息是否相交；若目标人员的位置信息与目标物的位置信息相交，则确定目标人员具有目标行为，该目标行为包括目标人员操作目标物的行为，比如：目标人员手持或接触目标物。
42.进一步地，目标行为包括目标人员利用目标人员的关键部位操作目标物的行为；目标人员的人员穿戴信息基于目标人员的关键部位穿戴的防护设备确定。
43.在一实施方式中，在关键部位包括头部时，防护设备包括安全帽、嘴部防护设备(比如：口罩)以及鼻部防护设备(比如：鼻夹)中的至少一个；在关键部位包括手部与脚部中的至少一个时，防护设备包括绝缘保护物；在关键部位包括上半身时，防护设备包括安全绳。
44.步骤24：若确定目标人员存在目标行为，则基于目标人员的人员穿戴信息，确定目标人员的穿戴是否符合作业人员穿戴规定。
45.在检测到目标人员存在目标行为、目标人员的关键部位穿戴防护设备时，判定目标人员的穿戴符合作业人员穿戴规；在检测到目标人员存在目标行为、目标人员的关键部位未穿戴防护设备时，判定目标人员的穿戴不符合作业人员穿戴规；在检测到目标人员未存在目标行为时，判定目标人员的穿戴符合作业人员穿戴规。若检测到目标人员不存在目标行为，则表明当前目标人员未操作目标物，此时目标人员不论是否穿戴防护设备均是符合规定的，此时可结束检测。
46.在其他具体的实施例中，基于目标人员的位置区域和目标物的位置区域，对待检测图像进行裁剪，得到目标检测图像，即目标检测图像包括目标人员的关键部位与目标物；基于目标人员的人员穿戴信息，以及基于目标检测图像中目标人员和目标物的位置关系，确定目标人员的穿戴是否符合作业人员穿戴规。具体地，判断目标检测图像中目标人员的关键部位的位置信息与目标物的位置信息是否存在交集；若该关键部位的位置信息与目标物的位置信息存在交集，则确定目标检测图像中目标人员的位置信息与目标物的位置信息相交。例如，以关键部位为手部为例，关键部位的位置信息包括手部的位置，目标物的位置信息包括目标物的位置，判断手部的检测框与目标物的检测框是否存在重叠的区域，如果存在重叠的区域，则表明目标人员的位置信息与目标物的位置信息相交。
47.进一步地，先采用分类网络对目标检测图像进行分类，得到设备手持结果，设备手持结果为目标物是否被目标人员手持的检测结果；然后基于设备手持结果与目标人员的人员穿戴信息，判断目标人员在目标场景下的穿戴是否符合作业人员穿戴规，得到合规性检
测结果。
48.通过将目标检测图像输入到分类网络中，能够判断目标人员的关键部位与目标物之间的关系，从而判断出该目标人员的手部是否持有目标物。根据分类网络输出的目标人员是否手持目标物的结果，结合步骤21获取到的目标人员的人员穿戴信息，能够判断检测出来的目标人员在作业时是否穿戴合规(比如：是否穿戴绝缘手套或者佩戴安全带)。
49.进一步地，在设备手持结果为目标人员手持目标物，且第一检测结果为目标人员穿戴防护设备(比如：手套、安全带或安全帽)时，判定目标人员在目标场景下的穿戴符合作业人员穿戴规；在设备手持结果为目标人员手持目标物，且第一检测结果为目标人员未穿戴防护设备时，判定目标人员在目标场景下的穿戴不符合作业人员穿戴规；在设备手持结果为目标人员未手持目标物时，判定目标人员在目标场景下的穿戴符合作业人员穿戴规。
50.本实施例的方案涉及视频结构化分析中的人员区域检测技术和多标签分类技术，能够应用于安全检测领域；先将待检测图像分别送入第一目标检测模型和第二目标检测模型，获得目标人员的位置信息、关键部位的位置信息、关键部位的属性信息以及目标物的位置信息；然后判断目标物的位置信息与关键部位的位置信息有无交集，若存在交集，则根据目标物的位置信息与关键部位的位置信息从待检测图像中截取出目标检测图像，将目标检测图像输入到分类网络中进行人物关系的判断；最后根据人员穿戴信息以及其与目标物的相关关系，判断该目标人员的穿戴是否合规，并将该结果反馈给用户，方便用户及时调整穿戴，以提升作业安全性。本实施例结合了关键部位的检测，能更准确地识别出目标人员的属性信息，并且能判断目标人员与目标物之间的关系(是否手持目标物等)，来判断现场目标人员当前的穿戴是否合规，比如：如果判断出目标人员穿戴绝缘手套或手持电线笔之类的目标物，则判定当前目标人员穿戴合规；假如某个目标人员没有戴安全手套，但当前该目标人员没有手持目标物，则该目标人员的穿戴也是是合规的；此外，相比其他技术，本实施例利用分类网络来识别目标人员与物体之间的所属关系，能解决人员较为密集环境下物品与目标人员不匹配的问题，有助于提升对穿戴安全性的的检测准确率。
51.请参阅图3，图3是本技术提供的检测装置一实施例的结构示意图，检测装置30包括互相连接的存储器31和处理器32，存储器31用于存储计算机程序，计算机程序在被处理器32执行时，用于实现上述实施例中的穿戴合规性检测方法。
52.请参阅图4，图4是本技术提供的检测装置另一实施例的结构示意图，检测装置40包括第一检测模块41、第二检测模块42、分类模块43以及分析模块44。
53.第一检测模块41用于检测目标场景中的目标人员的位置信息、目标人员的关键部位的位置信息以及关键部位的属性信息。
54.第二检测模块42用于检测目标物，该目标物包括高压操作杆或验电笔等器件。
55.分类模块43与第一检测模块41以及第二检测模块42连接，其用于根据第一检测模块41的输出信息以及第二检测模块42的输出信息，识别目标人员是否存在目标行为，得到分类结果。
56.分析模块44与第一检测模块41以及分类模块43连接，其用于根据分类模块43的分类结果以及第一检测模块41输出的属性信息，确定目标人员的穿戴是否符合作业人员穿戴规，生成合规性检测结果。
57.下面以目标场景为电力场景为例进行说明，如图5(a)-5(e)所示，待检测图像如图
5(a)所示，将待检测图像输入第一检测模块41，得到图5(b)所示的三个目标人员的检测框a1-a3(检测框a1内的目标人员记作l1，检测框a2内的目标人员记作l2)、目标人员的关键部位以及目标人员的关键部位的连线；将待检测图像输入第二检测模块42，得到图5(b)所示的目标物(即操作杆)的检测框a4；图5(c)为第一检测模块41输出的图像，其为目标人员用手操作操作杆的图像；图5(d)为第一检测模块41输出的图像，其为目标人员用手扶住梯子的图像；图5(e)为第二检测模块42输出的图像，其为操作杆的图像；将图5(e)所示的图像与图5(c)所示的图像输入分类模块43，得到目标人员是否手持操作杆的分类结果；分析模块44根据分类模块43的输出，判定出目标人员l1佩戴了手套且手持操作杆，符合安全作业的规定，判定出目标人员l2未佩戴手套但手部未与操作杆接触，也符合安全作业的规定。
58.本实施例提出了一种基于人物交互的电网现场目标人员是否穿戴手套的检测方案，采用检测模块(包括第一检测模块与第二检测模块)检测目标人员、目标人员的关键部位以及目标物，并分析判断目标人员与目标物之间的关系，实现了对现场目标人员在特定作业下的穿戴作出是否合规的判断，可应用于电网安防场景下，用以检测特定行为是否合规；而且，本实施例采用了目标检测与关键部位相结合的人物检测模型，相比一般的检测方法更能提取人物的局部信息，对人物穿戴属性的识别效果更好，能够提升识别的准确率。
59.请参阅图6，图6是本技术提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质60用于存储计算机程序61，计算机程序61在被处理器执行时，用于实现上述实施例中的穿戴合规性检测方法。
60.计算机可读存储介质60可以是服务端、u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
61.在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
62.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
63.另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
64.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。