一种基于图像识别的人员管理方法、装置及存储介质与流程

1.本说明书实施例涉及人工智能技术领域，特别涉及一种基于图像识别的人员管理方法、装置及存储介质。


背景技术：

2.在当今社会，监控系统已经广泛地应用在不同场所，对于社区、道路、工厂等不同的场所都实现了监控效果。监控系统能够持续对视野范围内的区域进行拍摄，并将所拍摄的画面展示在对应的显示设备上或是将录像保存在存储设备当中。通过观看或查询监控设备所拍摄的监控录像，能够了解当前区域所发生的历史事件，从而帮助进行区域管理。
3.但是，针对监控区域的异常状况，目前的监控系统只能实现事后调查，难以实现事前预测和事中提示。而针对存在实时监控需求的区域，往往需要安排人员实现人工视频监控，这样不仅浪费人力，也难以保证监控效果。尤其是针对工业生产区域，具有人员众多、事件复杂等特点，人工视频监控可能并不能对当前区域的异常事件准确识别。因此，目前亟需一种能够基于监控系统对监控区域进行有效的人员管理的方法。


技术实现要素：

4.本说明书实施例的目的是提供一种基于图像识别的人员管理方法、装置及存储介质，以解决如何基于监控系统对监控区域进行有效的人员管理的问题。
5.为解决上述技术问题，本说明书实施例提供一种基于图像识别的人员管理方法，包括：获取目标场景的监控图像；识别所述监控图像中的至少一种人员行为；在所述至少一种人员行为中存在异常行为的情况下，确定所述异常行为所对应的目标人员的人员身份；基于所述人员身份向目标人员发出异常提醒。
6.本说明书实施例还提出一种基于图像识别的人员管理装置，包括：监控图像获取模块，用于获取目标场景的监控图像；人员行为识别模块，用于识别所述监控图像中的至少一种人员行为；人员身份识别模块，用于在所述至少一种人员行为中存在异常行为的情况下，确定所述异常行为所对应的目标人员的人员身份；异常提醒发出模块，用于基于所述人员身份向目标人员发出异常提醒。
7.本说明书实施例还提出一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令在被执行时实现上述基于图像识别的人员管理方法。
8.由以上本说明书实施例提供的技术方案可见，本说明书实施例通过获取目标场景的监控图像，以对监控图像中的人员行为进行识别，在识别到的人员行为中存在异常行为的情况下，确定所述异常行为所对应的目标人员的人员身份，从而能够基于人员身份向目标人员发出异常提醒，实现对于当前监控区域内人员的管理。通过上述方法，能够基于监控系统自动分析监控区域内的人员行为，并能够向存在异常行为的人员发出提醒，减少了人力监管所耗费的时间和资源，实现了区域内实时的、自动化的监管，减少了基于异常行为出现事故的概率，保证了生产生活的正常进行。
附图说明
9.为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.图1为本说明书实施例一种基于图像识别的人员管理方法的流程图；
11.图2为本说明书实施例一种人员管理系统的结构图；
12.图3为本说明书实施例一种行为识别流程的示意图；
13.图4为本说明书实施例一种人脸识别流程的示意图；
14.图5为本说明书实施例一种显示界面的示意图；
15.图6为本说明书实施例一种基于图像识别的人员管理装置的模块图。
具体实施方式
16.下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
17.为了解决上述技术问题，介绍本说明书实施例一种基于图像识别的人员管理方法。所述基于图像识别的人员管理方法的执行主体为基于图像识别的人员管理设备，所述基于图像识别的人员管理设备包括但不限于服务器、工控机、pc机等。如图1所示，所述基于图像识别的人员管理方法可以包括以下具体实施步骤。
18.s110：获取目标场景的监控图像。
19.目标场景可以是需要进行监管的区域，所述目标场景可以基于具体的应用场所进行设置，例如，在应用至工业生产场景中时，所述目标场景可以是生产厂房；在应用至交通监管区域时，所述目标场景可以是道路。需要说明的是，由于本技术涉及人员管理，因此所述目标场景优选的为存在人员活动的场景。
20.监控图像可以是针对目标场景所拍摄到的图像。相应的，所述监控图像中也可以包含有相应的人员的图像，以执行后续的分析。
21.优选的，为了保证后续的识别效果，对所述监控图像的清晰度可以基于应用需求进行设置，以保证识别效果和准确性。
22.为了更好地实现上述技术步骤，在一些实施方式中，所述人员管理方法可以基于人员管理系统来实施。如图2所示，所述人员管理系统200可以包括监控设备210、基于图像识别的人员管理设备220、显示设备230和告警设备240。
23.所述监控设备可以是摄像头、照相机等具有拍照或摄制功能的设备。所述监控设备可以将所获取到的图像或视频传输至基于图像识别的人员管理设备，以更好地实现数据的分析。
24.为了获取较好的图像采集效果，可以对所述监控设备的设置位置进行调整，以使监控设备的拍摄区域覆盖整个区域。具体的，对于监控设备的安装高度可以设置为3-6米，俯视角度可以设置在15
°
～60
°
之间。实际应用中可以根据具体情况和需求对监控设备的安
装情况进行调整，对此不做限制。
25.在一些实施方式中，基于所述监控设备所获取到的是连续的监控录像。为了便于进行分析，可以从所述监控录像中抽取一帧或多帧图像作为监控图像。相应的，在抽取图像时可以对图像的前后顺序进行标定，以在分析过程中能够针对图像中人员基于时间的状态变化情况更好地进行行为分析。
26.具体的，可以是利用ffmpeg技术对视频流进行抽帧操作，例如每1.25秒抽取一帧图像，并将新抽取的图像送入队列中，后续过程中依次从队列中读取图像，也保证了图像在时间上的连续性。
27.显示设备可以用于展示监控设备所获取到的图像或视频，以及展示分析信息、提示信息等消息。所述显示设备可以是pc机、移动智能设备、可穿戴设备等设备，对此不做限制。
28.告警设备可以用于在确定人员出现异常行为后，向对应的人员发送告警信息进行提醒。
29.s120：识别所述监控图像中的至少一种人员行为。
30.在获取到监控图像后，可以识别所述监控图像中的至少一种人员行为。
31.人员行为用于描述人员目前的状态或动作，具体的，可以对人员的穿着、打扮、姿态等状态信息进行判断，也可以对人员当前的动作进行分析。具体的，可以预先设置若干种人员行为，在识别人员行为时可以判断这若干种人员行为中是否存在符合当前人员状态的人员行为。
32.相应的，对于预先设置的人员行为，可以将这些人员行为划分为正常行为和异常行为。正常行为表示该人员当前状态及行为处于正常状态；异常行为用于表示该人员当前身体状况出现问题，或是执行了违禁操作，或是做出了违反生产生活要求的行为。
33.在一些实施方式中，可以只预先设置异常行为，若目标人员当前的行为不符合所有的异常行为，可以不对该人员进行额外的管理，而只针对当前行为符合异常行为的人员进行提醒，可以提高人员管理的效率。
34.在一些实施方式中，为了确定人员行为，可以先从监控图像中识别出人员，在针对人员截取对应的图像以进行人员行为的识别。在图像中包含多个人员的情况下，直接针对图像进行人员行为识别可能具有较高的难度，因此可以通过截取对应于单个人员的图像，再依次对各个人员的人员行为进行分析，以保证识别结果的准确性。
35.在一些实施方式中，可能存在某些人员行为是由一系列的动作所组成的，仅仅从单张图片的展示效果可能无法有效确定这类人员行为。为了保证识别结果的准确性，可以获取与所述监控图像存在时间连续关系的至少一个关联图像，再结合所述监控图像和所述关联图像来识别所述监控图像中的至少一种人员行为。
36.利用一个具体的示例进行说明，假设所需要识别的人员行为为奔跑，从单张图像上可能无法确定用户是行走还是奔跑，因此可以结合具有连续性的多张关联图像，分析用户的姿态变化和移动位置变化情况来确定对应的人员是否在奔跑。
37.在一些实施方式中，识别所述人员行为时，可以是利用至少两种行为检测算法针对所述监控图像分别提取初步行为特征，再将至少两组初步行为特征融合得到目标行为特征。针对目标行为特征可以确定其对应于各个预设行为特征的预测概率值，将这些预测概
率值中最大的值所对应的预设行为特征确定为人员行为。
38.图3为人员行为识别过程的一个具体示例，如图3所示，所述行为检测算法可以包括yolov5、ssd、mask rcnn目标识别算法，采用至少两种行为检测算法能够提高对于初步行为特征的识别程度。在获取到初步行为特征后，可以通过连续的两个dense层将所述初步行为特征拼接为目标行为特征。最终可以利用softmax函数计算目标行为特征对应于各个预设行为特征的预测概率值，进而根据预测人员所对应的人员行为。
39.上述实施方式只是一种确定人员行为的方式，实际应用中还可以采取其他的分类算法来确定所对应的人员行为，在此不做赘述。
40.s130：在所述至少一种人员行为中存在异常行为的情况下，确定所述异常行为所对应的目标人员的人员身份。
41.在确定监控图像中的人员行为之后，可以判断这些人员行为中是否存在异常行为。
42.在一些实施方式中，异常行为可以包括未佩戴安全设备、穿着不合规、违禁操作、危险状态中的至少一种。未佩戴安全设备例如可以是未穿防护服、未带安全帽等；穿着不合规例如可以是未携带身份标识物件、未穿工作服、工作服穿戴有误等；违禁操作例如可以是吸烟、打电话等操作；危险状态例如可以是摔倒、受伤、处于危险区域中等。实际应用中可以根据需求设置其他类型的异常行为，并不限于上述示例，在此不再赘述。
43.在确定识别到异常行为之后，为了识别异常行为所对应的目标人员的人员身份，以基于人员身份向目标人员进行提醒。
44.在一些实施方式中，可以提取对应于目标人员的人脸图像，并通过人脸识别的方式来确定所述目标人员的人员身份。
45.具体的，在进行人脸识别时，可以先提取所述人脸图像中的至少一个人脸特征，并确定所述至少一个人脸特征所对应的身份类别，基于所述身份类别确定所述目标人员的人员身份。
46.结合图4对上述实施方式进行进一步说明，如图4所示，人脸特征可以是人脸识别过程中所针对的特征点，例如，可以采用多个facenet主干网络来提取人脸特征。在获取到人脸特征之后，根据这些人脸特征进行分类以确定身份类别。身份类别可以是在训练阶段即预先确定的类别，具体的可以通过knn网络来确定人脸特征所对应的身份类别。knn网络通过特征之间的临近值对其进行分类。在训练阶段可以预先获取各个人员的面部图像，以针对面部图像确定人脸特征并与相应的人员身份进行归类，在识别阶段能够根据所确定的类别确定所述目标人员的人员身份，从而完成人脸识别的过程。
47.需要说明的是，上述过程只是一种对人脸识别过程的示例性介绍，实际应用中也可以采取其他方式来进行人脸识别并确定人脸图像所对应的人员身份，并不限于上述示例中的方法，在此不再赘述。
48.此外，在一些实施方式中，也可以要求不同人员佩戴不同的标识，通过识别图像中人员所佩戴的标识来确定人员身份。实际应用中可以采用不同的方式来确定人员身份，并不限于上述示例，在此不再赘述。
49.s140：基于所述人员身份向目标人员发出异常提醒。
50.在确定所述目标人员的人员身份后，可以根据所述人员身份向目标人员发出异常
提醒。异常提醒可以用于提醒所述目标人员当前存在异常行为，请调整当前的行为。
51.在一些实施方式中，向目标人员发出异常提醒的方式可以是向目标人员的终端设备发送异常提醒信息。所述基于图像识别的人员管理设备可以预先存储各个目标人员的身份信息和联络信息，联络信息例如可以是手机号、社交软件账号等。在确定目标人员的人员身份后，根据所述人员身份查找到对应的手机号或社交软件账号后，可以向发送短信或聊天信息，以实现对于所述目标人员的提醒。
52.在一些实施方式中，向目标人员发出异常提醒还可以是公共提示的方式。例如，在监控区域内可以设置有扬声器，通过向目标人员播报人员身份和对应的异常行为，来提醒所述目标人员更改当前的行为；也可以是在监控区域内设置显示器，将目标人员的身份信息和对应的异常行为显示在所述显示器上，以实现对于目标人员的提醒。基于图2中的系统，所述告警设备即可是所述扬声器和/或显示器。实际应用中还可以设置其他类型的告警设备，并不限于该示例，对此不做限制。
53.在一些实施方式中，所述基于图像识别的人员管理设备还可以连接有显示设备，所述显示设备可以用于显示监控设备所获取到的图像或视频，以及展示图像中的行为信息、人员识别信息等信息。
54.如图5所示，为一种显示设备所展示的界面的具体示例，在所述显示界面的实时监控界面展示监控设备所获取到的实时监控视频，实时监控界面下方的“拍照”、“图像下载”、“录像回放”、“录像下载”等按钮可以用于对监控视频实现相应的操作。详细信息显示区域可以用于显示人员行为、行为是否正常、人员身份信息、告警记录等信息。菜单栏可以包含对显示界面进行处理的相应操作。实际应用中还可以根据需求对所述显示界面进行调整，对此不做限制。
55.基于上述实施例的步骤描述，利用一个具体的场景示例对所述基于图像识别的人员管理方法进行进一步说明。该场景示例中，在工厂中设置监控系统，以对工厂的各个监控区域进行监控。监控系统在获取到监控视频后，将监控视频实时传输至服务器。服务器每间隔一定时间从监控视频中抽取视频帧进行人员行为识别。假设服务器在监控设备a所传输的视频中发现有工作人员存在抽烟的行为，且抽烟属于异常行为，容易引发安全事故。在确定该工作人员存在异常行为后，则再针对图像中该工作人员的面部图像进行人脸识别，以确定该工作人员的身份。根据工作人员的身份在数据库中查找对应的联系方式，并通过查找得到的联系方式向该工作人员发送信息，提醒该工作人员当前存在抽烟这一异常行为，请停止这一异常行为。若在发送信息后检测到该工作人员仍然没有结束这一异常行为，可以通过扬声器向工作人员进行播报通知，使其立刻停止自身的抽烟行为，从而实现对于区域内的人员管理。
56.基于上述实施例和场景示例的介绍，可以看出，通过获取目标场景的监控图像，以对监控图像中的人员行为进行识别，在识别到的人员行为中存在异常行为的情况下，确定所述异常行为所对应的目标人员的人员身份，从而能够基于人员身份向目标人员发出异常提醒。通过上述方法，能够基于监控系统自动分析监控区域内的人员行为，并能够向存在异常行为的人员发出提醒，减少了人力监管所耗费的时间和资源，实现了区域内实时的、自动化的监管，减少了基于异常行为出现事故的概率，保证了生产生活的正常进行。
57.基于图1所对应的基于图像识别的人员管理方法，介绍本说明书实施例一种基于
图像识别的人员管理装置。所述基于图像识别的人员管理装置设置于所述基于图像识别的人员管理设备。如图6所示，所述基于图像识别的人员管理装置包括以下模块。
58.监控图像获取模块610，用于获取目标场景的监控图像。
59.人员行为识别模块620，用于识别所述监控图像中的至少一种人员行为。
60.人员身份识别模块630，用于在所述至少一种人员行为中存在异常行为的情况下，确定所述异常行为所对应的目标人员的人员身份。
61.异常提醒发出模块640，用于基于所述人员身份向目标人员发出异常提醒。
62.基于图1所对应的基于图像识别的人员管理方法，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令。所述计算机可读存储介质可以基于设备的内部总线被处理器所读取，进而通过处理器实现所述计算机可读存储介质中的程序指令。在本说明书实施例中，所述计算机可读存储介质上的计算机程序/指令在被读取时可以实现
63.在本实施例中，所述计算机可读存储介质可以按任何适当的方式实现。所述计算机可读存储介质包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)、存储卡(memory card)等等。所述计算机存储介质存储有计算机程序指令。在所述计算机程序指令被执行时实现本说明书图1所对应实施例的程序指令或模块。
64.基于图1所对应的基于图像识别的人员管理方法，本说明书实施例提供一种基于图像识别的人员管理设备。所述任务处理设备可以包括存储器和处理器。
65.在本实施例中，所述存储器可以按任何适当的方式实现。例如，所述存储器可以为只读存储器、机械硬盘、固态硬盘、或u盘等。所述存储器可以用于存储计算机程序指令。
66.在本实施例中，所述处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式等等。所述处理器可以执行所述计算机程序指令以实现上述基于图像识别的人员管理方法所对应的步骤。
67.需要说明的是，上述基于图像识别的人员管理方法、装置及存储介质可以应用于人工智能技术领域，也可以应用至除人工智能技术领域外的其他技术领域，对此不做限制。
68.虽然上文描述的过程流程包括以特定顺序出现的多个操作，但是，应当清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
69.本技术是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
70.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
71.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
72.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
73.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
74.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁带存储、磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
75.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
76.本说明书实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
77.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示
例的特征进行结合和组合。
78.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。