仓储场景人车安全距离识别方法、电子设备及存储介质与流程

1.本发明属于仓储场景安全技术领域，尤其涉及一种仓储场景人车安全距离识别方法、电子设备及存储介质。


背景技术：

2.在日常仓储作业过程中，有两种高频场景。一种场景是，大件货物运输进仓库内并且把货物按指定区域和指定堆放规范操作，由人与车协作完成。另一种场景是，仓库中库存货物运输出仓库，也由人与车协作完成。在户外马路上，人与车的规则，是由交通规则制约，比如车主动等待行人过马路，人在马路中不允许胡乱穿梭。但是在仓库这种室内场景，工人的作业区域较大，并且需要来回穿梭，有必要对人与车的安全距离进行识别，从而可以根据识别结果进行相应的提示、警告。
3.如果以人力监控的方式识别安全距离，会消耗额外人力，造成浪费和人力冗余，或者，车与人各自携带一个物联感知设备，这样就可以互相感应出彼此距离信息，但是需要额外购买物联感知设备。


技术实现要素：

4.基于此，针对上述技术问题，提供一种仓储场景人车安全距离识别方法、电子设备及存储介质。
5.本发明采用的技术方案如下：
6.一方面，提供一种仓储场景人车安全距离识别方法，包括：
7.s101、周期性地从仓储作业实时监控视频数据中提取关键帧；
8.s102、通过预训练的目标检测模型检测所述关键帧中的人目标和车目标；
9.s103、取多个连续的关键帧判断检测到的车目标是否正在移动，若是，则执行下一步；
10.s104、计算所述多个连续的关键帧的最后一帧和后续帧中所述车目标与人目标的距离，若所述距离满足预设条件，则人车距离安全，反之，则不安全。
11.另一方面，提供一种电子设备，包括存储模块，所述存储模块包括由处理器加载并执行的指令，所述指令在被执行时使所述处理器执行上述的一种仓储场景人车安全距离识别方法。
12.再一方面，提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现上述的一种仓储场景人车安全距离识别方法。
13.本发明在不需要额外人力和额外设备的情况下，可以准确地识别出仓储作业场景下人与车的距离是否安全。
附图说明
14.下面结合附图和具体实施方式对本发明进行详细说明：
15.图1为本发明的流程图；
16.图2为本发明的原理图。
具体实施方式
17.如图1所示，本说明书实施例提供一种仓储场景人车安全距离识别方法，包括：
18.s101、周期性地从仓储作业实时监控视频数据中提取关键帧。
19.在本实施例中，提取关键帧的周期为每秒1帧。
20.s102、通过预训练的目标检测模型检测关键帧中的人目标和车目标。
21.其中，通过样本图片对目标检测模型进行训练，样本图片的提取过程包括：
22.首先，收集仓储作业历史监控视频数据，然后，从收集的仓储作业历史监控视频数据中提取关键帧，接着，对提取的所有关键帧进行清洗，清洗是指将重复的图片、花屏的图片以及绿屏的照片删除，并在清洗后的各关键帧中标注人目标和车目标，车目标有机动车目标、吊车目标、叉车目标等等。
23.s103、取多个连续的关键帧判断检测到的车目标是否正在移动，若是，则执行下一步。
24.通过目标检测模型对关键帧中的人目标和车目标进行检测后，如果检测到人目标和车目标，那么每个目标都会有一个检测框，基于此，根据车目标在多个连续的关键帧中(如2个连续的关键帧)的检测框信息(表征检测框在关键帧中的位置)，计算车目标在多个连续的关键帧中的移动距离，若移动距离大于等于阈值，则车目标正在移动。
25.以2个连续的关键帧为例，可以按照车辆在仓储作业场所内以正常作业移动速度在2秒中移动的距离作为阈值。
26.车在移动状态下，若任意后续连续2帧的车目标框的中心点不变化，则此时修改车的运动状态为静止状态，静止状态后，则不需要继续判断人车距离是否安全。
27.s104、计算多个连续的关键帧的最后一帧和后续帧中车目标与人目标的距离，若距离满足预设条件，则人车距离安全，反之，则人车距离不安全。
28.多目摄像头的一些参数可以用来计算视频画面中车目标与人目标的距离。但是对于单目摄像头则缺少这些参数，故无法计算单目摄像头的视频画面中车目标与人目标的距离，为了解决这个问题，仓储作业的场地预先进行了长宽度量，并设置了网格标记，如标记出网格的四个角点，此处以长宽为3米*3米的正方形格子进行分块，正方形的好处是可以减少后期计算复杂度，也可以使用长方形的格子。这样提取的关键帧就是网格化图片。
29.基于网格化的关键帧，可以利用人目标所在网格与车目标所在网格来判断人车距离是否安全，参见图2：
30.a、确定人目标所在网格以及车目标所在网格:
31.由于摄像头往往是倾斜朝下布置的，我们将人目标的下肢部分所在网格作为人目标所在网格，然后，确定车目标的四个角点(车目标检测框的四个角点)中与下肢部分距离最近的角点d
min
，最后，将角点d
min
所在网格作为车目标所在网格，这样来确定人目标所在网格以及车目标所在网格对于人车距离的判断更加准确。
32.在本实施例中，如图2所示，以人目标的下1/3处(人目标检测框的下1/3处)的中点d0代表人目标的下肢部分，当然，也可以以其它点来代表人目标的下肢部分。
33.b、若人目标所在网格与车目标所在网格相邻，则人车距离不安全，反之，则安全。
34.在实际场景中，虽然人目标所在网格与车目标所在网格相邻，但是，人目标或者车目标可能会在所在网格的边缘，因此，仅以所在网格相邻作为判断人车距离不安全的依据可能不准确，故当人目标所在网格与车目标所在网格相邻时，做进一步的判断：
35.a、计算下肢部分与距离最近的角点的像素距离d1。
36.在本实施例中，d1为d0与d
min
的像素距离。
37.b、若d1≤d2，则人车距离不安全，反之，则人车距离安全。
38.其中，若人目标所在网格与车目标所在网格为对角相邻，则d2取人目标所在网格的上下方向边长，若人目标所在网格与车目标所在网格为左右相邻，则d2取人目标所在网格的左右方向边长，若人目标所在网格与车目标所在网格为上下相邻，则d2取人目标所在网格的上下方向边长。
39.基于同一发明构思，本说明书实施例还提供一种电子设备，包括存储模块，存储模块包括由处理器加载并执行的指令，指令在被执行时使处理器执行本说明书上述一种仓储场景人车安全距离识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
40.其中，存储模块可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)和/或高速缓存存储单元，还可以进一步包括只读存储单元(rom)。
41.基于同一发明构思，本说明书实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现本说明书上述一种仓储场景人车安全距离识别方法部分中描述的根据本发明各种示例性实施方式的步骤。
42.计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。计算机可读存储介质的更具体示例包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
43.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
44.但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。