非机动车占用人行道检测方法、系统、设备及存储介质与流程

1.本技术涉及一种检测方法，尤其涉及非机动车占用人行道检测方法、系统、设备及存储介质，属于图像处理技术领域。


背景技术：

2.随着我国经济的快速发展以及人民生活水平的不断提高，道路上的机动车道逐渐占满了所有车道，部分城市鲜有非机动车道。即使在公共交通系统相对发达的深圳，我们也能常常看见非机动车在人行道上穿行。这导致了人行道上的行人行走时提心吊胆，安全性与舒适性较差；非机动车行驶困难，交通系统效率低下；甚至导致严重的交通事故发生，危及人民的生命安全，造成严重的经济财产损失。因此，如何在监控场景中准确识别出行驶非机动车占用人行道的违规行为变得尤为重要，这有助于及时将非机动车出现较多的路段反馈给有关部门，从而进行针对性的道路整治，进而提高城市的形象，提高人民出行的安全性与舒适性。
3.在传统的行驶非机动车占用人行道的检测工作中，通常是安排交警等专业人员进行定期的巡视检查，但是这种方法效率低下，消耗极大的人力和物力，同时检测效果不具备全面性。
4.还有一种方法是利用机器学习领域中的hog特征（histogram of oriented gradient，方向梯度直方图）与支持向量机（svm）来进行非机动车检测，以及利用光流法、背景差法等运动目标检测算法进行非机动车行驶状态的分析。该方法一方面需要在特征提取上耗费大量时间与精力，一方面在svm检测上精度也不够高。利用光流法等运动目标检测算法同样十分繁琐，对算法设计者考验较大，且该方法的识别效果较差。
5.因此，亟待一种可以解决传统人工检查费时费力、成本高的问题，还能实现对道路智能化、实时化的有效监控，同时给管理层提供了有效的决策依据的行驶中非机动车占用人行道的检测方法、系统、电子设备及存储介质。


技术实现要素：

6.在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
7.鉴于此，为解决现有技术中存在的检查费时费力、成本高的技术问题，本发明提供非机动车占用人行道检测方法、系统、设备及存储介质。
8.方案一： 非机动车占用人行道的检测系统，包括获取模块、检测模块、构建模块、分析模块和数据传输模块；所述获取模块、检测模块、构建模块、分析模块和数据传输模块依次连接；所述获取模块用于获取监控场景信息得到检测区域；所述检测模块用于获取非机动车和行人的目标框，并将非机动车和人进行匹配，获得最小邻接矩形目标框；所述构建
模块用于构建目标图像序列；所述分析模块用于分析非机动车的状态预测非机动车的行驶状态；所述数据传输模块用于对预测结果进行数据结构化处理，输出报文信息，将报文信息和目标图像序列中任意一张图片数据传输到云端。
9.方案二：非机动车占用人行道的检测方法，包括以下步骤：步骤一、获取监控下场景信息，基于场景信息获取检测区域；步骤二、基于检测区域，获取非机动车和行人的目标框，并将非机动车和人进行匹配，获得最小邻接矩形目标框；步骤三、基于步骤二所述的最小邻接矩阵与步骤一所述的检测区域的位置构建目标图像序列；步骤四、利用步骤三所述的目标图像序列对小邻接矩阵区域进行分析，得到非机动车的状态；步骤五、根据步骤四所述的非机动车状态预测非机动车行驶状态。
10.优选的，步骤一所述获取监控下场景信息，基于场景信息获取检测区域的具体方法是，包括以下步骤：步骤一一、接入摄像头采集的实时视频流信息；步骤一二、将原始视频解码成统一的rgb格式的单帧图片；步骤一三、对单帧图片进行颜色空间的转换和图像滤波去噪处理；步骤一四、通过语义分割算法对场景中的人行道进行识别以及像素级定位，然后根据分割结果生成能够将人行道区域完全框住的最小外接旋转矩阵，最小外接旋转矩阵即为检测区域；步骤一五、获得到检测区域后，生成唯一标号。
11.优选的，步骤二所述基于检测区域，获取非机动车和行人的目标框，并将非机动车和人进行匹配，获得最小邻接矩形目标框的具体方法是，包括以下步骤：步骤二一、对监控图像的每一帧利用基于深度学习的目标检测算法yolov3，获取非机动车的目标框，并获取非机动车目标框的中心点坐标，同时为非机动车目标框生成唯一标号；步骤二二、对监控图像的每一帧利用基于深度学习的目标检测算法yolov3，获取行人的目标框，并计算行人目标框的中心点坐标，同时为行人目标框生成唯一标号；步骤二三、对每个非机动车目标框，计算行人目标框的中心点与非机动车目标框的中心点的距离，并将距离为半径以非机动车目标框中心点为原点画圆；步骤二四、取半径小于设定阈值的行人目标框，所述行人目标框不多于3个；步骤二五、计算行人目标框与圆重合区域的面积占圆总面积的比例，取占比最大的行人目标框；若占比最大行人目标框的有多个，取其中圆半径最小的行人目标框；具体包括以下步骤：步骤二五一、建立新的参考系，以非机动车目标框中心点为原点，将监控区域的坐标投影到参考系中：步骤二五二、确定随机点的取值范围；步骤二五三、随机生成若干个点，统计其在矩形区域的个数，统计占比；步骤二六、用最小邻接矩形将步骤二五所述行人目标框与非机动车目标框框出，
形成最小邻接矩形目标框，计算小邻接矩形的中心点坐标；并为最小邻接矩形目标框、行人目标框和非机动车目标框生成唯一标号；步骤二七、用步骤二六所述最小邻接矩形目标框的中心点坐标与检测区域的坐标进行比较，判断最小邻接矩形目标框中心点是否在检测区域内，若否，则停止对最小邻接矩形目标框的跟踪，若是，则进行下一步骤。
12.优选的，步骤二所述将非机动车和人进行匹配时，若非机动车目标框无法匹配到行人目标框，则不对其做任何操作；若距离小于某一设定阈值的只有1个行人目标框，则直接对该行人目标框和非机动车目标框生成最小邻接矩形。
13.优选的，步骤三所述构建目标图像序列的具体方法是，依次提取每一帧目标监控图像中最小邻接矩形目标框的标号和每一帧目标监控图像的最小邻接矩形目标框，将这部分目标框缩放到相同尺寸，为待识别的非机动车和行人目标构建图像序列；若图像序列长度超过20帧，按时间次序随机抽取20帧。
14.优选的，步骤四所述得到非机动车的状态的具体方法是，包括以下步骤：步骤四一、在目标图像序列中选取一个固定点作为参考点，固定点的选取是检测区域边缘某一角处；步骤四二、计算目标图像序列每一帧的固定点到步骤二六所述最小邻接矩形目标框中点的向量，再计算斜率，将目标图像序列对应的斜率按顺序存储为一数组；步骤四三、 根据斜率大小趋势以及变化大小，判断非机动车的状态，具体包括：（1）若斜率数组的极差小于某一设定阈值，则非机动车处于非运动状态，判断非机动车不处于行驶状态；（2）若斜率数组的极差大于某一设定阈值，则非机动车处于运动状态，判断非机动车处于行驶状态；对该数组相邻的斜率求差，第i 1帧对应斜率-第i帧对应斜率，依该差值，按顺序形成新的差值数组；（3）若第i个差值小于0，则从第i帧到i 1帧非机动车是向固定点所在的区域行驶，否则是驶离固定点所在的区域。
15.优选的，步骤五所述预测非机动车行驶状态的具体方法是，包括以下步骤：步骤五一、将目标图像序列输入cnn特征提取网络，对目标图像序列中的每一帧图像进行特征提取，每一帧目标监控图像共享同一个cnn网路；步骤五二、将每一帧图像的空间特征变形成lstm时序建模网络可接受的数据形式；其中每个lstm单元接受一帧cnn网络输出的空间特征作为输入，同时上一个lstm单元的输出，经过内部处理后，输出一组细胞状态，一次构建非机动车特征在时序上的关联；步骤五三、将每一个lstm输出的细胞状态进行拼接后，输入到全连接fc行驶状态分析网络中确定最终状态；其中fc行驶状态分析网络输出层有两个神经元，分别代表推行和骑行，如果代表骑行的神经元激活并且分数高于设定的阈值t，则输出结果为骑行，否则输出推行；步骤五四、当骑行的帧数超过预设的帧数阈值时，则非机动车处于骑行状态；当推行的帧数超过预设的帧数阈值时，则非机动车处于推行状态。
16.方案三：一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现非机动车占用人行道的检测方法的步骤。
17.方案四：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现非机动车占用人行道的检测方法。
18.本发明的有益效果如下：本发明能够有效地判断行驶非机动车占用人行道的情况，解决了传统人工检查费时费力、成本高的问题，实现对道路智能化、实时化的有效监控，同时给管理层提供了有效的决策依据。
附图说明
19.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为系统结构示意图；图2为方法流程示意图；图3为非机动车目标框和行人目标框未重合示意图；图4为非机动车目标框和行人目标框重合示意图；图5为最小邻接矩形目标框示意图；图6为建立有坐标系的固定点示意图。
具体实施方式
20.为了使本技术实施例中的技术方案及优点更加清楚明白，以下结合附图对本技术的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本技术的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
21.实施例1、参照图1说明本实施方式，非机动车占用人行道的检测系统，包括获取模块、检测模块、构建模块、分析模块和数据传输模块；所述获取模块、检测模块、构建模块、分析模块和数据传输模块依次连接；所述获取模块用于获取监控场景信息得到检测区域；所述检测模块用于获取非机动车和行人的目标框，并将非机动车和人进行匹配，获得最小邻接矩形目标框；所述构建模块用于构建目标图像序列；所述分析模块用于分析非机动车的状态预测非机动车的行驶状态；所述数据传输模块用于对预测结果进行数据结构化处理，输出报文信息，将报文信息和目标图像序列中任意一张图片数据传输到云端。
22.具体的，若输出结果为“骑行”，形成报文信息。该报文信息应当至少包括，日期与具体时间、该非机动车目标的序号、边缘计算网关设备的编码、位置信息。
23.通过https的post功能将报文数据和图片数据发送到云端，此处将边缘计算网关作为https的客户端负责发送数据，云端作为https服务器负责接收和存储信息。如果边缘计算网关发送失败，会采用缓存机制，将发送失败的数据保存在本地，在其他时间进行重新发送。
24.实施例2、参照图2-6说明本实施方式，非机动车占用人行道的检测方法，包括以下步骤：步骤一、获取监控下场景信息，基于场景信息获取检测区域；包括以下步骤：步骤一一、接入摄像头采集的实时视频流信息；具体的，使用rj45以太网网线将摄像头和边缘计算网关的网络接口进行连接，边缘计算网关在自身系统软件内部，通过rtsp
视频流地址的方式接入摄像头采集的实时视频流信息。
25.步骤一二、将原始视频解码成统一的rgb格式的单帧图片；改善图片，方便获取检测区域以及后续模块的进一步处理。
26.步骤一三、对单帧图片进行颜色空间的转换和图像滤波去噪处理；步骤一四、通过语义分割算法对场景中的人行道进行识别以及像素级定位，然后根据分割结果生成能够将人行道区域完全框住的最小外接旋转矩阵，最小外接旋转矩阵即为检测区域；步骤一五、获得到检测区域后，生成唯一标号。
27.具体的对于检测区域可以手动选择，也可以使用算法自适应检测分析确定；对于算法自适应检测分析，可以通过语义分割算法对场景中的人行道进行识别以及像素级定位，然后根据分割结果生成一个能够将人行道区域完全框住的最小外接旋转矩阵，即人行道的识别框，以此作为检测区域即可。由于摄像头一般都是固定的，人行道的位置也难以改变，所以检测区域的确定可以仅在监控的一开始进行即可，后续可以一直沿用这一检测区域。
28.步骤二、基于检测区域，获取非机动车和行人的目标框，并将非机动车和人进行匹配，获得最小邻接矩形目标框；包括以下步骤：步骤二一、对监控图像的每一帧利用基于深度学习的目标检测算法yolov3，获取非机动车的目标框，并获取非机动车目标框的中心点坐标，同时为非机动车目标框生成唯一标号；步骤二二、对监控图像的每一帧利用基于深度学习的目标检测算法yolov3，获取行人的目标框，并计算行人目标框的中心点坐标，同时为行人目标框生成唯一标号；步骤二三、对每个非机动车目标框，计算行人目标框的中心点与非机动车目标框的中心点的距离，并将距离为半径以非机动车目标框中心点为原点画圆；步骤二四、取半径小于设定阈值的行人目标框，所述行人目标框不多于3个；步骤二五、计算行人目标框与圆重合区域的面积占圆总面积的比例，取占比最大的行人目标框；若占比最大行人目标框的有多个，取其中圆半径最小的行人目标框；具体包括以下步骤：步骤二五一、建立新的参考系，以非机动车目标框中心点为原点，将监控区域的坐标投影到参考系中：步骤二五二、确定随机点的取值范围；步骤二五三、随机生成若干个点，统计其在矩形区域的个数，统计占比；步骤二六、用最小邻接矩形将步骤二五所述行人目标框与非机动车目标框框出，形成最小邻接矩形目标框，计算小邻接矩形的中心点坐标；并为最小邻接矩形目标框、行人目标框和非机动车目标框生成唯一标号；步骤二七、用步骤二六所述最小邻接矩形目标框的中心点坐标与检测区域的坐标进行比较，判断最小邻接矩形目标框中心点是否在检测区域内，若否，则停止对最小邻接矩形目标框的跟踪，若是，则进行下一步骤。
29.具体的，将非机动车和人进行匹配时，若非机动车目标框无法匹配到行人目标框，则不对其做任何操作；若距离小于某一设定阈值的只有1个行人目标框，则直接对该行人目
标框和非机动车目标框生成最小邻接矩形。
30.具体的，使用目标跟踪算法对连续帧目标检测图像中的同一邻接矩形进行关联，并给每个邻接矩形分配唯一的目标序号，直至该邻接矩形目标框消失或该邻接矩形离开检测区域。
31.具体的，同一邻接矩形的定义是：若有两个邻接矩形的标号一致，则认为是同一邻接矩形。
32.具体的，假若非机动车重新进入该检测区域，应当分配一个新的目标序号。其中目标序号可以由8位或以上的数字或字母随机组合而成，同时至少保证当日内每个新的目标序号都是唯一的。
33.具体的，最小邻接矩形能够反映两者所占空间区域的最大范围，其对目标框的微小变化鲁棒性更强；其中心点也能体现两者的相对中心位置，用其作为依据判断两者是否在检测区域是最合理的。
34.步骤三、基于步骤二所述的最小邻接矩阵与步骤一所述的检测区域的位置构建目标图像序列，具体方法是：依次提取每一帧目标监控图像中最小邻接矩形目标框的标号和每一帧目标监控图像的最小邻接矩形目标框，将这部分目标框缩放到相同尺寸，为待识别的非机动车和行人目标构建图像序列；若图像序列长度超过20帧，按时间次序随机抽取20帧。
35.步骤四、利用步骤三所述的目标图像序列对小邻接矩阵区域进行分析，得到非机动车的状态，具体方法是，包括以下步骤：步骤四一、摄像头是固定的，因此在目标图像序列中选取一个固定点作为参考点，固定点的选取是检测区域边缘某一角处；参照图6，本实施例选取了检测框在左上角，为原点建立新的坐标系。
36.步骤四二、计算目标图像序列每一帧的固定点到步骤二六所述最小邻接矩形目标框中点的向量，再计算斜率，将目标图像序列对应的斜率按顺序存储为一数组；若斜率恰好为无穷大时，令其认为一特大值。
37.步骤四三、 根据斜率大小趋势以及变化大小，判断非机动车的状态，具体包括：（1）若斜率数组的极差小于某一设定阈值，则非机动车处于非运动状态，判断非机动车不处于行驶状态；（2）若斜率数组的极差大于某一设定阈值，则非机动车处于运动状态，判断非机动车处于行驶状态；对该数组相邻的斜率求差，第i 1帧对应斜率-第i帧对应斜率，依该差值，按顺序形成新的差值数组；（3）若第i个差值小于0，则从第i帧到i 1帧非机动车是向固定点所在的区域行驶，否则是驶离固定点所在的区域。
38.结合图6说明，从第i帧到第ii帧再到第iii帧，最小邻接矩形目标框的中心点在图中已标明，并以虚线箭头表明移动方向。计算原点到上述中心点的向量与斜率。判断第i 1帧对应斜率
ꢀ‑ꢀ
第i帧对应斜率的差值。显然在此图中斜率逐渐减小，因此该差值为负值，故认为是向固定点所在区域移动，其与实际运动方向一致。
39.利用斜率进行判断能够放大目标框中心点的偏离情况，从而更好地判断运动情况。同时选取检测区域某一角作为原点有助于避免中心点发生偏移但斜率几乎不变的情
况。
40.步骤五、根据步骤四所述的非机动车状态预测非机动车行驶状态；具体的，非机动车的行驶状态是一种时间上连续的行为，为了同时获取时间和空间上的特征，并输出准确的分类结果，将上述目标序列输入预设的cnn-lstm神经网络进行分析。具体方法是，包括以下步骤：步骤五一、将目标图像序列输入cnn特征提取网络，对目标图像序列中的每一帧图像进行特征提取，每一帧目标监控图像共享同一个cnn网路；步骤五二、将每一帧图像的空间特征变形成lstm时序建模网络可接受的数据形式；其中每个lstm单元接受一帧cnn网络输出的空间特征作为输入，同时上一个lstm单元的输出，经过内部处理后，输出一组细胞状态，一次构建非机动车特征在时序上的关联；具体的，lstm单元为lstm神经网络中的神经单元。
41.步骤五三、将每一个lstm输出的细胞状态进行拼接后，输入到全连接fc行驶状态分析网络中确定最终状态；其中fc行驶状态分析网络输出层有两个神经元，分别代表推行和骑行，如果代表骑行的神经元激活并且分数高于设定的阈值t，则输出结果为骑行，否则输出推行；步骤五四、当骑行的帧数超过预设的帧数阈值时，则非机动车处于骑行状态；当推行的帧数超过预设的帧数阈值时，则非机动车处于推行状态。
42.本发明的计算机装置可以是包括有处理器以及存储器等装置，例如包含中央处理器的单片机等。并且，处理器用于执行存储器中存储的计算机程序时实现上述的基于creo软件的可修改由关系驱动的推荐数据的推荐方法的步骤。
43.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
44.所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
45.计算机可读存储介质实施例本发明的计算机可读存储介质可以是被计算机装置的处理器所读取的任何形式的存储介质，包括但不限于非易失性存储器、易失性存储器、铁电存储器等，计算机可读存储介质上存储有计算机程序，当计算机装置的处理器读取并执行存储器中所存储的计算机程序时，可以实现上述的基于creo软件的可修改由关系驱动的建模数据的建模方法的步骤。
46.所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、
对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
47.尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。