一种城市道路交通隔离栏损坏预警系统及其预警方法与流程

1.本发明涉及道路交通深度学习技术领域，具体涉及一种城市道路交通隔离栏损坏预警系统及其预警方法。


背景技术：

2.交通护栏是城市交通重要的基础设施之一，也是一个文明城市形象的展现。道路上安装隔离护栏，是通过纵向分离道路，增加行车和行人的安全性，可是实际中总会遇到防护栏损坏、丢失、被破坏、移位等情况，影响护栏的正常使用。
3.车辆撞击会导致护栏严重变形，部分变形的护栏甚至会侵占机动车道。隔离带护栏的坍塌和分离情况，会给来往的车辆带来极大的安全隐患，过往车辆不得不减速缓慢通过，引起交通阻塞。不仅如此，原来马路上的护栏脱落后，固定护栏的底座螺丝却留在路面上，电动车或自行车不小心撞上，很容易发生事故。
4.设置隔离护栏实际上是为了通行安全，但是由于城市的快速发展，传统人工排查方式已经无法保证，管理单位对整个城市的道路交通隔离栏状态实时掌握，隔离栏损坏后不能及时维护，不仅没有带来安全，还存在安全隐患。为了保障人民群众生命安全，保证道路畅通，本发明设计了一套基于机器视觉的城市道路交通隔离栏损坏预警系统，不再依赖人工排查，利用道路视频监控自动分析判别城市道路交通隔离栏状态，当存在异常时自动预警，有效提高城市道路交通隔离栏维护管理。


技术实现要素：

5.为了解决现有技术的不足，本技术提供了一种城市道路交通隔离栏损坏预警系统及其预警方法。
6.本发明的技术方案如下：
7.一种城市道路交通隔离栏损坏预警系统，包括区域标定模块、视频接入模块、图像分析模块及预警上传模块；
8.所述区域标定模块：负责记录用户标定的预警区域和标定图像；
9.所述视频接入模块：负责读取道路资源监控视频，并将视频流转为单帧视频图像；
10.所述图像分析模块：负责根据视频图像分析是否存在道路交通隔离栏损坏；
11.所述预警上传模块：根据图像分析模块的分析结果和视频接入模块的视频数据合成证据数据，并及时上传到上层服务器中。
12.所述的一种城市道路交通隔离栏损坏预警系统的检测方法，其特征在于，包括如下步骤：
13.1)通过区域标定模块进行人工标定，人工标定包括标定图像中隔离栏位置、高度、长度以及延伸方向；
14.2)通过视频接入模块将道路资源监控视频转码后接入系统，并将视频流转为单帧图像送到图像分析模块中；
15.3)通过图像分析模块分析是否存在道路交通隔离栏损坏；
16.4)通过预警上传模块将图像分析模块的分析结果和视频接入模块的视频数据合成证据数据，并及时上传到上层服务器中。
17.所述的一种城市道路交通隔离栏损坏预警系统的预警方法，其特征在于，所述步骤3)具体步骤如下：
18.3.1)构建包括若干交通隔离栏损坏图片的训练集，并利用训练集训练得到卷积神经网络对比模型；
19.3.2)构建基于差分图像法的目标跟踪器；
20.3.3)构建基于光流法的目标跟踪器；
21.3.4)根据目标所处不同的背景环境，将目标检测划分为静态背景下和动态背景下；
22.3.5)利用差分图像法进行运动目标检测与追踪，并通过卷积神经网络对比模型对检测结果进行分析，若检测结果小于给定阈值t，则判定该检测区域存在交通隔离栏完好，若检测结果大于给定阈值t进行下一步检测；
23.3.5)利用光流法进行运动目标检测与追踪，并通过卷积神经网络对比模型对检测结果进行分析，若检测结果小于给定阈值t，则判定该检测区域存在交通隔离栏完好，若检测结果大于给定阈值t再进行下一步检测；
24.3.6)获取图像时间轴，通过与预先构建的深度学习算法对所记录的对应时间轴图像投影特征进行对比；若检测结果小于给定阈值t，则判定该检测区域存在交通隔离栏完好，若检测结果大于给定阈值t，则判定该检测区域存在交通隔离栏损坏。
25.所述的一种城市道路交通隔离栏损坏预警系统的预警方法，其特征在于，所述步骤3.1)中构建的vgg
‑
16卷积神经网络模型，包括13层卷积层、5层池化层及3层全连接层。
26.本发明的有益效果是：
27.1)深度学习技术：使用深度学习技术，有效率高；可根据用户数据进行进一步训练，提高有效率。
28.2)解决抓拍问题：城市道路交通隔离栏损坏预警系统，可以利用现有道路资源监控视频，无需重新架设相机，系统利用人工智能技术，对视频中标定好的监控区域进行分析，通过前后对比检测是否属于存在交通隔离栏损坏，然后根据需要将交通隔离栏损坏的信息记录下来并上传到上层服务器。
29.3)强大的系统功能：采用人工智能技术对分析结果进行比对、验证，检测出交通隔离栏损坏区域的变化情况，然后根据需要将交通隔离栏损坏地点、时间等信息记录下来，同时输出到后端管理平台。
30.4)优异的产品兼容性：该产品采用国家标准化通信协议和视频解码算法，提高产品兼容性，可兼容国内所有主流视频抓拍系统和视频。
附图说明
31.图1本发明的网络结构示意图；
32.图2本发明的分析系统结构示意图；
33.图3本发明的现场部署示意图；
34.图4本发明的检测预警结果图。
具体实施方式
35.下面结合附图和实施例，对本发明进行进一步的说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不于限定本发明。
36.基于深机器视觉的城市道路交通隔离栏损坏预警系统，利用深度学习技术，对视频中所有道路交通隔离栏进行分析判断，然后根据系统分析结果比对出道路交通隔离栏的改变；解决了现有技术无法自动识别问题，实现了自动化、智能化的道路交通隔离栏损坏分析判断，可进行大范围区域的自动道路交通隔离栏状态检测。
37.如图1所示，为本发明的深度神经网络结构示意图，使用的是一种vgg16卷积神经网络模型，主要由13层卷积层(conv1
‑1‑
conv5
‑
3)、5层5层池化层(pool1－pool5)和3层全连接层(fc6－fc8)组成。vgg16相比于其它网络将一个大卷积核分成了2个或者3个小卷积核，一方面减少了网络的参数数量，如一个5
×
5卷积核拆成了两个3
×
3的卷积核，参数从25个降到了18个；另一方面多个卷积增加了网络的非线性程度。
38.采用开源深度学习框架caffe提取出图像描述符，描述符提取方式如下：卷积神经网络的每一层输出都由多个特征图组成，记为x＝{x(i，j)|1≤i≤m，i≤j≤n}，它是一个m
×
n
×
c的张量，其中m
×
n表示每个特征图的尺寸，c表示该层特征图的个数，x(i，j)表示在(i，j)位置，维度为c的矢量，对于某一层可以提取m
×
n个这样的矢量，便把这些矢量作为输入图像的描述符。再将结果输入最后的输出层；输出层将结果归一化到[0,1]的空间中，给出两张图像道路交通隔离栏损坏置信度。
[0039]
如图2所示，为本发明的分析系统结构示意图，主要包括区域标定模块、视频接入模块、图像分析模块和预警上传模块。
[0040]
区域标定模块主要负责记录用户标定的图像和图像中的检测和预警区域；
[0041]
视频接入模块由各摄像机厂家公开提供的sdk接入组件封装组成，取样并通过运放进行解转码，输入gpu图形分析模块进行分析，由取样软件进行故障功能判断处理，主要负责读取道路资源监控视频，并将视频流转为单帧视频图像送到图像分析模块之中；
[0042]
图像分析模块负责根据视频图像分析是否存在道路交通隔离栏损坏，其中包括以下步骤：
[0043]
1)模型构建：
[0044]
构建包括若干道路交通隔离栏损坏图片的训练集，利用训练集训练基于vgg
‑
16的卷积神经网络对比模型；
[0045]
2)视频序列中交通隔离栏的检测与追踪
[0046]
在视频监视技术中，目标检测是一个重要的要素，在视频监控系统中，目标检测发挥着关键性的作用，其在监控系统中，处于最底层的位置，对于其它高级应用在目标识别、目标跟踪等功能挥发提供了基础性的作用。需要对目标准确检测，从而开展后续工作，如果产生了错误和偏差，将会对后续工作造成影响。
[0047]
根据目标所处不同的背景环境，目标检测可以划分为静态背景下、动态背景下对运动目标的检测。在静态背景下，摄像机位置固定，检测跟踪视野中目标，图像具有背景，不会随时间而变化。在动态背景下，摄像机并不固定，随着时间的变化，视野也发生变化。主要
采用差分图像法光流法检测运动目标，其中，光流法根据运动物体运动信息为依据，差分图像法根据运动物体灰度变化为依据，将两种方法结合应用。
[0048]
在应用视觉系统中，采用差分图像检测运动目标，可能遇到固定背景下的图像差分，或是在一定时间间隔下的两幅连续图像差分。其中，固定背景下，差分法具有速度快、精度高等有点，对当前一副图像获取，差分后图像获取当前帧的运动物体，因而能够得到准确的位置。但自然景物环境可能发生变化，会对其造成影响。对此，将背景图像更新机制加入非受控环境应用，对参考帧需要不断更换，因而在背景灰度变化大、摄像头运动的情况下并不适用。连续图像差分法，对于运动物体较为敏感，只是对相对运动物体的检测。两幅图像时间间隔不长，光线变化对差分图像影响不大，因而可得到稳定有效的检测结果。
[0049]
3)交通隔离栏阴影检测(进一步提升跟踪准确率)
[0050]
在监控视频中，对交通隔离栏的检测和追中，不能忽略阴影的影响。阴影指的是障碍体完全或部分遮挡成像光线，进而形成的成像部分遮挡区域。和周围成像区域相比，阴影区域一般具有更小的灰度值。不过如果障碍体为透明，同时具有聚光性特点，则阴影区域可能形成更大的灰度值。随着数字图像处理技术的发展，人们在数字图像处理中，提出了更高的要求。其中数字图像阴影处理是一个重要的问题，而其处理同时具有优缺点。阴影形状通常是障碍体轮廓投影，因此可以通过阴影对障碍体形状位置确定。利用阴影，能够对成像光源大小、形状、强度、位置等加以确定。运用数字三维建模及ai技术，将物体模拟阴影适当加入，对于空间感、立体感的提升效果显著。但其同样具有一定的不足，在阴影的影响下，其模糊作用会极大影响图像明显特征，对图像匹配速度、精度产生影响。
[0051]
预警上传模块根据图像分析模块的分析结果和视频接入模块的视频数据合成证据数据，并及时上传到上层服务器中。
[0052]
如图3、4所示，本发明的现场部署示意图，视频监控部署在道路或高层建筑之上，监控范围为一块没有道路交通隔离栏损坏的区域，区域中的方框区域为用户标注的道路交通隔离栏检测及预警区域，视频数据经过网线传输到视频服务器，再由分析服务器从视频服务器取视频流进行视频分析。
[0053]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。