基于无人机的车辆违停识别方法及系统与流程

1.本发明涉及无人机城市治理技术领域，具体地说是一种基于无人机的车辆违停识别方法及系统。


背景技术：

2.在目前城市道路旁、停车场或园区内，车辆违停主要是靠交警流动巡查、管理人员巡查或定点摄像头，这些违停识别方法只适合特定场景，另外也占用人员精力亦或是监控方法、模式单一等缺点，无法覆盖无监控区域或人员不能高频次巡查的地方。
3.故如何高效地针对任一区域进行巡查，对指定区域进行车辆违停识别，提高违停识别的实时性和效率是目前亟待解决的技术问题。


技术实现要素：

4.本发明的技术任务是提供一种基于无人机的车辆违停识别方法及系统，来解决如何高效地针对任一区域进行巡查，对指定区域进行车辆违停识别，提高违停识别的实时性和效率的问题。
5.本发明的技术任务是按以下方式实现的，一种基于无人机的车辆违停识别方法，该方法是将无人机、遥控器、城市低空智能感知平台以及城市运行管理平台通过5g网络建立连接，无人机按照预定航线进行飞行，并将实时视频流通过5g网络传输到城市低空智能感知平台，城市低空智能感知平台将实时视频流通过车辆违停识别算法进行车辆识别；识别到车辆后，城市低空智能感知平台通知无人机原地连续拍摄若干张车辆照片，根据车辆照片分析车辆是否为静止；当车辆为静止时，通过遥控器控制无人机拉近镜头进行再次拍摄车辆照片，根据车辆照片获取车辆信息，并将车辆信息通过接口推送至城市运行管理平台。
6.作为优选，该方法具体如下：
7.无人机将视频流传输至城市低空智能感知平台的流媒体服务器中；
8.通过车辆违停识别算法对视频流文件进行识别，并判断车辆是否静止：
9.若车辆静止，则通过无人机的h20t激光测距功能获取车辆经度及纬度信息；
10.城市低空智能感知平台根据车辆的经度和纬度信息查询并获取该位置信息是否属于禁停区：
11.若是，则城市低空智能感知平台向无人机发送拉近镜头拍摄车辆照片的指令；
12.无人机将拍摄的车辆照片传输到城市低空智能感知平台，并通过车辆违停识别算法识别车辆信息；
13.将违章车辆信息通过api推送至城市运营管理平台。
14.更优地，通过车辆违停识别算法对视频流文件进行识别具体如下：
15.通过车辆违停识别算法解码视频流并利用opencv库对视频流逐帧预处理，得到图像矩阵；
16.将图像矩阵输入到训练好的yolov5s神经网络；
17.yolov5s神经网络得到车辆在图像中的坐标数据；
18.通过opencv库将车辆在图像中的坐标数据进行标注，得到带目标框的车辆图像；
19.利用deepsort方法对监测到的车辆进行追踪判断，进而确定车辆是否静止。
20.更优地，通过车辆违停识别算法识别车辆信息具体如下：
21.通过车辆违停识别算法对车辆照片进行预处理，得到预处理车辆图片；
22.将预处理后的车辆图片输入训练好的yolov5s神经网络，yolov5s神经网络输出车牌位置；
23.根据车牌位置从车辆图片上截取车牌图片；
24.利用ocr技术对车牌图片上的文字信息进行识别，获取车辆信息，并将车辆信息保存至数据库。
25.更优地，车辆信息包括车辆图片、车牌号图片及车辆位置信息。
26.更优地，通过车辆违停识别算法对车辆照片进行预处理的方式包括letterbox及resize。
27.一种基于无人机的车辆违停识别统，该系统包括，
28.无人机，用于按照预定航线进行飞行，并拍摄实时视频流及车辆照片；
29.遥控器，用于通过大疆私有通信协议控制无人机；
30.城市低空智能感知平台，用于通过视频流追踪车辆，进而判断车辆是否静止，并根据车辆照片视频车辆信息；
31.城市运行管理平台，用于接收违章车辆信息。
32.作为优选，所述城市低空智能感知平台包括视频流识别单元和车辆照片识别单元；
33.视频流识别单元用于识别视频流中的车辆；
34.车辆照片识别单元用于识别车辆照片中的车辆图片、车牌号图片及车辆位置信息。
35.其中，视频流识别单元包括，
36.预处理模块一，用于通过车辆违停识别算法解码视频流并利用opencv库对视频流逐帧预处理，得到图像矩阵；
37.输入模块一，用于将图像矩阵输入到训练好的yolov5s神经网络；
38.坐标获取模块，用于通过yolov5s神经网络得到车辆在图像中的坐标数据；
39.标注模块，用于通过opencv库将车辆在图像中的坐标数据进行标注，得到带目标框的车辆图像；
40.追踪模块，用于利用deepsort方法对监测到的车辆进行追踪判断，进而确定车辆是否静止；
41.车辆照片识别单元包括，
42.预处理模块二，用于通过车辆违停识别算法对车辆照片进行预处理，得到预处理车辆图片；
43.输入模块二，用于将预处理后的车辆图片输入训练好的yolov5s神经网络；
44.车牌位置获取模块，用于通过yolov5s神经网络输出车牌位置；
45.截取模块，用于根据车牌位置从车辆图片上截取车牌图片；
46.识别模块，用于利用ocr技术对车牌图片上的文字信息进行识别，获取车辆信息，并将车辆信息保存至数据库。
47.一种电子设备，包括：存储器和至少一个处理器；
48.其中，所述存储器上存储有计算机程序；
49.所述至少一个处理器执行所述存储器存储的计算机程序，使得所述至少一个处理器执行如上述的基于无人机的车辆违停识别方法。
50.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序可被处理器执行以实现如上述的基于无人机的车辆违停识别方法。
51.本发明的基于无人机的车辆违停识别方法及系统具有以下优点：
52.(一)本发明相对人工巡查和道路固定监控设施相比，具有灵活、多视角的优越性，使用无人机进行车辆违停现象排查后，通过人工智能算法，能够快速地识别出车牌号，进而推送至城市运行平台，有效降低了违停现象的发生，提高了城市治理效率，提升了城市整体形象；
53.(二)本发明采用无人机，具有空中视角和空中巡查的优势，可以高效地针对某一区域进行巡查，代替人员或定点监控对指定区域进行车辆违停情况的识别，提高违停识别的实时性和效率。
附图说明
54.下面结合附图对本发明进一步说明。
55.附图1为基于无人机的车辆违停识别方法的流程；
56.附图2为通过车辆违停识别算法对视频流文件进行识别的流程框图；
57.附图3为通过车辆违停识别算法识别车辆信息的流程框图。
具体实施方式
58.参照说明书附图和具体实施例对本发明的基于无人机的车辆违停识别方法及系统作以下详细地说明。
59.实施例1
60.如附图1所示，本实施例提供了一种基于无人机的车辆违停识别方法，该方法是将无人机、遥控器、城市低空智能感知平台以及城市运行管理平台通过5g网络建立连接，无人机按照预定航线进行飞行，并将实时视频流通过5g网络传输到城市低空智能感知平台，城市低空智能感知平台将实时视频流通过车辆违停识别算法进行车辆识别；识别到车辆后，城市低空智能感知平台通知无人机原地连续拍摄若干张车辆照片，根据车辆照片分析车辆是否为静止；当车辆为静止时，通过遥控器控制无人机拉近镜头进行再次拍摄车辆照片，根据车辆照片获取车辆信息，并将车辆信息通过接口推送至城市运行管理平台；具体如下：
61.s1、将视频流传输至城市低空智能感知平台的流媒体服务器中；
62.s2、通过车辆违停识别算法对视频流文件进行识别，并判断车辆是否静止：
63.若车辆静止，则执行步骤s3；
64.s3、通过无人机的h20t激光测距功能获取车辆经度及纬度信息；
65.s4、城市低空智能感知平台根据车辆的经度和纬度信息查询并获取该位置信息是否属于禁停区：
66.若是，则执行步骤s5；
67.s5、城市低空智能感知平台向无人机发送拉近镜头拍摄车辆照片的指令；
68.s6、无人机将拍摄的车辆照片传输到城市低空智能感知平台，并通过车辆违停识别算法识别车辆信息；
69.s7、将违章车辆信息通过api推送至城市运营管理平台。
70.如附图2所示，本实施例中步骤s2中通过车辆违停识别算法对视频流文件进行识别具体如下：
71.s201、通过车辆违停识别算法解码视频流并利用opencv库对视频流逐帧预处理，得到图像矩阵；
72.s202、将图像矩阵输入到训练好的yolov5s神经网络；
73.s203、yolov5s神经网络得到车辆在图像中的坐标数据；
74.s204、通过opencv库将车辆在图像中的坐标数据进行标注，得到带目标框的车辆图像；
75.s205、利用deepsort方法对监测到的车辆进行追踪判断，进而确定车辆是否静止。
76.如附图3所示，本实施例步骤s6中的通过车辆违停识别算法识别车辆信息具体如下：
77.s601、通过车辆违停识别算法对车辆照片进行预处理，得到预处理车辆图片；
78.s602、将预处理后的车辆图片输入训练好的yolov5s神经网络，yolov5s神经网络输出车牌位置；
79.s603、根据车牌位置从车辆图片上截取车牌图片；
80.s604、利用ocr技术对车牌图片上的文字信息进行识别，获取车辆信息，并将车辆信息保存至数据库。
81.本实施例中的车辆信息包括车辆图片、车牌号图片及车辆位置信息。
82.本实施例步骤s601中的通过车辆违停识别算法对车辆照片进行预处理的方式包括letterbox及resize。
83.实施例2：
84.本实施例提供了一种基于无人机的车辆违停识别统，该系统包括，
85.无人机，用于按照预定航线进行飞行，并拍摄实时视频流及车辆照片；
86.遥控器，用于通过大疆私有通信协议控制无人机；
87.城市低空智能感知平台，用于通过视频流追踪车辆，进而判断车辆是否静止，并根据车辆照片视频车辆信息；
88.城市运行管理平台，用于接收违章车辆信息。
89.本实施例中的城市低空智能感知平台包括视频流识别单元和车辆照片识别单元；
90.视频流识别单元用于识别视频流中的车辆；
91.车辆照片识别单元用于识别车辆照片中的车辆图片、车牌号图片及车辆位置信息。
92.其中，视频流识别单元包括，
93.预处理模块一，用于通过车辆违停识别算法解码视频流并利用opencv库对视频流逐帧预处理，得到图像矩阵；
94.输入模块一，用于将图像矩阵输入到训练好的yolov5s神经网络；
95.坐标获取模块，用于通过yolov5s神经网络得到车辆在图像中的坐标数据；
96.标注模块，用于通过opencv库将车辆在图像中的坐标数据进行标注，得到带目标框的车辆图像；
97.追踪模块，用于利用deepsort方法对监测到的车辆进行追踪判断，进而确定车辆是否静止；
98.车辆照片识别单元包括，
99.预处理模块二，用于通过车辆违停识别算法对车辆照片进行预处理，得到预处理车辆图片；
100.输入模块二，用于将预处理后的车辆图片输入训练好的yolov5s神经网络；
101.车牌位置获取模块，用于通过yolov5s神经网络输出车牌位置；
102.截取模块，用于根据车牌位置从车辆图片上截取车牌图片；
103.识别模块，用于利用ocr技术对车牌图片上的文字信息进行识别，获取车辆信息，并将车辆信息保存至数据库。
104.实施例3
105.本发明实施例还提供了一种电子设备，包括：存储器和处理器；
106.其中，存储器存储计算机执行指令；
107.处理器执行所述存储器存储的计算机执行指令，使得处理器执行本发明任一实施例中的基于无人机的车辆违停识别方法。
108.处理器可以是中央处理单元(cpu)，还可以是其他通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通过处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
109.存储器可用于储存计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器还可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，只能存储卡(smc)，安全数字(sd)卡，闪存卡、至少一个磁盘存储期间、闪存器件、或其他易失性固态存储器件。
110.实施例4
111.本发明实施例还提供了一种计算机可读存储介质，其中存储有多条指令，指令由处理器加载，使处理器执行本发明任一实施例中的基于无人机的车辆违停识别方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。
112.在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实
施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
113.用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-rym、dvd-rw、dvd rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上下载程序代码。
114.此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
115.此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
116.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。