一种路侧停车的管理方法及装置与流程

1.本发明涉及智能停车管理技术领域，尤其涉及一种路侧停车的管理方法及装置。


背景技术：

2.基于高位视频的停车管理已成为近年来智慧城市建设和发展中的重要课题，该停车管理方式首先通过摄像机对车辆和停车位信息进行图像视频采集，随后再通过计算机视觉技术对车辆信息和车辆行为进行分析与理解，从而实现对路侧停车进行监控与管理。但是，现有技术中的高位视频技术，易受复杂场景、天气、物体遮挡等因素的影响，从而使准确率无法达到场景的应用需求；另一方面，近年来随着深度学习的发展，基于卷积神经网络的深度学习在图像识别、图像检测和图像分割等领域都取得了显著成就，但是，现有技术的深度学习检测车辆的方式中，往往通过对车辆标注检测框来进行检测，若视频采集到的图像中背景较为复杂时，通常无法识别到精确的图像信息，从而影响后续车辆识别或车辆行为分析等结果的准确度。
3.因此，急需一种能够高效、精确地检测泊位车辆，同时管理成本较低的路侧停车管理方法。


技术实现要素：

4.本发明实施例提供一种路侧停车的管理方法及装置，实现了精确、高效地识别车辆的出入场事件。
5.一方面，本发明实施例提供了一种路侧停车的管理方法，包括：
6.获取多个摄像机采集的视频图像信息，确定各视频帧中的泊位区域检测框；
7.检测各视频帧中是否存在车辆，若存在，确定所述泊位区域检测框的坐标信息，通过多层卷积神经网络对各图像帧进行车辆特征提取，得到所述车辆的第一特征表示向量；
8.通过多层卷积神经网络，对所述第一特征表示向量进行特征融合，得到第二特征表示向量，并根据所述第二特征表示向量，计算每一帧图像中所述车辆的运动矢量方向和运动距离大小；
9.根据所述泊位区域检测框的坐标信息，分析预定时长内所述车辆的运动矢量方向和运动距离大小，得到分析结果，并根据分析结果确定所述车辆的停车事件。
10.进一步地，所述获取多个摄像机采集的视频图像信息，确定各视频帧中的泊位区域检测框，包括：
11.确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标；
12.根据所述坐标，确定各个摄像机视频采集视频帧图像中的泊位区域检测框。
13.进一步地，所述检测各视频帧中是否存在车辆，若存在，确定所述泊位区域检测框的坐标信息，包括：
14.通过预定目标检测算法检测所述图像帧中是否存在车辆；
15.若存在，确定所述泊位区域检测框各顶点的像素坐标信息。
16.进一步地，所述通过多层卷积神经网络对各图像帧进行车辆特征提取，得到所述车辆的第一特征表示向量，包括：
17.根据所述泊位区域检测框各顶点的像素坐标信息，将所述图像帧输入至多层卷积神经网络；
18.通过多个卷积层的编码运算，提取得到所述车辆在所述多个卷积层中的高层第一特征表示向量和低层第一特征表示向量。
19.进一步地，所述通过多层卷积神经网络，对所述第一特征表示向量进行特征融合，得到第二特征表示向量，包括：
20.通过所述多层卷积神经网络的转换层，将提取得到的所述高层第一特征表示向量和所述低层第一特征表示向量进行堆积，得到堆积后的特征表示向量图；
21.将所述堆积后的特征表示向量图进行融合，得到第二特征表示向量。
22.进一步地，所述根据所述第二特征表示向量，计算每一帧图像中所述车辆的运动矢量方向和运动距离大小，包括：
23.根据所述第二特征表示向量，通过稠密光流计算计算每一帧图像中所述车辆的运动矢量方向和运动距离大小。
24.进一步地，所述根据所述泊位区域检测框的坐标信息，分析预定时长内所述车辆的运动矢量方向和运动距离大小，得到分析结果，并根据分析结果确定所述车辆的停车事件，包括：
25.根据所述泊位区域检测框的坐标信息，在各视频图像的任一视频帧图像的二维坐标系中，分别确定预定时长内所述车辆的运动矢量方向指向泊位区域内和指向泊位区域外的视频帧的数量与在预定时长内的总视频帧数的比例；
26.若预定时长内所述车辆的运动矢量方向指向泊位区域内的视频帧的数量与在预定时长内的总视频帧数的比例大于预定阈值，确定所述车辆发生入场事件；
27.若预定时长内所述车辆的运动矢量方向指向泊位区域外的视频帧的数量与在预定时长内的总视频帧数的比例大于预定阈值，确定所述车辆发生出场事件。
28.另一方面，本发明实施例提供了一种路侧停车的管理装置，包括：
29.获取及确定模块，用于获取多个摄像机采集的视频图像信息，确定各视频帧中的泊位区域检测框；
30.提取模块，用于检测各视频帧中是否存在车辆，若存在，确定所述泊位区域检测框的坐标信息，通过多层卷积神经网络对各图像帧进行车辆特征提取，得到所述车辆的第一特征表示向量；
31.特征融合及计算模块，用于通过多层卷积神经网络，对所述第一特征表示向量进行特征融合，得到第二特征表示向量，并根据所述第二特征表示向量，计算每一帧图像中所述车辆的运动矢量方向和运动距离大小；
32.分析及确定模块，用于根据所述泊位区域检测框的坐标信息，分析预定时长内所述车辆的运动矢量方向和运动距离大小，得到分析结果，并根据分析结果确定所述车辆的停车事件。
33.进一步地，所述获取及确定模块，具体用于
34.确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标；
35.根据所述坐标，确定各个摄像机视频采集视频帧图像中的泊位区域检测框。
36.进一步地，所述提取模块，包括：
37.检测单元，用于通过预定目标检测算法检测所述图像帧中是否存在车辆；
38.确定单元，用于若存在，确定所述泊位区域检测框各顶点的像素坐标信息。
39.进一步地，所述提取模块，包括：
40.输入单元，用于根据所述泊位区域检测框各顶点的像素坐标信息，将所述图像帧输入至多层卷积神经网络；
41.提取单元，用于通过多个卷积层的编码运算，提取得到所述车辆在所述多个卷积层中的高层第一特征表示向量和低层第一特征表示向量。
42.进一步地，所述特征融合及计算模块，包括：
43.堆积单元，用于通过所述多层卷积神经网络的转换层，将提取得到的所述高层第一特征表示向量和所述低层第一特征表示向量进行堆积，得到堆积后的特征表示向量图；
44.融合单元，用于将所述堆积后的特征表示向量图进行融合，得到第二特征表示向量。
45.进一步地，所述特征融合及计算模块，包括：
46.计算单元，用于根据所述第二特征表示向量，通过稠密光流计算计算每一帧图像中所述车辆的运动矢量方向和运动距离大小。
47.进一步地，所述分析及确定模块，具体用于
48.根据所述泊位区域检测框的坐标信息，在各视频图像的任一视频帧图像的二维坐标系中，分别确定预定时长内所述车辆的运动矢量方向指向泊位区域内和指向泊位区域外的视频帧的数量与在预定时长内的总视频帧数的比例；
49.若预定时长内所述车辆的运动矢量方向指向泊位区域内的视频帧的数量与在预定时长内的总视频帧数的比例大于预定阈值，确定所述车辆发生入场事件；
50.若预定时长内所述车辆的运动矢量方向指向泊位区域外的视频帧的数量与在预定时长内的总视频帧数的比例大于预定阈值，确定所述车辆发生出场事件。
51.上述技术方案具有如下有益效果：通过本发明，通过卷积神经网络，对提取到的车辆特征进行融合，能够扩充特征的数据量，同时能够极大地提高小目标检测的精确度，避免了因采集图像的背景较为复杂时等原因而无法获取车辆的部分特征而导致检测结果存在错误的情况；通过精确地确定每一帧图像的运动矢量方向和运动矢量距离，能够极大地提高识别泊位区域内车辆出场/入场事件的精确率，同时，能够极大地减低计算量，极大地提高了识别的效率，进一步地，提高了停车管理的效率。
附图说明
52.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1为本发明实施例中一种路侧停车的管理方法流程图；
54.图2为本发明一实施例中一种路侧停车的管理装置结构示意图。
具体实施方式
55.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.本发明实施例上述技术方案具有如下有益效果：通过本发明，通过卷积神经网络，对提取到的车辆特征进行融合，能够扩充特征的数据量，同时能够极大地提高小目标检测的精确度，避免了因采集图像的背景较为复杂时等原因而无法获取车辆的部分特征而导致检测结果存在错误的情况；通过精确地确定每一帧图像的运动矢量方向和运动矢量距离，能够极大地提高识别泊位区域内车辆出场/入场事件的精确率，同时，能够极大地减低计算量，极大地提高了识别的效率，进一步地，提高了停车管理的效率。
57.以下结合应用实例对本发明实施例上述技术方案进行详细说明：
58.本发明应用实例旨在精确、高效地识别车辆的出入场事件。
59.在一可能的实现方式中，在路侧停车管理系统中，通过多个视频采集设备获取预定监控范围内的视频图像，随后，获取多个摄像机采集的视频图像信息，确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标；根据该坐标信息，确定各个摄像机视频采集视频帧图像中的泊位区域检测框，如泊位区域检测框a，随后，通过预定目标检测算法检测所述图像帧中是否存在车辆，若存在，如存在车辆c，确定泊位区域检测框a各顶点的像素坐标信息，通过多层卷积神经网络对各图像帧进行车辆特征提取，得到车辆c的第一特征表示向量；通过多层卷积神经网络，对该第一特征表示向量进行特征融合，得到第二特征表示向量，并根据该第二特征表示向量，计算每一帧图像中车辆c的运动矢量方向和运动距离大小；根据泊位区域检测框a各顶点的像素坐标信息，分析预定时长内，如5分钟内车辆c的运动矢量方向和运动距离大小，得到分析结果，并根据分析结果确定车辆c的停车事件。
60.其中，泊位区域检测框包括每个泊位区域的检测框、多个泊位区域的检测框中的任一种；预定目标检测算法包括单阶段、两阶段及非锚框的目标检测算法中的至少一项；需要说明的是，泊位区域的检测框的区域范围，可根据实际场景需求进行设定。
61.在一可能的实现方式中，通过多层卷积神经网络对各图像帧进行车辆特征提取，得到所述车辆的第一特征表示向量，包括：根据所述泊位区域检测框各顶点的像素坐标信息，将所述图像帧输入至多层卷积神经网络；通过多个卷积层的编码运算，提取得到所述车辆在所述多个卷积层中的高层第一特征表示向量和低层第一特征表示向量。
62.其中，通过多层卷积神经网络，对所述第一特征表示向量进行特征融合，得到第二特征表示向量，包括：通过该多层卷积神经网络的转换层，将提取得到的所述高层第一特征表示向量和所述低层第一特征表示向量进行堆积，得到堆积后的特征表示向量图；将所述堆积后的特征表示向量图进行融合，得到第二特征表示向量。
63.例如，在路侧停车管理系统中，获取多个摄像机采集的视频图像信息，确定预定图像采集区域内车辆泊位的各个顶点在各个图像中的坐标；根据该坐标信息，确定各个摄像机视频采集视频帧图像中的泊位区域检测框，如泊位区域检测框a，随后，通过预定目标检测算法检测所述图像帧中是否存在车辆，若存在，如存在车辆c，确定泊位区域检测框a各顶点的像素坐标信息，随后，根据泊位区域检测框a各顶点的像素坐标信息，将该图像帧输入
至多层卷积神经网络；通过多个卷积层的编码运算，提取得到所述车辆在该多个卷积层中的高层第一特征表示向量和低层第一特征表示向量，通过该多层卷积神经网络的转换层，将提取得到的高层第一特征表示向量和低层第一特征表示向量进行堆积，得到堆积后的特征表示向量图；将堆积后的特征表示向量图进行融合，得到第二特征表示向量。
64.通过本实施例，将提取得到的高层第一特征表示向量和低层第一特征表示向量进行堆积，能够扩充特征的数据量，而将堆积后的特征表示向量图进行融合，能够极大地提高小目标检测的精确度。
65.在一可能的实现方式中，根据所述第二特征表示向量，计算每一帧图像中所述车辆的运动矢量方向和运动距离大小，包括：根据所述第二特征表示向量，通过稠密光流计算计算每一帧图像中所述车辆的运动矢量方向和运动距离大小。
66.其中，所述根据所述泊位区域检测框的坐标信息，分析预定时长内所述车辆的运动矢量方向和运动距离大小，得到分析结果，并根据分析结果确定所述车辆的停车事件，包括：根据所述泊位区域检测框的坐标信息，在各视频图像的任一视频帧图像的二维坐标系中，分别确定预定时长内所述车辆的运动矢量方向指向泊位区域内和指向泊位区域外的视频帧的数量与在预定时长内的总视频帧数的比例；若预定时长内所述车辆的运动矢量方向指向泊位区域内的视频帧的数量与在预定时长内的总视频帧数的比例大于预定阈值，确定所述车辆发生入场事件；若预定时长内所述车辆的运动矢量方向指向泊位区域外的视频帧的数量与在预定时长内的总视频帧数的比例大于预定阈值，确定所述车辆发生出场事件。
67.例如，在路侧停车管理系统中，接上例，得到第二特征表示向量后，根据得到的第二特征表示向量，通过稠密光流计算计算每一帧图像中车辆c的运动矢量方向和运动距离大小，根据泊位区域检测框a各顶点的像素坐标信息，在各视频图像的任一视频帧图像的二维坐标系中，分别确定预定时长内，如5分钟内，车辆a的运动矢量方向指向泊位区域内和指向泊位区域外的视频帧的数量与在5分钟内的总视频帧数的比例；若5分钟内车辆a的运动矢量方向指向泊位区域内的视频帧的数量与在5分钟内的总视频帧数的比例大于预定阈值，确定车辆a发生入场事件；若5分钟内车辆a的运动矢量方向指向泊位区域外的视频帧的数量与在5分钟内的总视频帧数的比例大于预定阈值，确定车辆a发生出场事件。
68.本发明实施例提供了一种路侧停车的管理装置，可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
69.应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
70.在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
71.为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本
文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本技术公开的原理和新颖性特征的最广范围相一致。
72.上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
73.本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。
74.本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(asic)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
75.本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动磁盘、cd
‑
rom或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于asic中，asic可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
76.在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于ram、rom、eeprom、cd
‑
rom或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例
如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(dsl)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、dvd、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。
77.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。