一种基于高点视频分析的停车场空位引导系统的制作方法

本发明涉及图像分析技术领域，特别涉及一种基于高点视频分析的停车场空位引导系统。

背景技术：

随着汽车数量的快速增加，停车场的需求量也急剧增加，停车难的问题越来越严重，尤其是一些公共场所，比如办公楼，医院，超市等，在停车场寻找空位成了一个费事又耗力的事情，有时在停车场转了几圈都找不到空位，甚至因为一个停车位出现殴打事件。

目前，大部分的露天停车场仍采用的是人工找寻空位的方式，这种方法费事又耗力。而且，人工管理停车场效率低下，也不能对车辆进行引导，由于露天停车场地形复杂，指示标志也不能很好的发挥作用。再者，一旦车辆不能及时找到停车位，就会造成交通堵塞。因此，如何有效的找寻停车空位及引导车辆停车是目前亟待解决的问题。

技术实现要素：

本发明实施例提供了一种基于高点视频分析的停车场空位引导系统，以解决现有技术中停车场寻找空位的问题。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种基于高点视频分析的停车场空位引导系统。

在一些可选实施例中，一种基于高点视频分析的停车场空位引导系统包括：

高点视频分析模块、车辆与空位绑定模块、最优路线规划模块和引导模块；其中，

当车辆进入停车场时，通过高点视频分析模块查找停车场上的空位信息以及车辆的车牌信息，并将空位与车辆进行匹配，然后通过最优路线规划模块规划车辆与空位的路线，找到最优的路线作为推荐，再通过车辆与空位绑定模块将车辆与相应的空位进行绑定，在进行绑定之后，引导模块引导驾驶员行驶到空位。

可选地，所述高点视频分析模块包括yolov4-tiny网络，yolov4-tiny网络包括：cspdarknet53-tiny网络、fpn网络和yolov3网络；首先通过cspdarknet53-tiny网络提取输入图片的特征，得到两个不同大小的特征图，然后通过fpn网络进行特征融合和处理，最后连接yolov3网络输出结果。

可选地，输入到cspdarknet53-tiny网络的图像经过卷积层、正则化和激活层操作，得到第一特征图；将第一特征图再经过卷积层、正则化和激活层操作，得到第二特征图；将第二特征图经过残差块的操作后得到第三特征图，接着经过残差块的操作后变换成第四特征图，然后分成两路，第一路直接进入fpn模块，通过卷积层进行候选框的选取；第二路继续经过一个残差块的操作后得到第五特征图，再经过卷积层、正则化和激活层的操作后得到第六特征图，然进入fpn网络的卷积层进行候选框的选择，然后又分成两路，一路直接进入yolov3网络预测结果，另一路通过卷积和上采样操作，与第一路直接进入fpn网络的第四特征图进行张量拼接，这两个特征图具有相同的长宽尺寸，而高度不同，两个特征图拼接在一起；拼接后获得的第七特征图再进行卷积操作，最后进入yolov3网络预测结果。

可选地，所述yolov3网络用于预测图片中物体的位置和类别，每个物体产生一个boundingbox，用来标注物体的位置，每个检测框包括4个坐标，tx、ty、tw、th，分别对应着检测框的左上角的坐标为tx、ty，以及检测框的长宽tw、th；

所述yolov3网络还为每个检测框设置了置信度，物体置信度表示该检测框包含物体的概率，包含物体则置信度为1，否则为0。

可选地，所述yolov3网络的输出采用了yolov3head的结构，紧接着一个1*1的卷积层，正则化及激活层，然后连接全连接层进行分类预测。

可选地，所述yolov3网络使用逻辑回归预测每个anchorbox的目标性得分，通过计算anchorbox与groundtruth的重叠面积来进行目标评分，提前设置了阈值来筛选anchorbox，对于重叠面积小于阈值的anchorbox直接去掉，如果anchorbox与groundtruth目标比其他目标重叠多，则相应的目标性得分为1；如果anchorbox不是最佳的结果，即使anchorbox超过设置的阈值，还是不会对anchorbox进行预测；这样筛选出一个最接近的anchorbox。

可选地，所述yolov3网络中，对于训练图片中的groundtruth，若其中心点落在某个gridcell内，那么该gridcell内的3个anchorbox负责预测，具体是哪个anchorbox负责预测，在学习过程中，该gridcell会逐渐学会如何选择哪个大小的anchorbox，以及对这个anchorbox进行微调；与groundtruth匹配的anchorbox计算坐标误差、置信度误差以及分类误差，而其它的anchorbox只计算置信度误差。

可选地，由与groundtruth的iou最大的anchorbox负责预测，而剩余的2个anchorbox不与该groundtruth匹配。

可选地，最优路线规划模块的操作步骤包括：

步骤(1)、初始时，集合s只包含起点s，s代表车辆位置；集合u包含除s外的其他顶点，顶点代表空车位，且u中顶点的距离为起点s到该顶点的距离；

步骤(2)、从集合u中选出距离最短的顶点k，并将顶点k加入到集合s中；同时，从集合u中移除顶点k；

步骤(3)、更新集合u中各个顶点到起点s的距离；

步骤(4)、重复步骤(2)和步骤(3)，直到遍历完所有顶点；

步骤(5)，获得与当前的车距离最近的空车位以及路线规划。

可选地，如果车辆没有驶入绑定的空位中，车辆与空位绑定模块将车辆与空位解绑，最优路线规划模块为车辆重新规划路线；

如果车辆没有驶入绑定的空位中而驶入其他的空位，车辆与空位绑定模块分析该空位是否已经绑定，然后最优路线规划模块为绑定该空位的车辆重新规划路线；

如果车辆在行进过程中有其它车辆占用所绑定的车位，最优路线规划模块计算当前节点与空车位的最短距离，为车辆重新绑定空位，重新规划路线。

本发明实施例提供的技术方案可以包括以下有益效果：

解决了目前停车场人工找寻空车位费事又耗力的问题，便于停车场的管理，也极大的方便了人们的生活。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种基于高点视频分析的停车场空位引导系统的控制框图；

图2是根据一示例性实施例示出的高点视频分析模块的网络结构图。

具体实施方式

以下描述和附图充分地示出本文的具体实施方案，以使本领域的技术人员能够实践它们。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本文的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。本文中，术语“第一”、“第二”等仅被用来将一个元素与另一个元素区分开来，而不要求或者暗示这些元素之间存在任何实际的关系或者顺序。实际上第一元素也能够被称为第二元素，反之亦然。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的结构、装置或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种结构、装置或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的结构、装置或者设备中还存在另外的相同要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中的术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本文和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本文的描述中，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

本文中，除非另有说明，术语“多个”表示两个或两个以上。

本文中，字符“/”表示前后对象是一种“或”的关系。例如，a/b表示：a或b。

本文中，术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，a和/或b，表示：a或b，或，a和b这三种关系。

图1示出了本发明的基于高点视频分析的停车场空位引导系统的一个可选实施例。

在该可选实施例中，基于高点视频分析的停车场空位引导系统包括高点视频分析模块、车辆与空位绑定模块、最优路线规划模块和引导模块。

基于高点视频分析的停车场空位引导系统适用于露天停车场的场景，主要针对的是临时停车的情况和空位查找困难的问题。当车辆进入停车场时，通过高点视频分析模块查找停车场上的空位信息以及车辆的车牌信息，并将空位与车辆进行匹配，然后通过最优路线规划模块规划车辆与空位的路线，找到最优的路线作为推荐，再通过车辆与空位绑定模块将车辆与相应的空位进行绑定，在进行绑定之后，引导模块引导驾驶员行驶到空位。

可选地，引导模块通过微信小程序实现，用户可以在微信内便捷地获取服务，无需安装或下载即可使用，具有更丰富的功能和出色的使用体验，而且，通过微信小程序还可以封装一系列接口能力，帮助快速开发和迭代。

可选地，用户通过引导模块语音或手动输入车牌号，可以显示车辆与车位的路线图，并且在行驶过程中语音提示驾驶员。

可选地，系统还包括停车场中的显示屏，显示屏会实时显示停车场的高点显示图，便于驾驶员观察。

可选地，在车辆行进过程中，如果有车辆驶入或人员进入同一停车场，系统将会提醒驾驶员注意行车安全。

高点视频分析模块是使用基于深度学习的方法。深度学习的迅速发展推进了工业的改革，大大方便了人们的生活。针对目前的停车场问题，本发明的高点视频分析模块使用深度学习中目标检测的方法来查找空车位，在停车场安装高空监控系统，通过对监控视频的分析来获取停车场的分布信息，检测空车位。

高点视频分析模块使用yolov4-tiny网络。由于监控点相对较高，属于高点视频分析的领域。因此，视频中物体相对较小，需要使用小目标检测的算法。在现有的深度学习目标检测算法中，兼顾于速度和精度，本发明的高点视频分析模块选择了yolov4-tiny网络，而且其对小目标检测效果较好。

高点视频分析模块的yolov4-tiny网络主要包括三部分：cspdarknet53-tiny网络、fpn网络和yolov3网络，首先通过cspdarknet53-tiny网络提取输入图片的特征，得到两个不同大小的特征图，然后通过fpn网络进行特征融合和处理，最后连接yolov3网络输出结果。

图2给出了yolov4-tiny网络结构的一个可选实施例。

如图2所示，输入到cspdarknet53-tiny网络的图像经过卷积层、正则化和激活层操作，得到第一特征图；将第一特征图再经过卷积层、正则化和激活层操作，得到第二特征图；将第二特征图经过残差块的操作后得到第三特征图，接着经过残差块的操作后变换成第四特征图，然后分成两路，第一路直接进入fpn网络，通过卷积层进行候选框的选取。第二路继续经过一个残差块的操作后得到第五特征图，再经过卷积层、正则化和激活层的操作后得到第六特征图，然进入fpn模块的卷积层进行候选框的选择，然后又分成两路，一路直接进入yolov3网络预测结果，另一路通过卷积和上采样操作，与第一路直接进入fpn的第四特征图进行张量拼接，这两个特征图具有相同的长宽尺寸，而高度不同，两个特征图拼接在一起，拼接的操作和传统的add操作是不一样的，拼接会扩充张量的维度，而add只是直接相加不会导致张量维度的改变。拼接后获得的第七特征图再进行卷积操作，最后进入yolov3网络预测结果。

图2所示实施例中，输入到cspdarknet53-tiny网络的图像(416*416*3)经过卷积层、正则化和激活层操作，得到一个208*208*32的特征图；将此208*208*32的特征图再经过卷积层、正则化和激活层操作，得到一个104*104*64的特征图；将此104*104*64的特征图经过残差块的操作后得到一个52*52*128的特征图，接着经过残差块的操作后变换成26*26*256的特征图，然后分成两路，第一路直接进入fpn模块，通过卷积层进行候选框的选取。第二路继续经过一个残差块的操作后得到一个13*13*512的特征图，再经过卷积层正则化激活层的操作后得到一个13*13*512的特征图，然进入fpn模块卷积层进行候选框的选择，结果又分成两路，一路直接进入yolov3网络预测结果，另一路通过卷积和上采样操作，与第一路直接进入fpn的特征图进行张量拼接，拼接后的特征图再进行卷积操作，最后进入yolov3网络预测结果。yolov3网络预测物体的类别和位置。

yolov3网络用于预测停车场中的车辆，人员和空车位。yolov3网络负责对得到的特征图进行预测或训练处理，训练时分别计算坐标损失和分类损失，使用均方差损失函数。

yolov3网络用于预测图片中物体(车辆，人员和空车位)的位置和类别，每个物体产生一个检测框(boundingbox)，用来标注物体的位置，每个检测框包括4个坐标，tx、ty、tw、th，分别对应着检测框的左上角的坐标为(tx,ty)以及检测框的长宽(tw,th)。此外，yolov3网络为每个检测框设置了置信度，物体置信度表示该检测框包含物体的概率，包含物体则置信度为1，否则为0。

yolov3网络的输出采用了yolov3head的结构，紧接着一个1*1的卷积层，正则化及激活层，然后连接全连接层进行分类预测。

对于fpn中输出的特征图，如第一个特征图13*13(相当于416*416图片大小)，然后将输入的图像分成13*13个gridcells，接着如果真实值(groundtruth)中某个目标的中心坐标落在哪个gridcell中，那么就由该gridcell来预测该目标。每个gridcell都会预测3个固定数量的边界框，13*13特征图的感受野最大，因此其先验边界框(anchorbox)的尺寸最大，分别为116*90，156*198，373*326，适合检测较大的目标。第二个特征图26*26，由于其感受野较小，故应用较小的anchorbox(30x61)，(62x45)，(59x119)，适合检测小目标。

yolov3网络使用逻辑回归预测每个anchorbox的目标性得分，即这块位置是目标的可能性有多大，通过计算anchorbox与groundtruth的重叠面积来进行目标评分，系统提前设置了一定的阈值来筛选anchorbox，例如阈值设置为0.5，对于重叠面积小于阈值0.5的anchorbox直接去掉，如果anchorbox与groundtruth目标比其他目标重叠多，则相应的目标性得分应为1。如果anchorbox不是最佳的结果，即使anchorbox超过设置的阈值，还是不会对anchorbox进行预测。这样就可以筛选出一个最接近的anchorbox，便于后续步骤的微调。对于训练图片中的groundtruth，若其中心点落在某个gridcell内，那么该gridcell内的3个anchorbox负责预测，具体是哪个anchorbox负责预测，在学习过程中，该gridcell会逐渐学会如何选择哪个大小的anchorbox，以及对这个anchorbox进行微调。可选地，系统定义了一个规则来使gridcell选取某个anchorbox，即，由与groundtruth的iou最大的anchorbox负责预测，而剩余的2个anchorbox不与该groundtruth匹配。yolov3网络假定每个gridcell至多含有一个groundtruth，而在实际上基本不会出现多于1个的情况。与groundtruth匹配的anchorbox计算坐标误差、置信度误差(此时置信度为1)以及分类误差，而其它的anchorbox只计算置信度误差(此时置信度为0)。

yolov3网络预测的坐标点tx、ty、tw、th，其中(tx,ty)为平移尺度，(tw,th)为缩放尺度。可选地，可以让anchorbox经过微调与groundtruth重合。边框回归最简单的实现方式就是通过平移加尺度缩放进行微调，当输入的anchorbox与groundtruth相差较小时，即iou很大时，可以认为这种变换是一种线性变换，那么就可以用线性回归来建模对窗口进行微调，否则会导致训练的回归模型不匹配，因为当anchorbox跟groundtruth离得较远，就是复杂的非线性问题了，此时用线性回归建模显然就不合理了。线性回归就是给定输入的特征向量x，学习一组参数w，使得经过线性回归后的值跟真实值(groundtruth)y非常接近，即y≈wx。

最终yolov3网络会输出一个检测框，预测物体及物体类别的检测框，包括车辆、人员和空车位。

yolov4-tiny网络采用多尺度特征图用于检测，即采用大小不同尺度的特征图进行检测，特征图一较大，由于后面逐渐采用卷积和池化降低特征图大小，特征图二通过上采样与前面的特征图结合，因此特征图二较小，大特征图(即特征图一)用来检测相对较小的目标，而小特征图(即特征图二)用来检测相对较大目标。对于监控场景中人物远近不同的特点，采用该实施例中的yolov4-tiny网络非常适合该场景的检测，即大特征图用来检测相对较小的目标，而小特征图用来检测相对较大目标，对于不同大小的目标都能实现精确检测。

采用该实施例中的yolov4-tiny网络非常适合高点视频分析的检测，大尺度特征图属于底层级特征图，语义含义不够丰富但是精度高。而小尺度特征图属于高层级特征图，语义含义丰富，但是精度低。在特征提取过程，将小尺度特征图经过上采样放大之后与大尺度特征图拼接，输出特征图既有较高的精度，又具有较丰富的语义含义，有利于场景中小物体的情况，提高检测精度。

分辨率信息直接反映的是构成目标的像素的数量。一个目标的像素数量越多，其对目标的细节表现就越丰富越具体，也就是说分辨率信息越丰富。因此，大尺度特征图提供的是分辨率信息。语义信息在目标检测中指的是让目标区分于背景的信息，即语义信息是让用户知道这个是目标，其余是背景。在不同类别中语义信息并不需要很多细节信息，分辨率信息大，反而会降低语义信息，因此，小尺度特征图在提供必要的分辨率信息下语义信息会提供的更好。而对于小目标，小尺度特征图无法提供必要的分辨率信息，所以还需结合大尺度特征图。本发明实施例中yolov4-tiny更进一步采用了2个不同尺度的特征图来进行对象检测，能够检测到更高细粒度的特征。嫁接网络的最终输出有2个尺度分别为大特征图一，小特征图；这里小尺度特征图的感受野比较大，因此适合检测图像中尺寸比较大的对象。然后这个结果通过上采样与前面的特征图张量拼接，拼接的操作和残差层加的操作是不一样的，拼接会扩充张量的维度，而加只是直接相加不会导致张量维度的改变。大尺度特征图的感受野小，适合检测小尺度的对象，比如小目标摄像头远处的人员和车辆在大尺度特征图中的尺寸较大，检测框并不能完全框住物体，而在小尺度特征图中可以较好的检测出人员和车辆。同理，大目标在小尺度特征图中较小，检测框会包含背景，而在大特征图中能较好的包围大目标。

当车辆进入停车场时，系统通过视频分析模块检测出车辆的车牌号。整个停车场的结构可以使用一张图网络的结构来进行描述，将入口、出口及车位作为图中的节点，将节点与节点之间的距离作为边。所述的图网络，即给定节点和边，做出停车场的图g(v，e)，其中v代表顶点，e代表边，即两点之间的距离。因此，每个停车位也有相应的标记，便于后续视频的分析和路线规划。

车辆与空位绑定模块使用mysql数据库来存储数据，将停车场的空位信息、车辆信息都存储在后台数据库中，用于与前端数据的交互与显示。mysql数据库，是一款安全、跨平台、高效的，并与php、java等主流编程语言紧密结合的关系型数据库系统。目前mysql被广泛地应用在internet上的中小型网站中。

最优路线规划模块包括一个辅助向量d，其每个分量d[i]表示当前找到的从起始节点v到终点节点vi的最短路径的长度，初始态为：若从节点v到节点vi有弧，则d[i]为弧上的权值，否则d[i]为∞，显然，长度为d[j]＝min{d[i]|vi∈v}的路径就是从v出发最短的一条路径，路径为(v,vi)。那么，下一条长度次短的最短路径为：假设次短路径的终点是vk，则这条路径是(v,vk)或者是(v,vj,vk)，其长度或者是从v到vk的弧上的权值，或者是d[j]和从vj到vk的权值之和。假设s为已知求得的最短路径的终点集合，一条最短路径(设其终点为x)是弧(v,x)或者是中间只经过s中的顶点而最后到达顶点x的路径。这可用反证法来证明，假设此路径上有一个顶点不在s中，则说明存在一条终点不在s中而长度比此路径短的路径。但是这是不可能的。因为，按路径常度的递增次序来产生最短路径，故长度比此路径短的所有路径均已产生，它们的终点必定在s集合中，即假设不成立。因此下一条次短的最短路径的长度是：d[j]＝min{d[i]|vi∈v-s}，其中，d[i]或者是弧(v,vi)的权值，或者是d[k](vk∈s)和弧(vk,vi)上权值之和。

最优路线规划模块的操作步骤包括：

步骤(1)、初始时，集合s只包含起点s，s代表车辆位置；集合u包含除s外的其他顶点，顶点代表空车位，且u中顶点的距离为起点s到该顶点的距离，例如，u中顶点v的距离为(s,v)的长度，然后s和v不相邻，则v的距离为∞。

步骤(2)、从u中选出距离最短的顶点k，并将顶点k加入到s中；同时，从u中移除顶点k。

步骤(3)、更新u中各个顶点到起点s的距离。之所以更新u中顶点的距离，是由于上一步中确定了k是求出最短路径的顶点，从而可以利用k来更新其它顶点的距离；例如，(s,v)的距离可能大于(s,k) (k,v)的距离。

步骤(4)、重复步骤(2)和(3)，直到遍历完所有顶点。

步骤(5)，获得与当前的车距离最近的空车位以及路线规划。

最优路线规划模块获得与当前的车距离最近的空车位以及路线规划后，车辆与空位绑定模块为车辆绑定相应的空车位，车辆可根据引导模块提示找到空车位。在行车过程中，如果遇到意外情况，最优路线规划模块需要重新动态规划路线。

可选地，如果车辆没有驶入绑定的空位中，车辆与空位绑定模块需要将车辆与空位解绑，最优路线规划模块为车辆重新规划路线，此时最优路线规划模块只需要更新当前节点和绑定的空车位的最短路径即可。

可选地，如果车辆没有驶入绑定的空位中而驶入其他的空位，车辆与空位绑定模块需要分析该空位是否已经绑定，然后最优路线规划模块为绑定该空位的车辆重新规划路线。

可选地，如果车辆在行进过程中，有其它车辆占用所绑定的车位，最优路线规划模块需要计算当前节点与空车位的最短距离，为车辆重新绑定空位，重新规划路线。

由图1可知，从功能上划分，高点视频分析模块属于底层算法，车辆与空位绑定模块、最优化路线规划模块、数据库设计属于后台管理系统，引导模块和显示屏属于显示系统。

本发明并不局限于上面已经描述并在附图中示出的结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。