一种车辆目标检测方法及装置与流程

1.本发明涉及计算机视觉、深度学习和移动边缘计算技术领域，尤其涉及一种车辆目标检测方法。


背景技术：

2.随着高速公路的迅速发展，etc通道车辆监察难度日益上升，出现各种各样的违规行为如跟车闯关、大车小标、偷换标签等情况，这些庞大数量的违规车辆不但造成收费站重大的经济损失，而且也严重阻碍了高速公路的健康发展，同时对日常行车安全造成了严重的不良影响。
3.针对车辆车牌检测识别问题，通常采用传统的视频帧过滤方式，主要通过跳帧的方式，检测模型主要通过全功能的大模型，保证了精度却丢失了速度，这样传统的识别方法效率较低并且实用性较差。在这种情况下，传统的车型管理方法慢慢被社会所淘汰，需要一种更智能化的、能够基于车牌以外的其他车辆特征来对监控视频中的车辆进行自动、准确地识别技术。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种车辆目标检测方法及装置，旨在进行车辆牌照识别。
5.第一方面，本技术实施例提供了一种车辆目标检测方法，所述方法包括：
6.在边缘设备部署过滤器以及轻量级目标检测模型s_yolov3，在收费站部署高精度目标检测模型yolov3；
7.通过将无人机车辆数据集分别输入到所述s_yolov3和所述yolov3 中，进行模型迁移训练，使得所述s_yolov3满足预定的速度要求，且使得所述yolov3达到预定的精度要求；
8.将采集的视频，通过所述过滤器进行初步过滤，丢弃冗余帧得到剩余帧；
9.将所述剩余帧输入到所述轻量级检测模型s_yolov3进一步筛选得到目标帧；
10.将所述目标帧输入所述高精度目标检测模型yolov3，进行高精度检测，得到最终目标帧。
11.可选的，所述轻量级目标检测模型s_yolov3为基于自动化剪枝的轻量级目标检测模型，所述轻量级目标检测模型s_yolov3的压缩过程如下：
12.通过遍历yolov3中的每一层，将同一层中的所有滤波器抽象到一个欧几里得空间，选取其中能被同层其他滤波器共同表示的滤波器进行剪枝操作；
13.通过强化学习进行剪枝训练处理，进行微调得到精度损失小于一定值且 flops小于预设值的轻量级目标检测模型s_yolov3。
14.可选的，所述λ需要通过实验法观察模型在不同λ值训练后的稀疏效果，以确定其取值。
15.可选的，所述高精度目标检测模型yolov3为经过剪枝处理的高精度目标检测模型，所述高精度目标检测模型yolov3的剪枝处理过程如下：
16.选定模型中批归一化层γ参数为剪枝因子，使用l1正则项对原模型进行稀疏化训练；
17.将稀疏训练后模型中不参与跨层连接的卷积层中的剪枝因子γ按大小排列；
18.设定剪枝比例，根据所述剪枝比例确定剪枝因子值；
19.根据所述剪枝因子值删除剪枝因子γ值小于t的通道。
20.可选的，根据权利要求4所述的车辆目标检测方法，其特征在于，所述使用l1正则项对原模型进行稀疏化训练的实现包括重新设计损失函数：
21.在yolov3损失函数中添加所述剪枝因子γ的l1正则化项新的损失函数为：
22.式中loss
yolo_spp
为yolov3的原损失函数，λ为平衡因子。
23.可选的，所述过滤器pdd过滤过程如下：
24.根据ssim公式计算第一帧图片和第二帧图片的相似度；
25.响应于所述相似度大于预设的判定阈值，则判定所述第一帧图片或所述第二帧图片为冗余帧，将所述冗余帧丢弃；
26.响应于所述相似度不大于预设的判定阈值，将判定所述第一帧图片或所述第二帧图片输入至轻量级目标检测器s-yolov3。
27.可选的，ssim计算公式为：
[0028][0029]
所述式子中的μ
x
为第一帧图片的均值，μy为第二帧图片的均值，分别表示第一帧图片和第二帧图片的方差，σ
xy
表示第一帧图片和第二帧图片对应的协方差，c1、c2为避免分母为零维持稳定的常数，l为像素值的动态范围。
[0030]
第二方面，本技术实施例提供了一种车辆目标检测装置，所述装置包括：
[0031]
部署模块，用于在边缘设备部署过滤器以及轻量级目标检测模型 s_yolov3，在收费站部署高精度目标检测模型yolov3；
[0032]
数据集输入模块，用于通过将无人机车辆数据集分别输入到所述 s_yolov3和所述yolov3中，进行模型迁移训练，使得所述s_yolov3满足预定的速度要求，且使得所述yolov3达到预定的精度要求；
[0033]
初步过滤模块，用于将采集的视频，通过所述过滤器进行初步过滤，丢弃冗余帧得到剩余帧；
[0034]
第二过滤模块，用于将所述剩余帧输入到所述轻量级检测模型 s_yolov3进一步筛选得到目标帧；
[0035]
最终目标帧确定模块，用于将所述目标帧输入所述高精度目标检测模型 yolov3，进行高精度检测，得到最终目标帧。
[0036]
可选的，所述轻量级目标检测模型s_yolov3为基于自动化剪枝的轻量级目标检测
模型，所述轻量级目标检测模型s_yolov3的压缩模块包括：
[0037]
剪枝模块，用于通过遍历yolov3中的每一层，将同一层中的所有滤波器抽象到一个欧几里得空间，选取其中能被同层其他滤波器共同表示的滤波器进行剪枝操作；
[0038]
调整模块，用于通过强化学习进行剪枝训练处理，进行微调得到精度损失小于一定值且flops小于预设值的轻量级目标检测模型s_yolov3。
[0039]
可选的，所述λ需要通过实验法观察模型在不同λ值训练后的稀疏效果，以确定其取值。
[0040]
本技术提供了一种车辆目标检测方法及装置。在执行所述方法时，在边缘设备部署过滤器以及轻量级目标检测模型s_yolov3，在收费站部署高精度目标检测模型yolov3；通过将无人机车辆数据集分别输入到所述 s_yolov3和所述yolov3中，进行模型迁移训练，使得所述s_yolov3满足预定的速度要求，且使得所述yolov3达到预定的精度要求；将采集的视频，通过所述过滤器进行初步过滤，丢弃冗余帧得到剩余帧；将所述剩余帧输入到所述轻量级检测模型s_yolov3进一步筛选得到目标帧；将所述目标帧输入所述高精度目标检测模型yolov3，进行高精度检测，得到最终目标帧。由此，针对边缘设备拍摄的车辆视频数据大量冗余的问题，在边缘设备设置一个过滤器，通过帧的结构性过滤大量冗余帧，从而大幅减少传输到后端的检测模型的帧数；其次，针对高精度目标检测模型时延高的问题，采用了剪枝的方法压缩yolov3模型并部署在收费站，实现时延和精度的均衡。如此，实现了快速准确的识别车牌信息并快速通过收费站。
附图说明
[0041]
为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为本技术实施例提供的车辆目标检测方法的一种方法流程图；
[0043]
图2为本技术实施例提供的车辆目标检测装置的一种结构示意图。
具体实施方式
[0044]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0045]
正如前文所述，针对车辆车牌检测识别问题，通常采用传统的视频帧过滤方式，主要通过跳帧的方式，检测模型主要通过全功能的大模型，保证了精度却丢失了速度。但是，发明人经过研究发现，在这种情况下，传统的车型管理方法慢慢被社会所淘汰，需要一种更智能化的、能够基于车牌以外的其他车辆特征来对监控视频中的车辆进行自动、准确地识别技术。当前存在的车牌问题主要体现在：etc由于车速过快，无法识别车辆信息，导致车辆进入收费站无法识别，倒车出收费站重新识别，引发交通事故，导致安全问题；etc车内装置经常因为挡风玻璃贴的金属膜影响了信号的传输、卡未插好、安装位置存在问题、obu设备
故障、电池没电、卡的状态不正常等问题导致无法识别车辆信息。
[0046]
为了解决这一问题，在本技术实施例提供了一种车辆目标检测方法及装置，在执行所述方法时，在边缘设备部署过滤器以及轻量级目标检测模型 s_yolov3，在收费站部署高精度目标检测模型yolov3；通过将无人机车辆数据集分别输入到所述s_yolov3和所述yolov3中，进行模型迁移训练，使得所述s_yolov3满足预定的速度要求，且使得所述yolov3达到预定的精度要求；将采集的视频，通过所述过滤器进行初步过滤，丢弃冗余帧得到剩余帧；将所述剩余帧输入到所述轻量级检测模型s_yolov3进一步筛选得到目标帧；将所述目标帧输入所述高精度目标检测模型yolov3，进行高精度检测，得到最终目标帧。由此，针对边缘设备拍摄的车辆视频数据大量冗余的问题，在边缘设备设置一个过滤器，通过帧的结构性过滤大量冗余帧，从而大幅减少传输到后端的检测模型的帧数；其次，针对高精度目标检测模型时延高的问题，采用了剪枝的方法压缩yolov3模型并部署在收费站，实现时延和精度的均衡。如此，实现了快速准确的识别车牌信息并快速通过收费站。
[0047]
本技术实施例提供的方法由检测设备执行，例如可以由检测设备服务器和控制器执行。在边缘设备部署过滤器，通过部署边缘设备将采集的车辆视频，经过在边缘设备端的过滤器进行冗余帧过滤，丢弃冗余帧，得到筛选后端的剩余帧；车牌识别模型：通过视频过滤模块的剩余帧输入到压缩的车牌识别模型中进一步筛选目标帧并将目标帧输入到部署收费站的高精度目标检测模型yolov3，进行高精度识别。
[0048]
以下通过一个实施例，对本技术提供的车辆目标检测方法进行说明。请参考图1，图1为本技术实施例所提供的银行卡限额的调整方法的一种方法流程图，包括：
[0049]
s101：在边缘设备部署过滤器以及轻量级目标检测模型s_yolov3，在收费站部署高精度目标检测模型yolov3。
[0050]
为实现在线实时高精度检测，选取精度较高的yolov3作为基础网络，其速度和精度在相同情况下均优于sdd，faster-rcnn等主流算法，在工业界也有广泛应用。由于不允许存在车辆漏检的情况大量发生，因此高精度 yolov3模型对此类任务有较好的性能和优化空间。考虑到目前的压缩方法对精度和速度单方面的需求，但是没有考虑二者的权衡。故采用剪枝的方法，保证精度需求的情况下对yolov3模型进行加速。
[0051]
其中，关于轻量级目标检测模型s_yolov3，该模型为基于自动化剪枝的轻量级目标检测模型，所述轻量级目标检测模型s_yolov3的压缩过程如下：
[0052]
通过遍历yolov3中的每一层，将同一层中的所有滤波器抽象到一个欧几里得空间，选取其中能被同层其他滤波器共同表示的滤波器进行剪枝操作；
[0053]
通过强化学习进行剪枝训练处理，进行微调得到精度损失小于一定值且 flops小于预设值的轻量级目标检测模型s_yolov3。
[0054]
λ需要通过实验法观察模型在不同λ值训练后的稀疏效果，以确定其取值。
[0055]
其中，关于高精度目标检测模型yolov3，该模型为经过剪枝处理的高精度目标检测模型，所述高精度目标检测模型yolov3的剪枝处理过程如下：
[0056]
选定模型中批归一化层γ参数为剪枝因子，使用l1正则项对原模型进行稀疏化训练；将稀疏训练后模型中不参与跨层连接的卷积层中的剪枝因子γ按大小排列；设定剪枝比例，根据所述剪枝比例确定剪枝因子值；根据所述剪枝因子值删除剪枝因子γ值小于t的通道。
[0057]
剪枝本质上从通道这一层面对卷积层中的卷积核的重要性进行区分，去除对网络输入结果影响小的卷积核，以实现计算总量和模型体积的缩小，从而加快模型推理速度。为了便于通道修剪，为每个通道分配一个比例因子，其中比例因子的绝对值表示通道的重要性。并且在yolov3中的每个卷积层之后都有一个bn层来加速收敛和提高泛化能力，bn层使用小批量归一化卷积特征，如公式所示：
[0058][0059]
式中μ和σ表示输入特征的均值和标准差；γ和β表示比例因子和偏差。
[0060]
本发明直接采用比例因子作为通道重要性的指标，为了有效区分重要通道和不重要的通道，通过对γ增加一个正则项，正则项为新损失函数就是加上了如下式所示。
[0061][0062]
式中loss
yolo_spp
表示模型预测产生的损失；用来约束γ，其中λ是权衡两项的超参数，就是l1范式，可达到稀疏的作用。
[0063]
s102：通过将无人机车辆数据集分别输入到所述s_yolov3和所述 yolov3中，进行模型迁移训练。
[0064]
使得所述s_yolov3满足预定的速度要求，且使得所述yolov3达到预定的精度要求。
[0065]
s103：将采集的视频，通过所述过滤器进行初步过滤，丢弃冗余帧得到剩余帧。
[0066]
根据ssim公式计算第一帧图片和第二帧图片的相似度，根据ssim公式计算两帧图片的相似度，若相似度大于预设的阈值β，则判定未冗余帧，直接丢弃，否则输入到压缩的检测模型。
[0067]
式中的μ
x
、μy分别表示图像的均值，分别表示图像的方差，σ
xy
表示图像的协方差，c1、c2为常数，为了避免分母为零而维持稳定，其中l为像素值的动态范围，一般取255。k1、k2默认值取k1＝0.01，k2＝0.03；ssim 的判定阈值β取0.8时，能够有效度量两帧图像之间的相似度。
[0068]
伪代码描述如下：
[0069][0070]
在实际应用场景中，响应于所述相似度大于预设的判定阈值，则判定所述第一帧图片或所述第二帧图片为冗余帧，将所述冗余帧丢弃；
[0071]
响应于所述相似度不大于预设的判定阈值，将判定所述第一帧图片或所述第二帧图片输入至轻量级目标检测器s-yolov3。
[0072]
其中，ssim计算公式为:
[0073][0074]
所述式子中的μ
x
为第一帧图片的均值，μy为第二帧图片的均值，分别表示第一帧图片和第二帧图片的方差，σ
xy
表示第一帧图片和第二帧图片对应的协方差，c1、c2为避免分母为零维持稳定的常数，l为像素值的动态范围。
[0075]
s104：将所述剩余帧输入到所述轻量级检测模型s_yolov3进一步筛选得到目标帧。
[0076]
响应于所述相似度不大于预设的判定阈值，将判定所述第一帧图片或所述第二帧图片输入至轻量级目标检测器s-yolov3。
[0077]
s105：将所述目标帧输入所述高精度目标检测模型yolov3，进行高精度检测，得到最终目标帧。
[0078]
本方案实施后，首先，针对边缘设备拍摄的车辆视频数据大量冗余的问题，在边缘设备设置一个过滤器，通过帧的结构性过滤大量冗余帧，从而大幅减少传输到后端的检测模型的帧数；其次，针对高精度目标检测模型时延高的问题，采用了剪枝的方法压缩yolov3模型并部署在收费站，实现时延和精度的均衡。
[0079]
以上为本技术实施例提供一种车辆目标检测方法的一些具体实现方式，基于此，本技术还提供了对应的装置。下面将从功能模块化的角度对本技术实施例提供的装置进行介绍。
[0080]
请参考图2，图2为本技术实施例所提供的一种车辆目标检测装置的结构示意图。
[0081]
本实施例中，该装置可以包括：
[0082]
部署模块201，用于在边缘设备部署过滤器以及轻量级目标检测模型 s_yolov3，在收费站部署高精度目标检测模型yolov3；
[0083]
数据集输入模块202，用于通过将无人机车辆数据集分别输入到所述 s_yolov3和所述yolov3中，进行模型迁移训练，使得所述s_yolov3满足预定的速度要求，且使得所述yolov3达到预定的精度要求；
[0084]
初步过滤模块203，用于将采集的视频，通过所述过滤器进行初步过滤，丢弃冗余帧得到剩余帧；
[0085]
第二过滤模块204，用于将所述剩余帧输入到所述轻量级检测模型 s_yolov3进一步筛选得到目标帧；
[0086]
最终目标帧确定模块205，用于将所述目标帧输入所述高精度目标检测模型yolov3，进行高精度检测，得到最终目标帧。
[0087]
可选的，所述压缩模块具体用于：
[0088]
剪枝模块，用于通过遍历yolov3中的每一层，将同一层中的所有滤波器抽象到一个欧几里得空间，选取其中能被同层其他滤波器共同表示的滤波器进行剪枝操作；
[0089]
调整模块，用于通过强化学习进行剪枝训练处理，进行微调得到精度损失小于一定值且flops小于预设值的轻量级目标检测模型s_yolov3。
[0090]
可选的，所述λ需要通过实验法观察模型在不同λ值训练后的稀疏效果，以确定其取值。
[0091]
需要说明的是，本发明提供的一种车辆目标检测方法及装置可用于人工智能领域以及金融领域。上述仅为示例，并不对本发明提供的一种车辆目标检测方法及装置的应用领域进行限定。
[0092]
以上对本技术所提供的一种车辆目标检测方法及装置进行了详细介绍。说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。
[0093]
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将
一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0094]
以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。