一种载木车辆检测识别及跟踪方法与流程

1.本发明涉及车辆检测及跟踪领域，具体涉及一种载木车辆检测识别及跟踪方法。


背景技术：

2.保护森林资源不被破坏时保证可持续发展的重要条件，随着社会的发展人类对森立资源的破坏已经达到了不可忽视的地步，尤其是盗砍盗伐现象在近年来不断加剧，已经成为威胁森林资源的重要因素，因此防止盗砍盗伐及时保护森立资源已经到了刻不容缓的地步。
3.在盗砍盗伐车辆检测方面如果依靠人工进行，则是一件非常费时费力的事情并且很容易出现漏检的情况，因此通过摄像头进行载木车辆的拍摄，之后通过深度学习对拍摄出的图像进行分类和检测能够极大加快检测的速度和准确度，并且可以节省很多成本。
4.由于深度学习在图像识别领域具有精度高，泛化能力强，高效率等特点，将深度学习方法用于载木车辆检测之中能够有效制止盗砍盗伐现象的发生，对保护森林资源起着重要的作用。但在载木车辆的图像识别中，在图像模型进行训练时，传统的学习率衰减设定按照一定倍数进行衰减，此种衰减方式由于盗伐的载木车辆由于采取遮盖处理或者伪装使得轮廓具有不确定性导致学习率导致早衰，从而使得模型收敛变慢，进而不能有效地对车辆中的载木信息进行提取识别。


技术实现要素：

5.本发明所要解决的技术问题是提供一种载木车辆检测识别及跟踪方法，通过对大量道路图像进行训练和验证，得到准确地载木车辆的检测模型。
6.为解决上述技术问题，本发明所采用的技术方案是：
7.一种载木车辆检测识别及跟踪方法，包括以下步骤：
8.step1、通过交通摄像头获取图片数据；
9.step2、对获取的车辆图像进行标记，用矩形框在图像中框选出目标车辆；
10.step3、将采集和标注的数据集划分为训练集和验证集两个部分；
11.step4、将训练集输入检测模型并对模型中的卷积核、分类器、回归器进行训练，得到训练好的载木车辆检测模型的网络参数，并通过验证集对模型进行检测结果测试；
12.在训练过程中，通过学习率的调整和损失函数的调整对模型进行改进；
13.step5、保存训练好的模型，并将模型上传至云平台；
14.step6、通过摄像头获取待检测车辆照片，并将待检测照片上传至云平台；
15.step7、取检测结果并将检测结果保存至数据库；
16.step8、前端界面查看检测结果并进行盗砍盗伐判定；
17.step9、对判定盗砍盗伐的载木车辆的车辆信息进行提取，并与不同路段的多个摄像头摄取的道路行驶车辆图像信息进行比对，对不同帧的载木车辆信息进行提取，提取出车牌好、信息、路段地点，形成盗砍盗伐的载木车辆的路径信息。
18.在卷积神经网络中为了更好的拟合目标函数，在训练过程中模型通过计算预测分布与真实分布之间的交叉熵损失，通过计算激活函数的偏导数来进行反向传播更新权重参数，并通过学习率来调整参数更新的速度；
19.在训练初期由于模型拟合能力较弱，为了加速收敛应使学习率较大，随着损失的减小，模型的拟合能力得到增强，若学习率保持原状，则会出现损失反复震荡无法收敛的情况，这种情况是由于学习率较高导致模型无法收敛于局部最优解导致，因此寻找一个合理的学习率衰减策略对促进模型收敛有着重要意义。
20.传统的学习率衰减策略是在每个epoch之后对学习率按照一定倍数进行衰减，但这种衰减方式可能会产生学习率早衰从而使模型收敛变慢。本发明提出了一种合理的学习率衰减策略，我们将这种策略称为自适应学习率更新策略。
21.上述的step4中对学习率的调整方法为：
22.在一个完成的训练周期内，通过函数y＝αx β对一个训练周期内的n个损失点进行拟合，其中α表示损失震荡系统，通过α作为学习率更新的条件并确定学习率的衰减程度，当α＜0时，当前模型损失为下降趋势，应当保持学习率不变；当α＞0时，当前模型损失为上升趋势，应当更新学习率，设γ为学习率，i为当前迭代轮次，因此学习率更新公式为：
[0023][0024]
其中，λ表示学习率的衰减倍率。
[0025]
上述的学习率衰减倍率λ＝0.5。
[0026]
为了进一步提高检测精度，本发明对边界框损失函数进行了改进，本发明采用了在原有的损失函数之中加入giou损失，giou预测边界框与真实边界框之间的位置关系融入到损失函数中，进而使模型边界框回归的准确性得到明显提高。
[0027]
由于iou取值范围为[0,1],当iou＝0时会导致此时的梯度为0，因此iou并不能真是边界框与预测边界框之间的关系。为了能够更好的衡量真实边界框与预测边界框之间的关系，本发明将giou损失加入到损失函数中。
[0028]
上述的step4中损失函数的调整方法为：
[0029]
在原有损失函数中加入giou损失，giou预测边界框与真实边界框之间的位置关系融入到损失函数中；
[0030]
假设a为真实边界框，b为预测边界框，c为能容纳真实边界框和预测边界框在内的最小矩形框，因此giou的计算公式为：
[0031][0032]
其中union
ab
表示a和b的并集。
[0033]
giou解决了真实边界框与预测边界框交集为空时梯度为0的问题，并且可以有效反应真实边界框与预测边界框之间的距离，giou的取值范围为[
‑
1,1]，预测边界框与真实边界框距离越大，giou越小；预测边界框与真实边界框之间的距离越小，giou越大；当giou为1时说明预测边界框与真实边界框完全重合，因此采用giou不仅能够反映预测边界框与真实边界框之间的相交程度，还能够反应预测边界框与真实边界框不相交时的距离。
[0034]
预测边界框的损失函数可以表示为loss＝1
‑
giou，当预测边界框与真实边界框越
近时，giou越大，此时loss越小，因此giou将直观定位边界框之间距离的评价指标加入到损失函数之中，从而使模型检测精度得到提高。
[0035]
上述的step4中对检测模型中的卷积核、分类器、回归器进行训练采用rcnn、yolov3、retinanet三种模型，并对检测效果进行对比，根据对比结果选取其中一种模型。
[0036]
上述的step4中，对检测模型的检测结果测试时，采用ap算法对检测结果进行评价，筛选出ap值较高的目标检测算法作为候选算法。
[0037]
上述的目标检测的评价指标包括召回率r、准确率p和平均精度ap，其中以tp表示正类被预测为正类，tn表示负类被预测为负类，fp表示负类被预测为正类，fn表示正类被预测为负类，n表示取样数，k表示类别总数；
[0038]
召回率的计算公式为：
[0039]
准确率的计算公式为：
[0040]
平均精度的计算公式为：
[0041]
本发明提供的一种载木车辆检测识别及跟踪方法，通过对交通摄像头图像进行提取后进行标记，将图像划分为训练集和验证集后，通过检测模型进行检测验证，在训练过程中通过对学习率和损失函数的调整，让检测模型可以及时收敛避免瞬时反复震荡无法收敛，通过加入giou损失解决真实边界框和预测边界框交集为空时梯度为0的缺陷，有效反应真实边界框与预测边界框之间的距离，本发明建立了一种科学的，合理的载木车辆检测和跟踪方法，跟林业部门检测和跟踪违规砍伐树木人员的车辆提供了技术支持，从而减轻了人工检测和跟踪的时间和成本，具有较高的准确性。
附图说明
[0042]
下面结合附图和实施例对本发明作进一步说明：
[0043]
图1是本发明中retinanet模型的网络结构；
[0044]
图2是本发明自适应学习率更新策略流程图；
[0045]
图3是实施例中不同学习率更新策略效果对比图。
具体实施方式
[0046]
下面结合具体实施例，对本发明作进一步详细的阐述：
[0047]
为了训练一个效果较好的模型，本发明构建了一个载木车辆数据集来进行模型训练。
[0048]
一种载木车辆检测识别及跟踪方法，包括以下步骤：
[0049]
step1、通过交通摄像头获取图片数据，数据集包括5624张交通摄像头所拍摄的照片，照片大多来自市区和林区卡口摄像头，通过对数据集中图像进行分析发现载木车辆大多集中在林区卡口处，而市区仅有少量载木车辆；
[0050]
step2、对获取的车辆图像进行标记，用矩形框在图像中框选出目标车辆，采用
labelimg工具对数据集进行标注，标注类别包括厢式车、帆布车、空卡车、小汽车、大客车和载木车；
[0051]
本数据集采用pascal voc格式，以及ms coco数据集所用的.json格式；
[0052]
本数据集使用labelimg软件对每一张照片中的车辆进行标记生成.xml文件，标记框为矩形，为了提高模型拟合效果，数据集在标记过程中需要尽可能将车辆包含在矩形框中，并且图像中应包含少量背景信息；
[0053]
step3、将采集和标注的数据集划分为训练集和验证集两个部分；
[0054]
step4、将训练集输入检测模型并对模型中的卷积核、分类器、回归器进行训练，得到训练好的载木车辆检测模型的网络参数，并通过验证集对模型进行检测结果测试；
[0055]
在训练过程中，通过学习率的调整和损失函数的调整对模型进行改进；
[0056]
step5、保存训练好的模型，并将模型上传至云平台；
[0057]
step6、通过摄像头获取待检测车辆照片，并将待检测照片上传至云平台；
[0058]
step7、取检测结果并将检测结果保存至数据库；
[0059]
step8、前端界面查看检测结果并进行盗砍盗伐判定；
[0060]
step9、对判定盗砍盗伐的载木车辆的车辆信息进行提取，并与不同路段的多个摄像头摄取的道路行驶车辆图像信息进行比对，对不同帧的载木车辆信息进行提取，提取出车牌好、信息、路段地点，形成盗砍盗伐的载木车辆的路径信息。
[0061]
在卷积神经网络中为了更好的拟合目标函数，在训练过程中模型通过计算预测分布与真实分布之间的交叉熵损失，通过计算激活函数的偏导数来进行反向传播更新权重参数，并通过学习率来调整参数更新的速度；
[0062]
在训练初期由于模型拟合能力较弱，为了加速收敛应使学习率较大，随着损失的减小，模型的拟合能力得到增强，若学习率保持原状，则会出现损失反复震荡无法收敛的情况，这种情况是由于学习率较高导致模型无法收敛于局部最优解导致，因此寻找一个合理的学习率衰减策略对促进模型收敛有着重要意义。
[0063]
传统的学习率衰减策略是在每个epoch之后对学习率按照一定倍数进行衰减，但这种衰减方式可能会产生学习率早衰从而使模型收敛变慢。本发明提出了一种合理的学习率衰减策略，我们将这种策略称为自适应学习率更新策略。
[0064]
如图2所示，上述的step4中对学习率的调整方法为：
[0065]
在一个完成的训练周期内，通过函数y＝αx β对一个训练周期内的n个损失点进行拟合，其中α表示损失震荡系统，通过α作为学习率更新的条件并确定学习率的衰减程度，当α＜0时，当前模型损失为下降趋势，应当保持学习率不变；当α＞0时，当前模型损失为上升趋势，应当更新学习率，设γ为学习率，i为当前迭代轮次，因此学习率更新公式为：
[0066][0067]
其中，λ表示学习率的衰减倍率。
[0068]
上述的学习率衰减倍率λ＝0.5。
[0069]
如图3中所示，为了验证自适应学习率更新策略的有效性，我们使用车辆检测数据集对faster rcnn模型进行训练，其中第一组使用传统的学习率更新策略，第二组采用自适应学习率更新策略，将实验结果以epoch为自变量，map为因变量绘制曲线。
[0070]
通过曲线显示在训练前20个epoch采用两种学习率更新策略模型收敛速度较快；在20
‑
40epoch时两种更新策略收敛速度有所加快，但自适应学习率更新策略收敛速度加速效果更加明显；在最后阶段两种学习率更新策略都进行收敛并且精度相近，但当收敛到同种精度时，自适应学习率更新策略所需epoch比传统学习率更新策略所需epoch更少。因此采用自适应学习率更新策略能够加速模型收敛，并大大缩短模型训练时间。
[0071]
为了进一步提高检测精度，本发明对边界框损失函数进行了改进，本发明采用了在原有的损失函数之中加入giou损失，giou预测边界框与真实边界框之间的位置关系融入到损失函数中，进而使模型边界框回归的准确性得到明显提高。
[0072]
由于iou取值范围为[0,1],当iou＝0时会导致此时的梯度为0，因此iou并不能真是边界框与预测边界框之间的关系。为了能够更好的衡量真实边界框与预测边界框之间的关系，本发明将giou损失加入到损失函数中。
[0073]
上述的step4中损失函数的调整方法为：
[0074]
在原有损失函数中加入giou损失，giou预测边界框与真实边界框之间的位置关系融入到损失函数中；
[0075]
假设a为真实边界框，b为预测边界框，c为能容纳真实边界框和预测边界框在内的最小矩形框，因此giou的计算公式为：
[0076][0077]
其中union
ab
表示a和b的并集。
[0078]
giou解决了真实边界框与预测边界框交集为空时梯度为0的问题，并且可以有效反应真实边界框与预测边界框之间的距离，giou的取值范围为[
‑
1,1]，预测边界框与真实边界框距离越大，giou越小；预测边界框与真实边界框之间的距离越小，giou越大；当giou为1时说明预测边界框与真实边界框完全重合，因此采用giou不仅能够反映预测边界框与真实边界框之间的相交程度，还能够反应预测边界框与真实边界框不相交时的距离。
[0079]
预测边界框的损失函数可以表示为loss＝1
‑
giou，当预测边界框与真实边界框越近时，giou越大，此时loss越小，因此giou将直观定位边界框之间距离的评价指标加入到损失函数之中，从而使模型检测精度得到提高。
[0080]
上述的step4中对检测模型中的卷积核、分类器、回归器进行训练采用rcnn、yolov3、retinanet三种模型，并对检测效果进行对比，根据对比结果选取其中一种模型。
[0081]
上述的step4中，对检测模型的检测结果测试时，采用ap算法对检测结果进行评价，筛选出ap值较高的目标检测算法作为候选算法。
[0082]
通过对faster rcnn,yolov3,retinanet三种算法的ap进行比较，发现retinanet算法在进行载木车辆检测时检测效果做好。其中faster rcnn载木车辆检测ap为0.934，yolov3载木车辆检测ap为0.711，retinanet载木车辆检测ap为0.958，具体模型对比如表1所示。
[0083]
表1不同模型检测结果
[0084][0085]
如图1所示，retinanet特征网络使用了金字塔特征，该操作对数据集中尺度相差极大的车型均具有良好的检测效果，在本发明中远方车辆目标尺度较小，需要在较大尺度的金字塔特征层进行检测，而近处的车辆目标尺度较大，适合在较小的金字塔特征层进行检测，因此在多尺度目标检测中，retinanet相比于其他目标检测算法具有良好的性能。
[0086]
上述的目标检测的评价指标包括召回率r、准确率p和平均精度ap，其中以tp表示正类被预测为正类，tn表示负类被预测为负类，fp表示负类被预测为正类，fn表示正类被预测为负类，n表示取样数，k表示类别总数；
[0087]
召回率的计算公式为：
[0088]
准确率的计算公式为：
[0089]
平均精度的计算公式为：