一种无人巡逻车在无光情形下路况检测方法与流程

1.本发明涉及无人巡逻车技术领域，尤其是涉及一种无人巡逻车在无光情形下路况检测方法。


背景技术：

2.本专利的使用车型是一种具有自动驾驶能力的园区巡逻车，为了对行车以及车辆做出不同的响应动作，需要实现目标检测功能，考虑到夜间作业需求，实现了一种软硬件一体的基于视觉的目标检测算法。自动驾驶车辆需要较快的响应速度，所以yolo凭借其较高的检测速度成为了首选。传统的yolo在明亮的环境下有着较好的识别准确性，但是在夜间情况下需要额外的可见光源，并且检测结果较日光情况下有较大的出入。为了解决这个问题，本专利首先在硬件层面上使用了红外射灯加车前单摄像头的解决方案，算法上采用实车采图 yolo训练 yolo检测的解决方案。


技术实现要素：

3.鉴于以上问题，本发明提供了一种无人巡逻车在无光情形下路况检测方法，不仅解决了在巡逻车夜间工作情况下，可以提供准确的行人、车辆及障碍物识别结果，而且网络训练采用了更轻量的模型，降低了计算资源要求。
4.为了实现上述目的及其他相关目的，本发明提供的技术方案如下：
5.一种无人巡逻车在无光情形下路况检测方法，包括以下步骤：
6.q1：在无光情形下，无人巡逻车打开红外射灯在预设路段进行巡逻，通过无人巡逻车的红外摄像头进行图片采集并存储于云平台数据库中；
7.q2：基于云平台数据库对fast yolo目标检测模型进行预训练，在训练过程中输出损失函数的损失值，预训练完成后存储fast yolo目标检测模型的卷积层和最大池化层，在末端卷积层依次添加一个平均池化层和一个全连接层用于分类任务；
8.q3：在所述fast yolo目标检测模型载入预训练好的参数，进行初始化全连接层的置信度和权重值的操作，得到预训练好的fast yolo目标检测模型；
9.q4：基于无人巡逻车的红外摄像头采集路况信息图像，将所述路况信息图像数据输入到预训练好的fast yolo目标检测模型进行目标检测，输出目标检测结果；
10.q5：基于目标检测结果，设置预设阀值，当检测结果的置信度数值低于预设阀值，将其去除，再根据nms算法，去除重合的目标，输出路况数据信息。
11.进一步的，在步骤q2中，所述fast yolo目标检测模型是一个卷积神经网络，包括：
12.第一卷积层的卷积核尺寸为7*7，个数为64；
13.一个2*2的最大池化层；
14.第二卷积层的卷积核尺寸为3*3，个数为192；
15.第三卷积层的卷积核尺寸为3*3，个数为256；
16.第四卷积层的卷积核尺寸为1*1，个数为128的卷积层；
17.第五卷积层的卷积核尺寸为1*1，个数为128的卷积层；
18.一个2*2的最大池化层；
19.第六卷积层的卷积核尺寸为3*3，个数为1024；
20.第七卷积层的卷积核尺寸为1*1，个数为512；
21.第八卷积层的卷积核尺寸为1*1，个数为512；
22.一个2*2的最大池化层；
23.第九卷积层的卷积核尺寸为3*3，个数为1024；
24.一个全连接层。
25.进一步的，在步骤q5中，所述nms算法包括以下步骤：
26.1)获取置信度高于预设阀值的目标；
27.2)计算置信度最高的目标选取框与当前目标选取框的iou值，当iou值大于0.5，为同一个物体，去除重复的目标；
28.3)重复上述操作，输出路况数据信息。
29.进一步的，在步骤q4中，所述路况信息包括车辆、行人及路障信息。
30.进一步的，在步骤q2中，所述损失函数为：
[0031][0032]
其中：α1为物体在损失函数中的权重值，α2为边界框在损失函数中的权重值，xi，yj，ωi，hj分别为实际物体中心点坐标值以及边界框的宽和高，分别为预测物体的中心点坐标值以及边界框的宽和高，β
ij
为单元格i中有物体且第j个边界框预测器对第i个单元格预测物体的负责，m表示每个图像被分成m*m的单元格，n表示每个单元格预测的两个边界框，ci表示实际物体的类别，表示预测物体的类别，pi(b),分别表示存在物体的可能性和预测到的存在物体的可能性，f表示物体的种类总数，b表示物体的种类。
[0033]
进一步的，在步骤q2中，在训练过程中输出损失函数的损失值k，当损失值k《1.5时训练停止，训练完成。
[0034]
为了实现上述目的及其他相关目的，本发明还提供了一种无人巡逻车在无光情形下路况检测系统，包括计算机设备，该计算机设备被编程或配置以执行任意一项所述无人巡逻车在无光情形下路况检测方法的步骤。
[0035]
为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述无人巡逻车在无光情形下路况检测方法的计算机程序。
[0036]
本发明具有以下积极效果：
[0037]
1)本发明实现了较高准确性的夜间目标检测。
[0038]
2)本发明针对实车红外图片重新训练，随着车辆的运行，可以获得大量红外图像数据，持续为后续训练提供数据集，优化检测结果。
[0039]
3)本发明网络训练采用了更轻量的模型，降低了计算资源要求。
[0040]
4)本发明硬件新增成本低，只需增加红外射灯。
附图说明
[0041]
图1为本发明方法流程示意图。
具体实施方式
[0042]
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0043]
实施例1：如图1所示，一种无人巡逻车在无光情形下路况检测方法，包括以下步骤：
[0044]
q1：在无光情形下，无人巡逻车打开红外射灯在预设路段进行巡逻，通过无人巡逻车的红外摄像头进行图片采集并存储于云平台数据库中；
[0045]
q2：基于云平台数据库对fast yolo目标检测模型进行预训练，在训练过程中输出损失函数的损失值，预训练完成后存储fast yolo目标检测模型的卷积层和最大池化层，在末端卷积层依次添加一个平均池化层和一个全连接层用于分类任务；
[0046]
q3：在所述fast yolo目标检测模型载入预训练好的参数，进行初始化全连接层的置信度和权重值的操作，得到预训练好的fast yolo目标检测模型；
[0047]
q4：基于无人巡逻车的红外摄像头采集路况信息图像，将所述路况信息图像数据输入到预训练好的fast yolo目标检测模型进行目标检测，输出目标检测结果；
[0048]
q5：基于目标检测结果，设置预设阀值，当检测结果的置信度数值低于预设阀值，将其去除，再根据nms算法，去除重合的目标，输出路况数据信息。
[0049]
进一步的，在步骤q2中，所述fast yolo目标检测模型是一个卷积神经网络，包括：
[0050]
第一卷积层的卷积核尺寸为7*7，个数为64；
[0051]
一个2*2的最大池化层；
[0052]
第二卷积层的卷积核尺寸为3*3，个数为192；
[0053]
第三卷积层的卷积核尺寸为3*3，个数为256；
[0054]
第四卷积层的卷积核尺寸为1*1，个数为128的卷积层；
[0055]
第五卷积层的卷积核尺寸为1*1，个数为128的卷积层；
[0056]
一个2*2的最大池化层；
[0057]
第六卷积层的卷积核尺寸为3*3，个数为1024；
[0058]
第七卷积层的卷积核尺寸为1*1，个数为512；
[0059]
第八卷积层的卷积核尺寸为1*1，个数为512；
[0060]
一个2*2的最大池化层；
[0061]
第九卷积层的卷积核尺寸为3*3，个数为1024；
[0062]
一个全连接层。
[0063]
进一步的，在步骤q5中，所述nms算法包括以下步骤：
[0064]
1)获取置信度高于预设阀值的目标；
[0065]
2)计算置信度最高的目标选取框与当前目标选取框的iou值，当iou值大于0.5，为同一个物体，去除重复的目标；
[0066]
3)重复上述操作，输出路况数据信息。
[0067]
进一步的，在步骤q4中，所述路况信息包括车辆、行人及路障信息。
[0068]
进一步的，在步骤q2中，所述损失函数为：
[0069][0070]
其中：α1为物体在损失函数中的权重值，α2为边界框在损失函数中的权重值，xi，yj，ωi，hj分别为实际物体中心点坐标值以及边界框的宽和高，分别为预测物体的中心点坐标值以及边界框的宽和高，β
ij
为单元格i中有物体且第j个边界框预测器对第i个单元格预测物体的负责，m表示每个图像被分成m*m的单元格，n表示每个单元格预测的两个边界框，ci表示实际物体的类别，表示预测物体的类别，pi(b),分别表示存在物体的可能性和预测到的存在物体的可能性，f表示物体的种类总数，b表示物体的种类。
[0071]
进一步的，在步骤q2中，在训练过程中输出损失函数的损失值k，当损失值k《1.5时训练停止，训练完成。
[0072]
为了实现上述目的及其他相关目的，本发明还提供了一种无人巡逻车在无光情形下路况检测系统，包括计算机设备，该计算机设备被编程或配置以执行任意一项所述无人巡逻车在无光情形下路况检测方法的步骤。
[0073]
为了实现上述目的及其他相关目的，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述无人巡逻车在无光情形下路况检测方法的计算机程序。
[0074]
具体地，硬件层面，我们在原来基础上新增红外射灯，用于夜间光源。软件层面上我们采用红外图像的yolo训练与红外图像的yolo检测。
[0075]
首先，该方案用于夜间使用，在此期间红外射灯持续提供稳定红外光源，图像采集模块持续等时(3s)采集红外图片，保存于控制器指定位置(训练阶段与检测阶段均执行，保证检测阶段的数据也可以用于后续的训练，不断扩大训练数据库)。
[0076]
综上所述，本发明实现了较高准确性的夜间目标检测，不仅解决了针对实车红外图片重新训练，随着车辆的运行，可以获得大量红外图像数据，持续为后续训练提供数据集，优化检测结果，网络训练采用了更轻量的模型，降低了计算资源要求，硬件新增成本低，只需增加红外射灯。
[0077]
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。