一种基于YOLOv3-tiny-DB和迁移学习的夜间道路行人检测方法

一种基于yolov3-tiny-db和迁移学习的夜间道路行人检测方法
技术领域
1.本发明涉及一种基于yolo v3-tiny-db和迁移学习的夜间道路行人检测方法，属于计算机图像处理技术领域。


背景技术：

2.受益于近年来深度学习方法的迅速发展，已开发出许多计算机视觉应用程序来设计高级驾驶员辅助系统(adas)和连接的自动驾驶汽车(cav)。这些应用主要关注对象检测，对象分类，对象识别，语义分割，运动估计和监视系统。但是，大多数可用的计算机视觉应用程序都是基于可见光相机的，因此只能在正常光线和晴朗天气的情况下使用，这使得大多数最新模型都不适合用于夜间图像。交通安全统计数据显示，美国51.1％的致命撞车事故发生在夜间(从下午6点到凌晨6点)，特别是在照明度极低的农村地区。因此，在晴朗的交通环境中有效增强夜间图像对于交通安全至关重要，应将其整合到adas和cav中以提供全天候协助。
3.自动驾驶技术一般分为环境感知、决策规划和车辆控制三大部分。视觉极易受到环境变化的影响，能见度较低时效果不理想，在传感器中属于被动型，对光照、眩光、视角、尺度、阴影、污损、背景干扰和目标遮挡等诸多不确定因素较为敏感。夜晚中驾驶道路整体光度较暗，路灯、光照源等局部光照较强，整体图像分辨率较低，增加了夜晚视觉传感器对目标进行检测的难度。
4.但是，在辅助驾驶应用中，不可避免的出现很多复杂的弱光照情况，由实际驾驶情况车载相机检测设备产生的图像具有一定程度的运动模糊和图像噪点，通常所呈现的图像伴随着一些模糊不清以及伪影，这显然降低了辅助驾驶检测工作的效率，并且一定程度上增加了辅助驾驶检测工作上的难度。从成像效果来看，虽然可以通过人眼有效地辨认出道路明亮处的行人.但是受实际环境、硬件系统的性能等因素影响，所得图像对比度差异大，色彩信息少，弱光照处的行人很容易被忽略，这都将导致在辅助驾驶检测过程中发生错检漏检事件。图像的低对比度是阻碍该项技术发展的主要因素之一。
5.因此，需要对夜间道路条件下行人检测与识别方法进行深入研究，以提高其在实际应用中的效果。


技术实现要素：

6.本发明要解决的技术问题是提供一种基于yolo v3-tiny-db和迁移学习的夜间道路行人检测方法，用于解决夜间环境车载相机所成图像对比度差异大，色彩信息少等问题，从而增强车载相机所成图像的显示效果，提高了行人检测的识别率。
7.本发明的技术方案是：一种基于yolo v3-tiny-db和迁移学习的夜间道路行人检测方法，利用计算机图像处理领域的方法，将夜间图像使用改进的限制对比度直方图均衡算法得到亮度图像，再将原夜间图像和处理后的亮度图像，经过高斯金字塔和拉普拉斯金
字塔做融合得到最终图像，原夜间图像和最终图像交叉叠放建立夜间道路行人数据集。并设计全新的yolo v3-tiny-db行人检测网络，通过yolo v3-tiny-db网络训练夜间道路行人数据集得到训练权重。最终加载训练权重移植到本地辅助驾驶平台提高夜间道路图像行人识别率。
8.具体步骤为：
9.step1：首先利用高清车载摄像头采集夜间道路行人图像，得到夜间图像。
10.step2：对夜间图像进行预处理，将夜间图像使用改进的限制对比度直方图均衡算法得到亮度图像，再将原夜间图像和处理后的亮度图像，经过高斯金字塔和拉普拉斯金字塔做融合得到最终图像，原夜间图像和最终图像交叉叠放建立夜间道路行人数据集。
11.step3：将夜间道路行人检测数据集导入yolo v3-tiny-db的目标检测网络，调整网络结构和夜间道路图像的输入大小，让网络适应夜间道路行人图像，得到训练权重。
12.step4：利用step2中所述的图像处理方法对辅助驾驶平台车载相机所拍摄的夜间道路图像进行增强和重构，使得重构之后的图像更清晰，更有利于模型的检测。然后通过迁移学习将训练权重移植到辅助驾驶检测平台。提高夜间道路行人的检测效果。
13.所述高清车载摄像头采用的型号是li-usb30-ar023zwdrb，分辨率为1920
×
1080。
14.车载摄像头li-usb30-ar023zwdrb采集的图片为尺寸较大的高清图片，较大尺寸的图片会减慢目标检测网络的训练速度，并且会降低训练的质量，训练时将图像切割成相同大小的四份，以闪电存储映射数据库(lightning memory mapped database，简称lmdb)格式训练夜间道路行人数据集，以提高输入输出(input/output，简称i/o)速度，大幅度缩短数据读取时间，从而减少了训练yolo v3-tiny-db目标检测模型的时间。夜间道路行人数据集导入yolo v3-tiny-db训练完成后会得到训练权重。
15.所述改进的限制对比度直方图均衡化算法具体为：
16.分别统计h、v两通道的直方图，计算各通道按照给定的参数确定上下限值，按照计算出的min/middle/max构建一个隐射表，小于min隐射为50，大于max隐射为250，h、v通道分别使用限制对比度算法处理再加权合成。
17.所述隐射表能反应出全图的一个平均值信息，根据这个平局值来决定调整的一个gamma值，相当于同时结合了gamma校正和自动色阶的思想。
18.辅助驾驶领域大多应用轻量便捷的计算设备，yolo v3-tiny网络由于轻量效应优势被广泛使用。但是夜间道路场景中自然光几乎为零，其他光源交错复杂，使图像亮度分布不均，图像可见度、对比度下降，所述yolo v3-tiny-db目标网络使用dense block改进yolo v3-tiny网络的特征提取部分，设计全新的yolo v3-tiny-db行人检测网络。
19.利用迁移学习可以简单方便地将训练权重移植到本地辅助驾驶平台，实现夜间道路行人检测。
20.本发明的有益效果是：本发明与现有技术相比，可以解决夜间道路场景下，视觉相机所成图像对比度下降，图像模糊不清等现象，增加车载相机所成图像的显示效果，提高了夜间道路对行人的识别率。
附图说明
21.图1是本发明步骤流程图；
22.图2是本发明yolo 3-tiny-db的夜间道路行人检测网络结构图；
23.图3是本发明yolo v3-tiny-db网络中的dense block，简称db模块；
24.图4本发明增强后网络模型训练时的行人检测召回率；
25.图5本发明增强后网络模型训练时的行人检测平均识别率；
26.图6本发明是辅助驾驶平台夜间道路行人原始图像；
27.图7是图6经过图像增强之后的图像；
28.图8是yolo v3-tiny夜间道路行人检测可视化效果图；
29.图9是本发明的夜间道路行人检测可视化效果图。
具体实施方式
30.下面结合附图和具体实施方式，对本发明作进一步说明。
31.实施例1：如图1-9所示，一种基于yolo v3-tiny-db和迁移学习的夜间道路行人检测方法，具体步骤为：
32.step1：首先在各个街道利用高清车载摄像头采集夜间道路行人图像，得到19480张夜间图像。
33.step2：对夜间图像进行预处理，首先将19480张夜间图像使用改进的限制对比度直方图均衡算法得到亮度图像，再将原夜间图像和处理后的亮度图像，经过高斯金字塔和拉普拉斯金字塔做融合得到最终图像，原夜间图像和最终图像交叉叠放建立夜间道路行人数据集。
34.step3：将夜间道路行人检测数据集导入yolo v3-tiny-db的目标检测网络，调整网络结构和夜间道路图像的输入大小，让网络适应夜间道路行人图像，得到训练权重；
35.step4：利用step2中所述的图像处理方法对辅助驾驶平台车载相机所拍摄的夜间道路图像进行增强和重构，使得重构之后的图像更清晰，更有利于模型的检测。然后通过迁移学习将训练权重移植到辅助驾驶检测平台。提高夜间道路行人的检测效果。
36.所述高清车载摄像头采用的型号是li-usb30-ar023zwdrb，分辨率为1920
×
1080。本发明共采集夜间道路图像19480张，剔除没有行人目标的夜间图像共12048张，划分训练集共6048张，测试集4000张。该数据集为不同种类、不同形状的以及有不同细节的夜间道路行人图像，以训练网络的泛化性，用以应对不同的需求。
37.所述改进的限制对比度直方图均衡化算法具体为：
38.分别统计h、v两通道的直方图，计算各通道按照给定的参数确定上下限值，按照计算出的min/middle/max构建一个隐射表，小于min隐射为50，大于max隐射为250，h、v通道分别使用限制对比度算法处理再加权合成。
39.所述隐射表能反应出全图的一个平均值信息，根据这个平局值来决定调整的一个gamma值，相当于同时结合了gamma校正和自动色阶的思想。
40.所述yolo v3-tiny-db目标网络使用dense block改进yolo v3-tiny网络的特征提取部分，设计全新的yolo v3-tiny-db行人检测网络。
41.实施例2：本发明的核心是提供一种基于yolo v3-tiny-db和迁移学习夜间道路行人检测方法，第一能够提高视觉传感器夜间道路图像的对比度和色阶，使经过处理的图像看起来更清晰，帮助模型捕捉行人的特征，第二是基于密集连接能够改进yolo v3-tiny检
测网络对行人的检测精度，提高辅助驾驶夜间行人检测的安全性。第三通过迁移学习将训练权重移植到本地辅助驾驶平台，可以提高夜间行人检测的效果。
42.本发明采用的夜间道路图像行人检测方法是yolo v3-tiny-db模型，该模型是基于yolo目标检测网络加以改进来实现目标检测。
43.夜间道路图像处理的主要任务是提高对比度和自动色阶，以便将图像用于后续步骤，即特征提取和图像识别。行人检测具有极其广泛的应用：智能辅助驾驶，智能监控，行人分析以及智能机器人等领域。深度学习的发展使行人检测进入了一个快速的发展阶段，但是也存在很多问题还有待解决，这也迫切需要能对行人进行快速有效的检测，以保证自动驾驶期间对行人的安全不会产生威胁。
44.本发明首先对车载摄像头采集到的夜间图像进行预处理，将19480张夜间图像使用改进的限制对比度直方图均衡算法得到亮度图像，再将原夜间图像和处理后的亮度图像，经过高斯金字塔和拉普拉斯金字塔做融合得到最终图像，原夜间图像和最终图像交叉叠放建立夜间道路行人数据集。
45.再利用计算机深度学习领域的方法，改进yolo v3-tiny目标检测模型应用在辅助驾驶领域。yolo v3-tiny目标检测模型是监督学习的一种方法，主要分为特征提取和模式识别两个部分。特征提取是训练卷积神经网络，提取图片信息的特征。yolo v3-tiny-db网络选择对于图片的全局区域进行训练，速度加快的同时，能够更好的区分目标和背景，但是对于大物体而言，背景也有可能被算进目标的一部分，所以这就是它对中小物体效果特别好，而大背景却容易漏检。
46.本发明所用模型对网络结构最大的改动是利用密集连接块改进yolo v3-tiny的特征提取部分，即在特征提取网络中套入了密集连接的模块(dense block，简称db)。基于密集连接的思想可以最大化网络中所有层之间的信息流，增强提取夜间行人特征时深层信息和浅层信息的交互能力。
47.修改网络配置文件，网络每一次输入图像的大小区间是[320,480]；每次读取一个较大批量的图片，batch_size＝16；迭代批次设置为300epochs，将夜间道路行人数据集导入yolo v3-tiny-db网络，最后在单个rtx2060的gpu上训练了5.5小时。
[0048]
基于yolo v3-tiny-db和迁移学习的夜间道路行人检测网络的最终目的是应用在辅助驾驶领域，因为辅助驾驶领域训练夜间道路行人检测需要大量的数据和标注，会浪费过多的人力物力，无法直接使用辅助驾驶平台进行训练，所以考虑通过迁移学习的方式将yolo v3-tiny-db训练权重应用在辅助驾驶领域。
[0049]
最后对夜间道路图像进行重构之后的图像效果如图7所示，对比图6，道路两边暗处的行人相比之前原始图像，确实有更好的对比度，通过改进的限制对比度直方图均衡算法进行重构的图像确实更清晰，更有利于行人检测的识别。
[0050]
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。