一种基于两阶段的车辆违规变道识别方法与流程

1.本发明属于智能交通技术领域，尤其涉及一种基于两阶段的车辆违规变道识别方法。


背景技术：

2.近年来，随着机动车普及程度的提高，许多国家出现了汽车销量快速增长与道路建设基础不足的矛盾，给人民群众的生命和财产安全带来了巨大威胁。据统计，全球每年约有130万人死于交通事故，80％的交通事故是由司机的错误直接或间接造成的，如疲劳驾驶、注意力不集中、不良驾驶习惯等，其中，大约50％的汽车交通事故是由于车辆违规变道造成的。
3.随着计算机计算能力的提升和工业应用的加速，智能交通领域得到快速发展，智能驾驶辅助系统(adas，advanced driver assistance system)得到大量工作者的关注和研究，成为了提高道路安全的重要创新技术，在此技术中，由于车道线检测不仅可以用于车道偏离预警和车道保持辅助，还有助于进行违规变道识别工作，维护道路安全和驾驶员的行车安全，成为了最基本的和最具有挑战性的工作之一。
4.已有大量方法应用于车道线检测，主要可分为传统的机器学习算法和深度学习。有工作者通过修改形态学操作对输入图像进行处理，以获得好的车道线检测效果。一部分工作者通过训练深度学习模型，对图像进行分割获得车道线轮廓。还有一部分工作者使用检测算法直接进行车道线位置确定。由于目前车道线类型识别数据集少和缺少车道线类型识别算法，现有的方法在车道线位置检测方面取得了较好的效果，但对于变道的车道线类型识别算法较少，是否为违规变道的误识别率较高，且难以应用于嵌入式。


技术实现要素：

5.本发明目的在于提供一种基于两阶段的车辆违规变道识别方法，提高违规变道识别率，有效的维护道路安全。为了解决车道线类型识别数据集少的问题，通过整理公开数据集和使用现有条件录制实际场景中的图像，制作车道线类型识别数据集，用于识别算法的训练。为解决车道线类型识别算法精度低和嵌入式应用难的问题，通过分析车道线类型的特点和嵌入式移植的要求，先使用形态学操作对车道线进行检测，并判断是否存在变道，若存在则进行前方图像提取并进入车道线识别；通过性能对比和嵌入式移植速度要求，识别算法选择resnet50为基础模型，同时，根据车道线类型的特点和resnet50的特点，对resnet50进行改进，以取得更高的识别精度。
6.本发明提出的一种基于两阶段的违规变道识别方法，具体执行包含以下实现步骤：
7.车辆和adas摄像机启动，实时读取摄像机图像作为输入；
8.对输入图像进行处理，检测车道线；
9.对比车道线基点的变化情况，判断车辆是否变道和变道方向，若未变道则重新读
取图像进行识别，否则截取变道车道线图像进行下一步；
10.将车道线类型预测模型应用于设备，对变道车道线进行识别，如识别结果为实线、实虚或双实线之一，则为违规变道，发出警报提示。
11.进一步的，所述对输入图像进行处理，检测车道线包括：
12.对输入图像进行逆透视变换，生成鸟瞰图；
13.对所述鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点；
14.结合滑动窗口和车道线基点搜索出属于左、右车道线的像素坐标，之后进行拟合并映射到原图像。
15.进一步的，所述对输入图像进行逆透视变换，生成鸟瞰图，使用如下转化矩阵：
[0016][0017]
进一步的，所述对所述鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点的计算过程为：
[0018]
gray＝r
×
0.299 g
×
0.587 b
×
0.114
[0019][0020][0021][0022]
式中，r、g和b分别为鸟瞰图图像的三个通道，gray为处理后的灰度图像，g(x,y)为高斯滤波后的灰度值，w为输入图像的宽度，为图像从左到右每列像素为255的个数，l
lbase
为左车道线基点，l
rbase
为右车道线基点。
[0023]
进一步的，所述判断车辆是否变道和变道方向的方法为：
[0024][0025][0026]
式中，为第二帧图像的左车道线基点，为第一帧图像的左车道线基点，若第一帧和第二帧基点差值大于阈值β则为右变道，小于-β则为左变道。
[0027]
进一步的，所述车道线类型预测模型通过以下步骤建立：
[0028]
定义识别车道线类型，获取用于训练违规变道识别算法的车道线类型数据集；
[0029]
对图像通道和尺寸进行预处理，以满足模型输入；
[0030]
使用卷积层、池化层、新残差块、空洞卷积和全连接搭建训练模型；
[0031]
设置损失函数和约束参数，用于计算识别率和调整模型权重，其中，损失函数使用交叉熵损失函数；
[0032]
使用车道线类型识别数据集对模型进行训练，迭代多次之后得到收敛的识别模型。
[0033]
进一步的，所述新残差块通过添加空洞卷积到残差块形成，用于解决下采样造成特征信息丢失，保留丰富的特征信息；输入图像先经过卷积、最大池化得到x，之后输入所述新残差块，得到通过经过卷积处理后的oc(x)和经过空洞卷积处理的ok(x)，并经过跳跃连接和相加操作，保留更加丰富的图像信息，完成此模块并循环经过此模块；最后经过全连接层输出图像类别。
[0034]
本发明的有益效果如下：
[0035]
本发明提出的基于两阶段的车辆违规变道识别方法对车道线问题进行综合考虑，不仅考虑车道线检测和车辆变道，还将变道的车道线类型进行识别，有助于判断车辆是否为违规变道，更好的维护道路交通安全。
[0036]
本发明提出的基于两阶段的车辆违规变道识别方法，对车道线类型识别时，综合考虑车道线的特点和现有算法的特点，对resnet50的残差模块进行改进，更充分的使用图像的信息，提升了算法的识别精度。
[0037]
本发明第一阶段使用形态学操作和滤波技术，第二阶段使用resnet50框架，总体上，能够快速完成车道线的检测和识别，方便进行嵌入式移植应用。
附图说明
[0038]
图1为本发明的流程示意图；
[0039]
图2为识别数据集含有的车道线类型示意图；
[0040]
图3为改进的resnet50残差模块示意图；
[0041]
图4为车道线检测阶段示意图；
[0042]
图5为车辆变道车道线变化和车道线识别区域提取示意图。
具体实施方式
[0043]
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
[0044]
步骤1：定义识别车道线类型，获取用于训练违规变道识别算法的车道线类型数据集，具体如下：
[0045]
制作车道线识别数据集，其中车道线识别数据集包含多个类别的车道线检测数据，每个车道线识别数据对应一种车道线类型，并且车道线数量是已知确定的，参照图2。
[0046]
根据车道线类型和识别算法性能，将车道线类型分为六大类，即识别类型数目为6，分别为实线(黄实线和白实线)、虚线(黄虚线和白虚线)、双实线(双白实线和双黄实线)、双黄虚线、实虚线、虚实线。以此为目标，综合网上公开的数据集和实际车载设备获取的图像，制作违规变道识别数据集。
[0047]
步骤2：建立基于识别的车道线类型预测模型，建立过程如下：
[0048]
2a：对图像通道和尺寸进行预处理，以满足模型输入；
[0049]
2b：搭建训练模型使用的卷积层、池化层、新残差块、空洞卷积和全连接，其中，经过分析车道线类型信息和resnet50残差块的特点，添加空洞卷积到经典残差块，用于解决下采样造成特征信息丢失，保留更加丰富的特征信息；
[0050]
如图3所示，1
×
1卷积层，3
×
3，rate2卷积层，3
×
3，rate4卷积层，3
×
3，rate8卷积层和池化层并联后，一方面通过新残差块中经典残差块的64个1
×
1的卷积把256维channel降到64维，再经过64个3
×
3卷积，最后通过64个1
×
1卷积恢复到256个channel，另一方面通过新残差块中1
×
1卷积层和dropout层进行空洞卷积，连接到经典残差块。参照图3，输入图像先经过卷积、最大池化得到x，之后输入本发明提出的残差块，得到通过经过卷积处理后的oc(x)和经过空洞卷积处理的ok(x)，并经过跳跃连接和相加操作，保留更加丰富的图像信息，完成此模块并循环经过此模块；最后经过全连接层(图中未标出)输出图像类别。resnet为残差网络residual network的缩写，该网络广泛用于目标分类领域以及计算机视觉任务主干经典神经网络的一部分，resnet50是其中的经典网络，resnet为本领域的公知常识，本发明不再赘述，本实施例中的经典残差块为resnet50中的残差块。
[0051]
2c：设置损失函数和约束参数，用于计算识别率和调整模型权重，其中，损失函数是使用交叉熵损失。交叉熵损失函数的数学公式如下：
[0052][0053]
其中yi表示样本i的label，正类为1，负类为0，pi表示样本i预测为正类的概率，n为样本个数。
[0054]
2d：使用制作的车道线类型识别数据集对模型进行训练，迭代多次之后得到收敛的识别模型；
[0055]
步骤3：车辆和adas摄像机启动，实时读取摄像机图像作为输入；
[0056]
步骤4：对输入图像进行处理，检测车道线，具体为：
[0057]
4a：对输入图像进行逆透视变换，生成鸟瞰图，转化矩阵为：
[0058][0059]
4b：对鸟瞰图进行灰度处理和高斯滤波，消除图像中的噪声和干扰信息得到二值图像，并通过计算每列像素点个数确定出车道线的两个基点，计算过程为：
[0060]
gray＝r
×
0.299 g
×
0.587 b
×
0.114
[0061][0062]
[0063][0064]
式中，r、g和b分别为鸟瞰图图像的三个通道，gray为处理后的灰度图像，g(x,y)为高斯滤波后的灰度值，w为输入图像的宽度，为图像从左到右每列像素为255的个数，l
lbase
为左车道线基点，l
rbase
为右车道线基点。
[0065]
4c：结合滑动窗口和车道线基点搜索出属于左、右车道线的像素坐标，之后进行拟合并映射到原图像，从左到右车道线分别标记1和2.
[0066]
步骤5：对比车道线基点的变化情况，判断车辆是否变道和变道方向，若未变道则返回步骤4，否则截取变道车道线图像进行步骤6，判断方法为：
[0067][0068][0069]
式中，为第二帧图像的左车道线基点，为第一帧图像的左车道线基点，若第一帧和第二帧基点差值大于阈值β则为右变道，小于-β则为左变道。
[0070]
步骤6：将检测模型应用于设备，对变道车道线进行识别，并判断是否为违规变道。如识别结果实线、实虚、双实线则为违规变道，发出警报提示。
[0071]
实施例
[0072]
本实施案例的具体实现方法如前所述，不在详细阐述具体的步骤，下面针对车道线类型识别的精度进行展示。本实施案例测试数据来自于实际场景，使用图片受光照、阴影和积水等多种环境影响。
[0073]
为更加直观的显示本发明的优点，对本发明的第二阶段进行定量分析，选用标准为：
[0074][0075]
式中，p为识别精度，ti为第i类识别正确的个数，ii为第i类的总个数，k为类别数。
[0076]
在同一实验环境下，经过多次实验取平均，resnet18的精度为70％，resnet50的精度为77％，本发明的精度为85％，充分说明了本发明的有效性和优越性。
[0077]
本发明的有益效果如下：
[0078]
本发明提出的基于两阶段的车辆违规变道识别方法对车道线问题进行综合考虑，不仅考虑车道线检测和车辆变道，还将变道的车道线类型进行识别，有助于判断车辆是否为违规变道，更好的维护道路交通安全。
[0079]
本发明提出的基于两阶段的车辆违规变道识别方法，对车道线类型识别时，综合考虑车道线的特点和现有算法的特点，对resnet50的残差模块进行改进，更充分的使用图像的信息，提升了算法的识别精度。
[0080]
本发明第一阶段使用形态学操作和滤波技术，第二阶段使用resnet50框架，总体
上，能够快速完成车道线的检测和识别，方便进行嵌入式移植应用。
[0081]
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本技术中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“x使用a或b”意指自然包括排列的任意一个。即，如果x使用a；x使用b；或x使用a和b二者，则“x使用a或b”在前述任一示例中得到满足。
[0082]
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
[0083]
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
[0084]
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。