基于深度语义分割网络和图像矫正的高速路遮光板倾斜识别方法与流程

1.本发明属于图像处理技术领域，涉及图像的识别检测，具体涉及一种基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法。


背景技术：

2.高速公路遮光板位于高速公路两个反方向行驶道路中间，能够挡住斜对面反向车道上行驶过来的车灯直射光线影响，防止炫目保证司机的眼睛不受强光照射；同时，还可以帮助风流导向，避免横风(与高速公路走向垂直的风流)吹倒损坏遮光板。高速公路遮光板的安装部署和缺损状态监测，对保证高速公路的行车安全有很大作用。实际中，由于车祸事故、风力破坏等不可抗力原因，高速公路遮光板不可避免发生缺失或倾斜，给道路安全防护带来极大隐患。因此，对高速公路遮光板进行检测和定位，以便快速修复遮光板，对于高速公路的行车安全环境至关重要。


技术实现要素：

3.针对上述现有技术中存在的高速公路遮光板缺失或倾斜的异常问题，本发明的目的在于，提供一种基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法。
4.为了实现上述任务，本发明采取如下的技术解决方案：
5.一种基于深度语义分割网络和图像矫正的高速路遮光板倾斜识别方法，其特征在于，该方法将高分辨相机采集的高速路上遮光板图像输入至残差神经网络模型，实现对遮光板区域的像素级精细分割，进而对同一幅图像内多个遮光板区域，通过去估计最大外接多边形，根据顶点之间的距离确定最优外接四边形，进而通过仿射变换完成遮光板区域矫正；最后，利用最小二乘估计每个遮光板的姿态方向，实现对倾斜遮光板的识别定位。
6.具体包括以下步骤：
7.步骤一，构建残差神经网络模型，所述残差神经网络模型包括主干特征提取网络、空洞空间池化金字塔模块、后处理模块、二次点预测模块；
8.将高分辨相机采集的高速路上遮光板图像输入至残差神经网络模型，由神经网络模型输出特征图，然后对输出特征图进行2倍双线性插值，得到粗预测图；在得到粗预测图上挑选出n个不确定性最高的点，并对于每个不确定性最高点获取其表征向量，该表征向量由低层特征向量和高层特征向量组成；其中，低层特征向量通过在粗预测图的特征向量图上进行双线性插值获得，高层特征向量即为不确定点在粗预测图上的特征向量，然后使用一个小的神经网络对表征向量计算得到更新的粗预测图；将预测结果替换粗糙预测结果中的不稳定值，不断重复上述步骤，直到输出结果尺寸与原图大小一致；
9.步骤二，计算遮光板区域的凸包，具体计算方法如下：
10.1)假设每个遮光板边缘区域是由n个像素组成，构成了集合e，且e＝{pk|k＝1，2，...，n}，首先以集合e左下角像素p1为起点，然后将其它边缘像素pk，k＝2，3，...，n与p1进
行连线，计算连线与水平方向的夹角，并按照夹角大小排序；
11.2)排序后的像素集合为针对中像素若顺时针转向说明是凸包顶点，保留像素否则，从中删除像素直到中所有像素都被遍历且判决，最终保留下来的就是二维凸包的顶点；
12.3)对像素集合中的所有像素，得到遮光板区域的二维凸包；
13.步骤三，基于最小二乘姿态估计的遮光板倾斜识别，具体识别方法如下：
14.1)假设一幅图像中共有m个遮光板，其中第j个遮光板的中心线为二维空间中一条直线，根据均方误差构建误差目标函数
[0015][0016]
其中，为第j条直线截距，为第j条直线斜率，j∈{1，2，...，m}，xk和yk分别为第k个边缘像素的横坐标和纵坐标；
[0017]
2)采用最小二乘法确定使得取最小值的最优解参数计算遮光板方向θj；遍历图像中的m个遮光板，并生成遮光板姿态方向集合ω＝{θ1，θ2，...，θj}；
[0018]
3)当集合ω内θj满足以下条件时，则判定第j个遮光板倾斜，并构建倾斜遮光板对应的位置索引集合u：
[0019][0020]
其中τ为阈值，
[0021]
本发明的基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法，相比传统图像分割方法，使用残差神经网络模型对目标细节分割质量更优，对背景干扰十分鲁棒。通过顶点距离快速确定外接四边形的方法简单高效，适用于对动态场景下的区域形状估计。通过实测数据进行测试，验证了该方法的有效性和优越性。
附图说明
[0022]
图1是残差神经网络的基本框架；
[0023]
图2是高速公路上遮光板完整状态以及缺失、倾斜状态图片，从左至右依次为完整状态、缺失状态和倾斜状态；
[0024]
图3是特征提取主干网络；
[0025]
图4是空洞空间池化金字塔示意图；
[0026]
图5是后处理模块示意图；
[0027]
图6是基于残差神经网络模型的遮光板分割结果图；
[0028]
图7是遮光板等区域的二维凸包图；
[0029]
图8是挡光边区域的矫正结果图；
[0030]
图9是遮光板区域边缘检测和最小二乘估计直线图；
[0031]
图10是基于最小二乘姿态估计的遮光板倾斜识别示例图。
[0032]
以下结合附图和实施例对本发明作进一步地详细说明。
具体实施方式
[0033]
本发明的设计思路是，针对高分辨相机采集高速路上遮光板图像数据，利用计算机视觉和深度学习方法对高速公路上遮光板倾斜情况进行识别检测。主要处理步骤包括遮光板目标检测，形态矫正和倾斜识别。
[0034]
本实施例给出一种基于深度语义分割网络和图像矫正的高速路遮光板倾斜识别方法，将高分辨相机采集的高速路上遮光板图像输入至深度残差神经网络模型，实现对遮光板区域的像素级精细分割，进而对同一幅图像内多个遮光板区域，通过去估计最大外接多边形，根据顶点之间的距离确定最优外接四边形，进而通过仿射变换完成遮光板区域矫正；最后，利用最小二乘估计每个遮光板的姿态方向，实现对倾斜遮光板的识别定位。
[0035]
所构建残差神经网络的基本框架如图1所示，主要包括主干特征提取网络、空洞空间池化金字塔模块、后处理模块、二次点预测模块。
[0036]
具体包括以下步骤：
[0037]
(1)构建采集图像数据集
[0038]
利用高分辨相机采集高速路上遮光板图像数据，为了采集丰富的遮光板目标内容，在采集遮光板图像时相机与道路方向夹角小于π/2，使得一幅图像中可以采集到多个遮光板目标图像，图2给出了高速公路上遮光板完整状态以及缺失、倾斜状态图片，从左至右依次为完整状态、缺失状态和倾斜状态。
[0039]
(2)构建特征提取主干网络
[0040]
针对采集到的遮光板图片，构建残差神经网络去提取图像特征，整体结构如图3所示。
[0041]
输入图像，经过初始模块，这里的初始模块为三个3
×
3卷积和一个最大池化层。经过初始模块后的输出尺寸降了四倍，输出通道数为128。
[0042]
经过阶段1，阶段1由三个残差单元构成，残差单元都是1
×
1和3
×
3的小卷积，且步长都为1，经过阶段1后的输出尺寸相对于原图降低了四倍(与初始模块的输出尺寸相同)，阶段1输出为256通道。
[0043]
经过阶段2，阶段2由四个残差单元组成，其中第一个残差单元的3
×
3卷积核步长为2，经过阶段2后的输出尺寸相对于原图降了八倍，阶段2输出为512通道。
[0044]
经过阶段3，阶段3由六个残差单元组成，其中第二个到第六个残差单元的3
×
3卷积中使用了空洞率为2的空洞卷积，经过阶段3后的输出尺寸相对于原图降了八倍，阶段3的输出为1024通道。
[0045]
经过阶段4，阶段4由三个残差单元组成，第一个残差单元中3
×
3卷积的空洞率为2，第二个和第三个残差单元中3
×
3卷积的空洞率为4，经过阶段4后的输出尺寸相对于原图降了八倍，阶段4的输出为2048通道。
[0046]
(3)构建空洞空间卷积池化金字塔模块
[0047]
考虑到多尺度的问题，申请人构建了空洞空间池化金字塔模块。传统的处理多尺度的做法是对原图进行不同的尺度变化，然后传入到模型中，这样的计算量比较大。因此，使用多个不同扩张率的并行空洞卷积层组成的模块，在各自的分支中以不同扩张率抽取到不同感受野的特征，随后融合生成最后的结果。通过该模块可以从多个尺度抽取图像中的上下文信息。空洞空间池化金字塔模块结构如图4所示。
[0048]
图中，输入是主干特征提取网络的阶段4的输出，第一个分支是普通的1
×
1卷积层。
[0049]
第二、三、四分支为3
×
3的空洞卷积层，空洞率分别为12、24、36，当输出尺寸为原来的1/16时，空洞率应依次设置为6、12、18。
[0050]
第五个分支为平均池化加一个1
×
1的卷积层，池化层无法调整通道数，1
×
1的卷积起到调整通道数作用
[0051]
五个分支的输出都是256维(一共1280维)，空洞空间卷积池化金字塔模块后面使用1
×
1卷积将这五个分支输出的结果进行融合，最后输出256维的新特征。
[0052]
(4)后处理模块构建
[0053]
后处理模块是进行初步图像分割的最后一个模块，模后处理块的结构如图5所示。
[0054]
后处理模块的输入为空洞空间卷积池化金字塔模块融合后的输出,后处理模块最终的输出为分类数目张分割掩码结果图；后处理模块包含两个卷积层。输入先经过3
×
3的卷积再通过1
×
1的卷积，3
×
3卷积为过渡作用，1
×
1卷积是为了改变输出通道数为分类数目。
[0055]
(5)构建点的二次预测网络
[0056]
针对于图像分割导致的边缘不够精细问题，考虑将边缘等预测不准确的点进行再预测，将新得到的预测点结果替换原来的粗糙预测结果，通过多次的上采样和迭代替换，得到最终的结果作为分割的最终结果。
[0057]
1)上采样提取粗糙特征上不确定点
[0058]
根据前面粗糙预测出来的结果，使用双线性插值对粗糙结果上采样，将其按类别预测分数排序，选出分数高的前两类别的掩膜，计算出在两个类别掩膜上较高得分的像素点作为不确定点，通常来说一个像素点只能对应一个类别，如果一个像素点对应两个类别的分数都很高，说明它很可能是边界点，即不确定点。
[0059]
2)融合不确定点的精细特征和粗糙特征
[0060]
通过步骤一的操作得到不确定点，同时也获得了它们的点坐标和位置，因此我们可以获得这些不确定点的粗糙特征和精细特征，精细特征即我们特征提取网络的阶段2的输出，将不确定点在精细特征图和粗糙特征图的特征进行融合得到新的特征。
[0061]
3)使用多层感知机网络进行不确定点的再预测
[0062]
将上述步骤所得到的的不确定点的新特征再次送入一个多层感知机网络，由1
×
1的卷积构成，得到每个不确定的新预测值。
[0063]
4)迭代替换不确定点
[0064]
将预测结果替换粗糙预测结果中的不确定值，不断重复上述步骤直到输出结果尺寸与原图大小一致。
[0065]
(6)计算遮光板区域的凸包，计算方法如下：
[0066]
1)假设每个遮光板边缘区域是由n个像素组成，构成了集合e，且e＝{pk|k＝1,2,...,n}，首先以集合e左下角像素p1为起点，然后将其它边缘像素pk，k＝2，3，...，n与p1进行连线，计算连线与水平方向的夹角，并按照夹角大小排序；
[0067]
2)排序后的像素集合为针对中像素若顺时针转向说明是凸包顶点，保留像素否则，从中删除像素直到中所有像素都被
遍历且判决，最终保留下来的就是二维凸包的顶点；
[0068]
3)对像素集合pk中的所有像素，得到遮光板区域的二维凸包；
[0069]
(7)基于最小二乘姿态估计的遮光板倾斜识别
[0070]
1)假设一幅图像中共有m个遮光板，其中第j个遮光板的中心线为二维空间中一条直线，根据均方误差构建误差目标函数
[0071][0072]
其中，为第j条直线截距，为第j条直线斜率，j∈{1，2，...，m}，xk和yk分别为第k个边缘像素的横坐标和纵坐标；
[0073]
2)采用最小二乘法确定使得取最小值的最优解参数可计算遮光板方向θj。遍历图像中的m个遮光板，并生成遮光板姿态方向集合ω＝{θ1，θ2，...，θj}；
[0074]
3)当集合ω内θj满足以下条件时，则判定第j个遮光板倾斜，并构建倾斜遮光板对应的位置索引集合u：
[0075][0076]
其中τ为阈值，
[0077]
上述步骤(1)的构建采集图像数据集中相机与道路方向夹角最佳取值为π/3，
[0078]
上述步骤(5)的构建点的二次预测网络中采样点数最佳取值为8096。
[0079]
上述步骤(7)的基于最小二乘姿态估计的遮光板倾斜识别中阈值τ最佳取值为π/12。
[0080]
下面是申请人给出的具体实施例，本发明不限于下面的实施例。
[0081]
实施例1：
[0082]
(1)构建采集图像数据集
[0083]
利用高分辨相机采集高速路上遮光板图像数据，为了采集丰富的遮光板目标内容，本实例在采集遮光板图像时相机与道路方向夹角设定为π/3，使得一幅图像中可以采集到多个遮光板目标图像。
[0084]
(2)构建特征提取主干网络
[0085]
针对采集到的遮光板图片，构建深度残差网络去提取图像特征，整体结构如图3所示。
[0086]
输入图像，经过初始模块，这里的初始模块为三个3
×
3卷积和一个最大池化层。经过初始模块后的输出尺寸降了四倍，输出通道数为128。
[0087]
经过阶段1，阶段1由三个残差单元构成，残差单元都是1
×
1和3
×
3的小卷积，且步长都为1，经过阶段1后的输出尺寸相对于原图降低了四倍(与初始模块的输出尺寸相同)，阶段1输出为256通道。
[0088]
经过阶段2，阶段2由四个残差单元组成，其中第一个残差单元的3
×
3卷积核步长为2，经过阶段2后的输出尺寸相对于原图降了八倍，阶段2输出为512通道。
[0089]
经过阶段3，阶段3由六个残差单元组成，其中第二个到第六个残差单元的3
×
3卷积中使用了空洞率为2的空洞卷积，经过阶段3后的输出尺寸相对于原图降了八倍，阶段3的
的卷积构成，得到每个不确定的新预测值。
[0108]
4)迭代替换不确定点
[0109]
将预测结果替换粗糙预测结果中的不确定值，不断重复上述步骤直到输出结果尺寸与原图大小一致。
[0110]
(6)计算遮光板区域的凸包
[0111]
1)假设每个遮光板边缘区域是由n个像素组成，构成了集合e，且e＝{pk|k＝1,2,...,n}，首先以集合e左下角像素p1为起点，然后将其它边缘像素pk，k＝2,3,...,n与p1进行连线，计算连线与水平方向的夹角，并按照夹角大小排序；
[0112]
2)排序后的像素集合为针对中像素若顺时针转向说明是凸包顶点，保留像素否则，从中删除像素直到中所有像素都被遍历且判决，最终保留下来的就是二维凸包的顶点；
[0113]
3)对像素集合pk中的所有像素，得到遮光板区域的二维凸包；
[0114]
(7)基于最小二乘姿态估计的遮光板倾斜识别
[0115]
1)假设一幅图像中共有m个遮光板，其中第j个遮光板的中心线为二维空间中一条直线，根据均方误差构建误差目标函数
[0116][0117]
其中，为第j条直线截距，为第j条直线斜率，j∈{1，2，...，m}，xk和yk分别为第k个边缘像素的横坐标和纵坐标；
[0118]
2)采用最小二乘法确定使得取最小值的最优解参数可计算遮光板方向θj。遍历图像中的m个遮光板，并生成遮光板姿态方向集合ω＝{θ1，θ2，...，θj}；
[0119]
3)当集合ω内θj满足以下条件时，则判定第j个遮光板倾斜，并构建倾斜遮光板对应的位置索引集合u：
[0120][0121]
其中τ为阈值，本实施例中，τ取值为π/12。
[0122]
实施例2：
[0123]
本实施例的基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法，由以下步骤组成：
[0124]
(1)构建采集图像数据集
[0125]
利用高分辨相机采集高速路上遮光板图像数据，为了采集丰富的遮光板目标内容，本实例在采集遮光板图像时相机与道路方向夹角设定为π/4。
[0126]
(2)构建特征提取主干网络
[0127]
同实施例1。
[0128]
(3)构建空洞空间卷积池化金字塔模块
[0129]
同实施例1。
[0130]
(4)后处理模块构建
[0131]
同实施例1。
[0132]
(5)构建点的二次预测网络
[0133]
1)上采样提取粗糙特征上不确定的点
[0134]
根据前面粗糙预测出来的结果，使用双线性插值对粗糙结果上采样，将其按类别预测分数排序，选出分数高的前两类别的掩膜，计算出在两个类别掩膜上较高得分的像素点作为不确定点，通常来说一个像素点只能对应一个类别，如果一个像素点对应两个类别的分数都很高，说明它很可能是边界点，即不确定的。本实施例中设置采样点数为6048。
[0135]
2)融合不确定点的精细特征和粗糙特征
[0136]
同实施例1。
[0137]
3)使用多层感知机网络进行不确定点的再预测
[0138]
同实施例1。
[0139]
4)迭代替换不确定点
[0140]
同实施例1。
[0141]
(6)计算遮光板区域的凸包
[0142]
该步骤所有计算方法与实施例1相同。
[0143]
(7)基于最小二乘姿态估计的遮光板倾斜识别
[0144]
1)同实施例1。
[0145]
2)同实施例1。
[0146]
3)当集合ω内θj满足以下条件时，则判定第j个遮光板倾斜，并构建倾斜遮光板对应的位置索引集合u：
[0147][0148]
其中τ为阈值，本实施例中，τ取值为π/6。
[0149]
实施例3：
[0150]
本实施例的基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法，由以下步骤组成：
[0151]
(1)构建采集图像数据集
[0152]
利用高分辨相机采集高速路上遮光板图像数据，为了采集丰富的遮光板目标内容，本实例在采集遮光板图像时相机与道路方向夹角设定为π/5。
[0153]
(2)构建特征提取主干网络
[0154]
同实施例1。
[0155]
(3)构建空洞空间卷积池化金字塔模块
[0156]
同实施例1。
[0157]
(4)后处理模块构建
[0158]
同实施例1。
[0159]
(5)构建点的二次预测网络
[0160]
1)上采样提取粗糙特征上不确定的点
[0161]
根据前面粗糙预测出来的结果，使用双线性插值对粗糙结果上采样，将其按类别预测分数排序，选出分数高的前两类别的掩膜，计算出在两个类别掩膜上较高得分的像素
点作为不确定点，通常来说一个像素点只能对应一个类别，如果一个像素点对应两个类别的分数都很高，说明它很可能是边界点，即不确定的。本实施例中设置采样点数为7200。
[0162]
2)融合不确定点的精细特征和粗糙特征
[0163]
同实施例1。
[0164]
3)使用多层感知机网络进行不确定点的再预测
[0165]
同实施例1。
[0166]
4)迭代替换不确定点
[0167]
同实施例1。
[0168]
(6)计算遮光板区域的凸包
[0169]
该步骤所有计算方法与实施例1相同。
[0170]
(7)基于最小二乘姿态估计的遮光板倾斜识别
[0171]
1)同实施例1。
[0172]
2)同实施例1。
[0173]
3)当集合ω内θj满足以下条件时，则判定第j个遮光板倾斜，并构建倾斜遮光板对应的位置索引集合u：
[0174][0175]
其中τ为阈值，本实施例中，τ取值为π/4。
[0176]
为了验证本实施例给出的基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法的有益效果，采用实施例1对真实情况下采集到的高速公路遮光板数据进行检测，试验步骤如下：
[0177]
1、实验条件
[0178]
采集数据装置为车载高清摄像头，实验测试环境为windows 10(64)为操作系统的戴尔电脑，其配置为intel core i5-8400处理器，六核cpu及6gb内存，在pycharm平台上进行实验操作。
[0179]
2、测试数据
[0180]
采用高速公路随机拍取的500张照片，其中34张含有倾斜遮光板，其余图片遮光板全部正常。34张图片中有12张中含有两个倾斜遮光板，另外22张含有的倾斜遮光板数量均为1。
[0181]
3、实验结果
[0182]
(1)采用残差神经网络模型进行数据集的检测。实验结果见表1，图6-图10。表1给出了实验结果，图6-图10为部分的实验结果图。
[0183]
表1：实验结果
[0184][0185]
4、实验结论
[0186]
由表1可见，在实施例1的条件下，你说啥了给出的基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法，其检测率较高，正常数据466张图片中，只有两张发生了误检，而在其余464张图片中均没有发现倾斜的遮光板。在含有一个倾斜遮光板数据22张图片中，22张图片被全部检测出有倾斜遮光板。在含有两个倾斜遮光板的数据12张中，12张图片全部被检测出来有倾斜遮光板。证明了本实施例的基于深度语义分割和图像矫正的高速路遮光板倾斜识别方法具有较高的检测率，可以适用于现实场景之中。