一种基于语义分割的择优式方向偏移预警系统和方法

分别表示斜率为s1，s2所对应的道路边缘直线组中两条直线的交点坐标，p1，p2为当前rgb图片x的中心像素点坐标；λ1，λ2，λ3，λ4是一组超参数；
12.所述择优模块利用loss函数分别对两组道路边缘直线组l1，l2进行评估，从而选取较优道路边缘直线组记为l；
13.所述偏移预警模块根据当前rgb图片x的下边界的中心坐标与所述边缘直线组l之间的距离，得到当前偏移结果，进而根据一段时间内连续的rgb图片所计算到的偏移结果进行预警。
14.本发明一种基于语义分割的择优式方向偏移预警方法的特点是按如下步骤进行：
15.步骤1、构建语义分割网络f
θ
是关于输入图片的非线性函数，其中，θ是语义分割网络f
θ
的参数；利用语义分割网络f
θ
对输入的当前rgb图片x提取特征并输出包含每个像素点的道路概率矩阵p＝f
θ
(x)，其中，x为3
×h×
w的张量，h，w分别表示当前rgb图片的高和宽，p为h
×
w的张量，令pi是p中第i个像素点对应的道路概率值，pi∈[0，1]，i＝1，2，...，h
×
w；
[0016]
利用二值化处理函数f
t
对所述道路概率矩阵p进行二值化处理，得到所有像素点的分类结果矩阵s＝f
t
(p)，且s为h
×
w的张量，令si是s中第i个像素点对应的分类值，si∈{0，1}，i＝1，2，...，h
×
w，若si＝1，表示第i个像素点是道路上的像素点，若si＝0，表示第i个像素点不是道路上的像素点；
[0017]
步骤2、对所述分类结果矩阵s分别按照分支一和分支二的过程进行处理，并得到两个直线组l1，l2：
[0018]
所述分支一包括：
[0019]
步骤2.1a、利用带有差分作用的边缘检测滤波器组[k1，k2]对所述分类结果矩阵s进行valid卷积操作，得到当前rgb图片x的两组边缘信息且k1表示第一滤波器，k2表示第二滤波器，表示第一滤波器结果矩阵，表示第二滤波器结果矩阵；
[0020]
计算第一滤波结果矩阵且sb∈rh×w，对第一滤波结果矩阵sb进行膨胀处理得到膨胀结果矩阵sd，且sd∈rh×w；
[0021]
步骤2.2a、利用高斯滤波器对所述膨胀结果矩阵sd进行处理，得到高斯滤波结果矩阵sg；
[0022]
步骤2.3a、计算高斯滤波结果矩阵sg中第i个像素点sg(i)的二值化值(i)的二值化值从而得到二值化后的二值高斯滤波结果矩阵s
′g；
[0023]
步骤2.4a、将所述二值化后的二值高斯滤波结果矩阵s
′g中取值为1的n个像素点的坐标存入列表point中，point＝[(x1，y1)，(x2，y2)，...，(xn，yn)]；(xn，yn)表示取值为1的第n个像素点的坐标；
[0024]
利用霍夫直线检测算法对列表point进行处理，得到直线集line＝[(k1，b1)，(k2，b2)，...，(km，bm)]，其中，km，bm分别表示第m条直线的斜率和截距；
[0025]
从直线集line中选出相交次数排序前r条是直线并存入直线集l
out
中，记为l
out
＝
分别表示斜率为s1，s2所对应的道路边缘直线组中两条直线的交点坐标，p1，p2为当前rgb图片x的中心像素点坐标；λ1，λ2，λ3，λ4是一组超参数；
[0038]
利用loss函数分别对两组道路边缘直线组l1，l2进行评估，从而选取较优道路边缘直线组记为l；
[0039]
步骤4、根据当前rgb图片x的下边界的中心坐标与所述边缘直线组l之间的距离，得到当前偏移结果，进而根据一段时间内连续的rgb图片所计算到的偏移结果进行预警。
[0040]
本发明所述的基于语义分割的择优式方向偏移预警方法的特点也在于，所述分支一中的步骤2.5a中查找波峰方法是在预先设定的区间[-s，s)中寻找两个数值最聚集的长度为length的区间，其中，s，length为超参数，所述查找波峰方法是按如下步骤进行：
[0041]
步骤2.5.1、将所述直线集l
out
中的直线按照斜率进行升序排列后得到排序后的直线集l
′
out
；
[0042]
步骤2.5.2、定义并初始化区间i为[-s，-s length)，分数集score为空列表[]，定义并初始化当前区间i和可能区间w的中心点的距离d＝α3s；α3表示预先设定的倍数；
[0043]
步骤2.5.3、计算分数score＝g(βd) λf(i)并存入分数集score中，其中，f表示统计l
′
out
中斜率在区间i内的直线数目的函数，λ，β是超参数，g表示sigmoid的函数；
[0044]
步骤2.5.4、如果score＞t，则将i赋值给w后执行步骤2.5.5；否则直接执行步骤2.5.5；
[0045]
步骤2.5.5、区间i的两个端点值分别加上length后，如果左端点值大于等于s，则进行步骤2.5.6，否则返回步骤2.5.3顺序执行；
[0046]
步骤2.5.6、从分数集score中选取最大的两个分数所对应的区间作为两个最优区间，并将l
′
out
中斜率在两个最优区间内的直线相应存入列表l
p1
，l
p2
中。
[0047]
与现有技术相比，本发明的有益效果体现在：
[0048]
1.本发明中的分支二利用三维空间的平行线投影到二维空间后相交于影消点的原理，选出合适的点进行三角形外包得到道路边缘，从而能够减少道路内部物体遮挡的影响，给道路偏移带来更精确的结果。
[0049]
2.本发明中的分支一是利用道路的边缘轮廓信息根据回归的方法得到道路边缘直线的方程，其峰值查找的方法，更有利于去除干扰信息，找到道路边缘的直线，从而避免了一个道路边缘被识别成两个的情况发生。
[0050]
3.本发明系统中的择优模块，是根据正常场景下的道路位置变化的连续性和数据的集中性构建了一套评估算法，能合理的给出方法结果的可靠性并进行选择，以融合两个方法各自的优点，从而使得偏移预警结果更加精确、稳定。
附图说明
[0051]
图1为本发明实施例中各模块内部和模块连接关系流程图；
[0052]
图2为本发明实施例中模块联系示意图；
[0053]
图3为本发明实施例中所用语义分割网络的网络结构简图；
[0054]
图4为本发明实施例中在方向偏移预警方法分支一中所用的膨胀结构元。
具体实施方案
[0055]
本实施例中，一种基于语义分割的择优式方向偏移预警系统，是将图片输入语义分割模块得到分割结果，将结果输给偏移检测模块中的两种方法得到两组道路边缘信息，再将两组边缘信息输入择优模块选择较好的那组结果，最后在偏移预警模块中求出中线与图片下边界中点比较得到结果。如图2所示，具体的说，包括：语义分割模块、偏移检测模块、择优模块、偏移预警模块；
[0056]
语义分割模块中设置有语义分割网络f
θ
，且是关于输入图片的非线性函数，其中θ是语义分割网络f
θ
的参数；利用语义分割网络f
θ
对输入的当前rgb图片x提取特征并输出包含每个像素点的道路概率矩阵p＝f
θ
(x)，其中，x为3
×h×
w的张量，h，w分别表示当前rgb图片的高和宽，p为h
×
w的张量，令pi是p中第i个像素点对应的道路概率值，pi∈[0，1]，i＝1，2，...，h
×
w；
[0057]
利用二值化处理函数f
t
对道路概率矩阵p进行二值化处理，得到所有像素点的分类结果矩阵s＝f
t
(p)，且s为h
×
w的张量，令si是s中第i个像素点对应的分类值，si∈{0，1}，i＝1，2，...，h
×
w，若si＝1，表示第i个像素点是道路上的像素点，若si＝0，表示第i个像素点不是道路上的像素点；
[0058]
在本实施例中输入的图像大小为1920x1080，位深度为24，网络主体部分采用bisenetv2语义分割网络，为了减少计算量，将其压缩两倍变为1x3x960x540大小的张量x，输入bisenetv2，其网络结构如图3所示，在训练阶段，采集道路的图片进行二分类标记，将道路像素点与其他像素点分开标记，然后将bisenetv2的输出通道数改为1，作为预测像素为道路的概率，通过网络得到的结果与标注构建bceloss和diceloss，最终的loss为loss＝bceloss λdiceloss(本实施例中λ＝1)，通过梯度下降法传播误差到参数θ，在预测模式下加载参数并输出一个1x1x960x540大小的张量p。f
t
：rh×w→
{0，1}h×w就是对输入进行element-wise的操作，预先设定阈值t(在本实施例中为0.7)，对于输入的每一个element，如果大于t就对应输出1，否则对应输出0。
[0059]
偏移检测模块采用两个方法并行处理分类结果矩阵s，并相应得到两个道路边缘直线组l1，l2，且每个道路边缘直线组中包含两条直线，分别代表道路的两侧边缘；
[0060]
择优模块基于两个道路边缘直线组l1，l2构建损失函数loss：
[0061][0062]
其中，s1，s2为当前rgb图片x所对应的任意一个道路边缘直线组中的两条直线的斜率，k1，k2是上一次输入的rgb图片所对应的较优道路边缘直线组中两条直线的斜率，d1，d2分别表示斜率为s1，s2所对应的道路边缘直线组中两条直线的交点坐标，p1，p2为当前rgb图片x的中心像素点坐标；λ1，λ2，λ3，λ4是一组超参数；在本实施例中，λ1，λ2，λ3，λ4，分别为1，1，0.001，1。
[0063]
择优模块利用loss函数分别对两组道路边缘直线组l1，l2进行评估，从而选取较优道路边缘直线组记为l；
[0064]
偏移预警模块根据当前rgb图片x的下边界的中心坐标与边缘直线组l之间的距
离，得到当前偏移结果，进而根据一段时间内连续的rgb图片所计算到的偏移结果进行预警。
[0065]
本实施例中，如图1所示，一种基于语义分割的择优式方向偏移预警方法是按如下步骤进行：
[0066]
步骤1、构建语义分割网络f
θ
是关于输入图片的非线性函数，其中，θ是语义分割网络f
θ
的参数；利用语义分割网络f
θ
对输入的当前rgb图片x提取特征并输出包含每个像素点的道路概率矩阵p＝f
θ
(x)，其中，x为3
×h×
w的张量，h，w分别表示当前rgb图片的高和宽，p为h
×
w的张量，令pi是p中第i个像素点对应的道路概率值，pi∈[0，1]，i＝1，2，...，h
×
w；
[0067]
利用二值化处理函数f
t
对道路概率矩阵p进行二值化处理，得到所有像素点的分类结果矩阵s＝f
t
(p)，且s为h
×
w的张量，令si是s中第i个像素点对应的分类值，si∈{0，1}，i＝1，2，...，h
×
w，若si＝1，表示第i个像素点是道路上的像素点，若si＝0，表示第i个像素点不是道路上的像素点；
[0068]
步骤2、对分类结果矩阵s分别按照分支一和分支二的过程进行处理，并得到两个直线组l1，l2：
[0069]
分支一包括：
[0070]
步骤2.1a、利用带有差分作用的边缘检测滤波器组[k1，k2]对分类结果矩阵s进行valid卷积操作，得到当前rgb图片x的两组边缘信息目k1表示第一滤波器，k2表示第二滤波器，表示第一滤波器结果矩阵，表示第二滤波器结果矩阵；
[0071]
计算得到第一滤波结果矩阵且sb∈rh×w，对第一滤波结果矩阵sb进行膨胀处理得到膨胀结果矩阵sd，且sd∈rh×w；
[0072]
本实施例中的边缘检测滤波器组[k1，k2]为锚点为卷积核中心，padding方式采用补0，一个卷积核的作用过程如下(以k1为例)：
[0073][0074]
在本实施例中，膨胀采用的结构元如图4所示，锚点为结构元中心点，设灰色区域内的方格所代表的坐标为h，设canny边缘检测处理后的的二维张量记为f，那么输出的张量g的在k，l位置的值可以通过下面的式子计算的到g
k，l
＝max
i，j∈h
{f
k i-1，l j-1
}，超出f的点的值按照0处理。
[0075]
步骤2.2a、利用高斯滤波器对膨胀结果矩阵sd进行处理，得到高斯滤波结果矩阵sg；
[0076]
步骤2.3a、计算高斯滤波结果矩阵sg中第i个像素点sg(i)的二值化值
[0077]
从而得到二值化后的二值高斯滤波结果矩阵s
′g；
[0078]
步骤2.4a、将二值化后的二值高斯滤波结果矩阵s
′g中取值为1的n个像素点的坐标存入列表point中，point＝[(x1，y1)，(x2，y2)，...，(xn，yn)]；(xn，yn)表示取值为1的第n个像素点的坐标；
[0079]
利用霍夫直线检测算法对列表point进行处理，得到直线集line＝[(k1，b1)，(k2，b2)，...，(km，bm)]，其中，km，bm分别表示第m条直线的斜率和截距；
[0080]
从直线集line中选出相交次数排序前r条是直线并存入直线集l
out
中，记为l
out
＝[(k
′1，b
′1)，(k
′2，b
′2)，...，(k
′r，b
′r)]，其中，k
′r，b
′r分别表示第r条直线的斜率和截距，其中r＝min(α1，m)，α1为预先设定的超参数；在本实施例中α1＝100；
[0081]
步骤2.5a、利用波峰查找方法对直线集l
out
进行处理，得到两个斜率区间，并将直线集l
out
中处于两个斜率区间内的直线分别存入列表l
p1
，l
p2
；
[0082]
本实施例中，查找波峰方法是在预先设定的区间[-s，s)中寻找两个数值最聚集的长度为length的区间，其中，s，length为超参数，查找波峰方法是按如下步骤进行：
[0083]
步骤2.5.1、将直线集l
out
中的直线按照斜率进行升序排列后得到排序后的直线集l
′
out
；
[0084]
步骤2.5.2、定义并初始化区间i为[-s，-s length)，分数集score为空列表[]，定义并初始化当前区间i和可能区间w的中心点的距离d＝α3s；α3表示预先设定的倍数；
[0085]
在本实施例中α3＝2
[0086]
步骤2.5.3、计算分数score＝g(βd) λf(i)并存入分数集score中，其中，f表示统计l
′
out
中斜率在区间i内的直线数目的函数，λ，β是超参数，g表示sigmoid的函数；
[0087]
在本实施例中s＝3，β＝1，length＝0.5，λ＝0.05，t＝0.5。
[0088]
步骤2.5.4、如果score＞t，则将i赋值给w后执行步骤2.5.5；否则直接执行步骤2.5.5；
[0089]
步骤2.5.5、区间i的两个端点值分别加上length后，如果左端点值大于等于s，则进行步骤2.5.6，否则返回步骤2.5.3顺序执行；
[0090]
步骤2.5.6、从分数集score中选取最大的两个分数所对应的区间作为两个最优区间，并将l
′
out
中斜率在两个最优区间内的直线相应存入列表l
p1
，l
p2
中。
[0091]
步骤2.6a、对列表l
p1
，l
p2
中的每条直线分别随机采样两个点，相应得到两个点集p1，p2，利用最小二乘法分别计算点集p1，p2所对应的最佳拟合直线(s1，b1)，(s2，b2)并存入直线集l1；s1表示点集p1所对应的最佳拟合直线的斜率，b1表示点集p1所对应的最佳拟合直线的截距，s2表示点集p2所对应的最佳拟合直线的斜率，b2表示点集p2所对应的最佳拟合直线的截距；
[0092]
在本实施例中使用的最小二乘法用估计的y与实际的y的距离的平方作为loss，即求使得最小的一组(s，b)，也即用上面的公式代入两堆点得到(s1，b1)，(s2，b2)两条直线，这两条直线添加到空直线集l1中。
[0093]
分支二包括：
[0094]
步骤2.1b、对分类结果矩阵s进行多次开运算得到开运算结果矩阵sm，，且sm∈rh×w；
[0095]
在本实施例中，腐蚀和膨胀使用的都是3x3大小的结构元，锚点位于中央，求解整个区域的最小(大)值输出到锚点上。
[0096]
步骤2.2b、利用带有差分作用的边缘检测滤波器组[k
′1，k
′2]对开运算结果矩阵sm进行valid卷积操作，得到当前rgb图片x的两组边缘信息且k
′1表示第三滤波器，k
′2表示第四滤波器，表示第三滤波器结果矩阵，表示第四滤波器结果矩阵
[0097]
计算得到第二滤波结果矩阵且s
′b∈rh×w，利用findcontour方法找到第二滤波结果矩阵s
′b中所有的边缘点集的集合contour＝{e1，e2，...，ei′
，...，en′
}，其中，ei′
表示第i
′
个边缘的点集，且ei′
＝[(xi′
，1
，yi′
，1
)，(xi′
，2
，yi′
，2
)，...(xi′
，m
′
，yi′
，m
′
)]，i
′
＝1，2，...，n
′
；(xi′
，m
′
，yi′
，m
′
)表示第i
′
个边缘的点集ei′
中第m
′
个点的横纵坐标，m’是ei′
对应的连通块的边缘点个数，n为sb中连通块的个数；
[0098]
在本实施例中，k
′1，k
′2与k1，k2一致；求凸多边形的面积的方法是将凸多边形切分成若干个三角形，然后逐个用两条边向量叉乘后除以2再取模来算每个三角形的面积后再相加，比如对于点集ei，设它里面的点为{a1，a2，a3，...，am}，那么其面积为：
[0099][0100]
步骤2.3b、找出点集edge中纵坐标最小的点，将其纵坐标记为y
min
，计算点集p
tri
＝{(x，y)|(x，y)∈edge，y≤α2×
(h-y
min
)}；(x，y)表示点集edge中任意一个边缘点的坐标，α2是事先设定的超参数。
[0101]
在本实施例中
[0102]
步骤2.4b、利用最小外包三角形方法处理点集p
tri
得到其最小外包三角形的三个点，先找到三个点中纵坐标值最小的点，再将纵坐标值最小的点分别与剩余的两点之间的连线作为道路两边的直线并保存到直线集l2中；
[0103]
步骤3、基于两个道路边缘直线组l1，l2构建loss函数为：
[0104][0105]
其中，s1，s2为当前rgb图片x所对应的任意一个道路边缘直线组中的两条直线的斜率，k1，k2是上一次输入的rgb图片所对应的较优道路边缘直线组中两条直线的斜率，d1，d2分别表示斜率为s1，s2所对应的道路边缘直线组中两条直线的交点坐标，p1，p2为当前rgb图片x的中心像素点坐标；λ1，λ2，λ3，λ4是一组超参数；
[0106]
利用loss函数分别对两组道路边缘直线组l1，l2进行评估，从而选取较优道路边缘直线组记为l；
[0107]
步骤4、根据当前rgb图片x的下边界的中心坐标与边缘直线组l之间的距离，得到当前偏移结果，进而根据一段时间内连续的rgb图片所计算到的偏移结果进行预警。