一种非平面路面标定方法和装置与流程

1.本发明涉及计算机图像识别领域，具体涉及一种非平面路面标定方法和装置。


背景技术：

2.在车路协同过程中，需要将相机拍摄的图像与其他坐标进行标定，如地图、毫米波雷达或激光雷达等。其中，将图片上的像素坐标转化为gps坐标是最常见的需求。可通过选取多组像素坐标与gps坐标对计算单应性矩阵，完成图像到地图的标定。但是，由于单应性矩阵法仅适用于平面到平面的转换，不适用于非平面的转换。在路面不属于同一平面(比如有坡度)的情况下，需要将路面划分为两个或两个以上数量的区域，确保每一区域内路面接近平面，再分别计算其对应的单应性矩阵。
3.现行的判断路面是否包括多平面的方法包括肉眼判断以及通过分析单个单应性矩阵匹配误差。但是人为划分区域的方法有诸多缺陷：首先，分割线的质量直接影响后续一系列计算，仅凭肉眼划分不够可靠；其次，发现单个矩阵误差后再划分平面涉及二次标定的问题，耗费人力物力；再有，这对现场标定人员的素质要求较高，培训需要时间资金成本。
4.因此本发明提出一种根据相机拍摄的路面图片自动划分识别路面平面个数、划分平面的方法，解决非平面路面标定问题。


技术实现要素：

5.根据背景技术提出的问题，本发明提供的一种非平面路面标定方法，只需要获得该路口两张不同角度的照片，就可以通过图像特征匹配及单应性矩阵法自动判断路面包含的平面数量，并划出分割线，后续再对各个子平面进行分别标定。本发明方法旨在减少人工肉眼判断带来的不准确因素，提高路面分割的自动化比例与准确度，并减少标定工作量。接下来对本发明做进一步地阐述。
6.一种非平面路面标定方法，包括以下步骤：
7.s1，图片获取和预处理，获取路面拍摄角度存在偏差的两张图片p1，p2，自动对p1、p2进行预处理，确保两张图片尺寸相同，亮度对比度相近。
8.s2，特征点提取与筛除，基于图像的局部特征寻找特征点并确保他们具有旋转、尺度缩放和亮度不变性，基于一个训练完成的神经网络对于p1、p2进行内容划分，只保留路面上的特征点；
9.s3，特征点匹配与异常点筛除，将两张图片p1，p2上的特征点依据特征描述直方图的相似度进行brute force匹配，筛除与局部匹配不吻合的异常点得到匹配点对集m；
10.s4，从匹配点对集m中提取一个平面，获得其对应的点对子集m1与单应性矩阵h1：
11.从m中选取第一数量组匹配点对，计算得唯一单应性矩阵，并检查剩余匹配点对是否符合此矩阵对应的映射关系，记录符合的匹配点对个数；
12.重复以上步骤若干次，从所有的单应性矩阵中选取达成共识的匹配点对最多的单应性矩阵，提取其对应的所有匹配点m1，计算m1中包含的匹配点对个数，记为s1，未达成共识
的匹配集记为mc(mc＝m-m1)；
13.用此匹配点对子集m1计算单应性矩阵，为h1；
14.s5，检查是否存在其他平面，若存在，则找出该平面对应的点对子集与单应性矩阵：
15.在匹配子集m1中随机挑选第二数量组匹配点对，与mc合并组成新的匹配集m'；重复步骤s4，从m'中提取一个平面，获得其对应的点对子集与单应性矩阵，记录点对子集中包含的点对个数；
16.重复以上步骤若干次，从所有提取的平面中选取对应匹配子集中包含点对个数最多的平面，并将其对应的点对子集、点对子集中包含的点对个数与单应性矩阵，记为m2'、s2'与h2'；
17.若s2'大于预设比例的s1，且m2'与m1中共有的匹配个数小于预设比例s1，则认为图片中存在新平面，保存m2'与h2'为m2与h2；否则认为不存在新平面，不保存m2'与h2'；
18.s6，重复步骤s5，直至算法认为不存在新的平面，保存算法得出的n个平面及对应的点对子集m1,
…
,mn与单应性矩阵h1,
…
,hn；
19.s7，由此n个点对子集划分路面：
20.若n＝1，则路面为同一平面，无需划分；
21.若n＝2，则训练一个二分类模型，将p2路面上的像素点分为两个区域；
22.若n》2，则训练一个多分类模型，将p2路面上的像素点分为n个区域。
23.s8，根据划分出的各子平面范围，分别进行标定。
24.有益效果：本发明只需要获得该路口两张不同角度的照片，就可以通过图像特征匹配及单应性矩阵法自动判断路面包含的平面数量，并划出分割线，再对于各平面分别进行标定。可以减少在标定过程中人工肉眼判断带来的不准确因素，提高路面分割的自动化比例与准确度；并且避免了后续应用过程中发现误差过大因此需要反复标定的问题，大大减少工作量，提高安全性。
具体实施方式
25.接下来对本发明的一个具体实施例来做详细地阐述。
26.一种非平面路面标定方法，包括以下步骤：
27.s1，图片获取和预处理。
28.获取路面拍摄角度存在偏差的两张图片p1，p2，自动对p1、p2进行预处理，确保两张图片尺寸相同，没有后期字体等干扰因素；亮度对比度相近，提高后期找点匹配的准确度。
29.本实施例中，为获取同一路面拍摄角度存在偏差的两张图片p1，p2，在工程化应用中优选使用同一相机，轻微改变位置，连续拍摄两张图片，以达到匹配效果较好和分割较精准的目的。
30.s2，特征点提取与筛除。
31.获取特征点：通过sift局部特征检测算法，基于图像的局部特征寻找极值点(即特征点)，并确保他们具有旋转、尺度缩放和亮度不变性；
32.获取路面特征点：基于一个训练完成的神经网络例如mmlab公开的神经网络模型mmsegmentation对于p1、p2进行内容划分(包含路面、车辆、建筑物、行人、天空等)，只保留
路面上的特征点，以排除非路面平面对算法的干扰。
33.s3，特征点匹配与异常点筛除。
34.特征点匹配：将两张图片p1，p2上的特征点进行brute force匹配，匹配依据为特征描述直方图的相似度；
35.筛除异常点获取匹配点对集m：借助adalam异常点排除算法，筛除与局部匹配不吻合的异常点(对于p1内的每一个局部区域，区域内特征点应匹配到p2的同一个区域，即应适用于同一单应性矩阵)，最终得到匹配点对集m。
36.s4，从匹配点对集m中提取一个平面，获得其对应的点对子集m1与单应性矩阵h1。
37.从m中选取第一数量组例如4组匹配点对，计算得唯一单应性矩阵，并检查剩余匹配点对是否符合此矩阵对应的映射关系，记录符合(达成共识)的匹配点对个数；
38.重复以上步骤若干次，从所有的单应性矩阵中选取达成共识的匹配点对最多的单应性矩阵，提取其对应的所有匹配点m1，计算m1中包含的匹配点对个数，记为s1，未达成共识的匹配集记为mc(mc＝m-m1)；
39.用此匹配点对子集m1计算单应性矩阵，为h1。
40.s5，检查是否存在其他平面，若存在，则找出该平面对应的点对子集与单应性矩阵。
41.在匹配子集m1中随机挑选第二数量组例如匹配子集m1点对总数的1/3，与mc合并组成新的匹配集m'；重复步骤s4，从m'中提取一个平面，获得其对应的点对子集与单应性矩阵，记录点对子集中包含的点对个数；
42.重复以上步骤若干次，从所有提取的平面中选取对应匹配子集中包含点对个数最多的平面，并将其对应的点对子集、点对子集中包含的点对个数与单应性矩阵，记为m2'、s2'与h2'；
43.若s2'大于预设比例(例如60％)的s1，且m2'与m1中共有的匹配个数小于预设比例(例如25％)s1，则认为图片中存在新平面，保存m2'与h2'为m2与h2；否则认为不存在新平面，不保存m2'与h2'。
44.s6，重复步骤s5，直至算法认为不存在新的平面，保存算法得出的n个平面及对应的点对子集m1,
…
,mn与单应性矩阵h1,
…
,hn。
45.s7，由此n个点对子集划分路面。
46.若n＝1，则路面为同一平面，无需划分；
47.若n＝2，则训练一个二分类模型，如逻辑回归模型，软间隔支持向量机或神经网络，以逻辑回归模型为例：将m1对应在p2上的点的坐标与m2对应在p2上的点的坐标作为训练集，且标签分别设为1与-1；采用对数损失函数(logloss)作为损失函数，用随机梯度下降法训练模型，并sigmoid函数作为输出，通过此模型，可将p2(路面)上的像素点分为两个区域；
48.若n》2，则训练一个多分类模型，如多分类逻辑回归模型，多分类支持向量机或神经网络，以多分类逻辑回归模型为例：将m1对应在p2上的点的坐标到mn对应在pn上的点的坐标作为训练集，且标签分别设为1,
…
,n，采用交叉熵(crossentropy)作为损失函数，用随机梯度下降法训练模型，并softmax函数作为输出，通过此模型，可将p2(路面)上的像素点分为n个区域。
49.在本步骤中，可根据实际情况选择分类模型，优选使用逻辑回归模型：与支持向量
机相比，逻辑回归模型在训练模型中考虑了所有训练样本对参数的影响，而不只是支持向量，因此稳定性较好；另外，神经网络很难提取出划分平面的分割线，而逻辑回归模型可以返回分割线，在工程应用中接口更为灵活。
50.根据常识，分类模型通常支持非线性情况，但在路面标定问题中，通常不需要非线性分割，选取线性分割不仅运算速度快，还可以避免模型出现过拟合的情况。
51.s8，根据划分出的各子平面范围，分别进行标定。
52.一种非平面路面标定装置，包括：拍摄单元，处理器、存储器、系统总线
53.拍摄单元，包括拍摄角度存在偏差的两组摄像机或可转动的单组摄像机，用于获取同一路面的两张图片p1，p2；
54.所述处理器以及所述存储器通过所述系统总线相连；
55.所述存储器用于存储一个或多个程序，所述一个或多个程序包括指令，所述指令当被所述处理器执行时使所述处理器执行非平面路面标定。
56.本发明提出的一种非平面路面标定方法，只需要获得该路口两张不同角度的照片，就可以通过图像特征匹配及单应性矩阵法自动判断路面包含的平面数量，并划出分割线，再对于各平面分别进行标定。此方法可以减少在标定过程中人工肉眼判断带来的不准确因素，提高路面分割的自动化比例与准确度；并且避免了后续应用过程中发现误差过大因此需要反复标定的问题，大大减少工作量，提高安全性。
57.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。