车载摄像头在线标定方法、装置及计算机可读存储介质与流程

1.本发明实施例涉及摄像头参数标定技术领域，尤其涉及一种车载摄像头在线标定方法、装置及计算机可读存储介质。


背景技术：

2.安装在机动车上的车载摄像头在正常工作前，通常需要对车载摄像头的镜头内参进行准确标定，以保证车载摄像头在实际工作时拍摄图像的精度，方便采用车载摄像头的车载系统(例如：车载定位导航系统、车载视觉测量系统等)稳定有效工作。
3.现有的一种车载摄像头在线标定方法是采用基于slam(simultaneous localization and mapping，同时定位与地图构建)的特征点匹配原理。但是，上述标定方法需要预先设定特定的标识物，而且需要已知标识物的尺寸、空间关系，标定条件复杂，而且，基于slam的在线标定方法，需要对图像中的关键点进行图像匹配，但是，车载摄像头的镜头造成图像畸变(例如：鱼眼镜头)、车载摄像头图像拍摄的环境亮度变化以及机动车的非线性运动等状况均会导致关键点匹配错误，最终造成计算获得的车载摄像头的镜头内参的准确度较低。


技术实现要素：

4.本发明实施例要解决的技术问题在于，提供一种车载摄像头在线标定方法，能有效提高车载摄像头的镜头内参标定的准确度。
5.本发明实施例进一步要解决的技术问题在于，提供一种车载摄像头在线标定装置，能有效提高车载摄像头的镜头内参标定的准确度。
6.本发明实施例进一步要解决的技术问题在于，提供一种计算机可读存储介质，能有效提高车载摄像头的镜头内参标定的准确度。
7.为了解决上述技术问题，本发明实施例首先提供以下技术方案：一种车载摄像头在线标定方法，包括以下步骤：从车载摄像头拍摄的原始视频影像中获取实时的图像帧；基于机动车轮速脉冲计算各个图像帧的观测噪声方差和预测噪声方差，基于所述观测噪声方差和预测噪声方差计算获得各个图像帧的旋转矩阵和平移矩阵；依次提取每帧图像帧中的beblid特征点，再获得各个所述beblid特征点的描述子匹配特征点，并从第二帧图像帧开始基于汉明距离最小化原理从图像帧与前一帧中的各个描述子匹配特征点中提取出一对匹配点对；基于所述旋转矩阵和平移矩阵对所述匹配点对三角化获得各个所述匹配点对在归一化三维空间中对应的三维坐标点，对位于同一空间平面内的三维坐标点进行聚类获得关键点聚类平面；以及基于空间点至空间平面距离原理构建三维坐标点至所述关键点聚类平面的距离损失函数，基于预定非线性优化算法模型对所述距离损失函数代数式进行迭代优化求解出
最小的距离损失函数，再基于所述最小的距离损失函数和车载摄像头的镜头理想成像模型计算获得车载摄像头的镜头内参。
8.进一步的，所述从第二帧图像帧开始基于汉明距离最小化原理从图像帧与前一帧中的各个描述子匹配特征点中提取出一对匹配点对具体包括：计算图像帧与前一帧中各个所述描述子匹配特征点之间的汉明距离；确定各个所述描述子匹配特征点的所述汉明距离的最小值；以及当所述汉明距离的最小值小于预定汉明距离阈值时，将所述汉明距离的最小值对应的一对所述描述子匹配特征点确定为相邻两帧图像帧的匹配点对进一步的，所述对位于同一空间平面内的三维坐标点进行聚类获得关键点聚类平面具体包括：任意选取不共线的三个所述三维坐标点构建初始空间平面；计算各个所述三维坐标点与所述初始空间平面的点面距离；当所述三维坐标点对应的点面距离小于预定点面距离时，将所述三维坐标点归类为有效坐标点；以及统计同一所述初始空间平面对应的有效坐标点的实际数量，当所述实际数量大于预定数量时停止归类所述有效坐标点并将所述初始空间平面确定为关键点聚类平面。
9.进一步的，所述基于机动车轮速脉冲计算各个图像帧的观测噪声方差和预测噪声方差具体包括：根据机动车轮速脉冲依次计算获得图像帧对应的在帧差时间长内机动车的观测三维运动参数；对所述图像帧的观测三维运动参数进行卡尔曼滤波以获得优化三维运动参数；结合所述图像帧的实际三维运动参数和所述优化三维运动参数并基于标准正态分布原理计算获得各帧图像帧对应的所述观测噪声方差；根据所述图像帧的前一帧的优化三维运动参数并基于机动车刚体运动假设估算出所述图像帧的预测三维运动参数；以及再结合所述图像帧的预测三维运动参数和所述优化三维运动参数并基于标准正态分布原理预测获得所述预测噪声方差。
10.进一步的，所述基于所述观测噪声方差和预测噪声方差计算获得各个图像帧的旋转矩阵和平移矩阵具体包括：基于所述观测噪声方差和预测噪声方差计算获得所述图像帧的卡尔曼融合运动矢量；以及基于所述卡尔曼融合运动矢量计算获得所述图像帧的旋转矩阵和平移矩阵。
11.进一步的，从车载摄像头拍摄的原始视频影像中获取实时的图像帧后，还对所述图像帧进行预处理，所述预处理至少包括图像降噪和直方图均衡化。
12.进一步的，所述直方图均衡化为自适应直方图均衡化。
13.进一步的，所述预定非线性优化算法模型为levenberg-marquardt算法模型。
14.另一方面，为了解决上述技术问题，本发明实施例首先提供以下技术方案：一种车载摄像头在线标定装置，分别与用于拍摄机动车周围视频影像并提供原始视频影像的车载摄像头、用于检测机动车的车轮脉冲并提供机动车轮速脉冲的车轮脉冲传感器以及用于存储所述车载摄像头的镜头内参的参数存储装置相连，所述车载摄像头在线标定装置包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述
处理器执行所述计算机程序时实现如上述所述的车载摄像头在线标定方法。
15.再一方面，为了解决上述进一步的技术问题，本发明实施例再提供以下技术方案：一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述所述的车载摄像头在线标定方法。
16.采用上述技术方案后，本发明实施例至少具有如下有益效果：本发明实施例通过从原始视频影像中提取出图像帧，基于机动车轮速脉冲计算各个图像帧的观测噪声方差和预测噪声方差，进一步对机动车的运动进行估计，计算获得各个图像帧的旋转矩阵和平移矩阵，利用机动车的三维空间运动对机动车的运动进行估计，可有效简化处理步骤，然后采用基于汉明距离最小化原理从图像帧与前一帧中的各个描述子匹配特征点中提取出一对匹配点对，匹配过程简单，避免了车载摄像头的镜头畸变造成匹配失败，进一步采用共面坐标点归类的方式确定出关键点聚类平面，从而最后基于空间点至空间平面距离原理构建三维坐标点至所述关键点聚类平面的距离损失函数，然后迭代优化求解出最小的距离损失函数，再基于所述最小的距离损失函数和车载摄像头的镜头理想成像模型计算获得车载摄像头的镜头内参，能计算出车载摄像头的最佳镜头内参，提高车载摄像头的镜头内参标定的准确度。
附图说明
17.图1为本发明车载摄像头在线标定方法一个可选实施例的步骤流程图。
18.图2为本发明车载摄像头在线标定方法一个可选实施例提取匹配点对的步骤流程图。
19.图3为本发明车载摄像头在线标定方法一个可选实施例计算获得关键点聚类平面的步骤流程图。
20.图4为本发明车载摄像头在线标定方法一个可选实施例计算获得观测噪声方差和预测噪声方差的步骤流程图。
21.图5为本发明车载摄像头在线标定方法一个可选实施例计算获得各个图像帧的旋转矩阵和平移矩阵的步骤流程图。
22.图6为本发明车载摄像头在线标定装置一个可选实施例的原理框图。
23.图7为本发明车载摄像头在线标定装置一个可选实施例的功能模块图。
具体实施方式
24.下面结合附图和具体实施例对本技术作进一步详细说明。应当理解，以下的示意性实施例及说明仅用来解释本发明，并不作为对本发明的限定，而且，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互结合。
25.如图1所示，本发明一个可选实施例提供一种车载摄像头在线标定方法，包括以下步骤：s1：从车载摄像头1拍摄的原始视频影像中获取实时的图像帧；s2：基于机动车轮速脉冲计算各个图像帧的观测噪声方差和预测噪声方差，基于所述观测噪声方差和预测噪声方差计算获得各个图像帧的旋转矩阵和平移矩阵；
s3：依次提取每帧图像帧中的beblid(boosted efficient binary local image descriptor，增强的高效二值局部图像描述符)特征点，再获得各个所述beblid特征点的描述子匹配特征点，并从第二帧图像帧开始基于汉明距离最小化原理从当前帧图像帧与前一帧图像帧中的各个描述子匹配特征点中提取出一对匹配点对；s4：基于所述旋转矩阵和平移矩阵对所述匹配点对三角化获得各个所述匹配点对在归一化三维空间中对应的三维坐标点，对位于同一空间平面内的三维坐标点进行聚类获得关键点聚类平面；以及s5：基于空间点至空间平面距离原理构建三维坐标点至所述关键点聚类平面的距离损失函数，基于预定非线性优化算法模型对所述距离损失函数代数式进行迭代优化求解出最小的距离损失函数，再基于所述最小的距离损失函数和车载摄像头1的镜头理想成像模型计算获得车载摄像头1的镜头内参。
26.本发明实施例通过从原始视频影像中提取出图像帧，基于机动车轮速脉冲计算各个图像帧的观测噪声方差和预测噪声方差，进一步对机动车的运动进行估计，计算获得各个图像帧的旋转矩阵和平移矩阵，利用机动车的三维空间运动对机动车的运动进行估计，可有效简化处理步骤，然后采用基于汉明距离最小化原理从相邻两帧图像帧中的各个描述子匹配特征点中提取出一对匹配点对，匹配过程简单，避免了车载摄像头1的镜头畸变造成匹配失败，进一步采用共面坐标点归类的方式确定出关键点聚类平面，从而最后基于空间点至空间平面距离原理构建三维坐标点至所述关键点聚类平面的距离损失函数，然后迭代优化求解出最小的距离损失函数，再基于所述最小的距离损失函数和车载摄像头1的镜头理想成像模型计算获得车载摄像头1的镜头内参，能计算出车载摄像头1的最佳镜头内参，提高车载摄像头的镜头内参标定的准确度。
27.在本发明一个可选实施例中，如图2所示，所述从第二帧图像帧开始基于汉明距离最小化原理从图像帧与前一帧中的各个描述子匹配特征点中提取出一对匹配点对具体包括：s31：计算图像帧与前一帧中各个所述描述子匹配特征点之间的汉明距离；s32：确定各个所述描述子匹配特征点的所述汉明距离的最小值；以及s33：当所述汉明距离的最小值小于预定汉明距离阈值时，将所述汉明距离的最小值对应的一对所述描述子匹配特征点确定为相邻两帧图像帧的匹配点对。
28.本实施例中，通过计算各个所述描述子匹配特征点之间的汉明距离，描述子匹配特征点的汉明距离能有效的衡量描述子匹配特征点的相似度，通过确定汉明距离的最小值，并与预定的预定汉明距离阈值进行比较，从而避免匹配错误的状况，能准确的获得相邻两帧图像帧的匹配点对，计算方便。
29.在本发明再一个可选实施例中，如图3所示，所述对位于同一空间平面内的三维坐标点进行聚类获得关键点聚类平面具体包括：s41：任意选取不共线的三个所述三维坐标点构建初始空间平面；s42：计算各个所述三维坐标点与所述初始空间平面的点面距离；s43：当所述三维坐标点对应的点面距离小于预定点面距离时，将所述三维坐标点归类为有效坐标点；以及s44：统计同一所述初始空间平面对应的有效坐标点的实际数量，当所述实际数量
marquardt(列文伯格-马夸尔特，简称lm算法)算法模型。本实施例中，采用levenberg-marquardt算法模型对距离损失函数进行迭代优化，其对于过参数化问题不敏感，能有效处理冗余参数问题，使损失函数陷入局部极小值的机会大大减小，提高标定效率。
38.在具体实施时，在步骤s21中，机动车行驶在结构化路面上时，机动车原本在六自由度的空间运动可近似等同为一个三自由度的平面运动，因此，对轮速脉冲数据进行脉冲积分即可获得当前帧相对前一帧机动车的观测三维运动参数m，其可以表示为：m＝{mx，my，0，mtz，0，0}
ꢀꢀ
(公式1)其中，mx和my分别表示机动车在x方向、y方向的位移，而mtz则表示机动车的旋转角度。
39.在步骤s22中，所述图像帧的观测三维运动参数mx、my和mtz进行卡尔曼滤波获得优化三维运动参数mx
i∧
、my
i∧
和mtz
i∧
，i表示第i帧图像帧。
40.在步骤s23中，由于，图像帧的观测噪声服从标准正态分布假设，因此，对应的观测噪声服从均值为0，观测噪声方差分别为δ_mx,δ_my,δ_mtz的正态分布，其中，图像帧对应的各个方向上观测噪声方差可以分别表示为：各个方向上观测噪声方差可以分别表示为：各个方向上观测噪声方差可以分别表示为：其中，i表示第i帧图像帧，n表示图像帧的总帧数，mxi、myi和mtzi分别表示第i帧图像帧对应的各个方向的实际运动参数。
41.在步骤s24中，基于机动车刚体运动假设，即可根据所述图像帧的前一帧对应的优化三维运动参数估算出图像帧的预测三维运动参数mx
i∨
、my
i∨
和mtz
i∨
，并且分别表示为：mx
i∨
＝mx
i-1∧

△
t*mxi′ꢀꢀ
(公式5)my
i∨
＝my
i-1∧

△
t*myi′ꢀꢀ
(公式6)mtz
i∨
＝mtz
i-1∧

△
t*mtzi′ꢀꢀ
(公式7)其中，
△
t表示第i帧图像帧与第i-1帧图像帧的帧差时长，mxi′
、myi′
和mtzi′
分别表示第i帧图像帧对应的各个方向的实际运动参数的导数。
42.在步骤s25中，由于图像帧的预测噪声也服从标准正态分布假设，因此，对应的预测噪声服从均值为0，预测噪声方差分别为δ_mx
∨
，δ_my
∨
，δ_mtz
∨
的正态分布，其中，图像帧对应的各个方向上的预测噪声方差可以分别表示为：对应的各个方向上的预测噪声方差可以分别表示为：对应的各个方向上的预测噪声方差可以分别表示为：
43.在步骤s26中，根据观测噪声方差δ_mx,δ_my,δ_mtz的和预测噪声方差δ_mx
∨
，δ_my
∨
，δ_mtz
∨
可计算出图像帧对应的各个方向上的卡尔曼增益kx、ky和ktz，并分别可以表示为：kx＝δ
mx
*δ
mx
/(δ
mx
*δ
mx
δ
mx∨
*δ
mx∨
)
ꢀꢀ
(公式11)
ky＝δ
my
*δ
my
/(δ
my
*δ
my
δ
mu∨
*δ
my∨
)
ꢀꢀ
(公式12)ktz＝δ
mtz
*δ
mtz
/(δ
mtz
*δ
mtz
δ
mtz∨
*δ
mtz∨
)
ꢀꢀ
(公式13)；由上述卡尔曼增益kx、ky和ktz则可得出图像帧对应的卡尔曼融合运动矢量mk为：mk＝{mx
∧
,my
∧
,mtz
∧
}
ꢀꢀ
(公式14)其中，mx
∧
＝kx*mx (1-kx*mx
∨
)
ꢀꢀ
(公式15)my
∧
＝ky*my (1-ky*my
∨
)
ꢀꢀ
(公式16)mtz
∧
＝ktz*mtz (1-ktz*mtz
∨
)
ꢀꢀ
(公式17)。
44.在步骤s27中，根据卡尔曼融合运动矢量mk即可计算获得图像帧的旋转矩阵r和平移矩阵t。
45.在步骤s31中，在计算各个所述描述子匹配特征点之间的汉明距离时，具体计算公式为：其中，x和y为二进制形式的描述子匹配特征点，xor为异或运算。
46.在步骤s32中，各个所述描述子匹配特征点之间的汉明距离进行比较获得最小的汉明距离。
47.在步骤s33中，将最小的汉明距离与预定汉明距离阈值d比较，由于最小汉明距离表示的是样本与对比样本库的最相近关系，可能存在错误匹配，与预定汉明距离阈值d比较可有效的滤除错误的匹配，提高匹配的准确度；由此，获得匹配点对(pipj)
matched
，其中pi表示图像帧的前一帧中的匹配点，pj则表示图像帧中的匹配点。
48.在步骤s4中，结合前述已计算获得的卡尔曼融合运动矢量mk，再基于对极几何原理，图像帧与其前一帧中的匹配点满足以下关系式：s1*p
1∧
*p1＝0＝s2*p
1∧
*r*p2 p
1∧
*t
ꢀꢀ
(公式19)其中，s1和s2分别为同一空间点(匹配点对对应的同一三维坐标点)在不同车载摄像头视角下的景深，p1和p2为空间点对应的两张图像(相邻两帧图像帧)对应的图像坐标(匹配点对)，r为前述计算获得的旋转矩阵，t为前述计算获得的平移矩阵，通过上述计算关系式，即可计算获得景深s1和s2，由此实现对匹配点对的三角化：(pipj)
matched
→
(p
x p
y pz)
ꢀꢀ
(公式20)其中，(p
x p
y pz)表示各个所述匹配点对在归一化三维空间中对应的三维坐标点。
49.在步骤s41中，通过任意选取三个不共线的三维坐标点作为种子点p1(x1，y1，z1),p2(x2，y2，z2)和p3(x3，y3，z3)，即可构建初始空间平面ax by cz d＝0。
50.在步骤s42中，通过空间点面距离计算公式计算获得其他三维坐标点与初始空间平面的点面距离。
51.在步骤s43中，将点面距离与预定点面距离阈值进行比较，从而归纳为有效坐标点，当过有效坐标点的实际数量大于预定数量最终确定给出目标空间平面及其具体表达式(a、b、c、d数值的确定)。
52.在步骤s5中，将匹配点对(pipj)
matched
校正至车载摄像头1的镜头理想成像模型中从而获得车载摄像头1的镜头内参与所述三维坐标点的对应关系代数式，以鱼眼相机为例，具体表达式为：
其中，和分别为鱼眼相机的图像点的横纵坐标，x0和y0分别表示鱼眼相机的中心点的横纵坐标，fc表示鱼眼相机的焦距，k1和k2表示鱼眼相机的镜头畸变曲线多项式参数，由上可知，鱼眼相机的镜头内参为x0、y0、fc、k1和k2。
53.然后，所述三维坐标点(p
x p
y p
x
)与所述关键点聚类平面的点面距离的距离代数式可以表示为：其中，由于距离代数式中的分母为常数，因此，可将距离损失函数代数式表示为：其中，p
zi
、p
yi
和p
zi
分别为第i帧图像帧对应给的三维坐标点，通过采用非线性优化算法模型进行迭代优化，即可获得最小的距离损失函数，然后，根据最小的距离损失函数对应的三维坐标点，即可计算出镜头内参为x0、y0、fc、k1和k2。
54.另一方面，如图6所示，本发明实施例再提供一种车载摄像头在线标定装置5，分别与用于拍摄机动车周围视频影像并提供原始视频影像的车载摄像头1、用于检测机动车的车轮脉冲并提供轮速脉冲数据的车轮脉冲传感器3以及用于存储所述车载摄像头1的镜头内参的参数存储装置7相连，所述车载摄像头在线标定装置5包括处理器50、存储器52以及存储在所述存储器52中且被配置为由所述处理器执行的计算机程序，所述处理器50执行所述计算机程序时实现如上述实施例所述的车载摄像头在线标定方法。
55.示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器52中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述车载摄像头在线标定装置5中的执行过程。例如，所述计算机程序可以被分割成图7所述的车载摄像头在线标定装置5中的功能模块，其中，帧提取模块61、矩阵计算模块62、特征点匹配模块63、平面确定模块64以及参数确定模块65分别对应执行以上的步骤s1-步骤s5。
56.所述车载摄像头在线标定装置5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述车载摄像头在线标定装置5可包括，但不仅限于，处理器50、存储器52。本领域技术人员可以理解，所述示意图仅仅是车载摄像头在线标定装置1的示例，并不构成对车载摄像头在线标定装置5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述车载摄像头在线标定装置1还可以包括输入输出设备、网络接入设备、总线等。
57.所称处理器50可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器
等，所述处理器50是所述车载摄像头在线标定装置5的控制中心，利用各种接口和线路连接整个车载摄像头在线标定装置5的各个部分。
58.所述存储器52可用于存储所述计算机程序和/或模块，所述处理器50通过运行或执行存储在所述存储器52内的计算机程序和/或模块，以及调用存储在存储器52内的数据，实现所述车载摄像头在线标定装置5的各种功能。所述存储器52可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图形识别功能、图形层叠功能等)等；存储数据区可存储根据识别装置的使用所创建的数据(比如图形数据等)等。此外，存储器52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
59.本发明实施例所述的功能如果以软件功能模块或单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器50执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
60.再一方面，本发明实施例再提供一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述所述的车载摄像头在线标定方法。
61.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。
62.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。