一种车载摄像头高度的自动标定方法、装置、设备和介质与流程

1.本发明涉及计算机技术领域，特别涉及一种车载摄像头高度的自动标定方法、装置、设备和介质。


背景技术：

2.随着深度学习技术的发展，尤其是卷积神经网络在图像领域应用。基于镜头监控和纯图像的高级驾驶辅助系统(advanced driving assistance system)，以及自动驾驶系统，得到迅猛发展。无论是家庭小轿车，还是公交车、大巴、货运、渣土等各种受到国家监管的运营车辆，都在不断地安装智能辅助驾驶系统，助力行车安全。比如在adas系统中，主流是按照单目或者双目镜头(一般安装在挡风玻璃上)，有些还会安装雷达、激光等传感器设备，用这些摄像头、雷达等设备监控汽车的行车状态，当车辆行驶过程中，出现潜在危险时，如车道偏移，车距过近，或者前车可能发生碰撞等情况时，及时发出报警提醒，可以帮助司机减少交通事故的发生，助力司机行车安全。再进一步，比如在自动驾驶系统通过感知、定位、决策和控制算法实现辅助或者代替驾驶员操作车辆的功能，这样能够预防并减少因人为操作失误导致的驾驶事故，同时智能化系统能够降低驾驶门槛，通过辅助系统基本保证了每个驾驶员都能做出正确的决策。自动驾驶系统中最基本和核心的前提是能感知到周边的物体，并通过公式计算出本车和各物体之间的距离，为后续的决策提供最基础且可信的数据依据。
3.整体而言，不管是adas系统，还是自动驾驶系统，如果采用单目镜头，估距都是其中基础且核心的一环，只有保证了距离计算的正确性，才能保证系统后续的决策和控制都是有效的。而在估距算法中，在摄像头需要标定的全部参数中，摄像头安装位置距离地面的高度是一个非常关键的参数，考虑到标定参数精度对于估距误差的影响，获取正确的摄像头高度就成为了估距精度的基本保证。但在实际使用过程中，摄像头高度这个参数，绝大部分的场景都需要人工手动标定，而人工标定不可避免会带来人为误差，并且因标定场景不同，导致的人工标定成本也难以计算；另外，不排除摄像头在使用过程中被人为误触或者因车辆行驶颠簸等不可预料的外在因素导致摄像头姿态发生改变，从而造成了自动驾驶估距误差较大，倘若只是在安装摄像头后进行唯一一次的人为标定，必然无法保证系统长期运行后的健壮性，若需要后期人工纠正，则会加大了后期的维护成本。
4.除了上述的智能驾驶系统，基于摄像头估距的大部分应用场景都需要标定摄像头高度，但由于使用场景的限制，往往需要在摄像头静止情况下捕捉某些特定场景的标志物特征，利用特定的三角关系计算摄像头高度。对于跟随车辆长时间行驶在公路上的车载摄像头而言，这种静态估计并不合理，从而需要找到更加常见的标志物和公式，实现摄像头的动态自动标定。


技术实现要素：

5.本发明要解决的技术问题，在于提供一种车载摄像头高度的自动标定方法、装置、
设备和介质，通过定位标准车道线实线虚线的部分，结合估距公式，自动计算摄像头高度，减少人工标定误差和成本，增强标定参数的鲁棒性。
6.第一方面，本发明提供了一种车载摄像头高度的自动标定方法，包括下述步骤：
7.s1、获得车道线虚线中空白段的两端点a和b实际距离间隔δd；并在车载摄像头的图像坐标系中，计算两端点a和b在所述图像坐标系的成像点a和b的纵坐标ay、by；
8.s2、将ay、by代入下述公式计算得到车载摄像头的高度h：
[0009][0010]
式中，dy为单个像素的实际大小，f为车载摄像头的焦距；gy为所述图像坐标系中光心点g的纵坐标；vy为为地平线消失点在所述图像坐标系中的成像点v的纵坐标。
[0011]
第二方面，本发明提供了一种车载摄像头高度的自动标定装置，包括：
[0012]
车道线参数获取模块，用于获得车道线虚线中空白段的两端点a和b实际距离间隔δd；
[0013]
纵坐标计算模块，用于在车载摄像头的图像坐标系中，通过两端点a和b在成像平面的两个成像点a、b，计算得到a点的平均纵坐标ay和b点的平均纵坐标by；
[0014]
车载摄像头高度计算模块，用于将ay、by代入下述公式计算得到车载摄像头的高度h：
[0015][0016]
式中，dy为单个像素的实际大小，f为车载摄像头的焦距；gy为所述图像坐标系中光心点g的纵坐标；vy为为地平线消失点在所述图像坐标系中的成像点v的纵坐标。。
[0017]
第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
[0018]
第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
[0019]
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：本发明利用车道线检测算法(包括但不限于传统算法或者深度学习方法等)定位图像中的车道线，通过约束条件获得稳定可靠的虚线两端在图像中的像素坐标对；根据单目估距公式推导，将得到虚线两端的两点坐标和实际距离带入单目估距公式，从而得到当前摄像头高度；由于车道线在公路上普遍可见，在车辆的行驶过程中，自动标定的摄像头高度实现了动态估计，相比于静态估计更符合实际使用场景，大大提高了方案的可行性。
[0020]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
[0021]
下面参照附图结合实施例对本发明作进一步的说明。
[0022]
图1为本发明实施例一中方法中的流程图；
[0023]
图2为本发明实施例车载摄像头成像平面示意图；
[0024]
图3为本发明实施例车载摄像头的图像坐标系的一侧视图；
[0025]
图4为本发明实施例车载摄像头的图像坐标系的另一侧视图；
[0026]
图5为本发明实施例二中装置的结构示意图；
[0027]
图6为本发明实施例三中电子设备的结构示意图；
[0028]
图7为本发明实施例四中介质的结构示意图。
具体实施方式
[0029]
本技术实施例通过提供一种车载摄像头高度的自动标定方法、装置、设备和介质，通过定位标准车道线实线虚线的部分，结合估距公式，自动计算摄像头高度，减少人工标定误差和成本，增强标定参数的鲁棒性。
[0030]
本技术实施例中的技术方案，总体思路如下：利用车道线检测算法(包括但不限于传统算法或者深度学习方法等)定位图像中的车道线，通过约束条件获得稳定可靠的虚线两端在图像中的像素坐标对；根据单目估距公式推导，将得到虚线两端的两点坐标和实际距离带入单目估距公式，从而得到当前摄像头高度；由于车道线在公路上普遍可见，在车辆的行驶过程中，自动标定的摄像头高度实现了动态估计，相比于静态估计更符合实际使用场景，大大提高了方案的可行性。
[0031]
实施例一
[0032]
如图1所示，本实施例提供一种车载摄像头高度的自动标定方法，包括下述步骤：
[0033]
s1、获得车道线虚线中空白段的两端点a和b实际距离间隔δd；并在车载摄像头的图像坐标系中，计算两端点a和b在所述图像坐标系的成像点a和b的纵坐标ay、by；
[0034]
s2、将ay、by代入下述公式计算得到车载摄像头的高度h：
[0035][0036]
式中，dy为单个像素的实际大小，f为车载摄像头的焦距；gy为所述图像坐标系中光心点g的纵坐标；vy为地平线消失点在所述图像坐标系中的成像点v的纵坐标，这些参数值都可以通过摄像头标定获得。
[0037]
如图2所示，所述步骤s1中，车道线虚线中空白段的两端点a和b在所述图像坐标系的成像点为a和b两点，则a和b的纵坐标ay和by的计算过程具体是：
[0038]
s11、在车载摄像头的图像坐标系中，通过传统算法或者深度学习算法定位a、b两点的纵坐标，得到a、b两点候选坐标；
[0039]
s12、对所述a、b两点候选坐标进行筛选，只选择左右两车道线的斜率接近时的坐标，得到筛选后的坐标集；
[0040]
s13、对所述筛选后的坐标集进行多帧求平均，得到a、b两点的平均纵坐标ay和by。
[0041]
所述步骤s2中，车载摄像头高度h的推导过程具体是：
[0042]
建立车载摄像头的图像坐标系，如图3所示，在该图像坐标系的侧视图中，点oc代表车载摄像头，l为成像平面点i为点oc在地面的正投影，ocg是车载摄像头的光轴，g是ocg与
成像平面垂直相交的光心点，则车载摄像头的焦距f＝ocg；ocq为摄像头的成像下边界，q为ocq与成像平面相交的近视点；ocv平行于地面，v为地平线消失点，v为ocv与成像平面的交点，p是前车车框的下边缘；a点为oca与成像平面的交点，b点为ocb与成像平面的交点，d2为点i到点p的距离；
[0043]
则先基于d2利用单目估距公式推导摄像头的高度公式，即：
[0044][0045]
公式1中，α＝∠ocpi＝∠vocp＝∠vocg-∠pocg；
[0046]
则
[0047][0048][0049]
则
[0050]
由上述公式6可知，在摄像头内参以及地平线消失点已知情况下，摄像头高度h只与前车车框的下边缘p与摄像头的水平距离d2以及前车车框的下边缘在成像平面中的像素坐标系py有关，因此若已知d2和py则能直接算出摄像头高度h，计算公式如下：
[0051][0052]
如图4所示，按照国家道路规定，车道线分界线的尺寸通常为定值，我国的车道线虚线中空白段的两端点a和b的距离间隔δd＝9米，根据这个先验知识和a和b的纵坐标ay和by，即可根据公式7建立关于h的三个方程，即公式8至公式10：
[0053][0054][0055]
db＝da δd
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式10；
[0056]
则结合公式8、公式9和公式10得：
[0057][0058]
再结合公式8和公式11得到最终的车载摄像头高度h的计算公式：
[0059][0060]
由公式1可知，直接带入中得到的两端点a和b的成像点a和b的纵坐标ay和by即可得到摄像头高度h；同理，由于该方法由公式6启发得到，因此只要是建立了实际距离d和摄像头高度h对应关系的估距公式，都可推广使用本方利用车道线虚线间隔的先验知识，实现摄像头高度的自动标定。
[0061]
基于同一发明构思，本技术还提供了与实施例一中的方法对应的装置，详见实施例二。
[0062]
实施例二
[0063]
如图5所示，在本实施例中提供了一种一种车载摄像头高度的自动标定装置，：包括：
[0064]
车道线参数获取模块，用于获得车道线虚线中空白段的两端点a和b实际距离间隔δd；
[0065]
纵坐标计算模块，用于在车载摄像头的图像坐标系中，通过两端点a和b在成像平面的两个成像点a、b，计算得到a点的平均纵坐标ay和b点的平均纵坐标by；
[0066]
车载摄像头高度计算模块，用于将ay、by代入下述公式计算得到车载摄像头的高度h：
[0067][0068]
式中，dy为单个像素的实际大小，f为车载摄像头的焦距；gy为所述图像坐标系中光心点g的纵坐标；vy为地平线消失点在所述图像坐标系中的成像点v的纵坐标，这些参数值都可以通过摄像头标定获得。
[0069]
如图2所示，所述纵坐标计算模块计算平均纵坐标ay和by的过程具体是：
[0070]
s11、在车载摄像头的图像坐标系中，通过传统算法或者深度学习算法定位a、b两点的纵坐标，得到a、b两点候选坐标；
[0071]
s12、对所述a、b两点候选坐标进行筛选，只选择左右两车道线的斜率接近时的坐标，得到筛选后的坐标集；
[0072]
s13、对所述筛选后的坐标集进行多帧求平均，得到a、b两点的平均纵坐标ay和by。
[0073]
所述车载摄像头高度h公式的推导过程具体是：
[0074]
建立车载摄像头的图像坐标系，如图3所示，在该图像坐标系的侧视图中，点oc代表车载摄像头，l为成像平面点i为点oc在地面的正投影，ocg是车载摄像头的光轴，g是ocg与成像平面垂直相交的光心点，则车载摄像头的焦距f＝ocg；ocq为摄像头的成像下边界，q为ocq与成像平面相交的近视点；ocv平行于地面，v为地平线消失点，v为ocv与成像平面的交点，p是前车车框的下边缘；a点为oca与成像平面的交点，b点为ocb与成像平面的交点，d2为点i到点p的距离；
[0075]
则先基于d2利用单目估距公式推导摄像头的高度公式，即：
[0076][0077]
公式1中，α＝∠ocpi＝∠vocp＝∠vocg-∠pocg；
[0078]
则
[0079][0080]
[0081]
则
[0082]
由上述公式6可知，在摄像头内参以及地平线消失点已知情况下，摄像头高度h只与前车车框的下边缘p与摄像头的水平距离d2以及前车车框的下边缘在成像平面中的像素坐标系py有关，因此若已知d2和py则能直接算出摄像头高度h，计算公式如下：
[0083][0084]
如图4所示，按照国家道路规定，车道线分界线的尺寸通常为定值，我国的车道线虚线中空白段的两端点a和b的距离间隔δd＝9米，根据这个先验知识和a和b的纵坐标ay和by，即可根据公式7建立关于h的三个方程，即公式8至公式10：
[0085][0086][0087]
db＝da δd
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式10；
[0088]
则结合公式8、公式9和公式10得：
[0089][0090]
再结合公式8和公式11得到最终的车载摄像头高度h的计算公式：
[0091][0092]
由公式1可知，直接带入中得到的两端点a和b的成像点a和b的纵坐标ay和by即可得到摄像头高度h；同理，由于该方法由公式6启发得到，因此只要是建立了实际距离d和摄像头高度h对应关系的估距公式，都可推广使用本方利用车道线虚线间隔的先验知识，实现摄像头高度的自动标定。
[0093]
由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。
[0094]
基于同一发明构思，本技术提供了实施例一对应的电子设备实施例，详见实施例三。
[0095]
实施例三
[0096]
本实施例提供了一种电子设备，如图6所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
[0097]
由于本实施例所介绍的电子设备为实施本技术实施例一中方法所采用的设备，故而基于本技术实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本技术实施例
中的方法不再详细介绍。只要本领域所属技术人员实施本技术实施例中的方法所采用的设备，都属于本技术所欲保护的范围。
[0098]
基于同一发明构思，本技术提供了实施例一对应的存储介质，详见实施例四。
[0099]
实施例四
[0100]
本实施例提供一种计算机可读存储介质，如图7所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
[0101]
本技术实施例中提供的技术方案，至少具有如下技术效果或优点：利用车道线检测算法(包括但不限于传统算法或者深度学习方法等)定位图像中的车道线，通过约束条件获得稳定可靠的虚线两端在图像中的像素坐标对；根据单目估距公式推导，将得到虚线两端的两点坐标和实际距离带入单目估距公式，从而得到当前摄像头高度；由于车道线在公路上普遍可见，在车辆的行驶过程中，自动标定的摄像头高度实现了动态估计，相比于静态估计更符合实际使用场景，大大提高了方案的可行性。
[0102]
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置或系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0103]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0104]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0105]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0106]
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。