用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法与流程

1.本发明涉及一种根据权利要求1的前序部分的用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法。


背景技术：

2.由de 10 2016 009 327 a1公开了一种用于校准车辆摄像头的方法，在这里，借助摄像头采集车辆环境的图像。借助至少一个激光雷达传感器，将一个规定的图案发出到在摄像头采集区域的至少一个部分内的车辆环境中，摄像头对该图案进行采集。借助与摄像头相连或集成在其中的评估单元，可确定距在借助摄像头所采集的图像内包含的图案的距离值，并且依据该距离值执行摄像头的校准。激光雷达传感器设计成是自校准的，其中，该自校准基于对象追踪。


技术实现要素：

3.本发明基于以下任务，即，指明一种相比于现有技术有所改进的用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法。
4.根据本发明，该任务通过一种具有如权利要求1所述的特征的方法完成。
5.本发明的有利设计是从属权利要求的主题。
6.在一种用于校准车辆或机器人的摄像头和/或激光雷达传感器的方法中，借助摄像头来采集车辆环境或机器人环境的图像。借助至少一个激光雷达传感器，将一个真实图案发出到在摄像头采集区域的至少一个部分内的车辆环境或机器人环境中，其中，真实图案借助摄像头被采集。
7.根据本发明，借助激光雷达传感器将在激光雷达传感器坐标系内产生的虚拟图案投射到车辆环境或机器人环境内的一个虚拟平面中。在此，借助激光雷达传感器发出的激光射线穿过该虚拟平面并且在一个真实投影面上产生与该虚拟图案相关联/相对应的真实图案。借助摄像头所采集的真实图案基于真实投影面的表面走向被反算到虚拟平面中。由此在摄像头的坐标系内产生校正后的虚拟图案，依据虚拟图案和校正后的虚拟图案的比较来校准所述摄像头和/或激光雷达传感器。
8.在借助摄像头采集的图像中，可能因为透镜系统和因为摄像头的潜在覆盖而出现光学失真。为了避免出现这种光学失真，通常在车辆生产或机器人生产中进行摄像头的校准，例如依据棋盘图案。在此，所确定的校正值被存储。但校正值的正确性可能因组成部件的老化、彼此不同的温度区域以及外部机械作用而受到不利影响。
9.该方法允许针对几乎任何目标来校准摄像头，从而在车辆或机器人的生产过程中例如在生产过程结束时的校准可被简化。另外，所述校准也可以在车辆或机器人工作期间例如在短暂工作暂停中进行。因此，也可以实现在摄像头的整个工作期间的校准可能性，以便也获知老化作用。因此，也可以在摄像头和激光雷达传感器的工作中执行校准并予以弥
补，这也尤其在自动化且特别是高度自动化的、自主或半自主操作的车辆中是有利的。多次校准也可以在一个步骤中组合。校准的考量结果是所述摄像头和激光雷达传感器在相同地点识别到相同对象。
10.所述机器人例如也被设计成车辆例如被设计成高度自动化或全自动的轿车、高度自动化或全自动的运输工具或者高度自动化或全自动的载货汽车。机器人也可以是工业机器人、自动化割草机、真空吸尘机器人、扫拖机器人或自动化水面运输工具。
11.在该方法的一个可能设计中，该真实投影面的表面走向依据借助激光雷达传感器所确定的距真实图案的像点的距离来确定。这允许在所谓的交叉校准中校准所述摄像头和/或激光雷达传感器，在交叉校准中，在摄像头中记录激光雷达传感器的反射并将其用于相对于激光雷达传感器(即关于摄像头与激光雷达传感器之间误差)来校准摄像头。基于摄像头中的所探测到的激光雷达反射，可以针对车辆或机器人的环境内的任一对象拟定一个虚拟图案，它由激光雷达传感器立体测量，从而可以产生所谓的地面实况。摄像头和激光雷达传感器的彼此相对校准允许可以更好地将借助摄像头和激光雷达传感器所识别的对象相互对应，并且提升精度。当摄像头和激光雷达传感器被直接相互校准时，它们之间的相对误差减小。通过因此关于激光雷达传感器来直接校准摄像头和以相反的方式直接校准，可以使得所述摄像头和激光雷达传感器的原始数据直接融合。另外，所述摄像头和激光雷达传感器的独立数据的融合也得到改善。
12.在该方法的另一个可能设计中，在比较虚拟图案和校正后的虚拟图案时，确定至少一个用于将虚拟图案换算到校正后的虚拟图案中和/或将校正后的虚拟图案换算到虚拟图案中的变换公式。即，依据两个虚拟图案计算用于将一个虚拟图案变换到另一个虚拟图案中的变换参数。该变换参数可被用来将由其中一个传感器装置、即摄像头或激光雷达传感器所确定的环境数据变换到另一个传感器装置的坐标系中。
13.在该方法的另一个可能设计中，在所述校准中确定所述摄像头和/或激光雷达传感器的方位角误差和/或仰角误差。因此，该摄像头可以如此相对于激光雷达传感器被校准，即，在摄像头的光轴和激光雷达传感器的光轴之间的可能差异、即方位角误差和仰角误差可被补偿。因此可以确定激光雷达传感器坐标系相对于摄像头坐标系的源自方位角误差和仰角误差的位移和扭转。所述位移和扭转在比较两个也相对位移和扭转的虚拟图案时被予以考虑。因此可以执行很准确的校准。
14.在该方法的另一个可能设计中，为了产生虚拟图案，借助激光雷达传感器的回转的反光镜来偏转借助激光雷达传感器发出的激光射线。因此，可以很简单可靠地产生在虚拟平面内的虚拟图案和该真实图案。
15.在该方法的另一个可能设计中，在借助摄像头采集真实图案时执行对摄像头的接连采集的多幅图像的整合。通过所述整合，在红外范围内的摄像头分辨率被提高，这是有利的，因为呈常见的彩色摄像头形式的摄像头在可见光范围内具有其最高灵敏度，而在红外范围内具有相当低的灵敏度。另外，回转的反光镜的同步抖晃可能导致虚拟图案的线之间的距离且进而真实图案的线之间的距离变化。对摄像头的接连采集的多幅图像的整合允许补偿该误差。
16.在该方法的另一个可能设计中，该摄像头为了校准被切换到校准模式。
17.在该方法的另一个可能设计中，虚拟图案借助红外激光射线来产生，从而可以实
现借助摄像头的采集。
18.在该方法的另一个可能设计中，为了产生借助摄像头采集的图像，借助摄像头自身的红外滤光镜/红外线过滤器来过滤照中摄像头的激光光线。借助红外滤光镜来减少干涉并提高颜色质量。
19.在该方法的另一个可能设计中，采用红外滤光镜，其可透过由激光雷达传感器发出的且被真实投影面反射的红外激光射线，因此可以实现真实图案的采集。
20.在该方法的另一个可能设计中，红外滤光镜在摄像头的校准模式中切换成可透过由激光雷达传感器发出且被真实投影面反射的红外激光射线。因此，红外滤光镜在摄像头正常工作期间被用来减少干涉并提高颜色质量，并且在校准模式中被停用以实现借助激光雷达传感器发出的且被投影面反射的红外激光射线的优化检测。
附图说明
21.以下结合图来详细解释本发明的实施例，其中：
22.图1示意性示出车辆、虚拟图案和真实图案的透视图，
23.图2示意性示出用于校准车辆的摄像头和/或激光雷达传感器的装置的框图。
具体实施方式
24.彼此对应的零部件在所有图中带有相同的附图标记。
25.在图1中示出车辆1、虚拟图案mv和真实图案mr的透视图。图2示出一种用于校准车辆1的摄像头3和/或激光雷达传感器2.1的装置4的一个可能实施例的框图。
26.以下说明相似地也可套用到包括至少一个摄像头3和/或至少一个激光雷达传感器2.1的机器人。这种机器人例如也被设计成车辆、例如高度自动化或全自动轿车、高度自动化或全自动运输工具或高度自动化或全自动载货汽车。机器人也可以是工业机器人、自动化割草机、真空吸尘机器人、扫拖机器人或自动化水面运输工具。
27.车辆1包括具有至少一个激光雷达传感器2.1的激光雷达2和摄像头3，其中，激光雷达2和摄像头3设计用于采集车辆周围环境。
28.装置4包括激光雷达2、摄像头3和处理单元5。
29.校准的目标是如此相对于激光雷达传感器2.1校准摄像头3，即，在摄像头3的光轴和激光雷达传感器2.1的光轴之间的可能差异、即方位角误差和仰角误差被补偿，使得摄像头3和激光雷达传感器2.1在相同地点识别到彼此相同的对象。
30.为此，在车辆1前方限定出一个虚拟平面ev，它位于摄像头3的和激光雷达传感器2.1的采集区域内。借助激光雷达传感器2.1，发出红外激光射线，从而在虚拟平面ev上产生虚拟图案mv。虚拟图案mv例如是棋盘图案。虚拟图案mv在此是在激光雷达传感器2.1的坐标系中生成的。红外激光射线穿过虚拟平面ev，使得与虚拟图案mv相关的真实图案mr被投射到在车辆环境内的投影面a上，例如投影到路面上。所投射的真实图案mr相对于虚拟图案mv扭曲，因为出现真实图案mr的投影面a未平行于虚拟平面ev。
31.在一个可能设计中，激光雷达2或者说激光雷达传感器2.1具有回转的反光镜，借此将红外激光射线偏转到待扫描场景。
32.借助激光雷达传感器2.1，距所投影的真实图案mr的各个像点的距离d被查明。因
此借助处理单元5以立体方式查明投影面a的表面走向，产生所谓的地面实况。
33.借助摄像头3，采集真实图案mr的至少一个图像b。基于所确定的投影面a表面走向，所采集的真实图案mv借助处理单元5以下述方式被校正，即，反算其在虚拟平面ev上可能呈现的样子。该反算结果是在摄像头3的坐标系内反算出的校正后虚拟图案m
ev
。
34.激光雷达2的回转反光镜的同步抖晃可能导致虚拟图案mv的线之间距离以及进而真实图案mr的线之间的距离改变，为了在采集真实图案mr时补偿该误差，在一个可能设计中达成对摄像头3的多幅图像b的整合。通过所述整合，也提高摄像头3的红外分辨率，这是有利的，因为被设计成常见的彩色摄像头的摄像头3在可见光范围内具有其最高灵敏度，在红外范围内具有相当低的灵敏度。
35.在另一个可能设计中，为了校准而将摄像头3切换到校准模式。此外可能的是，摄像头3具有红外滤光镜以减少干涉和/或提高颜色质量。红外滤光镜例如被如此设计，即，它可被反射的红外激光脉冲穿透，或是它在摄像头3的校准模式中可切换到可被激光雷达传感器2.1的红外激光射线穿透的状态。
36.因为有方位角和仰角误差，故激光雷达传感器2.1的坐标系相对于摄像头3的坐标系发生位移和扭曲。因此，两个虚拟图案mv、m
ev
也相对位移和扭曲。
37.从两个虚拟图案mv、m
ev
中查明用于将一个虚拟图案mv、m
ev
换算到另一个虚拟图案m
ev
、mv的变换公式。即，确定用于坐标变换的变换参数p，借助于坐标变换，能够将由摄像头3采集的数据变换到激光雷达传感器2.1的坐标系中或者将由激光雷达传感器2.1采集的数据变换到摄像头3的坐标系中。
38.接着利用所确定的变换参数p，在常规工作期间将由激光雷达传感器2.1或摄像头3确定的环境数据变换到各自另一传感器的坐标系中。激光雷达传感器2.1和摄像头3于是在相同的地点识别到彼此相同的对象。