用于校准机动车辆的车辆视觉系统的方法、用于机动车辆的视觉系统、电子车辆引导系统、机动车辆和计算机程序产品与流程
本发明涉及一种用于校准机动车辆的车辆视觉系统的方法，特别是一种计算机实施的方法，该车辆视觉系统包括校准模块和具有图像处理器的至少一个车载相机。本发明的其他方面涉及一种用于机动车辆的视觉系统、一种具有这种视觉系统的电子车辆引导系统以及一种机动车辆。本发明的又一方面涉及一种计算机程序和一种其上存储有计算机程序的计算机可读存储介质。
背景技术：
1、现代机动车辆通常配备有车辆视觉系统，其通常包括至少一个车载相机，例如前置相机，其可以布置在车辆的挡风玻璃处或前格栅处。该系统可以包括另外的相机，例如后视镜相机和/或后置相机。从捕获的车辆周围环境图像中，可以推断出距车辆的对象距离，其中，此处和下文中，术语“对象距离”是指配备有相机的车辆与其周围环境中、即相机的视场内的对象之间的距离。来自相机的信息可以用于多种驾驶辅助功能，例如在自主或半自主驾驶员辅助系统或其他电子车辆引导系统中，例如停车辅助系统和/或自动距离控制系统。相机校准有助于准确解释距车辆的对象距离，从而提供准确的碰撞时间估计，并避免可能的碰撞。
2、与固有相机参数，诸如焦距或其他镜头参数，相比，外在相机参数描述了相机在真实世界中的姿势，即位置和航向。因此，外在相机参数可能受到车辆运动的影响。换句话说，外在校准参数也可能由于车辆移动和/或车辆的负载而变化。例如，当车辆上坡时，后悬架降低，前置相机可以更向上倾斜到天空，因此外在相机参数的倾斜角可以与初始校准值不同。结果，解释距车辆的对象距离的准确性可能受到影响。因此，相机校准或外在相机参数的校准对于准确地解释可以从相机图像推导出的任何图像信息是至关重要的。
3、当前的外在校准方法依赖于具有固定已知形状的校准目标或依赖于相机视场内的已知图案。这些方法与在指定环境（例如工厂）中提供的固定图案或道路上对象的已知尺寸（例如已知的车辆型号尺寸、已知的道路标志尺寸等）一起工作。或者，可以评估直线道路上的车道标记的消失点。在消失点技术中，假设车辆在具有两个平行车道标记的车道上行驶，这可以被相机看到。从两个平行的车道标记，可以推导出相机的消失点。然后可以将消失点用作校准目标。利用已知的消失点，可以推导出相对于路面的倾斜角。可以相应地推导出校准参数。
4、当涉及外在相机参数的校准时，当前的方法依赖于知道道路上或工厂中的已知对象的尺寸。对于工厂中的校准（工厂校准），相机通常已经被固定到车辆上的指定安装位置。具有已知尺寸的一个或多个目标对象或校准目标被放置在相机前面。由于这些对象的已知尺寸，它们的三维（3d）真实世界坐标可以映射到它们对应的二维（2d）图像坐标。对于映射，生成变换矩阵，其描述这些3d和2d点之间的关系。换句话说，变换矩阵是校准的结果。它可以在任何未来的情况下用于解释相机图像的2d信息并将其转换为真实世界的3d信息。
5、校准参数包括固有参数和外在参数。虽然固有值通常由相机制造商提供，但是可以根据3d到2d映射或转换来确定外在值。当车辆静止时，对外在参数进行工厂校准。如果在工厂中确定的外在校准值（即变换矩阵）被应用于在真实生活状况下捕获的相机图像，则它们可能产生不准确的结果，例如关于到车辆的对象距离。这可能是由于道路状况、不规则性（如车道凹槽）和/或前轴上和/或后轴上的负载或车辆。
6、对于道路上的当前校准方法，需要用于对象识别的算法。当识别出视觉系统已知的对象时，将捕获图像中的对应2d点与视觉系统中的已知2d点进行比较以进行匹配。当车辆移动时，捕获已知对象的更多连续图像。利用来自相机制造商的已知固有参数，以及根据里程表（行驶距离）的车辆运动信息，以及根据2d点匹配结果，可以计算出相机外在参数。只有当识别出已知对象时，才能在道路上进行校准。不能保证校准的及时性。
7、使用基于道路上的车道标记的消失点技术校准外在相机参数也是一种常用的方法。基于车道标记的校准只能在道路笔直时进行，并且当具有待校准的相机的车辆沿着道路直线行驶时进行。
8、us 2024/0107001 a1描述了一种基于消失点技术的相机校准方法。
9、us 2021/0241492 a1还涉及一种用于校准车辆视觉系统的方法。它提到在视觉系统的相机前面提供已知的三维（3d）目标，评估来自捕获图像的边缘和消失线，以便计算外在相机参数。已知的3d目标必须设置在相机的前面。这意味着车辆必须保持静止。因此，当汽车移动时的外在参数可能偏离在汽车静止时评估的参数。
10、从cn 114627190 a中知晓类似的方法。这里，在待校准的相机前面使用已知且固定的矩形网格图案。该图案可以例如被固定为多个条带，这些条带被布置在配备有相机的车辆前方的路面上。相机的位置被定义为坐标系的原点，并且确定该坐标系中的网格点的实际坐标。然后，相机捕获图案的图像，并且获得网格点的图像像素坐标。建立图像像素坐标与实际坐标之间的转换模型或变换矩阵。转换模型用于在道路上操作车辆时，例如根据点的图像像素坐标确定车辆环境中点的实际坐标。
11、de 10 2022 206 865 a1描述了使用投射的光模式作为校准目标。
12、这些方法不能提供能确保相机外在参数与最新的值一起可用的实时的、按需的校准。
技术实现思路
1、因此，本发明的目的是在驾驶期间为具有至少一个车载相机的车辆视觉系统提供最新的外在校准参数，特别是用于自动驾驶中的应用。
2、该目的通过独立权利要求的主题来解决。有利的实施例由从属权利要求、以下描述和附图描述。
3、本发明涉及一种利用车辆头灯、特别是用于车辆的智能矩阵led照明的新的相机校准方法。本发明基于以下认识：现代车辆头灯，特别是智能矩阵led照明，可以在道路上生成不同的照明图案。这些图案对于车辆的校准模块可以是已知的，以校准相机的外在参数。由于可以按需生成来自智能矩阵led照明的图案，因此可以在需要时的任何时间执行相机校准过程。
4、本发明涉及一种用于校准机动车辆的车辆视觉系统的方法，该车辆视觉系统包括校准模块和具有图像处理器的至少一个车载相机。
5、根据本发明的方法的步骤包括为机动车辆配备车辆视觉系统，其中至少一个车载相机设置在机动车辆的相机位置处并且相对于机动车辆的车辆头灯布置，使得至少一个车载相机的视场和车辆头灯的投射区域至少部分重叠。换句话说，至少一个车载相机安装在车辆上，例如安装在车辆挡风玻璃后面的车辆的后视镜区域和/或车辆的前格栅上和/或车辆后视镜上和/或车辆后保险杠处。换句话说，车辆视觉系统可以包括多个车载相机，多个车载相机可以安装在车辆上，使得它们各自的视场至少部分地与车辆的头灯的投射区域重叠。头灯可以是车辆的前头灯和/或后头灯。
6、根据本发明的方法的另一步骤包括检测校准指示条件并且根据检测的校准指示条件来激活车辆视觉系统的校准模块。换句话说，校准模块可以不一直运行，而是可以在需要时被激活。下面进一步详细描述校准指示条件的各种示例。
7、激活的校准模块可以生成用于机动车辆的头灯控制单元的控制信号，其中，控制信号描述要由车辆头灯投射到投射区域内的投射表面上的光图案。投射区域可以在车辆前方和/或车辆后部后方。它可以包括车辆当前行驶的道路的地面。它还可以包括在车辆前面或后面的壁，特别是竖直壁。
8、光图案包括描述光图案的尺寸和/或在对象坐标系中光图案相对于相机位置的位置的光图案对象坐标。相机位置可以被定义为在对象坐标系的原点处。换句话说，可以建立对象坐标系，其可以以相机的已知位置为中心或使其原点在相机的已知位置处。对象坐标系可以与车辆坐标系的x、y和z轴对齐，x轴是车辆的纵轴，y轴是车辆的横轴，并且z轴是车辆的垂直轴。在该对象坐标系中，光图案的真实世界坐标可以是已知的并且由用于头灯控制单元的控制信号描述。
9、由头灯控制单元执行控制信号导致车辆头灯将光图案投射到投射区域内的投射表面上。头灯可以包括多个发光二极管（led），其可以由头灯控制单元单独控制，以便将光图案投射到投射区域内的投射表面上。
10、根据本发明的方法的另一步骤包括激活至少一个车载相机并且利用至少一个车载相机捕获图像数据，其中，图像数据表示车载相机的视场并且描述投射的光图案的图像。换句话说，至少一个车载相机利用已知的光图案对象坐标捕获投射的光图案的至少一部分的图像。
11、捕获的图像数据被提供给图像处理器，该图像处理器经由在图像处理器处对所捕获的图像数据的处理来将图像坐标分配给光图案的捕获的图像。例如，图像处理器可以对捕获的图像数据运行对象识别算法，以便识别光图案元素中的一个的边缘的至少一个边缘像素。然后，图像处理器可以将图像坐标分配给识别的边缘像素，其中图像坐标在图像坐标系中给出。这可以针对捕获图像的多个边缘像素或其他特性特征来完成。与上述对象坐标系一样，已知相机位置可以被定义为在图像坐标系的原点处。这样，图像坐标描述图像中光图案的尺寸和/或在图像坐标系中光图案相对于相机位置的位置。
12、根据本发明的方法的另一步骤包括由校准模块执行当前变换矩阵或转换模型，当前变换矩阵或转换模型基于车辆视觉系统的当前校准参数，用于将图像坐标变换为期望的对象坐标。当前变换矩阵或转换模型可以已经在车辆视觉系统的初始校准期间生成，例如在如上所述的工厂设置中。通过将当前变换矩阵应用于图像坐标，它们可以被映射到对应的真实世界或对象坐标，在这里和下文中这被称为期望的对象坐标。如果车辆仍然处于与出厂设置相同的状态，则期望的对象坐标应该与光图案对象坐标一致。然而，如果车辆状况已经改变，则很可能观察到期望的对象坐标和光图案对象坐标之间的差异或不匹配。
13、因此，根据本发明的方法的进一步步骤包括从期望的对象坐标和光图案对象坐标之间的差异或不匹配中推断出车辆视觉系统的更新的校准参数，并基于更新的校准参数生成更新的变换矩阵。换句话说，调整当前变换矩阵的校准参数，使得将更新的变换矩阵应用于图像坐标产生已知的光图案对象坐标。
14、根据本发明的方法的另一步骤包括利用更新的校准参数校准车辆视觉系统。
15、本发明的方法的优点在于，它为具有至少一个车载相机的车载视觉系统提供了最新的外在校准参数，该系统在驾驶过程中也能工作，而无需执行复杂的对象识别算法，也无需在具有直平行车道标记的直路上行驶等进一步规定。
16、本发明的另外的实施例产生另外的优点。
17、根据该方法的实施例，在对象坐标系的原点处定义相机位置的对象坐标，在图像坐标系的原点处定义相机位置的图像坐标，并且通过执行当前变换矩阵，将描述图像中光图案的尺寸和/或在图像坐标系中光图案相对于相机位置的位置的图像坐标变换为期望的对象坐标，该期望的对象坐标也在对象坐标系中定义。换句话说，所有坐标都被转移到公共坐标系，即对象坐标系，以便容易且快速地分析期望的对象坐标与光图案对象坐标之间的不匹配。
18、根据该方法的另一实施例，图像处理器包括对象检测模块，其中对象检测模块检测至少一个光图案元素的至少一个边缘像素，并将图像坐标分配给至少一个边缘像素。例如，光图案可以包括多个光图案元素，这些光图案元素可以以预定的已知图案布置。光图案元素可以例如包括二维几何形状，诸如三角形、矩形、圆形等。这些光图案元素可以根据控制信号以预定的尺寸和/或彼此之间的预定距离和/或到相机位置的预定距离投射到投射区域中的投射表面上。对象检测模块可以例如检测矩形光图案元素的一侧上的边缘像素和同一矩形光像素的相对侧上的另一边缘像素。根据这两个像素的图像坐标，校准模块可以确定该矩形光图案元素的尺寸。根据已知的光图案对象坐标，矩形光图案元素的真实或真实世界尺寸对于校准模块是已知的。如前所述，基于当前校准参数的当前变换矩阵或转换模块可以被应用于光图案元素的两个边缘像素的图像坐标，从而将它们变换为期望的对象坐标。如果检测到光图案元素的已知对象坐标与期望的对象坐标之间的不匹配，则可以从中推导出更新的校准参数。
19、根据另一实施例，检测校准指示条件包括接收时间信号，该时间信号指示自车辆视觉系统的上一次校准以来经过的最大允许时间。允许时间可以由系统的用户手动设置，或者根据系统的期望的用途自动设置。允许时间或更新间隔可以被设置为几毫秒到几秒，使得校准每几毫秒到几秒运行一次，特别是自动运行。
20、替代地或另外地，检测校准指示条件包括从机动车辆的至少一个倾斜传感器接收倾斜信号，其中该信号描述机动车辆的倾斜相对于校准倾斜的变化。换句话说，在识别到车辆的异常倾斜——优选地沿着其纵轴——时校准模块可以被激活。异常倾斜或倾斜角度指示相机的倾斜参数的变化，该变化大到足以导致基于相机数据的对象距离确定的不准确性，该不准确性高于容许不准确性水平。因此，在识别出异常倾斜时自动启动校准，这可能是由于车辆陡峭地上坡或下坡行驶或者由于车辆轴线中的一个上的重负载，这可能是由于车辆牵引拖车或在行李箱中负载很重。
21、替代地或另外地，检测校准指示条件包括从机动车辆的至少一个负载传感器接收负载信号，其中该信号描述机动车辆的负载条件相对于校准负载条件的变化。所描述的实施例涉及车辆重载的情况，其中负载条件优选地描述了以千克为单位的负载，特别是在机动车辆的行李箱中。
22、替代地或附加地，检测校准指示条件包括从机动车辆的至少一个加速度传感器接收加速度信号，其中从加速度信号推断出机动车辆的倾斜的变化。车辆的突然加速或减速可能分别导致沿车辆纵轴的倾斜向上或向下变化。这可以再次改变至少一个车载相机——例如车辆的前置相机——的倾斜参数，使得外在相机参数的重新校准变得必要，以避免基于相机数据的对象距离检测中的不可容忍的不准确性。
23、可替代地或另外地，检测校准指示条件包括从机动车辆的点火传感器接收点火信号，其中校准模块在接收到点火信号时被激活。换句话说，车辆视觉系统的重新校准可以在车辆发动机的每次启动时执行。
24、该方法的另一实施例包括将至少一个车载相机设置在机动车辆的前部，特别是集成到机动车辆的挡风玻璃中和/或机动车辆的前格栅中。
25、替代地或附加地，该方法包括将至少一个车载相机设置在机动车辆的后部，特别是集成到机动车辆的后保险杠中。
26、优选地，头灯控制单元控制车辆前头灯和/或车辆后头灯。换句话说，为了校准车辆视觉系统的前置相机，头灯控制单元可以操作车辆的前头灯，而为了校准车辆的后置相机，头灯控制单元可以操作后头灯以将已知光图案投射到至少部分在要校准的相应相机的视场内的投射表面上。
27、该方法的另一实施例包括：投射表面相对于机动车辆的当前方位平面——特别是相对于机动车辆的x-y平面——以一定角度布置，其中，在校准车辆视觉系统时考虑该角度，特别是该角度的失真效应。例如，投射表面可以是车辆位于其上的地面，并且角度可以是零度。投射表面也可以是或包括车辆前方或后方的壁，使得角度为90度。其间的任何角度也是可能的。换句话说，投射表面相对于车辆当前方位平面的角度可能会发生变化，并在失真方面影响投射光图案。例如，角度也可以在投射表面内改变，使得光图案的第一部分投射到投射表面的第一部分上，该第一部分相对于车辆的当前方位平面具有与投射表面的第二部分不同的倾斜或角度，光图案的第二部分可以投射到投射表面的第二部分上。换句话说，投射表面可以是不平坦的或波浪形的，或者包括至少一个扭结。这种不均匀性将对光图案的失真产生影响，这可以根据所描述的实施例来解释。
28、对于在根据本发明的方法中可能出现的并且在本文中未明确描述的使用情况或使用情形，可以规定，根据计算机实现的方法或根据本发明的方法，输出错误消息和/或用户反馈的提示和/或设置默认设置和/或预定初始状态。
29、本发明的另一方面涉及一种用于机动车辆的视觉系统，包括：
30、-校准模块，
31、-具有图像处理器的至少一个车载相机，
32、-对象检测模块，
33、其中，视觉系统被设计为根据所述实施例中的任一个的方法进行校准。
34、本发明的另一方面涉及一种电子车辆引导系统，包括：
35、-具有至少一个计算单元的处理设备，
36、-头灯控制单元，
37、-至少一个倾斜传感器，
38、-至少一个负载传感器，
39、-至少一个加速度传感器，和
40、-点火传感器，
41、其中，根据本发明的视觉系统被集成到电子车辆引导系统中。
42、电子车辆引导系统可以被理解为电子系统，其被配置为以完全自动化或完全自主的方式引导车辆，并且特别是不需要车辆的驾驶员或用户的手动干预或控制。车辆自动地执行所有需要的功能，例如转向操纵、减速操纵和/或加速操纵以及监控和记录道路交通和相应的反应。特别地，电子车辆引导系统可以根据sae j3016分类的级别5实现全自动或完全自主驾驶模式。电子车辆引导系统还可以被实现为高级驾驶员辅助系统adas，其辅助驾驶员进行部分自动或部分自主驾驶。特别地，电子车辆引导系统可以实现根据sae j3016分类的1至4级的部分自动或部分自主驾驶模式。在这里和下文中，sae j3016指的是日期为2021年4月的相应标准。
43、因此，至少部分自动地引导车辆可以包括根据sae j3016分类的5级根据全自动或完全自主驾驶模式引导车辆。至少部分自动地引导车辆还可以包括根据sae j3016分类的1至4级按照部分自动或部分自主驾驶模式引导车辆。
44、电子引导信号可以例如被提供给车辆的一个或多个致动器，包括例如车辆的一个或多个制动致动器和/或一个或多个转向致动器和/或一个或多个推进马达。一个或多个致动器可以影响车辆的纵向和/或横向控制，以便至少部分地基于电子引导信号自动引导车辆。
45、辅助信息可以借助于车辆的输出设备、例如显示器和/或音频输出系统和/或触觉输出系统来输出。
46、本发明的另一方面涉及一种具有根据本发明的视觉系统和根据本发明的电子车辆引导系统的机动车辆，该机动车辆包括：
47、-车辆前头灯和/或车辆后头灯，其中前头灯和/或后头灯优选地是智能矩阵led头灯。
48、本发明的另一方面涉及一种包括指令的计算机程序，所述指令在由处理装置执行时，特别是由以下设备执行时：
49、-根据本发明的车辆视觉系统的校准模块和/或图像处理器和/或对象检测模块，和/或
50、-具有根据本发明的电子车辆引导系统的至少一个计算单元的处理设备，
51、指示所述处理设备执行根据所描述的实施例中的任一者的方法的计算步骤。
52、本发明的另一方面涉及一种计算机可读存储介质，其上存储有根据本发明的计算机程序。根据本发明的计算机可读存储介质和计算机程序可以被描述为计算机程序产品。
53、换句话说，根据本发明的另一方面，提供了一种数据处理系统，其被配置为执行根据本发明的计算机实现的方法。
54、术语“数据处理系统”和“数据处理设备”可以在本公开中可互换地使用。在本公开中，数据处理设备（也表示为计算设备）可以例如被理解为具有用于处理数据的处理电路的设备。因此，数据处理设备可以执行计算操作以便处理数据。对数据结构（例如查找表lut或数据库）的索引访问也可以被认为是计算操作。部分地或完全地以硬件实现的数据处理也可以被认为是计算操作。
55、特别地，数据处理设备可以包括一个或多个计算机、一个或多个微控制器和/或一个或多个集成电路，例如，一个或多个专用集成电路asic、一个或多个现场可编程门阵列fpga和/或一个或多个片上系统soc。数据处理设备还可以包括一个或多个处理器，例如一个或多个微处理器、一个或多个中央处理单元cpu、一个或多个图形处理单元gpu和/或一个或多个信号处理器，特别是一个或多个数字信号处理器dsp。数据处理设备还可以包括计算机或其他所述设备的物理或虚拟集群。
56、数据处理设备还可以包括一个或多个硬件和/或软件接口，例如分别用于接收和/或提供数据。
57、数据处理设备还可以包括一个或多个存储器设备。其中，存储器设备可以被实现为易失性存储器，例如动态随机存取存储器dram或静态随机存取存储器sram，或者被实现为非易失性数据存储器，例如只读存储器rom、可编程只读存储器prom、可擦除可编程只读存储器eprom、电可擦除可编程只读存储器eeprom、闪存或闪存eeprom、铁电随机存取存储器fram、磁阻随机存取存储器mram或相变随机存取存储器pcram。
58、根据本发明的另一方面，提供了一种包括指令的计算机程序。当指令由数据处理设备执行时，指令使数据处理设备执行根据本发明的计算机实现的方法。
59、例如，指令可以被提供为程序代码。程序代码可以例如作为二进制代码或汇编程序和/或作为编程语言（例如c）的源代码和/或作为程序脚本（例如python）来提供。
60、根据本发明的另一方面，提供了包括另外的指令的另外的计算机程序。当进一步的指令由根据本发明的车辆视觉系统的校准模块和/或图像处理器和/或对象检测模块和/或根据本发明的电子车辆导航系统、特别是由电子车辆导航系统的数据处理装置执行时，进一步的指令使得根据本发明的车辆视觉系统的校准模块和/或图像处理器和/或对象检测模块和/或电子车辆导航系统执行根据本发明的用于校准车辆的车辆视觉系统的方法。
61、例如，进一步的指令可以被提供为程序代码。程序代码可以例如作为二进制代码或汇编程序和/或作为编程语言（例如c）的源代码和/或作为程序脚本（例如python）来提供。
62、根据本发明的另一方面，提供了一种存储根据本发明的计算机程序和/或另一计算机程序的计算机可读存储介质。
63、计算机程序、另外的计算机程序和计算机可读存储介质是包括指令和/或另外的指令的相应的计算机程序产品。
64、根据本发明的视觉系统和/或电子车辆导航系统和/或机动车辆的进一步实施例直接遵循根据本发明的方法的各种实施例，反之亦然。具体而言，与根据本发明的方法的各种实施例相关的各个特征和相应的解释以及优点可以类似地转移到根据本发明的视觉系统和/或电子车辆导航系统和/或机动车的相应实施例。特别地，根据本发明的电子车辆引导系统被设计或编程为执行根据本发明的方法。特别地，根据本发明的电子车辆引导系统的数据处理装置执行根据本发明的方法。
65、如果在本公开中提到一些信息或数据或数据集由接收实体接收，特别是从发送实体接收，则这可以被理解为使得信息或数据或数据集由接收实体的相应硬件接收端口或硬件接收终端或硬件接收接口接收。例如，信息或数据或数据集可以例如经由有线或无线通信从发送实体的发送硬件端口或发送硬件终端或发送硬件接口传输到硬件接收端口或硬件接收终端或硬件接收接口。