基于光学传感器系统所检测的传感器数据确定输出数据的方法及机动车的控制模块与流程

本发明涉及一种根据专利权利要求1的前序部分所述的、基于光学传感器系统所检测的传感器数据确定输出数据的方法。

背景技术：

1、对于某些应用目的，需要或希望的是，在由光学传感器系统检测的采集范围内，根据光学传感器系统所检测的传感器数据，提取其中包含的特定信息作为输出数据，或者由此推导出特定的输出数据，并将这些输出数据提供用于进一步处理。

2、这一点尤其适于在机动车中用于在特定的行驶状况下或机动车的特定运动过程中控制车辆运行、从而辅助或减轻驾驶员负担的辅助系统，因为这些辅助系统为了保证其功能，通常需要有关车辆周围交通空间的信息并进行相应处理。例如，这适于机动车中作为车道保持辅助系统、超车辅助系统、转弯辅助系统、拥堵辅助系统、泊车辅助系统或用于车辆纵向控制的距离辅助系统等辅助系统。为此，这些辅助系统尤其可以在机动车的辅助驾驶模式、自动驾驶模式或自主驾驶模式下使用。

技术实现思路

1、本发明的任务在于，提供一种基于光学传感器系统所检测的传感器数据确定输出数据的方法，其中，通过处理光学传感器系统的传感器数据，以简单且有利的方式实现不同输出数据的生成和输出，并具有高度的灵活性。

2、该任务通过具备权利要求1所述特征的、基于光学传感器系统所检测的传感器数据确定输出数据的方法完成。

3、该根据本发明的方法的有利改进方案以及一种用于执行该方法的车辆的控制模块是其他权利要求的组成部分。

4、对于本发明的方法，在相继的方法区段中，以各方法区段处理机动车的光学传感器系统所检测的、借助于图像变换处理的、与参考面相关的同一图像序列，该同一图像序列由两个环境图像组成，并使用光学传感器系统的相对位置信息，由一个单一的神经网络进行处理，从而在使用经修正的光流的情况下生成不同的输出参量作为彼此独立的输出数据。

5、特别地，在本发明方法中，为了基于光学传感器系统所检测的传感器数据确定输出数据，在车辆行驶期间的相继的方法区段中，由布置在机动车中的摄像机/摄像机检测摄像机图像作为光学传感器数据，所述摄像机图像被检测为由栅格单元组成的二维栅格图像。为此，光学传感器系统或摄像机可以在不同的方向上移动，特别是向前和/或向后和/或横向移动。

6、在各方法区段中，在车辆行驶期间，将同一图像序列中的两个环境图像作为由栅格单元或像点（像素）组成的二维栅格图像在时间上错开地依次被检测到。将该图像序列的两个环境图像之一或者是将通过处理该图像序列的两个环境图像之一获得的特征图像，作为原始图像或起始图像，借助于作为图像变换的几何单应性变换，将该原始图像或起始图像相对于参考平面转换或变换为变换图像，该变换图像作为变换栅格图像或变换特征图像。借助于这种二维几何单应性变换或图像变换，为同一图像序列的两个栅格图像或同一图像序列的两个特征图像创建不同的视角，其方式是：将该图像序列的两个依次检测到的栅格图像之一或该图像序列的两个特征图像之一，变换为变换栅格图像或变换特征图像，使得变换栅格图像或变换特征图像的栅格单元或像点（像素）仿佛正“看向” 为未经变换的栅格图像或未经变换的特征图像而预设的参考平面，该未经变换的栅格图像或未经变换的特征图像代表参考图像，因而代表参考栅格图像或参考特征图像。

7、通过作为图像变换的几何单应性变换，基于由两个依次检测的栅格图像构成的同一图像序列的两个环境图像，获得指向参考平面的虚拟视角，使得对于变换图像而言，其像点在参考平面上的位置与在时间上错开地检测的参考图像相同。因此，由于在由两个依次检测的栅格图像或两个特征图像构成的同一图像序列期间，参考平面上的像点保持不变，所以实现了图像序列的显著稳定化，并简化了同一图像序列中两个栅格图像之间或两个特征图像之间的运动处理，这又进一步简化了对图像序列的栅格图像或图像序列的特征图像的处理。特别地，由此还可以基于同一图像序列两个栅格图像或两个特征图像中对应的像点，显著简化地确定光流或经修正的光流。

8、如上所述，这种运动简化的实现方式是：将几何单应性变换用作图像变换，应用于同一图像序列栅格图像的原始图像或起始图像，或者应用于作为通过处理同一图像序列两个栅格图像或环境图像之一得到的特征图像的原始图像或起始图像。

9、在此，参考平面尤其选取车辆所行驶的道路的路面，因为在应用几何单应性变换后，路面上的像点不会发生移动，因而可以将其作为恒定参考量使用。

10、在作为图像变换的几何单应性变换框架内，特别地在相应一个图像序列中，将两个原始图像中的第一原始图像转换为变换图像，并将第二原始图像作为未经变换的参考图像使用。然而，也可以相反地分配相应一个图像序列中的两个原始图像。也就是说，在这种情况下，在相应一个图像序列中，将第二原始图像转换为变换图像，并将该相应一个图像序列的第一原始图像作为未经变换的参考图像使用。在本发明方法的各个相继的方法区段中，针对同一图像序列的两个原始图像所进行的这种变换图像与参考图像的分配关系，在所有相应的方法区段中保持不变。

11、因此，无论是几何单应性变换应用于同一图像序列中两个依次检测的栅格图像之一，还是几何单应性变换应用于通过处理同一图像序列的栅格图像而获得的两个特征图像之一，这种处理方式同样适用。

12、该图像序列由车辆在行驶期间作为由栅格单元或像点（像素）组成的二维栅格图像依次检测的两个在时间上错开的环境图像构成，并由神经网络进行处理，该神经网络优选为具有带有多个处理层的金字塔网络架构的神经网络。

13、在将几何单应性变换应用于同一图像序列的两个栅格图像或环境图像之一的情况下，或者在将几何单应性变换应用于同一图像序列的两个特征图像之一的情况下，还向该优选具有金字塔形网络架构的神经网络输入：基于在里程计的框架下获取的车辆运动数据所确定的、光学传感器系统在同一图像序列的两个栅格图像的在时间上错开的检测之间的空间运动数据，以及在检测同一图像序列的每个栅格图像时用于光学传感器系统标定的、光学传感器系统相对于参考平面的相对位置。

14、为此，光学传感器系统相对于参考平面的位置以近似表示的形式给出，特别是通过三个空间坐标加上车辆的横摆角以四维表示，或通过三个空间坐标以三维表示，或通过三个空间坐标和三个空间角度以估计的、因而可能存在误差的位置信息表示。特别地，光学传感器系统的近似位置信息是基于参考平面法向量的检测以及每个栅格图像的像点相对于参考平面的高度来确定的。

15、在这种光学传感器系统的外部标定的范围内，尤其要确定光学传感器系统相对于参考平面在车辆中的安装位置。除了这种外部标定外，还可以基于光学传感器系统的光学特性进行内部标定，例如通过确定光学传感器在光学传感器系统中的安装情况。

16、由优选具有金字塔形网络架构的神经网络基于同一图像序列的变换图像和参考图像，即基于同一图像序列的变换栅格图像和参考栅格图像，或基于同一图像序列的变换特征图像和参考特征图像，对其进行处理并输出经修正的光流。输入数据的处理因此由单个具有金字塔形网络架构的神经网络执行，由此由该神经网络将经修正的光流确定为：从同一图像序列的两个栅格图像或从同一图像序列的两个特征图像所得出的、该同一图像序列的两个栅格图像之间或该同一图像序列的两个特征图像之间的虚拟运动。

17、由该神经网络作为输出数据累积地或替代地输出以下输出参量：经修正的光流、几何结构参数、光学传感器系统在同一图像序列两个栅格图像之间的相对位置（优选以六维表示），以及栅格图像每个像点的法向量。

18、用于计算特定的其他输出参量的结构参数被表示为三维表示的表征，特别是基于在应用几何单应性变换时所使用的单应性矩阵来确定。特别地，该结构参数是用于衡量像点相对于该参考平面的高度的度量，并且可以连同各图像点相对于光学系统的光心的深度一起，特别用于该参考图像的三维重建。

19、光学传感器系统在同一图像序列的两个环境图像之间的精确的、特别是六维的相对位置信息，以及光学传感器系统在车辆中的空间取向（空间方位）及其相对于参考平面的、在同一图像序列的两个环境图像之间比较的位置在六维表示中包含以下信息：除了三个空间坐标外，还包括横摆角、侧倾角和俯仰角。其中，横摆角是光学传感器系统绕其竖直轴的旋转的量度，侧倾角是光学传感器系统绕其纵轴的旋转的量度，俯仰角是光学传感器系统绕其横轴的旋转的量度。

20、在该方法的一个有利改进方案中，为了将同一图像序列的两个原始图像之一变换为变换图像，作为几何单应性变换借助单应性矩阵执行关于参考平面的视差变换。也就是说，基于借助虚拟视差的几何变换，通过使用单应性矩阵使同一图像序列的两个原始图像之一的像点相应地移动。

21、该单应性矩阵基于参考平面和车辆的里程计数据创建，作为基于虚拟视差的车辆环境的抽象简化表示，因此包含关于参考平面或路面以及同一图像序列的两个环境图像的像点的几何假设。

22、特别地，可以基于通过单应性矩阵进行的、作为单应性变换的虚拟视差变换，在神经网络的处理框架中，根据需要确定并输出结构参数，或者将其用于相应的应用场景，并用于进一步的应用。

23、在该方法的另一有利改进方案中，通过借助结构参数将变换图像反向变换回初始的原始图像，基于经修正的光流确定同一图像序列的两个环境图像之间的光流。该光流是表征车辆运动的特征量，可以用于相应的应用场景并用于进一步的应用。

24、在该方法的另一有利改进方案中，借助结构参数对同一图像序列的两个环境图像之一进行三维重建，特别是对同一图像序列的参考图像进行三维重建。在该三维重建的框架中，基于结构参数和相对于参考平面的法向量，计算该参考图像的像点的高度和深度。该参考图像的三维表示随后可以用于相应的应用场景并用于进一步的应用。

25、栅格图像每个像点的法向量作为输出参量，可以用于同一图像序列的两个环境图像的三维表示，但尤其也可用于光学系统的标定，优选用于机动车作为光学系统的摄像机的标定。在后一种摄像机标定情况下，可以使用为此特别合适的、来自其中一个栅格图像的特定像点的法向量。

26、通过优选具有多个分层排列处理层的金字塔形网络架构的神经网络，在各方法区段中，各个处理层依次处理同一图像序列的参考图像和变换图像， 其中为同一图像序列的参考图像和变换图像分配了随处理层不同而不同的分辨率和不同的信息内容。

27、因此，在每一处理层中以不同分辨率细节精度使用参考图像和变换图像的不同属性或特征。通过具有金字塔形网络架构的神经网络，在方法区段的相继的处理步骤中，首先在随后的逐级下降处理层中进行同一图像序列的参考图像和变换图像的下采样，处理在分辨率逐渐降低、信息内容逐渐增高的网络层中进行。在随后的逐级上升处理层中的上采样中，基于不断提高的分辨率，将神经网络生成的信息再次提供出来。

28、也就是说，在各方法区段中，首先在相继下降的处理层中，通过下采样逐步降低同一图像序列的参考图像和变换图像的分辨率，并特别基于特征通道或图像通道逐步增加同一图像序列的参考图像和变换图像的信息内容，其中同一图像序列的参考图像和变换图像在各处理层中被相应地处理并融合。随后，在相继的上升的处理层中，基于上采样逐步提供经过处理和融合的同一图像序列的参考图像和变换图像的内容。由此，在同一图像序列的参考图像和变换图像的处理与融合过程中，最初的大致估算会随着越来越多输入的内容和信息的加入而被逐步细化。例如，在相继的下降处理层的下采样过程中，所考察的同一图像序列的参考图像和变换图像的栅格单元或像点的数量逐步减半，而与此同时，针对同一图像序列的参考图像和变换图像所使用的特征通道或图像通道的数量作为信息内容逐步增加。

29、如前所述，在本方法的处理中，同一图像序列的两个栅格图像不仅可以以“图像”本身的形式处理，还可以基于栅格图像中所包含的内容及特征属性，以从栅格图像导出的特征图像形式进行处理。为此，通过编码器分析同一图像序列的两个栅格图像的特性或特征，并将每个栅格图像的相关图像特性或特征以所谓的特征图的形式存储在特征图像中。作为每个栅格图像的相关图像特性或特征，例如可采用同一图像序列的每个栅格图像所包含的轮廓边缘。在方法区段的相继的处理步骤中，在相应的处理层上将用于几何单应性变换的单应性矩阵应用于两个特征图像之一，从而使其特性或特征相应地被变换。

30、在相应的处理层上，参考图像与变换图像的融合优选通过相关性方法作为所谓的交叉注意力（cross attention）方法来完成。特别是在局部交叉注意力方法中，基于矩阵运算确定同一图像序列的参考图像与变换图像中单个像点在局部邻域内的关系，从而尤其可确定同一图像序列的参考图像与变换图像中各像点之间的相似度。

31、为了控制本发明的方法及其各方法区段，从而控制方法流程，可设置一控制模块或控制设备，由其执行对光学传感器系统及神经网络的控制，以处理和评估光学传感器数据。

32、用于执行本发明方法的各部件，特别是控制模块或控制设备、神经网络及光学传感器系统，可作为车辆的独立部件实现，并在车辆中联网布置。或者替代地，控制模块或控制设备的单个或全部部件也可以在车辆中集成于一个共同的模块化部件内。

33、在应用本发明方法时所使用的车辆尤其可以是机动车辆或汽车，例如乘用车、商用车、摩托车或大客车。

34、该车辆尤其可在辅助驾驶模式和/或自动驾驶模式和/或自主驾驶模式下运行。

35、本发明还包括所述各实施例特征的组合。因此，本发明也包括这样的实现方式，它们分别具有多个所述实施例特征的组合，只要这些实施例未被描述为相互排斥。

36、利用本发明的方法，可以以简单且有利的方式、以较小的开销，高精度地从车辆光学传感器系统采集的传感器数据中提取出多种输出数据，并提供用于进一步处理。