用于识别摄像机数据中的对象的空间取向的方法与流程

本发明涉及一种用于识别摄像机数据中的对象的空间取向的方法。

背景技术：

1、利用传感器正确地识别车辆的周围环境中的真实世界，是伴随着用于机动车高度自动化和自主驾驶的算法开发而来的一项基本挑战。

2、算法的开发尤其需要非常大量的训练数据，所述训练数据可用于训练神经网络。此类数据也被称为“带标签的数据（labeled data）”或“经标记的数据”。这意味着，对于所述数据，特定的信息是已知的，神经网络应当从可比较的数据中自主地识别特定的信息。需要此类数据用于神经网络的训练，因为基于此类数据能将信息引入到神经网络中。为了训练用于分析处理车辆传感器数据的神经网络，经常需要所谓的“地面实况（ground truth）”数据。此类数据表明特定的对象在用于描述机动车的周围环境的与地面相关的坐标系中的真实位置，特定的对象位于车辆周围环境中并且能利用车辆的传感器来识别。机动车的传感器始终只能从机动车的相应观察视角来识别对象。借助于涉及此类对象的“groundtruth”数据，能够训练用于分析处理此类传感器的传感器数据的神经网络，可靠地识别对象在与地面相关的坐标系中的位置。

3、获取这种“ground truth”数据是复杂的。已知的方法是：借助于无人机来获取此类数据，该无人机伴随车辆，该车辆执行测试行驶以获取用于训练神经网络的数据。此类无人机优选在测试行驶期间始终悬停在测试车辆上方。优选地，此类无人机配备有摄像机，所述摄像机识别测试车辆及其周围环境以及位于该周围环境中的对象。由于此类摄像机从上方俯视车辆和对象的视角，能够利用此类无人机及其摄像机产生“ground truth”数据。通过无人机在车辆上方处于可调节距离中的位置，以这种方式获取训练数据是非常有利的——尤其是当待获取的训练数据包括所描述的“ground truth”数据时。

4、对于使用无人机来获取训练数据，经常需要能够非常精确地确定无人机与测试车辆之间的相对位置。为了能够在测试车辆的坐标系中正确地取向无人机摄像机的摄像机图像，这尤其是必需的。经常，尤其是无人机相对于机动车的（未识别出的）旋转位移对于将利用无人机记录的摄像机图像用作训练数据是有问题的。例如，0.1角度的角度误差就已经会导致距离测试车辆50米远的对象产生高达10厘米的相对（错误）位移。然而，利用车辆自带的传感器在厘米级范围内识别车辆周围环境中的对象位置是一个应当通过适当训练用于分析处理此类传感器的传感器数据的神经网络来实现的目标。

技术实现思路

1、由此出发，本发明的任务在于：至少部分地解决参考现有技术所描述的问题。该任务通过根据独立权利要求特征的本发明来解决。其他有利的构型在从属权利要求以及说明书中、尤其也在附图说明中给出。需指出，本领域技术人员以技术上合理的方式将各个特征相互组合并由此得出本发明的其他构型。

2、尤其应描述一种用于识别摄像机数据中的对象的空间取向的特别有利的方法。

3、在这里，描述一种用于识别摄像机数据中的对象的空间取向的方法，具有以下步骤：

4、a) 在所述对象上提供至少一个发射光的光源；

5、b) 在用于检测摄像机数据的摄像机前方提供具有预给定取向的偏振滤光器，并在利用所述摄像机记录的视频数据中检测所述光源；

6、c) 求取所述摄像机数据中的所述光源的光强度；以及

7、d) 通过分析处理根据步骤c)所求取的光强度，求取所述对象的空间取向。

8、摄像机数据尤其是利用摄像机记录的视频数据。此处描述的方法的新颖之处在于，对象被设定为基于由对象或由布置在对象上的光源发射的光的强度来识别空间取向。光的强度由摄像机上的偏振滤光器感知。取决于摄像机相对于偏振滤光器如何取向，偏振滤光器使不同强度的光通过。摄像机上的偏振滤光器的取向或摄像机上的偏振滤光器的偏振方向优选是预给定的。在通过分析处理光强度求取对象的空间取向时，优选考虑偏振滤光器的取向或偏振方向。

9、当所述至少一个光源产生偏振光时，特别有利。

10、偏振滤光器仅使平行于滤波器的所谓光轴振荡的光的部分通过。所有其他部分被偏振滤光器吸收。因此光的强度在穿过偏振滤光器时减小。

11、光可被描述为垂直于传播方向振荡的波，即横波。波的偏振或偏振方向描述波在哪个方向上振荡。

12、偏振光具有特定的偏振方向。偏振光仅当光和偏振滤光器的偏振一致时才透过偏振滤光器。

13、此外有利的是，如果所述至少一个光源被具有预给定取向的偏振滤光器覆盖。通过在……上的偏振滤光器

14、利用布置在光源上的偏振滤光器能给来自光源的光施加偏振。优选地，光源上的偏振滤光器的取向是精确已知并设定的。从在步骤c)中求取的光强度出发，能够识别光源上的偏振滤光器和摄像机前方的偏振滤光器彼此之间的相对取向。光源上的偏振滤光器安装在对象上，并且该偏振滤光器在对象上的取向是已知的。在步骤b)中提供的偏振滤光器安装在摄像机上，并且该偏振滤光器相对于摄像机的取向是已知的。通过在步骤c)中求取光强度，能够确定偏振滤光器彼此之间的取向。这使得能够根据步骤d)求取对象相对于摄像机的空间取向。

15、此外有利的是，如果所述对象是车辆，在所述摄像机数据中识别出所述车辆的空间取向。

16、所述车辆尤其是测试车辆，利用该测试车辆进行测试以获取训练数据，所述训练数据用于训练系统或神经网络，以用于分析处理用于自主驾驶的传感器数据。

17、进一步有利的是，如果在步骤a)中提供多个分别发射光的光源。

18、此外有利的是，如果不同的光源发射具有不同偏振的光。

19、优选地，每个光源具有其自身的偏振滤光器，利用该偏振滤光器给来自每个光源的光施加预给定的偏振。

20、进一步有利的是，如果在步骤a)中提供三个光源，所述三个光源分别发射具有不同偏振的光。

21、此外有利的是，如果至少两个光源发射不同波长的光。

22、尤其地，所述至少两个光源的光具有不同的颜色。特别优选地，存在三个具有不同颜色的光源，例如红色、绿色和蓝色。优选地，每个光源具有其自身的偏振滤光器。例如，三个光源的偏振滤光器分别以彼此成120度角的方式布置。

23、进一步有利的是，如果在所述摄像机数据中分析处理来自所述对象上的光源的光的光谱，以求取所述空间取向。

24、此外有利的是，如果所述摄像机数据是利用在所述车辆上方的观察位置中的能飞行的无人机上的摄像机记录的。

25、在其他应用中，已经使用了布置在测试车辆车顶上的由白色和黑色区域组成的棋盘格图案，以求取测试车辆相对于摄像机或能飞行的无人机的空间取向。该棋盘格图案能够在一架悬停在测试车辆上方的无人机的摄像机的摄像机图像中被识别出来。摄像机图像相对于车辆的取向可借助于该棋盘格图案进行。过去在借助于这样的棋盘格图案识别空间取向时，经常识别棋盘格图案的各个方格的边缘和/或各个方格相交处的角。

26、利用在这里描述的方法，现在提出在无人机上的摄像机前方使用偏振滤光器，并且尤其利用摄像机并通过偏振滤光器来观察测试车辆车顶上的多个精确偏振的光源。能够通过测量测试车辆车顶上各个光源的光的相对强度来获得无人机和机动车彼此之间定向的精确确定，如所述相对强度能通过偏振滤光器所识别的那样。

27、在摄像机前方具有偏振滤光器的所描述的方法也可补充车辆车顶上的标记图案来使用，该标记图案在利用无人机的摄像机记录的视频数据中是可识别的。

28、所描述的方法尤其用于将利用无人机上的摄像机获取并且已存储的视频数据事后与（例如利用测试车辆中的传感器获取并且已存储的）其他数据联系起来。通过所描述的方法能够求取测试车辆在视频数据中的定向/取向。

29、在这里，也应描述一种用于数据处理的设备，该设备包括处理器，所述处理器这样被适配和/或配置，使得其执行所描述的方法。

30、进一步应描述一种计算机程序产品，包括指令，所述指令在所述计算机程序产品由计算机执行时促使所述计算机执行所描述的方法。

31、此外应描述一种计算机可读存储介质，包括指令，所述指令在由计算机执行时促使所述计算机执行所描述的方法。