一种用于针对对抗干扰强化传感器数据的方法和设备与流程

一种用于针对对抗干扰强化传感器数据的方法和设备
1.本发明涉及一种用于针对对抗干扰强化传感器数据(或称为使传感器数据鲁棒性)的方法和设备。此外，本发明还涉及一种用于运行用于交通工具的辅助系统的方法、用于交通工具的辅助系统以及计算机程序和数据载体信号。
2.机器学习、例如基于神经网络的机器学习具有应用于现代交通工具辅助系统和自动驾驶汽车的巨大潜力。基于深度神经网络的功能在此处理传感器数据(例如源自摄像头、雷达或激光雷达传感器)，以便由此推导出关键的信息。所述信息例如包括交通工具环境中物体的种类和位置、物体的特性或车道几何形状或拓扑。
3.在神经网络中，特别是卷积神经网络(英文作：convolutional neural networks，缩写为cnn)已被证明特别适合应用在图像处理中。卷积网络以无监控的方式分阶段地从输入数据(例如图像数据)中提取各种不同的高价值特征。在此，在训练阶段，卷积网络基于过滤器通道独立开发特征图，所述过滤器通道在本地处理输入数据，以获得局部属性。所述特征图则被其他过滤器通道更新，所述其他过滤器通道推导出更高价值的特征图。基于以这种方式从输入数据中压缩得到的信息，深度神经网络最终推导出其决定并将其作为输出数据提供。
4.卷积网络在功能准确性方面优于经典方法，然而它们也有缺点。例如，基于传感器数据/输入数据中的对对抗干扰的攻击可能导致检测到的传感器数据中的错误分类或不正确的语义分割，尽管语义上没有变化。
5.由文献chuan guo et al.,countering adversarial images using input transformations,axviv:1711.00117v3[cs.cv],25.jan.2018,https://arxiv.org/pdf/1711.00117.pdf已知用于消除在图像数据中的对抗干扰的缝合方法(quilting-verfahren)。
[0006]
本发明所要解决的技术问题在于，尤其在使用多个传感器和传感器数据融合的情况下，改善针对对抗干扰地强化传感器数据的方法和设备。
[0007]
该技术问题按照本发明通过具有权利要求1的特征的方法和具有权利要求9的特征的设备来解决。本发明的有利的设计方式由从属权利要求给出。
[0008]
尤其提供一种用于针对对抗干扰(或称为对抗扰动)地强化(或者说鲁棒化)传感器数据的方法，其中，所述传感器数据由至少两个传感器获得，其中，所获得的至少两个传感器的传感器数据分别借助缝合被逐段替换，其中，如此实施逐段替换，使得不同传感器的分别替换后的传感器数据是相互可信的，并且其中，输出逐段替换后的传感器数据。
[0009]
此外尤其还提供一种用于针对对抗干扰强化传感器数据的设备，所述设备包括计算装置，其中所述计算装置配置用于，获得至少两个传感器的传感器数据，所获得的至少两个传感器的传感器数据分别通过缝合被逐段替换，并且如此实施逐段替换，即，不同传感器的分别替换后的传感器数据是相互可信的，并且其中，输出逐段替换后的传感器数据。
[0010]
所述方法和所述设备实现的是，在使用多个、也即至少两个传感器时，针对对抗干扰强化由所述多个传感器提供的传感器数据。为此，所述至少两个传感器的传感器数据分别借助缝合被逐段替换。在此，由此进行逐段替换，即，逐段替换后的传感器数据是(跨传感
器)相互可信的。在缝合时为逐段替换所使用的传感器数据补丁如此选择，即，至少两个传感器的相配合的替换后的传感器数据分别在时间上和空间上是相互可信的。如果由此被强化的传感器数据随后作为输入数据被输入例如神经网络，那么原始包含在所获得的传感器数据中的对抗干扰就丧失其效果，否则在传感器数据中的语义内容就会改变。由于保持了至少两个传感器的传感器数据之间的可信性，所以至少两个传感器的传感器数据之间的实质性关联、尤其是空间和时间上的关联或相关性不会通过逐段替换而改变。其优点尤其在于，在实施所述方法之后实现传感器数据融合。
[0011]
缝合尤其包括传感器数据的逐段替换，所述逐段替换也可以被称为传感器数据的逐段重建(在图像数据的情况下也可以使用术语“图像缝合”)。特别地，传感器数据可以是任何类型的，即缝合不限于二维的图像数据。替换后的传感器数据的量构成了重建数据域或者说被重建数据域包含在内。例如当涉及摄像头的图像时，摄像头图像就被分成多个部分片段。通常为此规定了多个小的、矩形的图像片段(也被称为补丁)。各个部分片段或者说图像片段与例如存储在数据库中的部分片段(以下称为传感器数据补丁)相比较。传感器数据补丁也可以被称为数据块。传感器数据补丁在此构成尤其之前检测到的同类型传感器数据的子符号的子集，其中，传感器数据被确保免受对抗干扰。基于距离度量进行所述比较，该距离度量例如通过图像元素矢量或传感器数据矢量上的欧几里得距离来定义。为此，将部分片段或图像片段线性化为矢量。距离的确定则通过向量空间范数、例如通过l2范数实现。部分片段或图像片段分别被数据库中的最接近的或类似的传感器数据补丁替换。在此可以规定，必须遵守最小距离，或者说至少不应在传感器数据的部分片段与传感器数据补丁之间存在同一性。如果传感器数据具有其他形式(例如激光雷达数据)或其他格式，那么以类似的方式进行逐段替换。尤其是针对检测到的传感器数据的所有部分片段进行逐段替换，以便随后存在替换后或重建的传感器数据。在逐段替换之后，也即在缝合之后，对抗干扰的作用在替换后或重建的传感器数据中被消除或者至少被减小。
[0012]
替换后的传感器数据的“可信性”尤其应表示：替换后的传感器数据在物理上是相互可信的。尤其地，在此，分别替换后的传感器数据以相应选定的组合方式也出现在真实条件下、即在现实世界中的概率应该尽可能高(例如，在最大似然的意义上)。简言之，至少两个传感器的替换后的传感器数据应被选择为，所述传感器数据也以该组合真实出现的概率被最大化。例如，如果至少两个传感器是摄像头和激光雷达传感器，则替换后的传感器数据之间的可信性意味着：在替换后的摄像头数据中所关注的图像片段与在时间和空间上与其相适配的、替换后的激光雷达数据的部分片段被选择为：传感器数据是一致的，即在物理上彼此无矛盾。在以上所提到的至少两个传感器是摄像头和激光雷达传感器的示例中，传感器数据的部分片段分别替换后，从而使得每个替换后的图像片段都分别与激光雷达数据的替换后的部分片段相适配，就像替换后的图像片段很可能是在同时检测摄像头和激光雷达传感器的传感器数据时形成的。
[0013]
所述至少两个传感器尤其在时间和空间上相互校准，从而使至少两个传感器的传感器数据在时间和空间上相互适配或者说具有共同的时间和空间参照点。
[0014]
所述至少两个传感器的传感器数据原则上可以是一维或多维尤其二维的。例如所述传感器数据可以是摄像头的二维的摄像头图像或者激光雷达传感器的二维或三维的激光雷达数据。通常，传感器数据然而也可以源自其他传感器，例如雷达传感器或超声波传感
器等。
[0015]
所获得的传感器数据尤其是针对用于交通工具的自动或半自动驾驶和/或用于环境感知的功能所检测和/或发出的传感器数据。
[0016]
交通工具尤其是机动车。然而所述交通工具原则上也可以是其他陆上、空中、水上、轨道或航空交通工具，例如无人机或空中出租车。
[0017]
对抗干扰(英文作adversarial perturbation)尤其是对神经网络的例如以传感器数据方式提供的输入数据的有针对性地采取的干扰，其中尽管输入数据中的语义内容没有改变，但所述干扰导致神经网络推断出错误结果，例如对输入数据采取错误的分类或错误的语义分割。
[0018]
神经网络尤其是深度神经网络、尤其是卷积网络(英文作convolutional neural network，cnn)。例如，神经网络被训练用于特定功能、例如交通工具辅助系统的功能、特别是用于自动或半自动驾驶和/或用于环境感知、例如在所拍摄的摄像头图像中行人或其他物体的感知。
[0019]
所述方法尤其循环地重复，从而尤其能够将被逐步替换的传感器数据提供给所获得的传感器数据流的传感器数据。
[0020]
所述方法也可以作为计算机执行的方法实施。所述方法尤其可以借助数据处理装置实施。所述数据处理装置尤其包括至少一个计算装置和至少一个存储装置。
[0021]
尤其提供一种计算机程序，其包括指令，在通过计算机执行所述计算机程序时，该指令促使计算机实施根据任一所述实施方式的方法的方法步骤。
[0022]
此外，还提供一种数据载体信号，所述数据载体信号传递所述计算机程序。
[0023]
所述设备的部件、尤其计算装置可以分别单独地或合并地设计为硬件和软件的组合，例如设计为在微控制器或微执行器上实施的程序代码。然而也可以规定，部件单独地或组合地构造为专用集成芯片(asic)。
[0024]
可以规定，所述方法包括借助至少两个传感器检测传感器数据。
[0025]
在一种实施方式中规定，将逐段替换后的传感器数据输入至少一个用于交通工具的自动或半自动驾驶和/或用于环境感知的功能。由此，为至少一个功能输入强化的传感器数据，从而使得由至少一个功能提供的功能性同样也可以更鲁棒地提供。为至少一个功能输入逐段替换后的传感器数据，并且所述至少一个功能基于逐段替换后的传感器数据生成并提供尤其至少一个控制数据和/或评估数据。由此，至少一个功能的输出尤其可以以至少一个控制信号和/或评估信号的方式被可靠地生成并提供。至少一个控制信号和/或评估信号可以例如用于控制或调节交通工具的执行器和/或在自动或半自动驾驶的范畴内被进一步处理，例如用于轨迹规划。所述至少一个功能尤其是借助机器学习的方法和/或人工智能所提供的功能。例如所述至少一个功能能够借助经训练的人工神经网络提供。
[0026]
在一种实施方式中规定，为进行缝合，提供数据库，所述数据库具有由至少两个传感器的传感器数据生成的传感器数据补丁，其中，在数据库中至少两个传感器的传感器数据补丁相互关联，从而使得分别关联的传感器数据补丁是相互可信的。由此，以特别高效的方式实现在替换后的传感器数据之间的可信性。传感器数据补丁被用于至少两个传感器的传感器数据的逐段替换，所述传感器数据补丁可以以共同的数据库条目的方式存储在数据库中。用于至少两个传感器的传感器数据补丁可以已经组合成矢量并且存储在数据库中。
传感器例如是摄像头和激光雷达传感器，摄像头的用于替换的传感器数据补丁、也即各个图像片段能够与分别由此以物理可信的方式相适配的传感器数据补丁、也即激光雷达数据的部分片段组合成共同的矢量。那么为摄像头的每个像素都配属了由激光雷达数据推导出的深度信息。如果例如所述图像片段视作分别由8x8像素(pixel)组成，那么在三个颜色通道和一个深度通道的情况下分别形成具有(8x8x(3 1)＝)256个条目的矢量。数据库中的每个条目都包括这种矢量。至少两个传感器的传感器数据则类似于被存储的矢量地被组合，从而能够借助距离度量、例如l2范数确定与存储在数据库中的矢量的距离。数据库中的与应替换后矢量具有最小距离的矢量被应用在缝合中，以进行替换。数据库的创建尤其基于(与已公开的方法无关地事先)检测到的传感器数据完成，其中，至少两个传感器的传感器数据自此尤其同时检测，其中，传感器在空间和时间上相互校准。在此使用可信的传感器数据，也即被确保不存在对抗干扰的传感器数据。例如在此可以使用(深度)神经网络的训练数据，在应用阶段应向所述神经网络中输入(替换后的)传感器数据。由所述可信的传感器数据生成传感器数据补丁并被存储在数据库中。所述至少两个传感器涉及其他类型的传感器，那么类似地进行所述方法。
[0027]
在一种改进的实施方式中规定，根据至少两个传感器的仅一部分的传感器数据，为至少两个传感器选择在缝合时所使用的传感器数据补丁。尤其可以规定，根据所获得的仅一个传感器的传感器数据，选择用于替换至少两个传感器的传感器数据的传感器数据补丁。由此，可以降低例如为搜索所需的计算量，这是因为例如与数据库中的传感器数据补丁的比较仅考虑一个传感器的传感器数据。如果发现与所述一个传感器的传感器数据具有最小距离的传感器数据补丁，则鉴于既有的关联还能够在无需继续搜索的情况下从已发现的传感器数据补丁获得至少两个传感器中一个或其他传感器的传感器数据补丁。由此可以加速在数据库中的搜索。在以上所述示例中，传感器数据补丁作为8x8的像素，其包括摄像头的多个图像片段，连同相应的深度信息一起存储在数据中，在所述示例中例如可以规定，与数据库中的传感器数据补丁的比较仅针对一个图像片段进行，其中，随后为替换激光雷达数据而直接将该矢量中相应的条目用于激光雷达数据。作为备选，所述比较或者对最接近的传感器数据补丁的搜索可以基于激光雷达数据进行，其中，在发现传感器数据补丁之后采用在矢量的条目中相应的图像片段。总而言之，可以加速比较或在数据库中的搜索。由于存储在数据库中的用于至少两个传感器的传感器数据补丁以可可信的方式相互关联，因此尽管加速了搜索，也不会形成在缝合中或者说在替换至少两个传感器的传感器数据时的质量缺陷。至少两个传感器的替换后的传感器数据在缝合之后仍旧是相互可信的。
[0028]
在一种实施方式中规定，获得至少一个特征信息，其中，在缝合时的逐段替换还考虑到至少一个所获得的特征信息。特征信息可以作为标签或标记被标注。由此，可以例如使数据库中的条目、也即存储在其中的传感器数据补丁被附加的信息标记，从而使得所述条目稍后能够更迅速地被找到。尤其可以规定，使用散列函数对数据库进行检索，从而可以加速在数据库中的搜索，因为在与至少两个传感器中的传感器数据比较之前通过预选已经可以减少数据库中的条目数量。
[0029]
在一种改进的实施方式中规定，从环境的情境信息推导出或者能够推导出所获得的特征信息，在所述环境中检测到或者已经检测到至少两个传感器的传感器数据。情境信息可以例如包括例如地理坐标(例如gps坐标)、一天中的时间和/或季节、月份、一周中的一
天、天气(太阳、雨、雾、雪等)和/或交通环境(城市、乡村、高速公路、步行区、乡村道路、主干道、次要道路等)。因此，一方面可以提高逐段替换后的传感器数据的质量，因为在逐段替换中可以考虑环境，在所述环境中检测到传感器数据。传感器数据补丁尤其可以在标记(“getaggt”)有至少一个情境信息的情况下被存储在数据库中。另一方面，根据至少一个所获得的特征信息或者说至少一个情境信息，可以当在数据库中搜索之前作出预选，从而在搜索时仅考虑与至少一个特征信息或至少一个情境信息具有部分或完全一致性的条目或传感器数据补丁。由此可以加速逐段替换。
[0030]
在一种实施方式中规定，其特征在于，在考虑到至少两个传感器分别在时间上和/或空间上相邻的传感器数据的情况下实施所获得的传感器数据的逐段替换。由此可以在逐段替换时考虑时间上和/或空间上相邻的传感器数据之间的相关性。在摄像头图像的示例中例如可以考虑：摄像头图像的各个图像片段在其性质方面通常与摄像头的(空间)相邻的图像片段具有高相关性。如果关注一系列摄像头图像，则摄像头图像的图像片段通常与(时间)相邻的摄像头图像的同一图像片段同样在性质方面具有高相关性。这一点被用于逐段替换，以便加速所述方法。尤其可以规定，在数据库中存储的条目或者说传感器数据补丁基于时间和/或空间的相邻关系而相互标记。在数据库中作为条目被存储的传感器数据补丁尤其可以在其与其他被存储的传感器数据补丁的时间和/或空间的相邻关系方面与其关联。由此，可以加速与存储在数据库中的传感器数据补丁的比较。例如可以规定，在从用于至少两个传感器其一的传感器数据中找到用于某一部分片段的传感器数据补丁之后，针对所述至少两个传感器其一的传感器数据的其他部分片段作出预选。所述预选包括低于与已经选定的传感器数据补丁的预定的时间和/或空间距离的传感器数据补丁，也即相对于已经选定的传感器数据补丁处于预定的时间和/或空间相邻关系。
[0031]
关于所述设备的设计的特征由对所述方法的设计的描述得出。该设备的优点在此与在该方法的设计的情况下的优点的相同。
[0032]
此外，还提供一种用于运行用于交通工具的辅助系统的方法，其中，借助所述辅助系统提供至少一个用于交通工具的自动或半自动驾驶和/或用于环境感知的功能，其中，借助至少两个传感器检测传感器数据，其中，实施根据上述任一实施方式所述的方法，其中，将逐段替换后的传感器数据输入至少一个功能，并且其中，所述至少一个功能基于逐段替换后的传感器数据生成并提供至少一个控制信号和/或评估信号。
[0033]
此外，还提供一种用于交通工具的辅助系统，所述辅助系统包括：至少两个传感器，其配置用于检测传感器数据；根据上述任一所实施方式所述的设备，其中，所述辅助系统配置用于，提供至少一个用于交通工具的自动或半自动驾驶和/或用于环境感知的功能，其中，所述至少一个功能基于借助所述设备逐段替换的传感器数据生成并提供至少一个控制信号和/或评估信号。
[0034]
此外，还提供一种交通工具，其包括上述任一实施方式所述的至少一个设备和/或至少一个辅助系统。交通工具尤其是机动车。然而所述交通工具原则上也可以是其他陆上、空中、水上、轨道或航空交通工具，例如无人机或空中出租车。
[0035]
以下结合附图对本发明的优选实施例进行更详尽的阐述。在附图中：
[0036]
图1示出用于针对对抗干扰强化传感器数据的设备的实施方式和辅助系统的实施方式的示意图；
[0037]
图2示出用于阐释缝合的示意图(现有技术)；
[0038]
图3示出用于阐释在本技术中所述方法的实施方式的缝合的示意图。
[0039]
在图1中示出用于针对对抗干扰强化传感器数据20、21的设备1的实施方式的示意图。所述设备1包括计算装置2和存储装置3。所述设备1可以尤其应用于交通工具中、尤其机动车中，以便针对对抗干扰强化其中所使用的神经网络50的输入数据。设备1实施在本技术中所述的用于针对对抗干扰强化传感器数据20、21的方法。
[0040]
所述设备1部件、尤其计算装置2以分别单独地或合并地设计为硬件和软件的组合，例如设计为在微控制器或微执行器上实施的程序代码。
[0041]
向设备1或计算装置2输入两个传感器10、11的传感器数据20、21。所述传感器10、11能够例如是摄像头和激光雷达。
[0042]
计算装置2获取或者说接收传感器数据20、21并且借助缝合逐段替换所述传感器数据20、21。由此进行逐段替换，从而使得两个传感器10、11的被分别逐段替换的传感器数据30、31是相互可信的。
[0043]
逐段替换的传感器数据30、31随后被计算装置2输出。逐段替换的传感器数据30、31尤其随后输入人工神经网络50中。神经网络50借助控制设备51提供，其方式例如在于，控制设备51的计算装置提供神经网络50的功能性或者说实施为提供神经网络50所需的计算操作。神经网络50尤其提供用于交通工具的自动或半自动驾驶和/或用于环境感知的功能。所述功能借助传感器10、11之一和包括辅助系统200的设备提供。神经网络50为此基于功能被训练。基于逐段替换的传感器数据30、31，由神经网络50提供的功能产生至少一个控制信号52和/或评估信号53，其可以被反馈到例如交通工具的致动器(未示出)和/或交通工具的至少一个其他控制设备。
[0044]
逐段替换的传感器数据30、31在缝合之后或者在逐段替换之后具有与传感器数据20、21相同的格式，从而能够使设备1被加入并应用在已经投入使用的传感器10、11和神经网络50中。
[0045]
尤其规定，为进行缝合，提供数据库40，所述数据库具有由传感器10、11传感器数据生成的传感器数据补丁60、61，其中，在数据库40中传感器10、11的传感器数据补丁60、61相互关联，从而使得分别关联的传感器数据补丁60、61是相互可信的。数据库40例如存储在存储装置3中。
[0046]
数据库40为此事先借助两个传感器10、11的可信的检测到的传感器数据创建，其方式在于，由检测到的可信的传感器数据生成大量相互关联的传感器数据补丁。在此，可信尤其表示检测到的传感器数据被确保不包含对抗干扰。可信的传感器数据例如是摄像头图像和激光雷达数据，从而可以规定，传感器数据补丁60、61分别具有摄像头图像的8x8像素的部分片段和与其适配的、源自8x8个测量点的激光雷达数据的部分片段。所使用的传感器或可信的传感器在此尤其在时间和空间上相互校准。
[0047]
为在缝合时逐段替换，计算装置2尤其工作如下。传感器数据20、21分别划分成部分片段。所述部分片段分别与存储在数据库40中的传感器数据补丁60、61相比较。基于距离度量，针对每个部分片段搜索与所关注的部分片段具有最小距离的传感器数据补丁60、61。被各个部分片段所包括的传感器数据20、21和被传感器数据补丁60、61所包括的传感器数据为此分别被表达为矢量。借助距离度量、例如l2范数，可以确定矢量之间的距离并且能够
将确定距离相互比较。如果找到与所关注的部分片段具有最小距离的传感器数据补丁60、61，则利用所述传感器数据补丁替换传感器数据20、21中的部分片段并且作为替换后的传感器数据30、31提供。由于数据库40中用于两个传感器10、11的传感器数据补丁相互关联，因此两个传感器10、11的传感器数据20、21的替换通过相关联的传感器数据补丁60、61完成。通过使用关联的传感器数据补丁60、61，两个传感器10、11的替换的传感器数据30、31相互可信性验证。
[0048]
可以规定，根据仅部分传感器10、11的传感器数据20、21，为两个传感器10、11预选所使用的传感器数据补丁60、61。例如可以仅基于传感器10传感器数据20进行预选。由于传感器数据补丁60、61相互关联，针对由传感器数据20找到的传感器数补丁60，与其关联的针对传感器数据20的传感器数据补丁61立即得到确认。
[0049]
可以规定，其特征在于，在考虑到至少两个传感器10、11分别在时间上和/或空间上相邻的传感器数据20、21的情况下实施所获得的传感器数据20、21的逐段替换。数据库40中的传感器数据补丁60、61尤其可以关于时间和/或空间的相邻关系相互关联或标记。由此可以在搜索传感器数据补丁60、61时已经做出预选，其中，在出现由传感器数据补丁60、61示出的传感器数据20、21时考虑时间和/或空间上的相关性。
[0050]
尤其规定，所获得的传感器数据20、21是针对用于交通工具的自动或半自动驾驶的功能和/或用于交通工具的驾驶员辅助和/或用于环境检测和/或环境感知所检测到的和/或输出的传感器数据。
[0051]
如果存在两个以上的传感器10、11，则用于所有传感器10、11得到方法以类似方法实施。尤其在实施所述方法之后，所有传感器10、11的替换的传感器数据30、31是相互可信的。尤其可以规定，作为备选或补充，作为其他传感器还可以使用摄像头和激光雷达。
[0052]
在图2中示出用于阐释在现有技术中以摄像头图像22为例的缝合。传感器数据20、在此为摄像头图像22被分解成多个部分片段23。针对摄像头图像22的每个部分片段23，在缝合步骤100的范畴内在数据库40中搜索传感器数据补丁60，所述传感器数据补丁在距离度量方面相对于所述部分片段23具有最小距离。在此，传感器数据补丁60是具有部分片段23的尺寸的图像片段，也即是具有相同像素(pixel)数量的图像片段。所述距离度量例如是l2范数，所述l2范数应用于通过图像片段的线性化生成的矢量。在缝合步骤100中，每个部分片段23则通过相应的与其距离最小的传感器数据补丁60替换。在此可以规定，必须维持最小距离。通过该方式，全部的部分片段23都通过源自数据库40的传感器数据补丁60替换。形成了替换后的部分片段24，其构成合并的替换后的传感器数据30或者说替换后的摄像头图像25。
[0053]
在图3中示出阐释根据本技术所述方法的实施方式的缝合的示意图，所述方法以呈摄像头图像22方式的传感器数据20和呈激光雷达数据26方式的传感器数据21为例。缝合自身通过如以上结合图2所述相同方式进行。然而逐段替换由此进行，即，传感器、也即摄像头和激光雷达传感器的相应替换后的传感器数据30、31是相互可信的。为此，在缝合步骤100中还进行可信性验证。尤其在所述缝合步骤100的范畴内还确定传感器数据补丁60、61或者说从数据库40中选择传感器数据补丁60、61，从而使得传感器数据补丁60、61是相互可信的。在本示例中，这尤其意味着：摄像头的传感器数据20的替换后的部分片段24以物理可信的方式与激光雷达数据26的替换后的部分片段28相适配。简言之，替换后的部分片段24、
28或者替换后的摄像头图像25和替换后的激光雷达数据29相互协调，并且应在实质上或者说在物理上无矛盾。那么尤其在替换后的摄像头图像25中示出的画面与替换后的激光雷达数据29的深度形廓以可信方式相互匹配。
[0054]
为此尤其规定，传感器数据补丁60、61已经相互关联地存储在数据库40中。例如可以在实施本技术所述方法之前就已经创建了数据库40，其方式在于，同时生成用于两个(或更多个)传感器的传感器数据补丁60、61，其中，由同时检测到的可信的传感器数据分别生成部分片段，并且所述部分片段分别共同地或者说相互关联地作为传感器数据补丁60、61存储在数据库40中。例如，用于两个传感器的各个部分片段一起组合成共同的矢量，并且作为共同的或者说相关联的传感器数据补丁60、61被存储。
[0055]
还可以规定，获得至少一个特征信息15，其中，在缝合步骤100中的逐段替换还考虑到至少一个所获得的特征信息15。例如，当在数据库40中搜索时，根据所获得的特征信息15进行传感器数据补丁60、61的预选，从而能够加速对具有最小距离的传感器数据补丁60、61的搜索。
[0056]
改进地还可以规定，从环境的情境信息16推导出或者能够推导出所获得的特征信息15，在所述环境中检测到或者已经检测到至少两个传感器的传感器数据20、21。情境信息16可以例如是地理坐标(例如gps坐标)、一天中的时间和/或季节、月份、一周中的一天、天气(太阳、雨、雾、雪等)和/或交通环境(城市、乡村、高速公路、步行区、乡村道路、主干道、次要道路等)。这种情境信息16可以例如借助至少一个环境传感器检测或以其他方式提供。在交通工具中，可以在交通工具控制中通过控制区网络(can)总线调取情境信息。借助环境传感器16可以例如从传感器数据补丁60、61中作出预选，从而能够加速对最接近的传感器数据补丁60、61的搜索。为此规定，传感器数据补丁60、61分别被标记(“getaggt”)情境信息的相应特征并存储在数据库40中。
[0057]
附图标记清单
[0058]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
设备
[0059]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算装置
[0060]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储装置
[0061]
10
ꢀꢀꢀꢀꢀꢀꢀꢀ
传感器(摄像头)
[0062]
11
ꢀꢀꢀꢀꢀꢀꢀꢀ
传感器(激光雷达传感器)
[0063]
15
ꢀꢀꢀꢀꢀꢀꢀꢀ
特征信息
[0064]
16
ꢀꢀꢀꢀꢀꢀꢀꢀ
情境信息
[0065]
20
ꢀꢀꢀꢀꢀꢀꢀꢀ
传感器数据
[0066]
21
ꢀꢀꢀꢀꢀꢀꢀꢀ
传感器数据
[0067]
22
ꢀꢀꢀꢀꢀꢀꢀꢀ
摄像头图像
[0068]
23
ꢀꢀꢀꢀꢀꢀꢀꢀ
部分片段
[0069]
24
ꢀꢀꢀꢀꢀꢀꢀꢀ
替换后的部分片段
[0070]
25
ꢀꢀꢀꢀꢀꢀꢀꢀ
替换后的摄像头图像
[0071]
26
ꢀꢀꢀꢀꢀꢀꢀꢀ
激光雷达数据
[0072]
27
ꢀꢀꢀꢀꢀꢀꢀꢀ
部分片段
[0073]
28
ꢀꢀꢀꢀꢀꢀꢀꢀ
替换后的部分片段
[0074]
29
ꢀꢀꢀꢀꢀꢀꢀꢀ
替换后的激光雷达数据
[0075]
30
ꢀꢀꢀꢀꢀꢀꢀꢀ
替换后的传感器数据
[0076]
31
ꢀꢀꢀꢀꢀꢀꢀꢀ
替换后的传感器数据
[0077]
40
ꢀꢀꢀꢀꢀꢀꢀꢀ
数据库
[0078]
50
ꢀꢀꢀꢀꢀꢀꢀꢀ
神经网络
[0079]
51
ꢀꢀꢀꢀꢀꢀꢀꢀ
控制设备
[0080]
52
ꢀꢀꢀꢀꢀꢀꢀꢀ
控制信号
[0081]
53
ꢀꢀꢀꢀꢀꢀꢀꢀ
评估信号
[0082]
60
ꢀꢀꢀꢀꢀꢀꢀꢀ
传感器数据补丁
[0083]
61
ꢀꢀꢀꢀꢀꢀꢀꢀ
传感器数据补丁
[0084]
100
ꢀꢀꢀꢀꢀꢀꢀ
缝合步骤
[0085]
200
ꢀꢀꢀꢀꢀꢀꢀ
辅助系统