传感器数据遮挡定位的制作方法

本公开提供了用于解决影响来自成像传感器的传感器数据的遮挡的技术。

背景技术：

1、车辆通常包括多种传感器。传感器可以提供关于车辆的操作的数据，例如，车轮转速、车轮取向以及发动机和变速器数据(例如，温度、燃料消耗等)。传感器可以检测车辆的位置和/或取向。传感器可包括全球定位系统(gps)传感器；加速度计，诸如压电或微机电系统(mems)；陀螺仪，诸如速率陀螺仪、环形激光陀螺仪或光纤陀螺仪；惯性测量单元(imu)；以及磁力计。传感器可以检测外部世界，包括车辆周围环境的对象和/或特性，诸如其他车辆、道路车道标记、交通信号灯和/或标志、道路用户等。传感器可包括雷达传感器、超声传感器、扫描激光测距仪、光探测和测距(激光雷达)装置以及图像处理传感器(诸如相机)。

技术实现思路

1、例如，所述成像传感器可以是安装到车辆的相机，所述传感器数据可以是图像，并且遮挡的类型可以包括雨、雾、所述相机镜头上的碎屑等。计算机可以被编程为检测来自所述成像传感器的所述传感器数据中的特征，并且对所述特征执行transformer。所述transformer将所述特征变换到鸟瞰视图嵌入空间，从所述特征对遮挡进行分类，以及输出所述遮挡的空间位置。所述transformer被训练为对遮挡进行分类，并且不被训练为对对象进行分类。

2、对异常进行分类可帮助缓解异常。可以基于分类来致动车辆的部件，诸如响应于雨而致动挡风玻璃擦拭物、响应于相机镜头上的碎屑而致动清洁喷嘴等。空间位置还可帮助减轻异常，诸如通过在进入雨中之前激活挡风玻璃擦拭物。仅针对遮挡而不针对对象进行训练将训练量保持在合理的界限内。此外，与识别对象相比，识别遮挡可以用于致动车辆的不同部件。识别遮挡可以用于致动与清洁和清理视野相关的部件，诸如挡风玻璃擦拭物、用于成像传感器的喷嘴等。识别对象可以替代地用于控制车辆的运动。

3、一种计算机包括处理器和存储器，并且所述存储器存储指令，所述指令可由所述处理器执行以：检测来自成像传感器的传感器数据中的特征；以及对所述特征执行transformer。所述transformer将所述特征变换到鸟瞰视图嵌入空间，从所述特征对遮挡进行分类，以及输出所述遮挡的空间位置。所述transformer被训练为对遮挡进行分类，并且不被训练为对对象进行分类。

4、在示例中，所述指令可以进一步包括用于基于所述遮挡的所述空间位置而致动部件的指令。在进一步的示例中，车辆可以包括所述成像传感器和所述部件。

5、在示例中，所述指令可以进一步包括用于基于所述遮挡的所述分类来致动部件的指令。

6、在示例中，所述成像传感器可以是相机，并且所述传感器数据可以是图像数据。在进一步的示例中，所述transformer可以被编程为将来自所述图像数据的所述特征与来自至少一个距离传感器的距离数据融合在所述鸟瞰视图嵌入空间中。在再进一步的示例中，所述指令可以进一步包括用于进行以下操作的指令：将所述特征投影到所述遮挡在所述鸟瞰视图嵌入空间中的初始空间位置，并且所述transformer可以被编程为用所述距离数据将所述遮挡的所述初始空间位置校正到所述空间位置。

7、在另一再进一步的示例中，所述指令可以进一步包括用于进行以下操作的指令：在所述transformer融合所述特征和所述距离数据之前将所述距离数据栅格化。

8、在另一再进一步的示例中，所述至少一个距离传感器可以包括激光雷达或雷达中的至少一者。

9、在另一再进一步的示例中，所述至少一个距离传感器可以包括激光雷达和雷达。

10、在示例中，可以在至少两个水平维度中指定所述空间位置。

11、在示例中，用于对所述遮挡进行分类的指令可以包括用于从潜在类型的预定集中选择类型的指令。在进一步的示例中，潜在类型的所述预定集可以包括雨、雾、所述成像传感器上的污垢或所述成像传感器上的虫子中的至少两者。

12、一种方法包括检测来自成像传感器的传感器数据中的特征，以及对所述特征执行transformer。所述transformer将所述特征变换到鸟瞰视图嵌入空间，从所述特征对遮挡进行分类，以及输出所述遮挡的空间位置。所述transformer被训练为对遮挡进行分类，并且不被训练为对对象进行分类。

13、在示例中，所述方法可以进一步包括基于所述遮挡的所述空间位置来致动部件，其中车辆包括所述成像传感器和所述部件。

14、在示例中，所述方法可以进一步包括基于所述遮挡的所述分类来致动部件，其中车辆包括所述成像传感器和所述部件。

15、在示例中，所述transformer可以被编程为将所述特征与来自至少一个距离传感器的距离数据融合在所述鸟瞰视图嵌入空间中。在进一步的示例中，所述transformer可以被编程为用所述距离数据校正所述遮挡的所述空间位置。

16、在另一进一步的示例中，所述方法可以进一步包括在所述transformer融合所述特征和所述距离数据之前将所述距离数据栅格化。

17、在示例中，对所述遮挡进行分类包括从潜在类型的预定集中选择类型，并且潜在类型的所述预定集包括雨、雾、所述成像传感器上的污垢或所述成像传感器上的虫子中的至少两者。

1. 一种方法，其包括：

2.如权利要求1所述的方法，其进一步包括基于所述遮挡的所述空间位置来致动部件。

3.如权利要求2所述的方法，其中车辆包括所述成像传感器和所述部件。

4.如权利要求1所述的方法，其进一步包括基于所述遮挡的所述分类来致动部件。

5.如权利要求1所述的方法，其中所述成像传感器是相机，并且所述传感器数据是图像数据。

6.如权利要求5所述的方法，其中所述transformer被编程为将来自所述图像数据的所述特征与来自至少一个距离传感器的距离数据融合在所述鸟瞰视图嵌入空间中。

7.如权利要求6所述的方法，其进一步包括将所述特征投影到所述遮挡在所述鸟瞰视图嵌入空间中的初始空间位置，其中所述transformer被编程为用所述距离数据将所述遮挡的所述初始空间位置校正到所述空间位置。

8.如权利要求6所述的方法，其进一步包括在所述transformer融合所述特征和所述距离数据之前将所述距离数据栅格化。

9.如权利要求6所述的方法，其中所述至少一个距离传感器包括激光雷达或雷达中的至少一者。

10.如权利要求6所述的方法，其中所述至少一个距离传感器包括激光雷达和雷达。

11.如权利要求1所述的方法，其中在至少两个水平维度中指定所述空间位置。

12.如权利要求1所述的方法，其中对所述遮挡进行分类包括从潜在类型的预定集中选择类型。

13.如权利要求12所述的方法，其中潜在类型的所述预定集包括雨、雾、所述成像传感器上的污垢或所述成像传感器上的虫子中的至少两者。

14.一种计算机，其包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以执行如权利要求1-13中一项所述的方法。

15.一种车辆，其包括如权利要求14所述的计算机、和所述成像传感器。