成像传感器数据中的异常分类的制作方法

本公开描述了用于对来自成像传感器的传感器数据中的异常进行分类的技术。

背景技术：

1、车辆通常包括多种传感器。传感器可以提供关于车辆的操作的数据，例如，车轮转速、车轮取向以及发动机和变速器数据(例如，温度、燃料消耗等)。传感器可以检测车辆的位置和/或取向。传感器可以包括全球定位系统(gps)传感器；加速度计，诸如压电或微机电系统(mems)；陀螺仪，诸如速率陀螺仪、环形激光陀螺仪或光纤陀螺仪；惯性测量单元(imu)；以及磁力计。传感器可以检测外部世界，包括车辆周围环境的对象和/或特性，诸如其他车辆、道路车道标记、交通信号灯和/或标志、道路使用者等。传感器可以包括雷达传感器、超声波传感器、扫描激光测距仪、光探测和测距(激光雷达)装置以及图像处理传感器(诸如相机)。

技术实现思路

1、例如，成像传感器可以是安装到车辆的相机，传感器数据可以是图像，并且异常可以是多种类型的遮挡物，诸如相机镜头上的雨、雾、碎屑等。对异常进行分类可以有助于减轻异常。例如，可以基于该分类而致动车辆的部件，诸如响应于雨而致动挡风玻璃刮水器、响应于相机镜头上的碎屑而致动清洁喷嘴等。

2、一种计算机被编程为通过执行第一机器学习程序来生成异常图，并且通过执行第二机器学习程序将传感器数据中的异常分类为特定类型。第一机器学习程序采用来自成像传感器的传感器数据作为输入，并且第二机器学习程序采用异常图作为输入。异常图包括相应的像素位置处的似然值集。每个似然值表示在相应的像素位置处存在任何类型的异常的概率。换句话说，异常图不指示存在哪种类型的异常；相反，概率是针对二进制结果的，也就是说，是否存在任何类型的异常。由于概率与像素位置相关联，因此异常图还指示异常在成像传感器的视野位于何处。一旦第一机器学习程序生成异常图，第二机器学习程序就使用异常图将传感器数据中的异常分类为特定类型。

3、这种样式的异常图的使用提供了一些优点。与各自识别单一类型的异常的多个网络相比，本公开在计算上更高效。与单级分类器和多个网络这两者相比，本公开使用更少的训练数据，从而既减少了在训练期间的计算工作量又减少了加标签工作量。本公开通过在第一机器学习程序中捕获多种类型的遮挡物的共同元素而有助于输出的稳健性。由于检测级和分类级可以单独地进行微调，因此可以更容易地将两级分类器训练到高准确度。

4、一种计算机包括处理器和存储器，并且该存储器存储指令，该指令可由处理器执行以：通过执行第一机器学习程序来生成异常图，该第一机器学习程序采用来自成像传感器的传感器数据作为输入；以及通过执行第二机器学习程序将传感器数据中的异常分类为特定类型。异常图包括相应的像素位置处的似然值集。每个似然值表示在相应的像素位置处存在任何类型的异常的概率。第二机器学习程序采用异常图作为输入。

5、在示例中，成像传感器可以安装到车辆，并且指令可以进一步包括用于基于异常的特定类型来致动车辆的部件的指令。

6、在示例中，成像传感器可以安装到车辆，并且指令可以进一步包括用于基于由异常图所指示的异常的位置来致动车辆的部件的指令。

7、在示例中，第一机器学习程序可以在具有指示异常存在还是不存在的二进制标签的训练传感器数据集上进行训练。在进一步的示例中，每个二进制标签可以整体应用于在特定时间步记录的相应的训练传感器数据。

8、在另一个进一步的示例中，该训练传感器数据集可以是第一训练传感器数据的第一集，并且第一机器学习程序可以在具有指示异常的像素位置的标签的第二训练传感器数据的第二集上进行训练。在更进一步的示例中，该第一集可以是用于训练第一机器学习程序的大多数训练数据。

9、在示例中，用于对异常进行分类的指令可以包括用于从潜在特定类型的预定集中选择特定类型的指令。在进一步的示例中，异常图中的每个似然值可以表示在相应的像素位置处存在潜在特定类型中的至少一种潜在特定类型的异常的概率。

10、在另一个进一步的示例中，潜在特定类型可以遮挡物的类型。

11、在另一个进一步的示例中，第二机器学习程序的输出可以是异常类型图，该异常类型图包括相应的像素位置处的似然向量集，每个似然向量包括多个条目，每个条目表示在相应的像素位置处存在相应的潜在特定类型中的一种相应的潜在特定类型的异常的概率。

12、在示例中，指令可以进一步包括用于确定异常图的异常分数并且响应于异常分数超过阈值而通过执行第二机器学习程序将异常分类为特定类型的指令。

13、在示例中，第一机器学习程序可以包括全卷积数据描述。

14、在示例中，第一机器学习程序可以包括至少一个上采样层。

15、在示例中，成像传感器可以是相机，并且传感器数据可以是图像。

16、一种方法包括：通过执行第一机器学习程序来生成异常图，该第一机器学习程序采用来自成像传感器的传感器数据作为输入；以及通过执行第二机器学习程序将传感器数据中的异常分类为特定类型。异常图包括相应的像素位置处的似然值集。每个似然值表示在相应的像素位置处存在任何类型的异常的概率。第二机器学习程序采用异常图作为输入。

17、在示例中，成像传感器可以安装到车辆，并且该方法可以进一步包括：基于异常的特定类型或由异常图所指示的异常的位置中的至少一个来致动车辆的部件。

18、在示例中，第一机器学习程序可以在具有指示异常存在还是不存在的二进制标签的训练传感器数据集上进行训练。

19、在示例中，对异常进行分类可以包括从潜在特定类型的预定集中选择特定类型，第二机器学习程序的输出可以是异常类型图，该异常类型图包括相应的像素位置处的似然向量集，每个似然向量包括多个条目，每个条目表示在相应的像素位置处存在相应的潜在特定类型中的一种相应的潜在特定类型的异常的概率。

20、在示例中，第一机器学习程序可以包括全卷积数据描述，接着是至少一个上采样层。

1. 一种方法，包括：

2.如权利要求1所述的方法，其中所述成像传感器安装到车辆，所述方法进一步包括：基于所述异常的所述特定类型来致动所述车辆的部件。

3.如权利要求1所述的方法，其中所述成像传感器安装到车辆，所述方法进一步包括：基于由所述异常图所指示的所述异常的位置来致动所述车辆的部件。

4.如权利要求1所述的方法，其中所述第一机器学习程序在具有指示异常存在还是不存在的二进制标签的训练传感器数据集上进行训练。

5.如权利要求4所述的方法，其中每个二进制标签整体应用于在特定时间步记录的相应训练传感器数据。

6.如权利要求4所述的方法，其中所述训练传感器数据集是第一训练传感器数据的第一集，并且所述第一机器学习程序在具有指示异常的像素位置的标签的第二训练传感器数据的第二集上进行训练。

7.如权利要求6所述的方法，其中所述第一集是用于训练所述第一机器学习程序的大多数训练数据。

8.如权利要求1所述的方法，其中对所述异常进行分类包括从潜在特定类型的预定集中选择所述特定类型。

9.如权利要求8所述的方法，其中所述异常图中的每个似然值表示在所述相应的像素位置处存在所述潜在特定类型中的至少一种潜在特定类型的异常的概率。

10.如权利要求8所述的方法，其中所述潜在特定类型是遮挡物的类型。

11.如权利要求8所述的方法，其中所述第二机器学习程序的输出是异常类型图，所述异常类型图包括相应的像素位置处的似然向量集，每个似然向量包括多个条目，每个条目表示在所述相应的像素位置处存在相应的潜在特定类型中的一种相应的潜在特定类型的异常的概率。

12.如权利要求1所述的方法，进一步包括：确定所述异常图的异常分数，并且响应于所述异常分数超过阈值，通过执行所述第二机器学习程序将所述异常分类为所述特定类型。

13.如权利要求1所述的方法，其中所述第一机器学习程序包括全卷积数据描述、接着是至少一个上采样层。

14.如权利要求1所述的方法，其中所述成像传感器是相机，并且所述传感器数据是图像。

15.一种计算机，所述计算机包括处理器和存储器，所述存储器存储指令，所述指令能够由所述处理器执行以执行如权利要求1至14中的一项所述的方法。