传感器退化检测和修复的制作方法

传感器退化检测和修复
相关申请的交叉引用
1.本技术要求获得2019年12月27日提交的题为“传感器退化检测和修复(sensor degradation detection and remediation)”的第16/728,532号美国专利申请的优先权，其全部内容通过引用并入本文。


背景技术：

2.当车辆在环境中移动时，由环境中的车辆传感器采集的数据可用于协助车辆导航和障碍规避。例如，摄像头和其他车辆传感器可以收集图像数据，车辆可以实时分析图像数据并实时将其用于导航、障碍检测和避开道路障碍。然而，由车辆传感器收集的数据的质量在某些情况下可能会下降，包括基于环境因素，例如天气、交通或道路状况，以及基于传感器本身内可能发生的内部错误或故障。在这种情况下，由车辆传感器收集的数据可能是次优的，或甚至不适合使用，可能会影响车辆导航、障碍检测和规避，以及其他依赖传感器数据的车辆功能。
附图说明
3.详细说明参照附图来描述。在附图中，附图标记的最左边的数字标识该附图标记首次出现的附图。不同附图中的相同附图标记表示相似或相同的对象。
4.图1示出示例车辆系统，其收集和分析环境内的图像数据并检测图像数据内的退化。
5.图2示出用于通过采集和分析来自多个不同车辆传感器的数据，来检测由车辆传感器采集的数据内的退化的示例过程的流程图。
6.图3示出用于通过分析由车辆传感器采集的图像数据内的像素强度，来检测由车辆传感器采集的数据内的退化的示例过程的流程图。
7.图4示出用于通过分析来自车辆传感器的图像区域在一时间段内的相对时间运动，来检测由车辆传感器采集的数据内的退化的示例过程的流程图。
8.图5示出用于通过对从多个不同的车辆传感器接收的图像数据执行技术组合，来检测由车辆传感器采集的数据内的退化的示例过程的流程图。
9.图6示出用于通过对在一时间段内从多个不同的车辆传感器接收的图像数据执行技术组合，来检测由车辆传感器采集的数据内的退化的另一示例过程的流程图。
10.图7a至图7c描绘由车辆传感器采集的示例图像，以及在本文描述的退化检测技术期间生成的示例图像。
具体实施方式
11.如上所述，由车辆传感器收集的数据的质量在某些情况下可能变得退化(degraded)，包括基于环境因素，例如天气、交通或道路状况。本公开内容涉及用于检测由传感器收集的传感器数据的退化(degradation)的系统和技术，以及用于基于退化的检测
来控制各种系统。例如，由摄像头和其他传感器采集的图像数据的质量可能由于传感器障碍(例如传感器镜头上的灰尘、泥巴、雨滴、雪或其他材料)和/或环境条件(例如光学耀斑、雾、雨、雪、废气等)，和/或传感器本身内的错误或故障(例如聚焦错误、摄像头镜头、支架或其他传感器部件的损坏、图像采集或处理软件的错误等)而退化。根据本公开内容的系统和技术可以允许使用图像采集和分析技术的组合来检测和识别由传感器采集的图像数据的退化。在一些示例中，可以控制一个或多个系统来解决或修复图像数据的退化。某些技术是在自动驾驶车辆的传感器上下文中描述的。然而，这里所描述的技术可以与非自动驾驶车辆以及其他机器人系统一起使用。例如，这里讨论的技术可以应用于制造、位置监测和安全系统、增强现实等。
12.在一些示例中，可以实施立体匹配技术，其中图像数据可以由车辆的多个不同的传感器(例如摄像头)采集，并分析视觉一致性以识别来自一个或两个传感器的图像数据的退化。虽然贯穿本文针对立体图像讨论，但并不意味着本发明如此限制，因为考虑了任何多视角的几何图形，只要有至少部分的视场重叠。来自不同车辆传感器的重叠图像可以被采集、校正和分析，以匹配图像数据内的对应区域。可以比较图像区域之间的视觉一致性水平，以检测车辆传感器之一的退化。
13.其他技术可以代替立体匹配图像分析或与之结合使用。例如，可以实施暗通道技术，其中可以从车辆传感器采集图像序列，并且可以对相关联的图像区域执行像素强度分析。可以基于来自图像序列内的图像区域的像素强度来确定最小暗通道值，并且暗通道值可以用于检测图像数据的退化。例如，可以基于与数据的不同图像通道相关联的强度值，为图像确定暗通道值。还可以基于随时间采集的多个相关联图像帧的暗通道值的强度值，为图像生成平均暗通道图像值。例如，可以基于在平均暗通道图像的不同区域上的平均强度来生成暗通道强度阈值，然后将特定的图像区域(例如像素)与暗通道强度阈值进行比较。强度大于暗通道强度阈值的图像区域可能有更高的概率由于特定的遮挡而退化，例如光学耀斑、霾、雾或雨滴，这可能导致更高的暗通道强度。
14.用于检测由车辆传感器采集的图像数据的退化的附加或可替代技术可以包括测量图像区域相对于其他周围图像区域的时间运动。例如，当车辆在移动时，可以在一时间段内从车辆传感器采集一系列图像。图像区域的时间运动可以被分析并与相邻图像区域的时间运动相比较，并且可以基于周围图像区域的相对时间运动的差异来检测图像数据的退化。
15.附加或可替代地，一个或多个机器学习模型可用于检测由车辆传感器采集的图像数据的退化。在这种情况下，机器学习模型和/或训练数据存储库可以在车辆和/或外部计算机系统上运行，以训练机器学习模型来准确识别各种类型的退化(例如污垢、泥浆、雨滴、光学耀斑、雾、镜头聚焦错误等)。图像分析组件可以对训练数据进行分析和分类，并且机器学习引擎可以基于分类后的训练数据来生成和训练机器学习模型。在一些示例中，可以从穿越环境的车辆所采集和存储的日志数据自动或半自动地获得地面真值(ground truth)训练数据。可以使用各种不同的机器学习技术和算法，并且在某些情况下，可以将多个不同的训练模型与本文所述的附加退化检测和修复技术结合使用。在一些示例中，由车辆先前收集的日志数据可以用于标记训练数据。例如，车辆乘员或操作员可以使用控件来输入当前的天气(例如“雨”)，并且对应的标签或其他元数据标签可以被添加到数据中。附加或可
替代地，其他车辆传感器(例如雨水传感器)可以用于启动传感器数据的采集和标记，以用作机器学习模型的训练数据。在其他示例中，当修复技术被用于移除或补救遮挡(例如传感器清洁以移除污垢或泥浆)时，则在执行修复技术后未检测到遮挡可以用于确认遮挡，并且在修复技术之前收集的传感器数据可以被采集并标记以用作机器学习模型的训练数据。
16.使用本文描述的这些和其他技术，可以检测由车辆传感器采集的图像数据的退化，并且可以识别退化的来源或类型。例如这样的退化可能是由车辆传感器表面上的物质、光学耀斑(例如太阳耀斑或由头灯、路灯或车辆传感器检测区域内的其他照明现象引起的镜头耀斑)、其他环境因素(例如影响能见度的雾)或聚焦错误或车辆传感器的其他故障引起的。在其他示例中，可以基于车辆传感器的错误校准来检测退化，错误校准可能是由对象(例如行人)碰撞传感器或正常的振动模式等引起的。
17.当检测到来自车辆传感器的图像数据的退化时，本文所述的系统和技术可以包括控制车辆的操作以解决、减轻和/或修复退化的影响。例如可以启动自动清洁操作，以清洁传感器的表面，以解决检测到的退化。在其他情况下，自动驾驶车辆的导航和控制系统可以减少对从已经检测到退化的传感器接收的图像数据的依赖水平，和/或可以改变车辆的行驶方向以修复退化的影响。因此，本文描述的技术和实施例可以提供技术优势，其改善自动驾驶车辆和其他依赖传感器数据的计算机系统的性能，包括更快且更准确地检测传感器障碍和错误，改进修复技术，例如基于传感器退化的类型(或来源)和/或严重程度进行修复，基于传感器数据的检测到的退化更有效地处理传感器数据，改善自动驾驶车辆的安全性或/和依赖传感器数据的计算机系统的整体性能改进。示例架构
18.图1示出示例性自动驾驶车辆系统100，其检测由车辆传感器采集的图像数据的退化并基于此控制车辆的操作。在一些情况下，自动驾驶车辆102可以是被配置为根据美国国家公路交通安全管理局颁布的5级分类运行的自动驾驶车辆，其描述了能够执行对于整个旅程来说所有安全性关键功能的车辆，其中，不期待驾驶员(或乘员)在任何时候控制车辆。然而，在其他示例中，自动驾驶车辆102可以是具有任何其他级别分类的完全或部分的自动驾驶车辆。此外，在某些情况下，用于检测车辆传感器数据的退化的技术，以及本文所述的相关联车辆控制操作也可由非自动驾驶车辆使用。另外，虽然给出了车辆是陆地车辆的示例，但这里描述的技术也适用于航空、海洋和其他载具。可以设想，本文讨论的技术可以适用于机器人控制之外的领域，例如自动驾驶车辆。例如，这里讨论的技术可以应用于制造、位置监测和安全系统、增强现实等。
19.根据本文所述的技术，自动驾驶车辆102可以接收来自自动驾驶车辆102的传感器104的数据。例如，传感器104可以包括被配置为采集车辆周围外部环境的图像数据的摄像头。如本例所示，多个不同的摄像头传感器104可以在车辆102的不同位置处安装在自动驾驶车辆102上和/或集成到自动驾驶车辆102中。这样的传感器104也可以是不同的类型或质量，可以以不同的角度定向，并且可以配置有不同的图像采集特性(例如不同的焦距、采集率、焦点、视场、色彩能力等)，以便采集自动驾驶车辆102周围环境的各种不同的图像106。因此，传感器104可以包括与自动驾驶车辆102相关联的任何数量的摄像头，包括普通的光学或基于光的摄像头，以及红外摄像头、热成像摄像头和夜视摄像头，其中每个摄像头可以被配置为采集来自自动驾驶车辆102的环境的不同图像106。因此，由传感器104采集的图像
106可以包括例如：夜视图像，其中较低的光线水平已被放大，以允许附近的对象被区分；或由红外或热成像摄像头采集的热成像图像。
20.自动驾驶车辆102的传感器104可以附加地或可替代地包括：一个或多个光检测和测距(激光雷达(lidar))系统，其被配置为发射脉冲激光以测量到附近对象的距离；无线电检测和测距(雷达(radar))，其被配置为使用无线电波来检测和确定到附近对象的距离；声纳传感器，其被配置为使用声音脉冲来测量对象距离或深度；飞行时间传感器，其被配置为基于信号的发射和它们返回到传感器之间的时间差来测量对象距离；或者被配置为采集关于环境的其他信息的其他传感器。自动驾驶车辆102的其他传感器104可以包括超声波换能器、声纳传感器、接收位置信号(例如gps信号)的全球定位系统(gps)、以及被配置为检测自动驾驶车辆102的当前位置、运动和取向的运动传感器(例如速度计、罗盘、加速度计和/或陀螺仪)。附加的传感器104还可以包括磁力计、车轮编码器传感器、麦克风和其他音频传感器，以及环境和天气传感器(例如温度传感器、光传感器、压力传感器、雨和降水传感器、风传感器等)。
21.如图1所示，传感器104可以包括这些或其他类型的传感器中的每一个的多个实例。例如，激光雷达传感器可以包括位于车辆102的拐角、前面、后面、侧面和/或顶部处的多个个体激光雷达传感器。作为另一示例，摄像头传感器可以包括布置在相对于车辆102的外部和/或内部的不同位置的多个摄像头。在一些示例中，同一类型的不同传感器104(例如多个摄像头)和/或不同类型的不同传感器(例如一个摄像头和一个激光雷达系统)可以具有至少部分重叠的视场。传感器104可以向车辆计算系统108提供输入，和/或可以通过一个或多个网络130以确定的频率、在经过预定的时间段后、以接近实时的方式等将传感器数据传输到各种外部计算设备和系统(例如计算设备140)。
22.使用由各种传感器104采集的数据，自动驾驶车辆102可以从第一传感器104(例如摄像头传感器104a)接收图像106a(1)至106a(n)(统称为“图像106a”)，从第二传感器104(例如摄像头传感器104b)接收图像106b(1)至106b(n)(统称“图像106b”)，从第三传感器104(例如摄像头传感器104c)接收图像106c(1)至106c(n)(统称“图像106c”)，依此类推。在这个示例中，图像106b(1)中示出小的障碍103b(1)，表明遮挡(例如雨滴)或其他障碍可能粘附到产生图像106b的传感器104的表面或镜头。可以从传感器104(例如热成像和夜视摄像头、或激光雷达和/或雷达系统)接收附加的图像数据集，并且这些图像数据可以统称为图像106。此外，尽管本公开内容可能主要参照视觉图像来讨论图像106，但为了方便和更好地说明本文所描述的技术和概念，考虑了将技术和概念应用于具有识别和表示自动驾驶车辆102环境内的对象的能力的任何传感器数据(例如包括代表对象的点的激光雷达点云)。
23.在一些示例中，自动驾驶车辆102可以包括一个或多个计算系统108，其可以包括退化检测引擎110和车辆控制系统120。如本例所示，在自动驾驶车辆102的计算系统108上执行的退化检测引擎110可以包括一个或多个组件和/或子系统，其配置为检测由车辆传感器104采集的图像数据106的退化。退化检测引擎110内的不同子系统或组件可被实施以执行不同的退化检测技术，包括图像比较组件112、像素强度分析组件114和图像移动分析组件116。这些技术(其中的每一个将在下文将更详细地讨论)可由退化检测引擎110单独或组合使用，以分析由车辆传感器104采集的图像数据106以及检测和识别图像数据106内的退化。
24.另外，在一些实施例中，自动驾驶车辆108的计算系统108可以包括一个或多个机器学习模型118，其被配置为接收、存储和执行被训练以检测传感器数据的退化的机器学习模型。在各种示例中，机器学习模型118(和/或下文讨论的机器学习引擎148)可以实现为神经网络和/或其他经训练的机器学习模型。例如，神经网络和/或具有机器学习模型118的任何其他机器学习技术可以被训练来接收由自动驾驶车辆102的传感器104采集的图像数据106和/或各种其他传感器数据，并且然后分析和检测传感器数据内由以下各项引起的退化：传感器104表面上的不透明物质或雨滴、影响图像数据的光学耀斑和其他视觉现象和/或聚焦错误或传感器104的其他故障。
25.如上所述，机器学习的模型118可以包括一个或多个人工神经网络。神经网络是一种生物启发的技术，其中输入数据可以通过一系列连接的层传输，以产生输出。神经网络中的每层也可以包括另一神经网络，或可以包括任何数量的层(无论是否为卷积的)。正如在本公开内容的上下文中可以理解的那样，神经网络可以利用机器学习，这可以指广泛的此类技术，其中输出是基于学习的参数生成的。
26.在其他实施例中，机器学习模型118(和下文讨论的机器学习引擎148)可以包括可以与本公开内容一致使用的任何其他类型的机器学习技术和算法。例如，机器学习技术可以包括但不限于回归技术(例如普通最小二乘回归(olsr)、线性回归、逻辑回归、逐步回归、多变量自适应回归样条(mars)、局部估计散点图平滑(loess))、基于实例的技术(例如岭回归、最小绝对收缩和选择运算符(lasso)、弹性网、最小角度回归(lars))、决策树技术(例如分类和回归树(cart)、迭代二分法3(id3)、卡方自动交互检测(chaid)、决策树桩、条件决策树)、贝叶斯技术(例如朴素贝叶斯、高斯朴素贝叶斯、多叉朴素贝叶斯、平均单项估计器(aode)、贝叶斯信念网络(bnn)、贝叶斯网络)、聚类技术(如k-平均值、k-中位数、期望最大化(em)、分层聚类)、关联规则学习技术(例如感知器、反向传播、霍普菲尔网络、径向基函数网络(rbfn))、深度学习技术(例如深度波尔兹曼机(dbm)、深度信念网络(dbn)、卷积神经网络(cnn)、叠加自动编码器)、降维技术(例如主成分分析(pca)、主成分回归(pcr)、部分最小二乘回归(plsr)、萨蒙映射、多维缩放(mds)、投影追求、线性判别分析(lda)、混合判别分析(mda)、二次判别分析(qda)、灵活判别分析(fda))、集合技术(例如提升、引导聚集(bagging)、adaboost、层叠泛化(融合)、梯度提升机(gbm)、梯度回归提升树(gbrt)、随机森林、svm(支持向量机)、监督学习、无监督学习、半监督学习等等。架构的其他示例包括神经网络，如resnet70、resnet101、vgg、densenet、pointnet，等等。
27.计算系统108还可以包括车辆控制系统120，以响应由退化检测引擎110在图像数据106中检测到的退化而在自动驾驶车辆102上启动一个或多个修复操作。车辆控制系统120可以包括一个或多个系统控制器，其可被配置为控制自动驾驶车辆102的任何或所有系统，包括感知、规划、转向、推进、制动、安全系统、发射器、通信等。作为下文更详细描述的一个示例，响应于检测到车辆传感器104的表面上的不透明物质(例如污垢、泥浆、雨滴)，车辆控制系统120可以启动传感器清洁过程，以试图从表面上去除不透明物质。在其他示例中，车辆控制系统120可以响应检测到从车辆102的一端的一个或多个传感器104接收的图像数据106的退化而改变自动驾驶车辆102的取向和/或行驶方向。在另一些示例中，车辆控制系统120可以改变自动驾驶车辆102的导航和/或安全系统内的配置设置，以减少对与已经检测到退化的任何传感器104相关联的图像数据106的依赖(例如降低置信度的权重)。
28.虽然未在图1中示出以便模糊其中说明的其他组件，但自动驾驶车辆102中的计算系统108可以包括具有一个或多个处理器和与一个或多个处理器通信耦合的存储器的处理单元。退化检测引擎110、车辆控制系统120以及计算系统108内的其他子系统和组件在此可以以硬件、软件或硬件和软件组件的组合来实现。在一些实施例中，退化检测引擎110和/或车辆控制系统120内的子系统或组件可以实现为存储在计算系统108内的非暂时性计算机可读介质上的计算机可执行指令或其他软件代码组件，其可以由计算系统108的处理器执行以执行本文所述的功能。此外，虽然为了说明目的在图1中被描绘为驻留在自动驾驶车辆102的内部计算系统108中，但设想了车辆传感器104、退化引擎110和车辆控制系统120中的一个或多个可以被车辆102访问(例如存储在远离车辆102的存储器上，例如在远程计算设备140的存储器144上，或以其他方式可访问)。
29.另外，虽然本文讨论的组件(例如退化检测引擎110、图像比较组件112、像素强度分析组件114、图像运动分析组件116、机器学习模型118、车辆控制系统120)被描述为出于说明性目的而划分的，但是由各个组件执行的操作可以被组合或在车辆计算系统108的任何其他组件中执行。
30.自动驾驶车辆102还可以包括一个或多个无线收发器和/或其他网络设备，以实现车辆102与一个或多个其他本地或远程计算设备之间的网络连接和通信。例如，计算系统108内的一个或多个无线网络接口可以促进与同一自动驾驶车辆102上的其他本地计算系统108、其他自动驾驶车辆内的其他计算系统和/或各种远程计算设备和系统(例如计算设备140)的通信。这种网络接口和相关联的通信系统还可以使车辆102能够与远程遥控操作计算设备或其他远程服务进行通信。
31.在自动驾驶车辆102内，无线收发器、物理和/或逻辑网络接口和/或其他网络组件可以允许车辆计算机系统108访问并连接到其他计算设备或网络，例如网络130。车辆102的通信系统可以实现基于wi-fi的通信，例如通过由ieee 1402.11标准定义的频率、诸如蓝牙之类的短距离无线频率、蜂窝通信(例如2g、3g、4g、4g lte、5g等)或任何合适的有线或无线通信协议，其使车辆的相应计算系统能够与其他计算设备或网络接合。
32.在一些实施例中，一个或多个自动驾驶车辆102可以通过网络130接收数据和/或传输数据到一个或多个后端计算设备140。计算设备140可以包括处理器142和存储被配置为与一个或多个自动驾驶车辆102的计算系统108交互的各种组件的存储器144。例如，计算设备140可以包括：被配置为与一个或多个自动驾驶车辆102的退化检测引擎110通信的退化检测组件145，被配置为与一个或多个自动驾驶车辆102的车辆控制系统120通信的车辆控制组件146，等等。
33.在一些实施例中，自动驾驶车辆102可以将通过传感器104采集的任何或所有传感器数据(包括图像数据106)传输到计算设备140。这样的传感器数据可以包括原始传感器数据、经处理的传感器数据和/或传感器数据的表示。在一些示例中，传感器数据(原始或经处理的)可以作为一个或多个日志文件被存储和/或发送。
34.附加或可替代地，自动驾驶车辆102可以向计算设备140传输与检测到的退化相关联的数据，例如表明已经检测到图像数据106的退化的数据、检测到退化的特定传感器104、退化的类型或来源(例如污垢或泥浆、雨水、光学耀斑、传感器错误等)、与退化相关联的时间和地理位置、所执行的修复操作(例如传感器清洁、减少对传感器数据的依赖、改变车辆
取向或行驶方向等)和/或表明修复操作是否成功的数据。
35.此外，尽管图1的示例系统可以基于由自动驾驶车辆102的传感器104直接采集的图像数据106进行操作，但在一些实施例中，车辆102可以从计算设备140和/或其他远程数据源接收其部分或全部图像数据106。例如，自动驾驶车辆102可以通过网络130进行通信，并从位于车辆102附近的其他自动驾驶车辆、车辆102附近的交通摄像头或交通传感器、建筑物或停车场安全摄像头和/或从与计算设备140通信的卫星图像系统接收图像数据106和/或其他传感器数据。
36.在一些实施例中，计算设备140中的退化检测组件145可以分析从一个或多个自动驾驶车辆102接收的退化检测数据。基于从车辆102接收到的数据，和/或基于从系统管理员接收到的退化检测策略，退化检测组件145可以生成和更新将由自动驾驶车辆102使用的退化检测技术。例如，退化检测组件145可以选择将由自动驾驶车辆102使用的退化检测技术(例如图像比较组件112、像素强度分析组件114和/或图像移动分析组件116)的不同组合。退化检测组件145还可以选择和改变算法、匹配阈值和其他配置设置，以供各种退化检测技术使用。这些更新的退化检测技术和算法可以被传输到自动驾驶车辆102，以便在退化检测引擎110内部署，从而允许后端计算设备140远程和动态地修改/优化自动驾驶车辆102和/或自动驾驶车辆车队中其他自动驾驶车辆的退化检测行为。
37.此外，在一些实施例中，计算设备140可以与多个不同的自动驾驶车辆102通信，并且可以向不同的车辆102传输不同的退化检测指令集。例如，计算设备140可以基于以下各项来为不同车辆选择不同的退化检测技术和算法：车辆的能力(例如传感器104的数量和位置、巡航速度、加速度和制动能力、车辆102所支持的用于解决传感器数据的退化的修复操作等)、车辆102的当前驾驶行为(例如当前的车辆速度、路面、交通水平、乘员的数量和概况等)、车辆102正在操作的当前地理位置(例如县、州、国家或其他法律管辖区)、和/或车辆周围的当前环境条件(例如当前的天气条件、道路条件、一天中的时间、照明条件等)。
38.计算设备140中的车辆控制组件146可以被配置为从自动驾驶车辆102接收数据和/或向自动驾驶车辆102传输数据，该数据可以控制车辆102处的车辆控制系统120的操作。例如，车辆控制组件146可以确定指令并向车辆102传输指令，以控制当检测到图像数据106的退化时将由车辆102实施的修复行为。这种修复行为的示例可以包括响应于传感器数据的退化的严重程度和不同类型而执行哪些修复技术(例如自动传感器表面清洁、改变车辆行驶方向或取向、减少对传感器数据的依赖等)。与退化检测组件145类似，车辆控制组件146可以基于从自动驾驶车辆102接收到的反馈数据和/或基于从系统管理员接收到的退化修复策略来确定优选或优化的修复行为集。此外，车辆控制组件146可以基于上述任何车辆特定因素(例如车辆能力、当前驾驶行为、地理位置、环境等)或其他因素，选择不同的退化修复指令集并将其传输到不同的自动驾驶车辆102。
39.如上所述，在一些实施例中，计算设备140可以被配置为生成和训练机器学习模型，以用于检测图像数据106的退化，和/或用于选择将在自动驾驶车辆102处响应于检测到的退化而执行的修复操作。在这种情况下，计算设备140可以包括图像分析组件147、机器学习引擎148和/或训练数据存储库150。训练数据150可以包括从自动驾驶车辆102和/或其他外部数据源接收的图像数据106的集合，包括由车辆传感器104采集的显示各种类型的退化(例如灰尘、泥浆、雨滴、光学耀斑、镜头聚焦错误等)的图像106的示例，以及没有任何退化
的其他图像106。图像分析组件147可以对训练数据150进行分析和分类，并且机器学习引擎148可以基于分类后的训练数据150生成和训练机器学习模型。可以使用本文描述的各种机器学习技术和算法中的任何一种，并且在某些情况下，可以组合使用多个不同的经训练的模型。在一些实施例中，经训练的机器学习模型可以由计算设备140生成，并传输到一个或多个自动驾驶车辆102，在自动驾驶车辆102处，经训练的模型可以实时执行，以协助检测由车辆传感器104采集的图像数据106的退化。
40.在一些情况下，训练数据150可以包括由自动驾驶车辆102采集的图像数据106或可以所述图像数据106中导出。例如，在车辆102处采集的图像数据106可以用对应的退化数据标记(例如在图像元数据内或使用单独的相关联数据)，其指示图像数据106是否包括退化(例如视觉障碍或遮挡)以及退化的类型或来源、退化的严重程度、图像数据内退化的尺寸和/或位置等等。在一些实施例中，退化数据可以通过分析来自车辆102的附加传感器数据和/或日志数据来确定。例如，当使用本文所述的一种或多种技术(例如立体匹配、暗通道、光流等)确定由自动驾驶车辆102采集和分析的图像数据106包括退化时，该确定可以针对随后采集的传感器数据的车辆日志数据进行验证，以查看是否响应于图像数据106的检测到的退化执行了修复操作(例如传感器清洁、改变车辆方向或取向等)，并且如果是，则修复操作是否成功。在某些情况下，如果执行了修复操作并被确定为成功，则可以对图像数据106进行标记，以表明图像数据106中存在退化，并将其用作用于训练机器学习模型的地面真值。例如，分析由同一传感器104在传感器清洁后采集的附加图像数据可以确认(或可以否认)在传感器清洁前检测到的退化实际上是传感器遮挡。类似地，分析在改变车辆方向或取向后采集的附加图像数据可以确认(或可以否认)在改变车辆方向或取向前检测到的退化是光学耀斑。在一些示例中，可以实施注释服务，包括用户接口，以向用户输出记录的图像数据，并接收来自用户的输入，以指示图像数据是否退化。注释服务也可以通过用户接口接收输入，以指示图像的哪部分或哪个区域退化，以及退化的来源和/或类型。在另一示例中，记录的图像可以用于非关键性应用。这种应用的故障可能被假设是由这个集合中的退化的图像引起的，并可能被标记为注释为退化。此外，在车辆由于退化的传感器数据而无法继续自主导航的情况下，可以采取一种或多种修复动作(例如车辆的控制可以由人类驾驶员接管，可以向远程遥控操作人员发送协助请求，车辆可以执行安全停止机动等等)，并且对应的图像数据可以被收集并添加到用于机器学习模型的训练数据集。
41.在一些实施例中，车辆102和/或计算设备140可以生成合成训练数据150(包括纯粹合成的以及增强的数据)，包括基于非退化图像数据(无论是真实的还是合成的)库的退化的图像数据。例如，从车辆102采集的一个或多个非退化图像可以通过使用转换或过滤器进行修改，以叠加单独的图像层，该图像层包含一个或多个合成生成的图像退化区域。因此，从车辆102采集的真实图像数据可以覆盖着一层或多层合成退化数据，包含雨滴、污点或泥点、光学耀斑等的表示。
42.计算设备140可以实施一个或多个过程，以基于与不同类型或来源的退化相关联的预定特性集来生成合成退化数据。因为在雨淋期间可能积聚在车辆传感器104上的雨滴的尺寸、密度和分布不是随机的，所以计算设备140可以使用预编程雨滴尺寸、形状和分布模式(其被配置为对不同类型的暴雨进行建模)来实施过程。例如，可以存储用于雾状雨的第一模式、用于大雨的第二模式、用于高交通流量下的大雨的第三模式、用于慢速下的大雨
的第四模式、用于高速的大雨的第五模式，等等。在一些实施例中，计算设备140可以为特定类型/模式的雨滴执行合成数据生成过程，其将一组预先配置的雨滴参数用于雨滴出生率、平均尺寸、尺寸变化、死亡尺寸和/或雨滴寿命。使用该预编程参数集，以及应用于参数的随机化函数和分布，合成退化数据生成过程可以生成与特定类型和/或严重程度的暴雨以及其他条件(例如照明、交通、车速)相对应的雨滴模式的合成图像。此外，尽管这个示例与合成雨滴图像的生成有关，但合成退化数据生成过程也可以与其他类型的图像数据退化的尺寸、形状、模式和分布的参数集一起使用，其他类型的图像数据退化例如传感器表面上的污垢或泥浆的涂抹或喷溅、由太阳或即将到来的车灯引起的光学耀斑等。
43.计算系统108的处理器和计算设备140的处理器142可以是能够执行指令以处理数据和执行本文所述操作的任何合适的处理器。作为示例而非限制地，这些处理器可以包括一个或多个中央处理单元(cpu)、图形处理单元(gpu)、或处理电子数据以将该电子数据转化为可存储在寄存器和/或存储器中的其他电子数据的任何其他装置或装置的一部分。在一些示例中，集成电路(例如asic等)、门阵列(例如fpga等)和其他硬件设备也可以被视为处理器，只要它们被配置为实现编码指令。
44.计算系统108的存储器和计算设备140的存储器144是非暂时性计算机可读介质的示例。存储器可以存储操作系统和一个或多个软件应用、指令、程序和/或数据，以实现本文所述的方法和归属于各种系统的功能。在各种实施方案中，存储器可以使用任何合适的存储器技术来实现，例如静态随机存取存储器(sram)、同步动态ram(sdram)、非易失性/闪存型存储器、或能够存储信息的任何其他类型的存储器。本文所描述的架构、系统和各个元素可以包括许多其他的逻辑、程序和物理组件，其中附图中所示的组件只是与本文讨论有关的示例。
45.在一些情况下，计算系统108的存储器和计算设备140的存储器144可以至少包括工作存储器和存储存储器(storage memory)。例如，工作存储器可以是容量有限的高速存储器(例如高速缓冲存储器)，其用于存储将由相关联处理器操作的数据。在一些情况下，计算系统108和/或计算设备140的存储器可以包括存储存储器，其可以是容量相对较大的低速存储器，其用于数据的长期存储。在一些情况下，计算系统108和/或计算设备140的处理器不能直接对存储在存储存储器中的数据进行操作，并且数据可能需要被加载到工作存储器中以用于基于数据执行操作，如本文所讨论的。
46.应当注意的是，虽然图1被说明为分布式系统，但在替代实例中，车辆102的组件可以与计算设备140相关联和/或计算设备140的组件可以与车辆102相关联。也就是说，车辆102可以执行与计算设备140相关联的一个或多个功能，反之亦然。示例过程
47.图2示出用于检测由车辆传感器采集的数据内的退化的示例过程，其使用立体匹配技术，其中来自多个不同车辆传感器的数据被采集和分析。在一些示例中，过程200可以由车辆系统100的一个或多个组件完成，例如自动驾驶车辆102的图像比较组件112，它可以独立操作或与车辆102内的各种其他组件或外部计算设备140相结合地操作。虽然图2是在基于由两个不同的车辆摄像头采集的图像来检测图像数据106的退化的具体上下文中讨论的，但应理解，一些实施例可以基于从两个以上的摄像头采集的图像106、由其他类型的车辆传感器104采集的图像106和/或从自动驾驶车辆102外部的其他数据源接收的图像106，
来执行类似或相同的操作。
48.在202处，图像数据106可以由自动驾驶车辆102的多个传感器104(例如摄像头)采集。如图2中与框202相关联的图示部分所示，本描述可以指由自动驾驶车辆102的摄像头采集的两个视觉图像：由第一摄像头传感器106a采集的第一图像106a，以及由第二摄像头传感器104a采集的第二图像106b。在一些实施例中，图像比较组件112可以被配置为接收来自两个或更多个传感器104(例如摄像头)的图像，这些传感器具有重叠的视场或检测场。例如，图像比较组件112可以取回以前采集的图像106a和106b，和/或可以指示传感器104a和104b采集新的图像。此外，在一些示例中，图像比较组件112可以要求图像106a和106b是同时或在小的时间窗口内采集的。如本例所示，图像106a和106b是在同一时间点或接近同一时间点采集的，并包括重叠的视场。此外，小的不透明物质203a(例如污垢、泥浆等)粘附在传感器104a的表面或镜头，导致物质203a在图像106a中可见。
49.在204处，可以对分别由传感器104a和104b采集的图像106a和106b执行图像校正过程。图像校正过程可以将图像106a和106b转换到共同的图像平面上。在一些实施例中，可以执行立体校正过程，其中图像比较组件112可以识别图像变换，该变换在共同的图像平面内实现了水平核线的立体系统。如上所述，尽管本例说明了两个图像106a和106b的图像校正和区域匹配，但可以理解的是，来自两个以上车辆传感器104的图像数据106(和/或来自其他来源的图像数据106)可以被校正和区域匹配。在一些示例中，204处的校正过程可以是可选的，和/或可以使用其他校正技术。例如可以基于预先存储的信息确定每个传感器相对于其他传感器的全部校准数据(例如内在和外在)，并且图像比较组件112和/或计算设备140可以预先计算在不同的图像内哪些像素相互映射。因此，204可以包括查找或用于比较的例行程序，而不是要求图像校正。
50.在206处，由第一传感器104a采集的第一图像106a内的一个或多个区域可以与由第二传感器104b采集的第二图像106b内的相关联(或对应)图像区域相匹配。区域尺寸可以由图像比较组件112确定，和/或可以由计算设备140作为配置设置接收。虽然在某些实施例中可以选择较小的区域尺寸，并且较小的区域尺寸可以提供以更高的精度识别退化区域的技术优势，但较大的区域尺寸可以提供更快的图像处理的单独优势。此外，由于传感器104a和104b可以从不同的角度采集它们相应的图像，图像106a和106b之间可能存在某种视觉不一致水平，并且因此较大的区域尺寸可以提供更好的结果。
51.在一些实施例中，可以由图像比较组件112执行朴素的立体匹配过程。在朴素的立体匹配过程期间，可以确定并输出沿共同核线的一定范围内的最小距离，以识别图像106a和106b之间的相关联或对应区域。为了确定最小距离，可以使用平方距离之和(ssd)技术，在一些实施例中，它可以更好地保存图像之间的颜色、亮度和曝光差异。然而，在其他实施例中，可以使用其他技术来确定最小距离。在某些情况下，传感器104a和104b也可以被配置为具有相同的曝光/增益。
52.进一步地，在一些示例中，除了确定最小距离之外，朴素的立体匹配过程还可以计算第二图像视差。第二图像视差可以被称为无限远匹配视差。为了计算两幅图像之间的无限远匹配视差，在同一地点处直接使用传感器104a和104b之间的修补距离(patch distance)，而不需要沿核线的任何搜索。计算图像106a和106b的无限远匹配视差可以允许该过程高效地去除天空像素，这些像素可能对自动驾驶车辆102的导航和控制系统的价值
较小或没有价值。朴素的立体匹配过程的结果可以是最终的在后验sigmoid，它可以被计算为两个距离(例如最小距离视差和无限远匹配视差)的乘积。
53.在一些示例中，当在206处执行立体匹配过程时，可以使用从图像106a和106b的顶部到图像的底部的指数增长的搜索范围。通过补偿以下事实，这可以提供相对于其他立体匹配技术的优势：对于由自动驾驶车辆102的传感器104采集的图像106，可以假定图像106a和106b的底部部分比图像的顶部部分更接近摄像头。此外，在一些示例中，立体匹配技术用于识别图像106a和106b之间的相关联区域的最小距离可以被确定为多个不同距离读数的移动平均值，以便消除距离读数中存在的任何噪音。
54.在206处确定来自图像106a的第一图像区域与来自图像106b的第二图像区域相关联(例如相匹配或相对应)之后，然后在208处可以针对视觉一致性比较来自图像106a的第一图像区域和来自图像106b的第二图像区域。如上所述，因为图像106a和106b可能是由不同的传感器104a和104b在车辆上的不同位置处采集的，即使是任何退化内的相关联的匹配图像区域也将有稍微不同的视角。然而，如果没有影响图像106a或106b的退化(例如灰尘、雨滴、光学耀斑等)，则图像106a和106b的相关联的区域可能具有高得多的视觉一致性水平。相比之下，如果退化影响了图像106a或106b的相关联的区域，则视觉一致性水平可能会低得多。在其他示例中，可以在图像106a或106b的相关联的区域内识别附加的图像特征，并基于外在校准来执行附加的图像匹配技术，例如尺度不变特征变换(scale-invariant feature transform，sift)、加速增强特征(speeded-up robust features，surf)、定向fast和旋转简要(oriented fast and rotated brief，orb)。此外，可以在图像区域内检测到角落或边缘的数量，作为模糊的衡量，并可以将其与来自其他相关联图像区域的相对数量进行比较。
55.因此，针对图像106a和106b中的每个相关联区域集，视觉一致性阈值可以由图像比较组件112在208处定义并应用。对于每个相关联图像区域集，如果视觉一致性水平低于阈值(208：是)，则图像比较组件112可在210处确定退化在影响由传感器104a和104b中的一个或两个采集的图像数据。如本例所示，在图像106a内存在不透明物质203a(例如污垢、泥浆)(其在图像106b中不存在)可能导致图像区域106a和106b之间的较低的视觉一致性水平。相比之下，如果视觉一致性水平处于或高于相关联图像区域集的阈值(208：否)，则图像比较组件112可以在212处确定没有任何退化在影响由传感器104a或传感器104b采集的图像数据。
56.图3示出用于检测由车辆传感器采集的数据内的退化的另一个示例过程，其使用暗通道技术，其中针对由车辆传感器采集的图像数据对像素强度进行分析。例如，可以通过分析图像内像素的强度值来执行暗通道先前技术，以检测图像内的霾和其他退化。对于在不同时间采集的特定图像或相关联图像帧序列，暗通道可以被识别为具有最低强度的图像通道。当图像内存在退化时(例如光学耀斑、雨滴、雾或霾)，则退化的图像区域的暗通道像素强度可能比其他没有退化的图像区域大。因此，测量和比较特定图像区域(例如像素或像素组)的暗通道强度可以用于检测特定图像区域处的退化，如下文所述。在一些示例中，过程300可以由车辆系统100的一个或多个组件完成，例如自动驾驶车辆102的像素强度分析组件114，其可以独立操作或与车辆102内的各种其他组件或外部计算设备140一起操作。尽管图3是在基于由车辆摄像头采集的一个或多个图像来检测图像数据106的退化的具体上
下文中讨论的，但应理解，一些实施例可以基于由其他类型的车辆传感器采集的图像106和/或从自动驾驶车辆102外部的其他数据源接收的图像106，来执行类似或相同的操作。
57.在302处，一个或多个图像106可以由自动驾驶车辆102的传感器104(例如摄像头)采集。如图3中与框302相关联的图示部分所示，本描述可以指由自动驾驶车辆102的单个传感器104a在多个不同时间采集的一系列多个视觉图像，从在时间t0采集的第一图像106a(t0)开始，并以在后来的时间tn采集的图像106a(tn)结束。然而，在其他示例中，可以仅使用单个图像执行过程300的像素强度分析。
58.在304处，像素强度分析组件114可以确定在302处接收的图像数据内的一个或多个图像区域。如上所述，区域尺寸可以由像素强度分析组件114确定和/或可以由计算设备140作为配置设置接收。此外，在某些实施例中可以选择较小的区域尺寸，并且较小的区域尺寸可以提供以更高的精度识别退化区域的技术优势，而较大的区域尺寸可以提供更快的图像处理的单独优势。在一些示例中，可以选择小至单个像素的区域尺寸。
59.在306处，像素强度分析组件114可以对在304处确定的每个图像区域执行像素强度分析。在一些实施例中，在306处的像素强度分析可以是暗通道(或暗通道先前)技术，并且可以基于与数据的不同图像通道相关联的强度值，为图像或图像区域确定暗通道。在暗通道技术中，图像区域可以被分割成独立的红-绿-蓝(rgb)通道，并且可以从三个通道中选择最小的像素强度。如果图像区域没有受到退化的影响，则对所采集的图像进行的经验分析已经表明，至少一个通道强度可能是零或接近零(例如用于图像区域的暗通道)。然而，如果图像区域受到某些类型或来源的退化影响，例如雨滴、光学耀斑或摄像头聚焦错误，则退化可能导致图像区域的暗通道具有较高的像素强度值。
60.如上所述，在306处的像素强度分析可以针对单个图像106a或针对由车辆传感器104a在一时间段内采集的一系列图像(例如106a(t0)至106a(tn))执行。对于各个图像，图像区域的暗通道强度可以对应于该图像区域内不同的rgb通道中的最小像素强度。当一系列的多个图像106a(t0)到106a(tn)被采集和分析时，像素强度分析组件114可以针对一系列图像中的每一个执行相同的像素强度分析(例如暗通道)，并且然后可以从一系列的图像中选择用于图像区域的最小暗通道值。此外，虽然本例中使用了颜色通道rgb，但应理解在其他示例中可以使用任何其他颜色通道模型或编码系统(例如yuv、cmyk)。在一些示例中，可以基于随时间采集的多个相关联图像帧的暗通道的强度值，为图像数据生成平均暗通道图像值。
61.在306处确定图像数据106的一个或多个图像区域的像素强度(例如暗通道)值之后，然后在308处可以将该图像区域的像素强度值与强度阈值进行比较。例如，可以基于平均暗通道图像的不同区域上的平均强度来生成暗通道强度阈值，并且然后将特定的图像区域(例如像素)与暗通道强度阈值进行比较。具有比暗通道强度阈值更高强度的图像区域可能有更高的概率由于特定的遮挡而退化，特定的遮挡例如光学耀斑、霾、雾或雨滴，这可能导致更高的暗通道强度。如上所述，当使用暗通道技术时，受某些退化影响的图像区域可能具有较高的最小像素强度，而未受退化影响的图像区域可能具有较低的最小像素强度。因此，可以在308处由像素强度分析组件114为接收的图像106中的每个区域定义和应用像素强度阈值(例如暗通道阈值)。对于每个图像区域，如果像素强度值(例如暗通道值)大于阈值(308：是)，则像素强度分析组件114可以在310处确定，退化正影响由传感器104采集的图
像106的区域。相比之下，如果像素强度值(例如暗通道值)小于阈值(308：否)，则像素强度分析组件114可以在312处确定没有退化正影响由传感器104a采集的图像106的区域。
62.图4示出用于检测由车辆传感器采集的数据内的退化的另一个示例过程，其使用光流技术，其中一时间段内的来自车辆传感器的图像区域的时间运动被分析。在一些示例中，过程400可以由车辆系统108的一个或多个组件完成，例如自动驾驶车辆102的图像运动分析组件116，其可以独立操作或与车辆102内的各种其他组件或外部计算设备140相结合地操作。尽管图4是在基于由车辆传感器104a(例如摄像头)采集的一系列(或序列)图像106a(例如106a(t0)至106a(tn))来检测图像数据106a的退化的具体上下文中讨论的，但应理解一些实施例可以基于由其他类型的车辆传感器104采集的图像106和/或从自动驾驶车辆102外部的其他数据源接收的图像106来执行类似或相同的操作。
63.在402处，一系列图像106可以由自动驾驶车辆102的传感器104(例如摄像头)采集。如图4中与框402相关联的图示部分所示，本描述可以指由自动驾驶车辆102的单个传感器104a在一时间段内以间隔采集的一系列多个视觉图像，从在时间t0采集的第一图像106a(t0)开始，并以在结束时间tn采集的图像106a(tn)结束。
64.在404处，图像运动分析组件116可以确定在402处接收的图像数据内的一个或多个图像区域。如上所述，区域尺寸可以由图像运动分析组件116确定和/或可以由计算设备140作为配置设置接收。此外，在某些实施例中可以选择较小的区域尺寸，并且较小的区域尺寸可以提供以更高的精度识别退化区域的技术优势，而较大的区域尺寸可以提供更快的图像处理的不同优势。
65.在406处，图像移动分析组件116可以确定在404处确定的每个图像区域的相对时间移动。图像区域的时间运动可以指在一系列图像106a(t0)至106a(tn)中在该图像区域内发生的视觉变化。例如，当自动驾驶车辆102处于运动状态时，可以预期由车辆传感器104(例如摄像头)采集的图像数据106可能随着车辆102周围的视觉环境的变化而连续变化(即，随着车辆的位置/视角随时间变化，由传感器104采集的视图也随之变化)。时间运动的速率可以基于车辆102的速度和方向、车辆周围环境的类型(例如高速公路与城市)以及其他因素。因此，图像区域的相对时间运动可以指与相邻图像区域在一系列图像上的时间运动相比较，该图像区域在同一系列图像上的时间运动。在其他示例中，对图像区域的时间运动的测量不需要是相对的(relative)，与相邻图像区域的时间运动相比较。例如，可以在406处测量时间运动，并在408处基于确定的图像区域内的时间运动与阈值进行比较(例如不依赖同一图像序列中其他区域的时间运动)。在这种情况下，如果该图像区域的时间运动低于阈值，则图像运动分析组件116可以确定在该图像区域处阻碍时间运动的检测的遮挡的较高概率。
66.图像区域的高水平的相对时间运动可能表明退化(例如污垢、雨滴、光学耀斑等)正影响图像数据106，无论是在该图像区域的位置还是在相邻的图像区域处。相比之下，图像区域的相对时间运动的低水平可能表明，在该图像区域的位置处或在相邻的图像区域处没有退化正影响图像数据106。因此，相对时间运动的阈值可以在408处由图像运动分析组件116为接收的图像106中的每个区域定义和应用。对于每个图像区域，如果相对时间运动的水平高于阈值(408：是)，则图像运动分析组件116可以在410处确定，退化正影响由传感器104采集的图像106的区域和/或相邻的图像区域。相比之下，如果相对时间运动水平低于
阈值(408：否)，则图像运动分析组件116可以在412处确定没有退化正影响图像106的区域或相邻的图像区域。
67.上述用于检测由车辆传感器104采集的图像数据106内的退化的三种不同技术、图2中描述的由不同的传感器104采集的重叠图像之间的视觉一致性分析、图3中描述的由传感器104采集的图像区域的像素强度分析以及图4中描述的由传感器104采集的图像区域的相对时间运动分析，可以在各种实施例中单独或以任何组合执行。在另外的示例中，这三种退化检测技术的任何组合也可以与其他技术相结合执行，例如使用一个或多个经训练的机器学习模型来分析由车辆传感器104采集的图像数据106。因此，通过提高传感器障碍和错误的检测的速度和准确性，这些技术中的每一个(无论是单独还是组合)都可以在自动驾驶车辆或其他传感器数据处理计算机系统中提供技术优势。
68.图5和图6示出基于上述技术的不同组合，用于检测由车辆传感器104采集的图像106数据内的退化的两个替代过程。
69.图5示出第一示例过程，其中通过执行图2中描述的分开的传感器104所采集的重叠图像区域之间的视觉一致性分析，结合图3中描述的传感器104所采集的图像区域的像素强度分析、图4中描述的传感器104所采集的图像区域的相对时间运动分析，和/或通过访问被训练以识别图像数据的退化的机器学习模型，来检测退化。在502处，第一图像数据106可以由车辆传感器104采集。在504处，第二图像数据106(具有与第一图像数据106重叠的视场)可以被第二车辆传感器104采集。在506处，第一图像数据和第二图像数据可以被校正和匹配，以确定第一和第二图像数据内的一个或多个相关联(或对应)图像区域。在508处，第一和第二图像数据内的相关联图像区域可以被比较，以确定图像区域之间的视觉一致性水平。因此，图5的502至508可以与202至208相似或相同，并且可以由在退化检测引擎110内操作的图像比较组件112如上所述执行。
70.继续图5，该示例过程可以执行以下一项或多项，在510处，执行对第一和/或第二图像区域的像素强度分析，在512处，访问一个或多个经训练以识别第一和/或第二图像区域内的退化的机器学习模型，或者在514处，执行第一和/或第二图像区域的相对时间运动分析。如上所述，在510处执行的像素强度分析可以与上述302至308处描述的像素强度分析相似或相同，并且可以由像素强度分析组件114执行，而在514处执行的相对时间运动分析可以与上述402至408处描述的相对时间运动分析相似或相同，并且可以由相对时间运动分析组件116执行。此外，在512处访问机器学习的模型以识别图像数据内的退化可以包括与上述由机器学习的模型118执行的技术相似或相同的技术。在各种示例中，510、512和514中的各个技术的任何组合可以由退化检测引擎110执行。
71.在516处，自动驾驶车辆102的退化检测引擎110可以确定退化是否正影响由一个或多个车辆传感器104采集的图像数据106。在516处的确定可以基于以下各项的组合来执行：在508处执行的图像区域之间的视觉一致性水平的确定；以及在510处执行的像素强度分析、在512处访问的机器学习模型、或在514处执行的时间运动分析中的一个或多个。在一些示例中，退化检测引擎110可以在508、510、512和/或514处确定并应用不同的阈值，使得只有当每个单独的技术检测到退化时，才检测到退化。在其他示例中，退化检测引擎110可以确定并应用组合阈值，其中代表在508处确定的视觉一致性水平的第一数据度量与代表在510处确定的像素强度水平的第二数据度量、代表在512处检测到退化的机器学习模型的
置信度水平的第三数据度量、和/或代表在514处确定的相对时间运动水平的第四数据度量相组合(例如相加或相乘)。
72.如果退化检测引擎110检测到由任何车辆传感器104采集的图像数据106的退化(516：是)，则在518处，自动驾驶车辆102的一个或多个操作可以响应于检测到退化而被控制。相比之下，如果退化检测引擎110没有检测到由车辆传感器104采集的图像数据106的退化(516：否)，则在此示例中，该过程可以返回到502以等待从车辆传感器104采集附加的图像数据106。
73.图6示出第二示例过程，其中通过执行图2中描述的不同的传感器104所采集的重叠图像区域之间的视觉一致性分析、结合图3中描述的传感器104所采集的图像区域的像素强度分析、和图4中描述的传感器104所采集的图像区域的相对时间运动分析，来检测退化。在602处，第一图像数据106可以由车辆传感器104采集。在604处，可以取回相关的图像数据106，包括从具有与第一图像数据106重叠的视场的一个或多个不同传感器104采集的图像数据106，和/或由同一或其他车辆传感器104在一时间段内采集的一系列图像106。在606处，在502处收到的第一图像数据和在504处接收到的相关图像数据可以被分析(例如校正和/或匹配)，以确定图像数据集之间的一个或多个相关联(或对应)图像区域。如上所述，相关的图像数据集可以代表由不同的车辆传感器104在相同或类似的时间点采集的图像106，和/或可以代表由相同或不同的车辆传感器104在一时间段内采集的图像106的序列。在608处，可以比较由不同传感器104采集的图像数据106内的相关联图像区域，以确定图像区域之间的视觉一致性水平，这可以与202至208相似或相同，并且可以如上所述由在退化检测引擎110内操作的图像比较组件112执行。在610处，可以执行第一和/或第二图像区域的像素强度分析，这可以与上述302至308的像素强度分析类似或相同，并且可以由像素强度分析组件114执行。在612处，可以执行第一和/或第二图像区域的相对时间运动分析，这可以与上述在402至408处描述的相对时间运动分析类似或相同，并且可以由相对时间运动分析组件116执行。在614处，退化检测引擎110可以访问一个或多个经训练以识别第一和/或第二图像区域内的退化的机器学习模型。如上所述，机器学习模型可以被训练以检测图像数据内的退化和/或识别退化的特定类型或来源。
74.在616处，自动驾驶车辆102的退化检测引擎110可以确定退化是否正影响由一个或多个车辆传感器104采集的图像数据106。在616处的确定可以基于以下各项的组合来执行：在608处执行的图像区域之间的视觉一致性水平的确定、在610处执行的像素强度分析、在612处执行的时间运动分析以及在614处访问的机器学习模型。如上所述，在各种不同的示例中，616中的确定可以仅仅基于608、610、612或614中的各个技术中的任何技术，或者基于这些或其他技术的任何组合。可以用于识别传感器数据退化的其他技术的示例包括分析图像数据的饱和水平、曝光、对比度或其他特性。此外，退化检测引擎110可以针对在608、610、612和614处的不同确定，确定并应用不同的阈值，使得仅当一种或多种技术检测到退化时，才使用预定的置信度阈值水平、退化尺寸阈值和/或退化严重程度阈值来检测退化。在其他示例中，退化检测引擎110可以确定并应用一个或多个组合阈值，其中代表在608处确定的视觉一致性水平的第一数据度量与代表在610处确定的像素强度水平的第二数据度量、和/或代表在612处确定的相对时间运动水平的第三数据度量、和/或代表机器学习模型的已检测到退化的置信度水平的第四数据度量相组合(例如相加或相乘)。
75.如果退化检测引擎110检测到由任何车辆传感器104采集的图像数据106的退化(616：是)，则在618处，自动驾驶车辆102的一个或多个操作可以响应于检测到退化而被控制。相比之下，如果退化检测引擎110没有检测到由车辆传感器104采集的图像数据106的退化(616：否)，则在此示例中，该过程可以返回到602以等待从车辆传感器104采集附加的图像数据106。
76.下面的等式说明了示例性实施例，其中上述退化检测技术可以被组合使用以确定特定图像区域(例如图像内的像素或像素组)因光学耀斑的存在而退化的概率。在这个示例中，上述技术可以用于确定图像区域的观察到的立体一致性(表示为sc
ob
)、图像区域的观察到的光流(表示为of
ob
)和图像区域的观察到的暗通道(表示为dc
ob
)的可量化度量。此外，立体一致性、光流和暗通道中的每一个的相关联的阈值(表示为sc
th
、of
th
、dc
th
)可以基于对光学耀斑图像区域的一些样本内的每个技术的最小和最大值的分析来确定。
77.在这个示例中，图像区域由于光学耀斑退化的概率可以定义如下：p(是耀斑|sc
ob
，of
ob
，dc
ob
)＝＝p(sc
ob
，of
ob
，dc
ob
|是耀斑)*p(是耀斑)/(p(sc
ob
，of
ob
，dc
ob
|是耀斑)*p(是耀斑) p(sc
ob
，of
ob
，dc
ob
|非耀斑)*p(非耀斑))＝p(sc
ob
|是耀斑)*p(of
ob
|是耀斑)*p(dc
ob
|是耀斑)/(p(sc
ob
|是耀斑)*p(of
ob
|是耀斑)*p(dc
ob
|是耀斑) p(sc
ob
，of
ob
，dc
ob
|非耀斑)*p(非耀斑)/p(是耀斑))＝sigmoid(sc
ob-sc
th
)*sigmoid(of
ob-of
th
)*sigmoid(dc
ob-dc
th
)/(sigmoid(sc
ob-sc
th
)*sigmoid(of
ob-of
th
)*sigmoid(dc
ob-dc
th
) f(车辆速度)*g(太阳角度)))
78.如上述示例所示，给定图像区域的观察到的立体一致性数据、光流数据和暗通道数据，可以使用sigmoid函数来估计光学耀斑和无光学耀斑的条件概率。此外，p(sc
ob
，of
ob
，dc
ob
|非耀斑)可以是当前车辆速度和/或相对于车辆的太阳角度的函数。在某些情况下，f(车辆速度)参数可以用于实施一种策略，其中当平均观察到的光流低于预定的阈值时，停止检测。g(太阳角度)参数不需要使用，或者表示为常数值(如果太阳角度数据不可用或不相关，例如在夜间或阴天驾驶)。
79.如果上述等式p(是耀斑|sc
ob
，of
ob
，dc
ob
)的输出大于预定的阈值，则退化检测引擎110可以确定图像区域由于光学耀斑而退化，而如果等式输出低于阈值，则退化检测引擎110可以确定图像区域没有由于光学耀斑而退化。此外，虽然上面的示例等式是专门用于检测光学耀斑的，但类似的等式和技术可以用于检测其他类型或来源的退化(例如灰尘、泥土、雾、雨滴、传感器错误等)。
80.再次参考518和618，当响应于检测到图像数据106的退化而控制自动驾驶车辆102的操作时，可以执行修复操作之一或组合。在一些情况下，可以启动自动清洁过程，以清洁传感器104(例如摄像头镜头)的表面，退化的图像数据106是从该传感器采集的。在一些情况下，自动驾驶车辆102的导航系统和/或其他车辆控制系统可以被重新配置，以减少对从传感器104接收的图像数据的依赖水平，退化的图像数据106是从该传感器接收的。附加或可替代地，可以改变车辆102的行驶方向和/或取向，以修复检测到的退化的影响。可以在518和/或618处执行的修复操作的其他示例可以包括调整车辆的一个或多个操作驾驶参数。例如半自动或全自动驾驶车辆可以配置有控制车辆速度(例如最大和/或巡航速度)的操作驾驶参数，以及诸如车辆可以选择哪些道路/路面、车辆是否在红灯时右转、车辆是否
执行无保护的转弯等驾驶参数。响应于检测到图像数据的退化，这些操作驾驶参数中的任何一个可以在518或618处被调整或禁用。
81.在一些示例中，一些修复操作可以使用任何一种图像退化技术基于检测到图像数据退化来执行，而其他修复操作可以使用多种图像退化技术基于图像数据的退化来执行。例如，车辆可以响应使用立体匹配、暗通道、光流或机器学习技术中的任何一种技术检测到图像数据退化，而启动传感器清洗，并且可以响应于使用本文所述的多种技术检测到图像数据退化而使车辆停止。在一些示例中，本文所述的一种或多种技术的输出可以输入到附加的机器学习模型，其经训练以基于各种退化检测技术(例如立体匹配、暗通道、光流、机器学习技术等)的输出来确定潜在退化。
82.在一些实施例中，在518和618处执行的修复操作可以取决于检测到的退化的类型或来源，以及可以由自动驾驶车辆102的计算系统108实时确定的各种其他因素。例如，当检测到退化时，退化检测引擎110还可以确定退化的类型或来源，例如传感器104的表面上的不透明物质(例如灰尘、泥浆等)、传感器104的表面上的半透明或光扭曲物质(例如水滴)、光学耀斑或其他照明现象、或传感器104的聚焦错误或其他故障。对退化的类型或来源的确定可以基于上述各种退化检测技术的执行。例如，分析由独立的传感器104采集的重叠图像区域之间的视觉一致性的退化检测技术(上文参照图2描述的)可能对于识别传感器104表面上的不透明或半透明物质有效，而对于识别光学耀斑或其他视觉现象相对不那么有效。相比之下，上文参照图3描述的像素强度分析技术对于识别传感器104表面上的半透明物质和识别光学耀斑和其他视觉现象可能有效，但对于识别传感器104表面上的不透明物质可能相对不那么有效。最后，上文参考图4所述的相对时间运动分析技术对于识别传感器104表面上的不透明物质和识别光学耀斑或其他视觉现象可能是有效的，但对于识别传感器104表面上的半透明物质可能相对不那么有效。因此，用于检测图像数据106的退化的技术以及这些技术的结果可以提供附加的技术优势，由此退化检测引擎110还可以确定退化的特定类型或来源(例如灰尘、泥浆、雨滴、光学耀斑、雾、镜头聚焦错误等)，从而允许基于退化的类型或来源来执行适当的修复功能。
83.附加或可替代地，可以使用其他技术来确定由车辆传感器104采集的图像数据106中检测到的退化的类型或来源。例如如上所述，退化检测引擎110可以执行图像数据106的视觉分析(例如基于规则的分析和/或经训练的机器学习模型)单独或与上述任何技术相结合地确定退化的类型或来源。此外，来自本文所述的任何其他传感器104的数据和/或从一个或多个外部数据源接收的数据也可以用于识别检测到的退化的类型或来源。例如，退化检测引擎110可以接收并分析一天中的当前时间、车辆102的取向、相对于车辆102的太阳角度以及当前天气条件，以确定光学耀斑是检测到的退化的可能原因。作为另一个示例，可以结合图像数据106分析当前天气条件、道路表面和条件、交通条件和车辆速度，以确定污垢、泥浆和/或水滴是检测到的退化的可能原因。
84.在一些实施例中，车辆控制系统120可以基于退化的来源或类型来选择修复选项。例如，如果退化检测引擎110确定退化的原因是传感器104的表面上的不透明或半透明物质(例如污垢、泥浆、雨滴等)，则车辆控制系统120可以响应地启动退化表面上的自动清洁过程。相比之下，如果退化检测引擎110确定退化的原因是光学耀斑或其他照明现象，则传感器的自动清洁过程就不可能修复退化，并且可以启动不同的修复操作(例如减少对图像数
据106的依赖)。
85.在一些示例中，车辆控制系统120可以使用附加的数据因素和进一步的分析来确定是否以及何时将响应于检测到的退化而执行修复操作，以及将执行哪个(些)修复操作。例如，退化检测引擎110和/或车辆控制系统120可以确定并分析退化的严重程度(例如图像数据106的哪部分被退化)、图像数据106内的退化位置(例如所采集的图像106的中心与角落)、来自传感器104的图像数据106已经退化了多长时间(例如在执行修复操作之前可以使用时间阈值)，和/或是否有一个或多个其他车辆传感器104可用于采集图像数据106的退化部分(例如具有重叠视场的摄像头或其他传感器104)。基于这些因素中的任何一个(单独或组合地)，车辆控制系统120可以确定检测到的退化是否将触发修复操作、将何时执行修复操作、以及将执行哪个(些)修复操作以解决退化。
86.图7a至图7c描绘了由车辆传感器104采集的三个示例图像数据集，以及在本文所述的退化检测技术期间可能生成的示例的修改后的图像集。具体而言，图7a、图7b和图7c中所示的每个图像集包括由车辆传感器104采集的第一示例图像、说明本文所述的一种或多种退化检测技术的第二图像、以及说明来自本文所述的一种或多种退化检测技术的输出的第三图像。关于图像701a、701b和701c(统称“图像701”)，图像701a是由车辆传感器104(例如摄像头)采集的示例图像，其中图像由于传感器的镜头表面上的雨滴而部分地退化，而示例图像701b和701c由于光学耀斑而部分地退化。
87.中间图像702a、702b和702c(统称为“图像702”)说明了上述用于检测图像数据内的退化的技术的示例，其中潜在退化区域704由轮廓形状表示。潜在退化区域704可以与特定区域处存在退化的概率相关。概率可以基于所应用的一个或多个退化检测技术的输出。概率可以表示为概率分布或热图。在图7c的示例中，示出了四个潜在退化区域，包括具有第一概率的第一潜在退化区域704a、具有第二概率的第二潜在退化区域704b、具有第三概率的第三潜在退化区域704c、和具有第四概率的第四潜在退化区域704d。这些概率可以用于确定潜在退化区域是否代表遮挡。例如，如果在特定位置处存在退化的概率达到或超过阈值概率，则该区域可被确定为退化的。如果概率低于阈值，则该区域将被确定为没有退化。
88.最后，图像703a、703b和703c(统称“图像703”)可以代表本文所述的退化检测技术的输出。在图像703中，每个图像中以白色描绘的部分代表被确定为退化的区域，而每个图像的非退化部分以黑色描绘。在图7c所示的示例中，第一潜在退化区域704a、第二潜在退化区域704b和第三区域704c的概率高于阈值概率，并且因此在输出图像703c中表示为以白色显示的退化区域。本例中的潜在退化区域704d的概率低于阈值(例如确定为没有退化)，并且因此不表示在输出图像703c中。
89.如上所述，车辆控制系统120可以确定检测到的退化是否将触发修复操作、将何时执行修复操作、以及将执行哪个(些)修复操作以解决检测到的退化。在一些实施例中，这些确定的部分或全部可以基于图像703。例如，图像703的退化和非退化部分的表示可以用于确定退化的严重程度(例如图像703有多少是退化的，并且有多少是可用的)，退化在图像数据703内的位置(例如中心与边缘、下部与上部等)，和/或是否有任何其他传感器104可用于采集图像703的退化部分(例如具有覆盖退化部分的视场的摄像头或其他传感器104)。因此，退化检测引擎110和/或车辆控制系统120可以分析输出图像703，以确定是否、何时以及哪个(些)修复操作可以响应于图像703所代表的退化而执行。
示例条款
90.本节中的任何示例性条款可以与任何其他的示例性条款和/或本文所述的任何其他示例或实施例一起使用。
91.a：一种车辆，包括：一个或多个处理器；第一传感器，用于采集车辆的环境的传感器数据；第二传感器，用于采集车辆的环境的传感器数据，第二传感器具有与第一传感器的视场至少部分重叠的视场；以及存储指令的非暂时性计算机可读介质，所述指令当由一个或多个处理器执行时，使车辆执行操作，所述操作包括：接收由第一传感器在第一时间采集的第一图像数据；识别第一图像数据内的第一图像区域；取回由第二传感器采集的第二图像数据；识别第二图像数据中与第一图像区域相关联的第二图像区域；确定第一图像区域和第二图像区域之间的视觉一致性水平；基于确定的视觉一致性水平与以下各项中的至少一项的组合，检测由第一传感器采集的第一图像数据的退化：与第一图像区域相关联的强度；基于在不同于第一时间的第二时间采集的第三图像数据，对与第一图像区域相关联的时间运动的测量；或来自经训练以基于图像数据检测退化的机器学习模型的输出；以及至少部分地基于对退化的检测，控制车辆的操作。
92.b：根据a段所述的车辆，其中，检测第一图像数据的退化包括识别退化的来源或类型，其中，经识别的退化的来源或类型包括以下各项中的至少一项：第一传感器的表面上的不透明物质；第一传感器的表面上的水滴；第一传感器的检测场内的光学耀斑；或第一传感器的视觉聚焦错误。
93.c：根据a段或b段所述的车辆，其中，至少部分地基于对第一图像数据的退化的检测来控制车辆的操作包括以下各项中的至少一项：启动对第一传感器的表面的清洁；降低对从第一传感器接收的数据的依赖水平；改变车辆的行驶方向；或调整车辆的一个或多个操作驾驶参数。
94.d：根据a至c段中任一段所述的车辆，其中，检测第一图像数据的退化是基于：第一图像区域和第二图像区域之间的确定的视觉一致性水平；与第一图像区域相关联的强度；以及与第一图像区域相关联的时间运动的测量。
95.e：根据a至d段中任一段所述的车辆，其中，检测退化还包括：将第一图像数据输入到机器学习模型中；以及从机器学习模型接收输出，其中，输出至少部分地基于第一图像数据，并且其中，输出指示由第一传感器采集的第一图像数据的退化。
96.f：一种方法，包括：接收由车辆的第一传感器在第一时间采集的第一图像数据；在所述第一图像数据内识别第一图像区域；检测由所述第一传感器采集的所述第一图像数据的退化，其中，所述检测基于以下各项中的至少两项：所述第一图像区域和由第二传感器采集的第二图像数据内的对应的第二图像区域之间的确定的视觉一致性水平；与所述第一图像区域相关联的强度；基于在不同于所述第一时间的第二时间采集的第三图像数据，与所述第一图像区域相关联的时间运动的测量；来自被训练以基于图像数据来检测退化的机器学习模型的输出；以及至少部分地基于对所述退化的所述检测来控制所述车辆的操作。
97.g：根据f段所述的方法，其中，检测所述第一图像数据的所述退化包括：确定所述第一图像数据的所述退化的第一概率，所述第一概率基于所述视觉一致性水平；以及确定所述第一图像数据的所述退化的第二概率，所述第二概率基于以下各项中的至少一项：与所述第一图像区域相关联的所述强度，与所述第一图像区域相关联的时间运动的所述测
量，或来自机器学习模型的所述输出；至少基于所述第一概率和所述第二概率，计算所述第一图像数据的所述退化的第三概率；以及将所述退化的所述第三概率与概率阈值进行比较。
98.h：根据f段或g段所述的方法，其中，检测所述第一图像数据的所述退化至少部分地基于所述第一图像区域和所述第二图像区域之间的确定的视觉一致性水平，并且其中，所述方法还包括：确定所述第二传感器具有与所述第一传感器重叠的检测场；取回由所述第二传感器采集的所述第二图像数据；在与所述第一图像区域相关联的所述第二图像数据内识别所述第二图像区域；以及确定所述第一图像区域和所述第二图像区域之间的所述视觉一致性水平。
99.i：根据f段至h段中任一段所述的方法，其中，检测所述第一图像数据的所述退化至少部分地基于与所述第一图像区域相关联的所述强度，并且其中，所述方法还包括：至少部分地基于与所述第一图像数据的多个图像通道相关联的强度值，确定与所述第一图像数据相关联的暗通道值；至少部分地基于随时间采集的多个图像帧的强度值，生成平均暗通道图像值；基于所述平均暗通道图像值来确定阈值；将与所述第一图像区域相关联的所述强度与所述阈值进行比较；以及至少部分地基于确定与第一图像区域相关联的所述强度高于所述阈值，检测到所述第一图像数据的所述退化。
100.j：根据f段至i段中任一段所述的方法，其中，检测所述第一图像数据的所述退化至少部分地基于与所述第一图像区域相关联的时间运动的所述测量，并且其中，所述方法还包括：接收由所述第一传感器在不同于所述第一时间的所述第二时间采集的所述第三图像数据；以及使用由所述第一传感器采集的所述第一图像数据和所述第三图像数据，通过将所述第一图像数据中的所述第一图像区域与所述第三图像数据中的所述第一图像区域进行比较，来确定所述第一图像区域的时间运动。
101.k：根据f段至j段中任一段所述的方法，其中，检测所述第一图像数据的所述退化还包括：将至少所述第一图像数据输入到所述机器学习模型中；以及从所述机器学习模型接收所述输出，其中，所述输出至少部分地基于所述第一图像数据，并且其中，所述输出指示由所述第一传感器采集的所述第一图像数据的所述退化。
102.l：根据f段至k段中任一段所述的方法，其中，检测第一图像数据的退化包括识别退化的来源或类型，其中，经识别的退化的来源或类型包括以下各项中的至少一项：第一传感器的表面上的不透明物质；第一传感器的表面上的水滴；第一传感器的检测场内的光学耀斑；或第一传感器的视觉聚焦错误。
103.m：根据f段至l段中任一段所述的方法，其中，至少部分地基于对第一图像数据的退化的检测来控制车辆的操作包括以下各项中的至少一项：启动对第一传感器的表面的清洁；降低对从第一传感器接收的数据的依赖水平；改变车辆的行驶方向；或调整车辆的一个或多个操作驾驶参数。
104.n：一种存储处理器可执行指令的非暂时性计算机可读介质，指令当由一个或多个处理器执行时，使得一个或多个处理器执行操作，所述操作包括：接收由车辆的第一传感器在第一时间采集的第一图像数据；在第一图像数据内识别第一图像区域；和检测由第一传感器采集的第一图像数据的退化，并且其中，所述检测基于以下各项中的至少两项：第一图像区域和由第二传感器采集的第二图像数据内的相关联的第二图像区域之间的确定的视
觉一致性水平；与第一图像区域相关联的强度；基于在不同于第一时间的第二时间采集的第三图像数据，对与第一图像区域相关联的时间运动的测量；来自经训练以基于图像数据检测退化的机器学习模型的输出；以及至少部分地基于对退化的检测来控制车辆的操作。
105.o：根据n段所述的非暂时性计算机可读介质非暂时性计算机可读介质，其中，检测第一图像数据的退化包括：确定第一图像数据的退化的第一概率，第一概率基于视觉一致性水平；以及确定第一图像数据的退化的第二概率，第二概率基于与第一图像区域相关联的强度、与第一图像区域相关联的时间运动的测量或来自机器学习模型的输出中的至少一个；至少基于第一概率和第二概率，计算第一图像数据的退化的第三概率；并将退化的第三概率与概率阈值进行比较。
106.p：根据n段或o段所述的非暂时性计算机可读介质非暂时性计算机可读介质，其中，检测第一图像数据的退化至少部分地基于第一图像区域和第二图像区域之间的所确定的视觉一致性水平，并且其中，该操作还包括：确定第二传感器具有与第一传感器重叠的检测场；取回由第二传感器采集的第二图像数据；在与第一图像区域相关联的第二图像数据内识别第二图像区域；以及确定第一图像区域和第二图像区域之间的视觉一致性水平。
107.q、根据n段至p段中任一段所述的非暂时性计算机可读介质非暂时性计算机可读介质，其中，检测第一图像数据的退化至少部分地基于与第一图像区域相关联的强度，并且其中，该操作还包括：至少部分地基于与第一图像数据的多个图像通道相关联的强度值，确定与第一图像数据相关联的暗通道值；至少部分地基于随时间采集的多个图像帧的强度值，生成平均暗通道图像值；基于平均暗通道图像值，确定阈值；将与第一图像区域相关联的强度与阈值进行比较；以及至少部分地基于确定与第一图像区域相关联的强度高于阈值，检测第一图像数据的退化。
108.r、根据n段至q段中任一段所述的非暂时性计算机可读介质非暂时性计算机可读介质，其中，检测第一图像数据的退化至少部分地基于与第一图像区域相关联的时间运动的测量，并且其中，该操作还包括：接收由第一传感器在与第一时间不同的第二时间采集的第三图像数据；以及使用由第一传感器采集的第一图像数据和第三图像数据，通过比较第一图像数据中的第一图像区域与第三图像数据中的第一图像区域来确定第一图像区域的时间运动。
109.s、根据n段至r段中任一段所述的非暂时性计算机可读介质非暂时性计算机可读介质，其中，检测由第一传感器采集的第一图像数据的退化还包括：将至少第一图像数据输入到机器学习模型中；以及从机器学习模型接收输出，其中，输出至少部分地基于第一图像数据，并且其中，输出指示由第一传感器采集的第一图像数据的退化。
110.t、根据n段至s段中任一段所述的非暂时性计算机可读介质非暂时性计算机可读介质，其中，至少部分地基于对第一图像数据的退化的检测来控制车辆的操作包括以下各项中的至少一项：启动对第一传感器的表面的清洁；降低对从第一传感器接收的数据的依赖水平；改变车辆的行驶方向；或调整车辆的一个或多个操作驾驶参数。
111.尽管已经用特定于结构特征和/或方法行为的语言描述了主题，但应当理解，在所附权利要求书所限定的主题不必受限于所描述的具体特征或行为。相反，具体特征和行为被公开为实施权利要求的示例形式。
112.本文描述的组件代表可以被存储在任何类型的计算机可读介质中的指令，并可以
以软件和/或硬件实施。上述所有的方法和过程可以体现在软件代码组件中和/或由一台或多台计算机或处理器、硬件或其某种组合执行的计算机可执行指令中，并通过所述软件代码模块和/或指令实现完全自动化。一些或所有的方法可以可替代地体现在专门的计算机硬件中。
113.条件性语言(例如“可能”、“可以”或“可”等)，除非另有特别说明，否则在上下文中应被理解为表示某些示例包括、而其他示例不包括某些特征、元素和/或步骤。因此，这种条件性语言一般不意味着某些特征、元素和/或步骤是以任何方式被一个或多个示例所要求的，或一个或多个示例必须包括以下逻辑：其用于在有或没有用户输入或提示的情况下，决定某些特征、元素和/或步骤是否被包括或在任何特定示例中或在任何特定示例中被执行。
114.诸如“x、y或z中的至少一个”这样的合取语言，除非另有特别说明，否则应理解为表示对象、术语等可以是x、y或z，或者其任何组合，包括每个元素的倍数。除非明确描述为单数，否则无定冠词的表述指单数和复数。
115.本文描述的和/或附图中描绘的流程图的任何常规描述、元素或块应被理解为可能代表代码的模块、段或部分，其包括用于实现例程中特定逻辑功能或元素的一个或多个计算机可执行指令。在本文描述的示例的范围内包括替代的实施方式，其中元素或功能可以被删除，或不按所示或讨论的顺序执行，包括基本同步、以相反的顺序、具有附加的操作或省略操作，这取决于所涉及的功能，正如会被本领域的技术人员所理解的。
116.可以对上述示例进行各种变型和修改，其要素应理解为在其他可接受的示例之中。所有这样的修改和变型都在本文中意图被包括在本公开的范围内，并受所附权利要求书的保护。