交通灯方向的确定的制作方法

1.本公开涉及一种用于检测光源并确定此光源相对于汽车的角度方向以将此光源分类为相关或不相关的系统。


背景技术：

2.许多车辆都配备有摄像头以帮助检测靠近车辆的物体。自主汽车使用这些摄像头来帮助确定在控制车辆时采取什么行动，例如捕获交通灯的图像，识别交通灯的临界颜色(红色、黄色、绿色)，并将信息发送给规划模块以允许规划模块采取适当的行动。
3.通常，摄像头可捕获多个交通灯，或者捕获一个本不打算应用于汽车的交通灯(汽车检测到该交通灯被捕获)。在这种情况下，自动驾驶车辆的规划模块会变得混乱，阻止了规划模块正确地引导汽车，并可能导致对汽车的不适当控制。
4.因此，虽然当前的系统实现了其预期目的，但仍需要一种新的、改进的用于确定光源与汽车相关性的系统和方法。


技术实现要素：

5.根据本公开的若干方面，一种用于确定光源与汽车相关性的方法包括：利用至少一个摄像头，捕获靠近汽车的光源的图像，并将捕获图像发送到控制器；利用控制器，使用卷积神经网络技术，通过识别临界颜色对应的连通像素并提取临界颜色的椭圆区域来确定图像中至少一个光源的位置；利用控制器，使用椭圆霍夫变换和用像素亮度作为权重的水平和垂直像素坐标的加权标准偏差之一来估计提取的椭圆区域的宽度和高度；利用控制器，使用hampel滤波器对提取的椭圆区域的估计宽度和高度进行滤波以去除异常值；利用控制器，使用卡尔曼滤波器随时间对提取的椭圆区域的估计宽度和高度进行滤波以降低噪声；利用控制器，通过计算至少一个光源的方向角，估计至少一个光源相对于汽车的方向；当至少一个光源的方向角大于预定角时，将至少一个光源分类为相关，并且当至少一个光源被分类为相关时，将至少一个光源的信息发送到汽车的规划模块。
6.根据另一方面，该方法还包括：识别已知形状和至少一个光源之间的对应点，计算至少一个光源的单应矩阵，以及分解单应矩阵以确定至少一个光源的方向角。
7.根据本公开的若干方面，一种用于确定光源与汽车相关性的系统包括：至少一个摄像头，适配成捕获靠近汽车的光源的图像；控制器，与至少一个摄像头通信并适配成从所述至少一个摄像头接收捕获图像，该控制器还适配成估计至少一个光源相对于汽车的方向，将至少一个光源分类为相关和不相关之一，并且当至少一个光源被分类为相关时，将至少一个光源的信息发送到汽车的规划模块。
8.根据另一个方面，控制器还适配成当估计至少一个光源相对于汽车的方向时，使用卷积神经网络技术，通过识别临界颜色对应的连通像素并提取临界颜色的椭圆区域来确定图像中至少一个光源的位置。
9.根据另一个方面，控制器还适配成当估计至少一个光源相对于汽车的方向时，通
过椭圆霍夫变换和用像素亮度作为权重的水平和垂直像素坐标的加权标准偏差之一来估计提取的椭圆区域的宽度和高度。
10.根据另一个方面，控制器还适配成当估计至少一个光源相对于汽车的方向时，对提取的椭圆区域的估计宽度和高度进行滤波以降低噪声并去除异常值。
11.根据另一个方面，控制器还适配成使用卡尔曼滤波器随时间对提取的椭圆区域的估计宽度和高度进行滤波以降低噪声。
12.根据另一个方面，控制器还适配成在使用卡尔曼滤波器对提取的椭圆区域的估计宽度和高度进行滤波以降低噪声之前，使用hampel滤波器对提取的椭圆区域的估计宽度和高度进行滤波以去除异常值。
13.根据另一个方面，控制器还适配成当估计至少一个光源相对于汽车的方向时计算至少一个光源的方向角。
14.根据另一个方面，控制器还适配成在将至少一个光源分类为相关和不相关之一时，当至少一个光源的方向角大于预定角时，将至少一个光源分类为相关。
15.根据另一个方面，控制器还适配成识别已知形状和至少一个光源之间的对应点，计算至少一个光源的单应矩阵，并分解单应矩阵以确定至少一个光源的方向角。
16.从本文所提供的描述中，进一步的应用领域将变得显然。应该理解的是，描述和具体示例仅用于说明的目的，并不旨在限制本公开的范围。
附图说明
17.本文中描述的附图仅用于说明目的并且不旨在以任何方式限制本公开的范围。
18.图1是根据本公开的示例性实施例的系统的示意图；
19.图2是交叉路口和配备有根据本公开的示例性实施例的系统的汽车的示意图；
20.图3是交通灯的光源的图像，其中光源的宽度与高度的纵横比约为1；
21.图4是交通灯的光源的图像，其中光源的宽度与高度的纵横比小于1；
22.图5是示出根据本公开的示例性实施例的方法的流程图；
23.图6是光源的捕获图像；以及
24.图7是与图6的捕获图像相关的光源的已知图像。
具体实施方式
25.以下描述本质上仅是示例性的，并不旨在限制本公开、应用或用途。
26.参考图1，示出了包含用于确定光源相关性的系统12的汽车10。系统12包括至少一个摄像头14，适配成捕获靠近汽车10的光源的图像。如图1所示，摄像头14正在捕获交通灯16的图像。本文中公开的系统12和方法描述了至少一个摄像头14的使用。应当理解，在不脱离本公开的范围的情况下，系统12可以包含任何合适数量的摄像头14。在许多汽车中，特别是在自动驾驶汽车中，摄像头14和传感器看到并解释道路上的物体，就像人类驾驶员用他们的眼睛所做的一样。通常，摄像头14以各个角度安置在汽车周围，以保持汽车10周围的360度视角，并提供周围交通状况的更宽画面。摄像头14显示非常详细和逼真的图像，并自动检测物体，例如其他汽车、行人、骑自行车的人、交通标志和信号、道路标记、桥梁和护栏，对它们进行分类，并且确定它们与汽车10之间的距离。
27.系统12还包括控制器18，控制器与至少一个摄像头14通信并适配成从至少一个摄像头14接收捕获的图像。控制器18是一种非通用的电子控制设备，具有预编程数字计算机或处理器、存储器或用于存储诸如控制逻辑、软件应用程序、指令、计算机代码、数据、查找表等数据的非暂时性计算机可读介质以及收发器或输入/输出端口。计算机可读介质包括计算机能够访问的任何类型的介质，例如只读存储器(rom)、随机存取存储器(ram)、硬盘驱动器、压缩盘(cd)、数字视频盘(dvd)、或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括数据可永久存储的介质和数据可存储随后被覆盖的介质，例如可重写光盘或可擦除存储设备。计算机代码包括任何类型的程序代码，包括源代码、目标代码和可执行代码。
28.控制器18还与汽车的规划模块20通信。自动驾驶系统包括三个主要模块:感知模块、规划模块和控制模块。感知模块负责从周围世界提取相关知识并估计自身车辆和其他物体的状态。规划模块20将此作为输入并为控制模块产生无碰撞轨迹。控制模块执行由规划模块20产生的轨迹。在本系统12中，控制器18将至少一个摄像头14捕获的图像的相关信息发送到规划模块20。
29.控制器18还适配成估计至少一个光源22相对于汽车10的方向，将至少一个光源22分类为相关和不相关之一，并且当至少一个光源22被分类为相关时，将有关至少一个光源22的信息发送到汽车的规划模块20。
30.在一个示例性实施例中，控制器18适配成对摄像头曝光进行调整以补偿和减少饱和度和光晕。当拍摄直射阳光或黑暗中的强光等明亮光源时，光源可能会在高光周围出现明亮光环，带有柱状或线状缺陷。这种现象可能会出现在图像上，称为光晕、拖尾或条纹。这种现象出现时，主体照明太强，传感器像素变得饱和，这种饱和通常出现在图像上的白色区域，与照明源的强度成正比。数据从图像传感器上的光敏像素移入移位寄存器，然后进行处理。在像素上接收到过多光(光子)的区域中，这些光会涌入相邻的像素中并涌入相邻的寄存器中，这些寄存器将这些光移出，从而导致光晕。光晕会降低系统12准确识别光源22的形状和尺寸的能力。这可以通过减小光圈或使用中性密度滤波器来减少光量得以控制。
31.在另一个示例性实施例中，控制器18还适配成当估计至少一个光源22相对于汽车10的方向时，使用卷积神经网络技术，通过识别临界颜色对应的连通像素并提取临界颜色的椭圆区域来确定图像中至少一个光源22的位置。临界颜色可能是具有重要意义的颜色，例如红色、绿色和黄色，当尝试识别和解释捕获图像中的交通信号时，这些颜色特别重要。
32.控制器18还适配成当估计至少一个光源22相对于汽车10的方向时，通过椭圆霍夫变换和用像素亮度作为权重的水平和垂直像素坐标的加权标准偏差之一来估计提取的椭圆区域的宽度和高度。霍夫变换是一种特征提取技术，用于图像分析、计算机视觉和数字图像处理中。该技术的目的是通过投票程序在特定类型的形状内找到物体的缺陷实例。这个投票程序是在一个参数空间中进行的，在这个参数空间中，候选对象作为所谓的累加器空间中的局部最大值而获得，累加器空间由用于计算霍夫变换的算法明确地构建。
33.经典的霍夫变换主要用于识别图像中的直线，但是霍夫变换已经扩展到识别任意形状的位置，最常见的是圆形或椭圆形。在数字图像的自动分析中，经常出现检测简单的形状的子问题，例如直线、圆形或椭圆。在许多情况下，边缘检测器可以用作预处理阶段，以获
得图像空间中所需曲线上的图像点或图像像素。然而，由于图像数据或边缘检测器的缺陷，在所需曲线上可能会存在缺失点或像素，以及理想线/圆/椭圆与从边缘检测器获得的噪声边缘点之间可能存在空间偏差。由于这些原因，将提取的边缘特征分组到一组适当的直线、圆或椭圆通常是非常重要的。霍夫变换的目的是解决这个问题，通过对一组参数化的图像对象执行显式投票程序，使边缘点分组为候选对象成为可能。
34.在一个示例性实施例中，控制器18还适配成当估计至少一个光源22相对于汽车10的方向时，对提取的椭圆区域的估计宽度和高度进行滤波以降低噪声并去除异常值。
35.在一个示例性实施例中，控制器还适配成使用hampel滤波器对提取的椭圆区域的估计宽度和高度进行滤波以去除异常值。hampel滤波器是一类决策滤波器类中的一种，如果数据窗口中的中心值距离中值足够远而被认为是异常值，则hampel滤波器用中值替换中心值。
36.在另一个示例性实施例中，控制器18还适配成使用卡尔曼滤波器随时间对提取的椭圆区域的估计宽度和高度进行滤波以降低噪声。卡尔曼滤波，也称为线性二次估计(lqe)，是一种算法，使用一系列随时间观测到的测量值(包含统计噪声和其他不准确性)，通过估计每个时间段的变量的联合概率分布，生成未知变量的估计值，这些估计值往往比仅基于单次测量的估计值更加准确。
37.卡尔曼滤波器在技术上有许多应用。常见的应用是用于车辆的引导、导航和控制。该算法分两步工作。在预测步骤中，卡尔曼滤波器产生当前状态变量及其不确定性的估计值。一旦观察到下一次测量的结果(必然被一定量的误差破坏，包括随机噪声)，就使用加权平均值对这些估计值进行更新，同时对确定性较高的估计值给予更多的权重。算法是递归的。其可以实时运行，仅使用当前输入的测量值和先前计算的状态及其不确定性矩阵，不需要额外的过去信息。
38.控制器18还适配成当估计至少一个光源22相对于汽车10的方向时，计算至少一个光源22的方向角。参考图2，具有根据本公开的系统12的汽车10正在第一道路24上行驶，并且接近第一道路24和第二道路28的交叉路口26。第一交通灯16a位于交叉路口26处，其方向如箭头30所示，面向第一道路24上接近交叉路口26的交通车辆。第二交通灯16b位于交叉路口26处，其方向如箭头32所示，面向第二道路28上接近交叉路口26的交通车辆。
39.第一交通灯16a是用来为汽车10提供引导。当汽车10接近交叉路口26时，汽车10内的摄像头4将检测第一交通灯16a。第二交通灯16b是用来为第二道路28上接近交叉路口26的车辆提供引导，然而，由于交叉路口26的角度，第二交通灯16b的灯22对于在第一道路24上行驶的汽车10上的摄像头14是可见的并会被其检测到。
40.为了确定两个交通灯16a、16b中的哪一个是相关的，系统12计算第一交通灯16a和第二交通灯16b中的每一个的至少一个光源22的方向角。参考图3，第一交通灯16a向汽车10亮红灯22a。由于第一交通灯16a定向成面向第一道路24上迎面而来的交通车辆，所以圆形红灯22a的图像呈圆形。红灯图像的高度34与宽度36大致相同。参考图4，可替代地，第二交通灯16b向第二道路28上接近交叉路口26的交通车辆亮绿灯22b。由于第二交通灯16b定向成远离第一道路24上迎面而来的交通车辆，所以圆形绿灯22b的图像呈椭圆形。绿灯22b图像的高度34远大于绿灯22b图像的宽度36。
41.因此，当至少一个光源22相对于捕获图像的摄像头14以一定角度定向时，图像的
宽度36与高度34的纵横比发生变化。如图3所示，当直接朝向摄像头14时，红色光源22a的图像呈圆形且高度34与宽度36大致相等，并且宽度36与高度34之间的纵横比约为1。如图4所示，当以一定角度朝向摄像头14时，绿色光源22b的图像呈椭圆形且高度34大于宽度36，并且宽度36和高度34之间的纵横比小于1。
42.方向角由控制器18使用以下公式计算：
[0043][0044]
其中w和h是至少一个光源22的捕获图像的估计和滤波宽度36和高度34。
[0045]
控制器18还适配成当至少一个光源22的方向角大于预定角时，将至少一个光源22分类为相关。当方向角变大时，至少一个光源22的相关可能性就变小了。为了消除混淆，如果捕获图像或光源22的计算出的方向角大于预定角，则会被忽略，并被认为是“不相关”。如果至少一个光源22的计算出的方向角小于预定角，则该至少一个光源22被认为是“相关”，并且控制器将有关该至少一个光源22的信息发送到规划模块20。
[0046]
再次参考图2，第一交通灯16a上的红灯22a的纵横比大约为1，因此，计算出的方向角将接近于零。将第一交通信号灯16a的红灯22a分类为相关，并且将信息发送到规划模块20，因此第一交通信号灯16a的红灯22a的存在会被考虑。可替代地，第二交通灯16b的绿灯22b的纵横比小于1。举例来说，假设第二交通灯16b的绿灯22b的纵横比是0.5，并且计算出的方向角是45度，如果预定角是30度，则控制器18将第二交通灯16b的绿灯22b分类为不相关，并且将其忽略。不会向规划模块20发送有关第二交通灯16b的绿灯22b的信息。
[0047]
参考图5，示出了用于确定光源22与汽车10相关性的方法50的流程图。从方框52开始，方法50包括：利用至少一个摄像头14，捕获靠近汽车10的光源的图像，并将捕获图像发送到控制器18。移至方框54，方法50还包括：利用控制器18，使用卷积神经网络技术，通过识别临界颜色对应的连通像素并提取临界颜色的椭圆区域来确定图像中至少一个光源22的位置。
[0048]
移至方框56，方法包括：利用控制器18，使用椭圆霍夫变换和用像素亮度作为权重的水平和垂直像素坐标的加权标准偏差之一来估计提取的椭圆区域的宽度36和高度34。在方框58处，方法50包括：利用控制器18，使用hampel滤波器对提取的椭圆区域的估计宽度36和高度34进行滤波以去除异常值，以及在方框60处，利用控制器18，使用卡尔曼滤波器随时间对提取的椭圆区域的估计宽度36和高度34进行滤波以降低噪声。在一个示例性实施例中，方法50包括：对摄像头曝光进行调整以补偿和减少饱和度和光晕。光晕会降低控制器12准确估计提取的椭圆区域的宽度36和高度34的能力。
[0049]
移至方框62，方法50还包括：利用控制器18，通过计算至少一个光源22的方向角，估计至少一个光源22相对于汽车10的方向。在方框64处，控制器18将至少一个光源22的计算出的方向角与预定角进行比较。方法50包括：在方框66处，当方向角大于预定角时，将至少一个光源22分类为“不相关”，并且在方框68处，当至少一个光源22的方向角小于预定角时，将至少一个光源22分类为相关。
[0050]
最后，移至方框70，当至少一个光源22被分类为相关时，方法50包括：将有关至少一个光源22的信息发送到汽车的规划模块。
[0051]
在另一个示例性实施例中，在方框52处，利用至少一个摄像头14捕获靠近汽车10
的光源22的图像并且将捕获图像发送到控制器18之后，移至方框72，方法还包括：识别已知形状和至少一个光源22之间的对应点74、76。参考图6，在光源22的捕获图像上识别点74。参考图7，控制器18将光源22的捕获图像上的识别点74与已知图像78上的对应点76进行匹配，如箭头80所示。
[0052]
移至方框84，方法包括：计算至少一个光源22的单应矩阵，以及分解单应矩阵以确定至少一个光源22的方向角。单应矩阵是将一幅图像(即光源22的捕获图像)中的点74映射到另一幅图像(即已知图像78)中的对应点76的变换。对单应矩阵进行分解，得到光源22的捕获图像和已知图像78之间的数学旋转关系，由此可以计算光源22的捕获图像的方向角。
[0053]
从方框84移至方框64，控制器18将至少一个光源22的计算出的方向角与预定角进行比较。方法50包括：在方框66处，当方向角大于预定角时，将至少一个光源22分类为“不相关”，并且在方框68处，当至少一个光源22的方向角小于预定角时，将至少一个光源22分类为相关。
[0054]
最后，移至方框70，当至少一个光源22被分类为相关时，方法50包括：将有关至少一个光源22的信息发送到汽车的规划模块。
[0055]
本公开的系统12和方法50的优点是忽略了光源22，而该光源22的定向方式，使得该光源22是汽车不应该考虑的。
[0056]
本公开的描述本质上仅仅是示例性的，并且不脱离本公开的主旨的变型旨在落入本公开的范围内。这种变化不应被视为背离了本公开的精神和范围。