用于检测车辆的移动状态的方法与流程

1.实施方案涉及一种用于检测车辆——例如自动驾驶汽车——的移动状态——特别是停止状态——的方法。


背景技术：

2.视觉测程法和驾驶员辅助系统近年来变得越来越受欢迎并且自然吸引来自智能机器人和自动驾驶领域中的研究人员的越来越多的关注。一个经常出现的任务是检测车辆当前是否停止。在标准生产车辆中，这可以通过使用诸如轮标记(wheel tick，轮滴答)的车辆移动传感器来完成。
3.尤其是在早期的测试车辆中，对车辆移动传感器的访问可能被限制。可容易从车辆或通过简单的附加装备获得的传感器数据是gps数据、imu数据和来自安装在车辆中的摄像机的数据。然而，从imu和gps接收的数据不提供对车辆的停止状态的可靠检测。通过gps对车辆的停止状态的检测例如不仅在隧道或城市峡谷中而且常常在标准情形中失败。例如，即使车辆停止，gps位置也可能移动。通过使用imu对车辆的停止状态的检测对噪声非常敏感。车辆的小移动，诸如由雨刷、移动的乘客或移动的交通引起的移动，可以指示车辆的移动。
4.因此，对车辆的停止状态的检测必须集中于评估摄像机数据并且随后执行视觉处理。已知的可以被应用于对车辆的停止状态的光学检测的视觉处理方法是例如slam(simultaneous localization and mapping，同步定位与地图构建)中的特征点追踪或光流分析(optical flow analysis)。然而，大多数现有技术的光学方法——诸如特征点追踪或光流分析——对捕获的场景的图像的部分中的移动敏感。例如，雨水溅到挡风玻璃上、移动的交通、雨刷的移动或捕获的图像中的其他移动可能错误地指示车辆的移动。总之，已知的现有技术光学方法不允许对车辆的停止状态的鲁棒并且可靠的检测。


技术实现要素：

5.本发明要解决的问题是提供一种用于检测车辆的移动状态、特别是车辆的停止状态的方法，所述方法通过使用抵抗即使车辆真正停止也可能错误地指示所述车辆的移动的干扰影响的鲁棒的光学方法进行所述检测。
6.在独立权利要求中描述了该问题的解决方案。从属权利要求涉及本发明的进一步改进。
7.一个实施方案涉及一种用于检测车辆的移动状态、特别是车辆的停止状态的方法，即使光学数据受干扰因素影响，所述方法也允许对车辆的移动状态的可靠检测。
8.在一种用于检测车辆的移动状态的方法中，由所述车辆的摄像机捕获一个场景的多个帧。所述帧可以是连续帧。可以执行多个连续帧中的每个的至少一部分的透视变换以获得所述帧中的每个的经变换的部分。可以确定所述多个帧中的一组至少两个优选地后续(subsequent，随后的)帧的相应的经变换的部分中的像素偏移。可以评估所述多个帧中的
多组至少两个优选地后续帧中的每组的相应的像素偏移。可以基于所述多个帧中的多组至少两个优选地后续帧中的每组的相应的像素偏移的评估来确定所述车辆的移动状态。优选的是，使用后续帧，但是也可以跳过帧，例如，如果它们因外物或噪声而失真，或如果它们由于其他原因不能够被使用。
9.这样的用于检测车辆的移动/停止状态的实施方案仅需要至少一个光学传感器，即摄像机。特别地，所述方法利用可以是单目摄像机的单个摄像机来工作。
10.对所述摄像机的数据的评估不取决于捕获的图像的细节，例如可能发生局部移动的地方，而是所述方法可以评估捕获的图像/帧的全局移动。
11.可以从摄像机由前视图捕获所述帧/图像，所述帧/图像可以是连续帧/图像。所述方法可以从每个前视图图像得到几个部分。对捕获的图像/帧的每个部分执行透视变换，以更好地强调车辆移动。例如，捕获的帧/图像的每个部分从前视图变换成侧视图或鸟瞰视图变换的图片部分，在所述图片部分中比在原始的前视图图像中可以更好地检测所述车辆的移动。
12.可以使用对帧/图像的每个部分的诸如傅里叶分析/变换、结构相似性分析或联合信息熵分析的几种技术以得到两个帧之间的偏移。可以对每对捕获的帧分析两个帧之间的偏移，以获得关于所述车辆的移动状态的判断，例如以获得所述车辆是否正在停止的判断。
13.该实施方案可以分析图像的总体变化并且可以容忍捕获的图像的部分中的移动。因此，它甚至可以处理极端的场景，诸如具有暴雨或密集交通的场景。所述方法对于几乎所有种类的难以分析的场景——诸如移动的雨刷、具有繁忙的交通和恶劣的天气状况的场景——都是鲁棒的。此外，所述方法可以被应用于任何车辆，与车辆的类型无关。除了摄像机，它不需要特定的装备。此外，所述方法与使用的摄像机的类型无关。
14.在下面的详细描述中阐明了附加的特征和优点。应理解，前述的一般描述和下面的详细描述都仅仅是示例性的，并且意在提供用于理解权利要求的本质和特征的概述或框架。
附图说明
15.在下面将参考附图通过对实施方案的示例举例而不限制总体发明构思的方式描述本发明。
16.图1示出了例示了一种用于检测车辆的移动状态的方法的方法步骤的流程图；
17.图2例示了由摄像机以前视图形式捕获的一个帧/图像，其中该帧的部分将由该用于检测车辆的移动状态的方法评估；以及
18.图3例示了傅里叶分析和逆傅里叶变换的示例性结果以确定捕获的帧之间的像素偏移。
19.图4示出了具有两个阈值的一个实施方案。
20.在图1中示出了根据本发明的包括用于检测车辆的移动状态/停止状态的步骤s1-s5的第一实施方案。
21.在第一步骤s1中，由车辆的摄像机捕获一个场景的多个帧，所述多个帧可以是连续帧。根据一个实施方案，使用的摄像机可以被配置为单目摄像机。所述多个帧可以由摄像机以前视图形式捕获。
22.在步骤s2中，执行所述多个帧中的每个的至少一部分的透视变换以获得所述帧中的每个的经变换的部分。根据一个实施方案，通过透视变换将所述多个帧中的每个的部分从捕获的前视图变换成侧视图或鸟瞰视图。使用透视变换，使得与原始捕获的图像相比，经变换的图片部分允许对车辆的移动的更好检测。
23.在步骤s3中，确定所述多个帧中的一组至少两个后续帧的相应的经变换的部分中的像素偏移。根据一个实施方案，通过计算相位相关来确定像素偏移。可以通过以下方式计算相位相关：对所述多个帧中的所述组至少两个后续帧的所述相应的经变换的部分执行傅里叶分析变换，通过取经傅里叶变换的帧中的一个帧的复共轭来计算交叉功率谱(cross-power spectrum，互功率谱)，将傅里叶变换逐元素相乘，逐元素归一化此乘积，以及执行结果的逆傅里叶变换。
24.根据另一个实施方案，通过对所述多个帧中的所述组至少两个后续帧的相应的经变换的部分执行结构相似性分析或联合信息熵分析来确定像素偏移。
25.在步骤s4中，评估所述多个帧中的多组至少两个后续帧中的每组的相应的像素偏移。根据一个实施方案，通过计算所述多个帧中的多组至少两个后续帧中的每组的像素偏移的至少一个平均偏差或标准偏差来评估相应的像素偏移。
26.根据一个实施方案，限定所述多个帧中的多组至少两个后续帧中的每组的像素偏移的平均偏差和/或标准偏差的相应的阈值。如果所述多个帧中的多组至少两个后续帧中的每组的像素偏移的平均偏差和/或标准偏差超过所述多个帧中的多组至少两个后续帧中的每组的像素偏移的平均偏差和/或标准偏差的相应的阈值，它可以被进一步评估。
27.在步骤s5中，基于所述多个帧中的多组至少两个后续帧中的每组的相应的像素偏移的评估确定所述车辆的移动状态。
28.根据一个实施方案，当评估出所述多个帧中的多组至少两个后续帧中的每组的像素偏移的平均偏差和/或标准偏差在所述多个帧中的多组至少两个后续帧中的每组的像素偏移的平均偏差和/或标准偏差的相应的阈值以下时，确定所述车辆的移动状态使得，特别是，识别所述车辆的停止状态。
29.可以由所述车辆的控制单元执行各方法步骤s1至s5，所述控制单元可以被体现为处理器或控制器。
30.在下面通过图2中所示出的捕获的前视图图像/帧的一个示例解释上文所描述的方法步骤。图2中所示出的场景的帧由车辆的摄像机捕获。所述摄像机通过车辆的前窗捕获到所例示的前视图。
31.将透视变换应用于捕获的图像的左部分p1和右部分p2。透视变换的定义是通过将一个平面的点从两个不同的投影中心投影到另一个平面上来在该另一个平面上建立共线(collineation)。例如，在图2的捕获的图像的右部分p2中，以虚线示出的梯形被转换成矩形r2。从四个对应的点计算变换矩阵，并且然后变换整个梯形p2中的图像。
32.最终，在前视图的左侧的部分p1被变换成就像从所述车辆的左侧窗向外看一样的图片。捕获的图像的前视图的右侧的部分p2被变换成就像从所述车辆的右侧窗向外看一样的图片。此变换的目的是为后面的图像分析——例如后面的傅里叶分析——提供更好的数据，因为对于傅里叶分析而言摇摄图像(panned image)更容易处理。
33.在对帧中的每个执行了上文所描述的变换之后，可以在两个帧之间对相应的帧的
左和右经变换的部分执行傅里叶分析。在已经执行了傅里叶分析之后，通过取经傅里叶变换的帧中的一个帧的复共轭计算交叉功率谱，将傅里叶变换逐元素相乘，逐元素归一化此乘积，应用逆傅里叶变换。
34.作为傅里叶分析和逆傅里叶变换的结果，将获得可以从零平面12延伸的脉冲信号14，如图3的图表10中所例示的。由此脉冲信号的坐标确定两个后续帧的经变换的部分中的像素偏移。
35.确定所述多个帧中的每组/每对两个后续帧的相应的像素偏移。为了评估所述多个帧中的多组后续帧中的每组的相应的像素偏移，可以计算平均偏差和/或标准偏差。针对平均偏差和/或标准偏差中的每个，可以设置相应的阈值。如果确定的像素偏移在所述平均偏差和/或所述标准偏差的相应的阈值以下，可以检测到所述车辆的停止状态。另一方面，如果确定所述像素偏移在所述平均偏差和/或所述标准偏差的相应的阈值以上，识别所述车辆的移动状态。
36.当考虑陆上车辆时，可以从前视图图像进行光学分析。在摇摄图像的情况下，诸如由携带向下定向的摄像机的无人机捕获的图像，可能不存在对进行透视变换的任何需要。
37.关于图2，通过执行图像的左部分和右部分的透视变换解释了所述方法。必须注意，所述方法不限于所述图像的这些左部分和右部分。捕获的图像的其他部分可以被用于透视变换，诸如车辆正前方的图像的一部分可以被用于透视变换，例如以进行鸟瞰视图变换。
38.所述方法可以被应用于检测车辆的移动状态，例如自动驾驶汽车。然而，所述方法不限于被用于检测车辆的移动状态。所述方法可以被应用于具有有限的移动传感器的其他应用，其中需要由摄像机检测对象的停止状态。例如，所述方法可以被用于通过智能电话控制虚拟现实场景，或被用于控制飞行器的飞行，例如被用于控制无人机的悬停状态。
39.图4示出了一个实施方案，其中为平均值和标准偏差设置两个阈值，并且如果它小于对应的阈值设置，车辆正在停止，否则车辆正在移动。如该图中所示出的，这可以非常准确地给出结果。