基于图像的拖车轴距确定的制作方法

1.本公开涉及用于商用卡车的摄像头后视镜系统(cms)，特别是涉及使用cms确定拖车轴距(wheelbase)长度的系统和方法。


背景技术：

2.后视镜置换系统和用于补充后视镜视角的摄像头系统用于商用车辆以增强车辆操作者查看周围环境的能力。摄像头后视镜系统(cms)利用一个或多个摄像头为车辆操作者提供增强的视场。在一些例子中，后视镜置换系统覆盖了比传统后视镜更大的视场，或者包括不能完全通过传统后视镜获得的视角。
3.在某些操作中，例如拖车倒车操作、了解真实拖车角度和其他拖车特征位置可以证明对自动化和半自动化车辆系统的性能特别有益。虽然存在纯粹基于牵引车的拖车角度定位系统(即，用于确定拖车和牵引车之间的相对拖车角度的系统)，但许多这样的系统依赖于或以其他方式利用拖车的特定长度。连接不同长度的拖车(例如，当系统预期10m拖车时连接5m拖车)可能会导致系统内的确定结果不精确或不准确，这又导致依赖于确定结果的车辆系统的性能降低。
4.在一个特定例子中，当使用不准确的拖车长度时，依赖于拖车长度的运动学模型会出现偏差。


技术实现要素：

5.一种用于确定拖车的拖车检测参数的示例性方法包括：在控制器处接收来自至少一个摄像头的图像，所述至少一个摄像头限定了包括车辆拖车的至少一部分的视场；确定车辆拖车相对于牵引车的拖车角度；识别拖车的图像中的至少一个特征；确定从该至少一个特征到图像上的预定位置的二维距离；以及至少部分地基于所确定的角度将二维距离转换为三维距离，其中三维距离是拖车的拖车检测参数。
6.在上述用于确定拖车的拖车检测参数的方法的另一个例子中，所确定的拖车角度在20到70度的范围内。
7.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，拖车检测参数是轴距长度并且至少一个特征是至少一个车轮。
8.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，至少一个车轮包括第一车轮和第二车轮，并且从至少一个车轮到图像上的预定位置的二维距离是从第一车轮和第二车轮之间的中点到图像上的预定位置的距离。
9.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，至少一个车轮是单个车轮，并且从至少一个车轮到图像上的预定位置的二维距离是从车轮的中点到图像上的预定位置的距离。
10.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，拖车检测参数是从联结点(hitch point)到拖车的后边缘的拖车长度，并且至少一个特征是设置在拖车
的后边缘处的特征。
11.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，设置在拖车的后边缘处的特征是拖车的底部拐角。
12.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，至少部分地基于所确定的角度将二维距离转换为三维距离包括使用转换函数使二维距离与所确定的角度相互参照。
13.任何上述用于确定拖车的拖车检测参数的方法的另一个例子还包括在20到70度的范围内的多个拖车角度上重复所述方法，并将确定的每个三维轴距长度存储在存储器中。
14.任何上述用于确定拖车的拖车检测参数的方法的另一个例子还包括使用中通滤波器对存储的三维轴距长度进行滤波。
15.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，存储器将中通滤波器的输出存储为确定的轴距长度。
16.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，识别拖车的图像中的至少一个车轮包括使用存储在控制器中的基于图像的对象检测系统识别至少一个车轮。
17.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，控制器是车辆控制单元和摄像头后视镜系统控制器中的一种。
18.在任何上述用于确定拖车的拖车检测参数的方法的另一个例子中，视场是ii级视角和iv级视角中的一种视角。
19.在一个示例性实施方式中，一种用于车辆的摄像头后视镜系统包括：至少一个摄像头，其限定了包括拖车的至少一部分的视场；控制器，其包括处理器和存储器，该存储器存储被配置为在对象检测系统内识别至少一个车轮的基于图像的对象检测模块、被配置为确定相对于牵引车的拖车角度的拖车角度模块以及被配置为基于拖车角度和从至少一个摄像头接收的图像确定拖车轴距长度的拖车检测参数确定模块。
20.在上述用于车辆的摄像头后视镜系统的另一个例子中，视场是ii级视角和vi级视角中的一种视角。
21.在任何上述用于车辆的摄像头后视镜系统的另一个例子中，拖车检测参数确定模块包括指令，该指令被配置为使处理器确定从至少一个拖车参数到图像上的预定位置的二维距离并至少部分地基于所确定的角度将二维距离转换为三维距离，其中三维距离是拖车的轴距长度。
22.在任何上述用于车辆的摄像头后视镜系统的另一个例子中，将二维距离转换为三维距离包括在转换函数中使与图像对应的所确定的拖车角度与二维距离相互参照。
23.在任何上述用于车辆的摄像头后视镜系统的另一个例子中，所确定的三维距离被存储在所确定的三维距离的存储器列表中。
24.在任何上述用于车辆的摄像头后视镜系统的另一个例子中，控制器还存储滤波模块，该滤波模块被配置为对所确定的三维距离的存储器列表进行滤波。
25.在任何上述用于车辆的摄像头后视镜系统的另一个例子中，滤波模块是中通滤波器。
26.在一个示例性实施方式中，车辆控制器包括：图像输入端，其被配置为接收来自至少一个摄像头的图像；处理器和存储器，该存储器存储被配置为识别接收到的图像内的至少一个特征的基于图像的对象检测模块、被配置为确定相对于牵引车的拖车角度的拖车角度模块以及被配置为基于拖车角度和从至少一个摄像头接收的图像确定拖车检测参数的拖车检测参数确定模块。
27.在上述车辆控制器的另一个例子中，拖车检测参数确定模块包括指令，该指令被配置为使处理器确定从至少一个特征到图像上的预定位置的二维距离，并通过在转换函数中使与图像对应的确定的拖车角度与二维距离相互参照，至少部分地基于所确定的角度将二维距离转换为三维距离，其中三维距离是拖车的轴距长度。
28.在上述车辆控制器的另一个例子中，存储器还包括滤波模块，该滤波模块被配置为使用中通滤波器对所确定的三维距离的存储器列表进行滤波。
附图说明
29.通过参照以下结合附图考虑时的详细描述，可以进一步理解本公开，在附图中：
30.图1a是具有用于至少提供ii级视角和iv级视角的摄像头后视镜系统(cms)的商用卡车的示意性前视图。
31.图1b是具有提供ii级、iv级、v级和vi级视角的摄像头后视镜系统的商用卡车的示意性俯视图。
32.图2是包括显示器和内部摄像头的车厢的示意性俯视立体图。
33.图3示意性示出了在转弯操作期间的车辆，其中牵引车和拖车处于预定角度。
34.图4示意性示出了用于基于包含拖车的图像来确定轴距长度的过程。
35.前述段落、权利要求或以下描述和附图的实施方式、例子和替代方式，包括它们的各个方面或各自的单独特征中的任何一个，可以独立地或以任何组合来采用。结合一个实施方式描述的特征适用于所有实施方式，除非这些特征不兼容。
具体实施方式
36.商用车辆10的示意图在图1a和图1b中示出。车辆10包括用于牵引拖车14的车辆驾驶室或牵引车12。虽然在本公开中设想了商用卡车，但本发明也可以应用于其他类型的车辆。车辆10结合有摄像头后视镜系统(cms)15(图2)，其具有安装到车辆驾驶室12外部的驾驶员侧和乘客侧摄像头臂16a、16b。如果需要，摄像头臂16a、16b也可以包括与它们集成在一起的常规的后视镜，尽管cms 15可用于完全替代后视镜。在另外的例子中，每一侧可以包括多个摄像头臂16，每个臂16容纳一个或多个摄像头和/或后视镜。
37.摄像头臂16a、16b中的每一个包括固定到例如驾驶室12上的基座。枢转臂由基座支撑并且可以相对于其铰接。在摄像头臂内相应地设置至少一个朝后的摄像头20a、20b。外部摄像头20a、20b分别提供外部视场fov
ex1
、fov
ex2
，外部视场fov
ex1
、fov
ex2
各自包括ii级视角和iv级视角中的至少一种视角(图1b)，ii级视角和iv级视角是商业货运行业中的法律规定的视角。车辆10的给定侧的ii级视角是车辆10的同一侧的iv级视角的子集。如果需要，也可以在每个摄像头臂16a、16b中使用多个摄像头以提供这些视角。每个臂16a、16b还可以提供封装电子设备的壳体，电子设备被配置为提供cms 15的各种特征。
38.在车辆驾驶室12内的驾驶员侧和乘客侧中的每一侧，在a柱19a、19b上或附近设置有第一视频显示器18a和第二视频显示器18b，以在车辆10的相应侧显示ii级视角和iv级视角，这些视角提供了由外部摄像头20a、20b捕获的沿着车辆10的朝后的侧视角。
39.如果还需要v级视角和vi级视角的视频，则可以在车辆10的前部处或附近设置摄像头壳体16c和摄像头20c以提供这些视角(图1b)。在驾驶室12内靠近挡风玻璃的顶部中心设置的第三显示器18c可用于向驾驶员显示朝向车辆10前方的v级视角和vi级视角。
40.如果需要viii级视角的视频，可以在车辆10的侧面和后部设置摄像头壳体，以提供包括车辆10的一些或所有viii级区域的视场。在这样的例子中，第三显示器18c可以包括显示viii级视角的一个或多个框架。替代地，可以在第一显示器18a、第二显示器18b和第三显示器18c附近添加附加显示器，该附加显示器提供专用于提供viii级视角的显示器。
41.具体参照图1b，拖车14通过联结装置102联结到牵引车12。拖车14包括一组车轮112、114以及距该组车轮的中心点116的距离120，并且联结装置102被称为拖车14的轴距。类似地，从拖车的联结点到拖车的后边缘的长度被称为拖车长度。给定的牵引车12可以连接至多个不同的拖车14，不同的拖车14具有不同的潜在轴距长度和不同的潜在拖车长度。在一些例子中，轴距长度可以在5m(16.4英尺)到15m(49.2英尺)之间的范围内，但是可以在不显著改变车辆10配置的情况下实施替代长度。拖车长度可以存在类似的范围。
42.某些车辆操作使用默认的轴距长度假设作为输入参数。举例来说，半自动后视镜平移系统、用于自动和/或半自动驾驶员辅助系统的运动学模型以及类似的车辆系统可以利用轴距长度来辅助它们的操作。虽然默认的轴距假设可以为某些系统提供可接受的输入参数，但可以理解，由车辆ecu执行的某些系统(例如，基于运动学模型的半自动驾驶员辅助系统)以及在摄像头后视镜系统本身内部本地执行的某些系统(例如，自动摇摄系统(automatic panning system))可以受益于对拖车14的实际轴距的更准确的确定。
43.继续参照图1a、图1b和图2，图3示意性示出了在转弯操作期间的车辆10，其中牵引车12和拖车14处于预定角度范围内的角度102。在转弯操作期间，拖车12的摄像头臂16包括的一个或多个摄像头捕获包括拖车14、车轮112、114以及车辆10的其他部分的视场202。视场202可以是上述任何级视角，或者是由安装到摄像头臂16或类似位置的另一个(或多个)摄像头提供的视角。
44.与摄像头连接的控制器104接收视场202并且对接收到的图像进行基于图像的分析。控制器104可以是设置在摄像头臂16中的摄像头后视镜系统控制器、设置在拖车12中的通用车辆控制器或通信地连接至摄像头臂16中的(多个)摄像头的任何其他控制器。
45.在控制器104内包含基于图像的对象检测系统。基于图像的对象检测型系统使用软件来分析接收到的图像并识别图像中的一个或多个对象。对象检测系统可以是包括基于规则的、基于机器学习的或任何其他已知的对象检测方法的任何已知的对象检测。可识别的对象集合中包括拖车14的后部车轮112、114。
46.控制器104中还包括拖车检测参数确定软件模块。如本文所用，拖车检测参数是指指示包括从联结点到拖车的后边缘的长度的拖车长度(即拖车长度)和从联结点到拖车的后部车轮的长度(即轴距长度)的参数。在一个例子中，拖车检测参数确定软件模块被配置为根据图4所示的过程300利用识别的车轮112、114的位置来确定拖车14的轴距长度。最初，过程300在识别拖车车轮步骤310中使用对象检测系统识别图像内的拖车14的每个车轮的
位置。对象检测系统识别车轮组110中的前部车轮112和后部车轮114，以及前部车轮112和后部车轮114之间的中点116。
47.然后，过程300在“确定2d轴距”步骤320中确定从中点116到视场的边缘处的预定位置118的二维距离。预定位置118是基于车辆拖车12在视场202的边缘处的预期位置来选择的，并且可以取决于拖车角度。在替代例子中，预定位置可以是已知与联结点相关的图像内的任何其他位置。如本文所用，二维距离是指在图像本身内的中点116和预定位置118之间的测量距离。在一个例子中，测量距离是中点116和预定位置118之间的像素数。可以理解，二维距离与轴距长度120不同。然而，二维距离120基于拖车角度102与轴距长度相关。通过在车辆处于预定角度范围内(例如，在20到70度之间)时确定二维长度，控制器104可以利用测量的二维长度和所确定的角度的已知相关性在“将2d轴距转换为3d轴距”步骤330中使用转换函数来准确地确定车辆的轴距长度。
48.在一个例子中，转换函数使用包括多个查找表的软件模块来确定最适合的三维轴距长度。查找表提供了在角度范围内定义二维图像中的像素数量(2d长度)到3d距离的映射，其中第一轴是2d长度，第二轴是对应的3d距离。每个查找表对应于一个拖车角度范围，并在拖车角度在该范围内时使用。当二维长度120落在查找表上的两个断点之间时，控制器104内的软件模块可以选择可能的三维轴距的平均值或者选择最接近确定值的轴距。
49.在另一个例子中，可以使用拖车角度和二维轴距作为输入将角度和二维轴距之间的相关性转换为最佳拟合回归公式，并且控制器104使用该公式来确定正确的输出。
50.通过在多个不同角度下多次执行轴距确定并使用中值滤波器对原始确定的三维轴距进行滤波，去除噪声和错误确定，并确定准确的三维轴距。准确的三维轴距由控制器104存储并且可以提供给需要三维轴距或将受益于三维轴距的任何车辆系统。
51.在又一个例子中，拖车检测参数确定软件模块可以使用基本相同的过程来确定拖车长度而不是轴距长度。拖车长度确定采用拖车的后部特征的识别代替后部车轮的识别。在一个例子中，拖车的后部特征是拖车的底部拐角。
52.尽管已经公开了示例实施方式，但是本领域普通技术人员将认识到某些修改将落入权利要求的范围内。因此，应研究所附的权利要求来确定其真实范围和内容。