图像处理系统和方法与流程

1.本公开内容涉及图像处理系统和方法。本发明的各方面涉及图像处理系统、车辆、图像处理方法、计算机软件和非暂态计算机可读存储介质。


背景技术：

2.从英国专利申请第gb2529408号已知，提供了用于生成挂车后面的区域的合成图像的系统和设备，该挂车被联接至牵引车辆。提供控制器以通过组合由设置在牵引车辆上的摄像装置捕获的第一图像和由设置在挂车上的摄像装置捕获的第二图像来生成合成图像。所得到的合成图像可以包括挂车的半透明表示，以帮助评估其他车辆和对象的相对位置。本发明的目的是提供对该系统和设备的改进。


技术实现要素：

3.本发明的方面和实施方式提供如所附权利要求中所要求保护的图像处理系统、车辆、图像处理方法、计算机软件和非暂态计算机可读存储介质。
4.根据本发明的一个方面，提供了一种图像处理系统，用于处理从设置在牵引车辆和被牵引车辆上的第一成像装置和第二成像装置接收的图像数据，牵引车辆和被牵引车辆通过铰接式联接装置彼此连接，图像处理系统包括一个或更多个控制器，图像处理系统包括：
5.输入端，被配置成接收：
6.来自布置在被牵引车辆上并且具有第一视场的第一成像装置的第一图像数据，第一图像数据表示在被牵引车辆后面的第一场景；
7.来自布置在牵引车辆上并且具有第二视场的第二成像装置的第二图像数据，第二图像数据表示在牵引车辆后面的第二场景；
8.处理器，被配置成：
9.确定被被牵引车辆遮挡的第二视场中的遮挡区域；
10.根据所确定的遮挡区域来确定第一视场中的感兴趣区域；以及
11.选择第一图像数据的子部分，该子部分表示所确定的感兴趣区域的至少一部分。
12.图像处理系统参考所确定的遮挡区域来确定感兴趣区域。在第一视场与第二视场之间可能存在交叠。该交叠的程度可以取决于被牵引车辆和牵引车辆的相对取向。可以确定感兴趣区域以减少或防止也包括在第二视场中的第一视场的一部分(或多个部分)的显示。至少在某些实施方式中，所确定的感兴趣区域表示第一视场的一部分，该部分在第二视场内被(被牵引车辆)遮挡或隐藏而看不见。从所确定的感兴趣区域内选择第一图像数据的子部分。
13.可以根据遮挡区域的大小和/或位置来选择感兴趣区域。可以根据遮挡区域的宽度(即，遮挡区域的横向尺寸)来选择感兴趣区域。可以根据遮挡区域的高度(即，遮挡区域的竖向尺寸)来选择感兴趣区域。
14.可以参考原点或参考点对遮挡区域进行建模。遮挡区域可以以二维或三维建模。处理器可以被配置成在参考平面例如水平面中对遮挡区域进行建模。该模型可以例如通过确定遮挡区域的界限或边界的角坐标来表示遮挡区域的角投影。
15.图像处理系统可以包括被配置成输出第一图像数据的所选择的子部分的输出。所选择的子部分可以被输出以进行独立地显示，例如在专用显示窗口中或在专用显示器上。可替选地，第一图像数据的所选择的子部分可以用于生成合成图像。可以将合成图像输出至显示器。
16.确定感兴趣区域，其识别遮挡区域内包含的第一视场的区域。至少在某些实施方式中，所确定的感兴趣区域可以完全包含在遮挡区域内。第一图像数据的所选择的子部分可以排他地与第一视场的如下区域相关，该区域被遮挡而不能在第二视场中看见。
17.处理器可以被配置成例如相对于预定义的原点确定遮挡区域的角范围。遮挡区域可以具有至少一个侧边界。处理器可以被配置成根据遮挡区域侧边界或每个遮挡区域侧边界来确定感兴趣区域。感兴趣区域可以完全位于遮挡区域的侧边界内。
18.处理器可以被配置成识别感兴趣区域的一个或更多个侧边界和/或遮挡区域的一个或更多个侧边界。
19.处理器可以被配置成将感兴趣区域确定成使得感兴趣区域侧边界或每个感兴趣区域侧边界基本上平行于所述至少一个遮挡区域侧边界中的对应一个侧边界延伸，或者基本上与所述至少一个遮挡区域侧边界中的对应一个侧边界重合。可替选地，处理器可以被配置成将感兴趣区域确定成使得感兴趣区域侧边界或每个感兴趣区域侧边界朝向所述至少一个遮挡区域侧边界中的对应一个侧边界会聚在预定距离处。该距离可以例如参考参考点例如原点来限定。该距离可能是无穷大。
20.在某些实施方式中，可以例如根据牵引车辆的参考速度来缩放感兴趣区域的内角。在该实现方式中，视场和感兴趣区域的侧边界可以基本上不彼此平行。感兴趣区域可以被确定成使得感兴趣区域和遮挡区域的中心线基本上彼此平行，即便侧边界不平行亦如此。
21.处理器可以被配置成确定感兴趣区域和/或遮挡区域的侧边界或每个侧边界的角坐标。处理器可以被配置成将感兴趣区域确定成使得每个感兴趣区域角坐标基本上等于相应的边界区域角坐标。可以相对于第一(极)轴线来限定感兴趣区域角坐标。第一轴线可以例如是被牵引车辆的纵向轴线。可以相对于第二(极)轴线来限定遮挡区域角坐标。第二轴线可以例如是牵引车辆的纵向轴线。
22.处理器可以被配置成确定遮挡区域的内角。处理器可以将感兴趣区域确定使得感兴趣区域的内角至少基本上等于遮挡区域内角。
23.处理器可以被配置成识别遮挡区域和/或感兴趣区域的中心线。处理器可以被配置成确定感兴趣区域，使得感兴趣区域中心线基本上平行于遮挡区域中心线。当铰接角为非零时，感兴趣区域中心线和遮挡区域中心线彼此平行且偏移。
24.输入端可以被配置成接收指示被牵引车辆与牵引车辆之间的铰接角的铰接角信号。处理器可以被配置成根据铰接角来确定遮挡区域。
25.处理器可以被配置成访问包括以下各项中的一项或更多项的车辆数据文件：挂车宽度；挂车长度；联接偏移(coupling offset)；牵引联接偏移(tow coupling offset)。处
理器可以根据车辆数据文件来确定遮挡区域。处理器可以例如使用铰接角和存储在车辆数据文件中的一个或更多个尺寸来确定遮挡区域。
26.输入端可以被配置成接收铰接角，该铰接角指示被牵引车辆相对于牵引车辆的当前角度取向；处理器被配置成根据该铰接角来确定遮挡区域。
27.可以例如使用布置在铰接式联接装置上的旋转传感器来测量铰接角。可替选地或另外地，可以处理第二图像数据以确定铰接角。可以在被牵引车辆上设置目标以促进识别。目标可以包括一个或更多个图形元素，并且处理器可以通过重新确定所述一个或更多个图形元素的相对位置和/或形状来确定铰接角。可替选地或另外地，可以分析第二图像数据以确定被牵引车辆的一个或更多个特征以确定铰接角。例如，被牵引车辆的一个或更多个特征可以包括联接构件或联接框架(例如，a框架)。处理器可以被配置成分析第二图像数据以确定铰接角。可替选地，单独的处理器可以执行分析。
28.根据本发明的一个方面，提供了一种用于通过铰接式联接装置联接至被牵引车辆的牵引车辆的图像处理系统，图像处理系统包括一个或更多个控制器，图像处理系统包括：
29.输入端，被配置成接收：
30.来自与合成图像生成系统相关联的第二成像装置的第一图像数据；
31.来自与合成图像生成系统相关联的第一成像装置的第二图像数据；
32.与车辆
‑
挂车组合的挂车的一个或更多个特性相关的挂车信息；
33.处理器，被配置成：
34.根据挂车信息确定第二成像装置的遮挡区域，其中，遮挡区域是包括挂车的第二成像装置的视场的区域；
35.选择性地组合第一图像数据和第二图像数据以生成合成图像数据；以及
36.输出端，被配置成：
37.将合成图像数据输出至另一车辆系统。
38.处理器可以被配置成处理第二图像数据以确定第一场景内的被牵引车辆的轮廓的至少一部分，以确定遮挡区域。
39.处理器可以被配置成根据遮挡区域的大小和/或位置来确定感兴趣区域。
40.根据本发明的另一方面，提供了一种包括如本文中所描述的图像处理系统的车辆。
41.根据本发明的另一方面，提供了一种用于通过铰接式联接装置联接至被牵引车辆的牵引车辆的图像处理方法，图像处理方法包括：
42.从布置在被牵引车辆上并且具有第一视场的第一成像装置接收第一图像数据，第一图像数据表示在被牵引车辆后面的第一场景；
43.从布置在牵引车辆上并且具有第二视场的第二成像装置接收第二图像数据，第二图像数据表示在牵引车辆后面的第二场景；
44.确定被被牵引车辆遮挡的第二视场中的遮挡区域；
45.根据所确定的遮挡区域来确定第一视场中的感兴趣区域；以及
46.选择表示所确定的感兴趣区域的至少一部分的第一图像数据的子部分。
47.感兴趣区域可以包含在遮挡区域内。至少在某些实施方式中，感兴趣区域可以完全包含在遮挡区域内。
48.该方法可以包括识别感兴趣区域的一个或更多个侧边界和/或遮挡区域的一个或更多个侧边界。
49.该方法可以包括将感兴趣区域确定成使得感兴趣区域侧边界或每个感兴趣区域侧边界基本上平行于所述至少一个遮挡区域侧边界中的对应一个侧边界延伸，或者基本上与所述至少一个遮挡区域侧边界中的对应一个侧边界重合。
50.该方法可以包括将感兴趣区域确定成使得感兴趣区域侧边界或每个感兴趣区域侧边界朝向所述至少一个遮挡区域侧边界中的对应一个侧边界会聚于预定位置处。
51.该方法可以包括确定遮挡区域的内角。该方法可以包括将感兴趣区域确定成使得感兴趣区域的内角至少基本上等于遮挡区域内角。
52.该方法可以包括识别遮挡区域的中心线。该方法可以包括将感兴趣区域确定成使得感兴趣区域的中心线基本上平行于遮挡区域中心线。当铰接角为非零时，感兴趣区域中心线和遮挡区域中心线可以彼此平行并且可以彼此偏移。当铰接角为零时，感兴趣区域中心线和遮挡区域中心线可以彼此重合。
53.该方法可以包括确定被牵引车辆相对于牵引车辆的铰接角。可以根据铰接角来确定遮挡区域。
54.该方法可以包括处理第二图像数据来确定第一场景内的被牵引车辆的轮廓的至少一部分以确定遮挡区域。
55.根据本发明的另一方面，提供了一种计算机软件，该计算机软件当被执行时被布置成执行本文中所描述的方法。
56.根据本发明的另一方面，提供了一种存储有指令的非暂态计算机可读存储介质，所述指令在由一个或更多个电子处理器执行时，使所述一个或更多个电子处理器执行本文中所描述的方法。
57.在本技术的范围内，明确地旨在可以独立地或以任何组合采用在前述段落中、权利要求中和/或下面的描述和附图中阐述的各个方面、实施方式、示例和替选方案，并且特别是其各个特征。即，所有实施方式和/或任何实施方式的特征可以以任何方式和/或组合进行组合，除非这些特征不可兼容。申请人保留改变任何原始提交的权利要求或相应地提交任何新的权利要求的权利，包括将任何原始提交的权利要求修改成从属于任何其他权利要求和/或并入任何其他权利要求的任何特征的权利，尽管最初没有以该方式要求保护。
附图说明
58.现在将参照附图仅通过示例的方式描述本发明的一个或更多个实施方式，在附图中：
59.图1示出了根据本发明的实施方式的设置在牵引车辆和被牵引车辆中的图像处理系统的示意性表示；
60.图2示出了包括控制器的牵引车辆的示意性表示，该控制器用于实现图1中所示的图像处理系统；
61.图3示出了处于第一铰接配置的牵引车辆和被牵引车辆的示意性表示；
62.图4a示出了由设置在被牵引车辆中的成像装置捕获的被牵引车辆图像；
63.图4b示出了由设置在牵引车辆中的成像装置捕获的牵引车辆图像；
64.图5示出了根据本发明的实施方式的图像处理系统的控制器的示意性表示；
65.图6a示出了被修改为包括与被牵引车辆的前表面的一部分相符的窗口的被牵引车辆图像；
66.图6b示出了包括修改后的图4a所示的被牵引车辆图像与图4b所示的被牵引车辆图像的一部分的合成图像；
67.图7示出了由牵引车辆成像装置捕获的图像内的遮挡区域的确定；
68.图8示出了取决于被牵引车辆摄像装置和牵引车辆摄像装置的取向的隐藏区域和交叠区域的形成；以及
69.图9示出了在遮挡区域内选择感兴趣的区域以生成合成图像；以及
70.图10示出了表示图像处理系统的操作的框图。
具体实施方式
71.现在将参照附图描述根据本发明的实施方式的图像处理系统1。本实施方式中的图像处理系统1被配置成将被牵引车辆图像img1的至少一部分与牵引车辆图像img2的至少一部分组合以形成合成图像img3。
72.图像处理系统1适于用于与被牵引车辆v1联接的牵引车辆v2。在本实施方式中，牵引车辆v2和被牵引车辆v1通过铰接式联接装置5相互连接。被牵引车辆v1包括联接框架6，联接框架6连接至牵引车辆v2上安装的牵引球7以形成铰接式联接装置5。本实施方式中的联接框架6包括a
‑
框架。考虑联接框架6的其他构造。在图1中示出牵引车辆v2和被牵引车辆v1的示意表示。本实施方式中的牵引车辆v2为汽车。考虑牵引车辆v2的其他类型例如多功能车辆、运动型多功能车、拖拉机、卡车等。本实施方式中的被牵引车辆v1为挂车。被牵引车辆v1具有第一纵向轴线xv1；以及牵引车辆v2具有第二纵向轴线xv2。在图2中示出牵引车辆v2的示意性表示。
73.铰接式联接装置5使得牵引车辆v2和被牵引车辆v1能够相对于彼此枢转。因此，第一纵向轴线xv1和第二纵向轴线xv2可以相对于彼此以铰接角θ倾斜。枢转移动主要地(但不是完全地)在图1中图纸平面内的水平面内进行。在本实施方式中，提供铰接传感器8用于测量铰接角θ。铰接传感器8可以例如包括旋转光学轮。铰接传感器8输出包括铰接角θ的铰接角信号sart。铰接角θ是相对于牵引车辆v2的第二纵向轴线xv2测量的。铰接角θ通常小于90
°
(即，
‑
90
°
<θ<90
°
)。通过示例的方式，在图3中以第一铰接配置示出被牵引车辆v1和牵引车辆v2。在本实施方式中，当被牵引车辆v1相对于牵引车辆v2沿顺时针方向旋转时(从上面的平面高度观察时)，铰接角θ是正变量( ve)；而当被牵引车辆v1相对于牵引车辆v2沿逆时针方向旋转时(从上面的平面高度观察时)，铰接角θ是负变量(
‑
ve)。可以采用其他技术来确定铰接角θ。
74.第一成像装置c1被设置在被牵引车辆v1上并且沿面向后方的方向定向。第一成像装置c1被居中地安装在被牵引车辆v1的后部，例如安装在后部牌照(未示出)上方。第一成像装置c1包括被牵引车辆摄像装置c1。被牵引车辆摄像装置c1具有与第一纵向轴线xv1基本上平行的光轴。被牵引车辆摄像装置c1具有包括第一视场fov1的第一截头锥体，该第一视场fov1包含被牵引车辆v1的后方的区域。在使用中，被牵引车辆摄像装置c1生成与被牵引车辆图像img1对应的被牵引车辆图像数据dimg1。被牵引车辆图像img1包括由被牵引车
辆摄像装置c1捕获的从被牵引车辆v1面向后方的场景。例如，被牵引车辆图像img1可以包括被牵引车辆v1后面的路段的图像。被牵引车辆图像img1可以包括一个或更多个感兴趣对象o
‑
n。感兴趣对象o
‑
n可以例如包括在被牵引车辆v1后面行驶以及/或者从被牵引车辆v1横向偏移的一个或更多个其他车辆。被牵引车辆摄像装置c1输出包括与被牵引车辆图像img1对应的所述被牵引车辆图像数据dimg1的第一信号sin1。通过示例的方式，在图4a中示出被牵引车辆图像img1。
75.第二成像装置c2被设置在牵引车辆v2上并且沿面向后方的方向定向。第二成像装置c2被居中地安装在牵引车辆v2的后部，例如安装在后部牌照(未示出)上方。第二成像装置c2包括牵引车辆摄像装置c2。牵引车辆摄像装置c2具有与第二纵向轴线xv2基本上平行的光轴。牵引车辆摄像装置c2具有包括第二视场fov2的第二截头锥体，该第二视场fov2包含牵引车辆v2后方的区域。在使用中，牵引车辆摄像装置c2生成与牵引车辆图像img2对应的牵引车辆图像数据dimg2。牵引车辆图像img2包括由牵引车辆摄像装置c2捕获的从牵引车辆v2面向后方的场景。例如，牵引车辆图像img2可以包括被牵引车辆v1的前部的至少一部分以及被牵引车辆v1周围的一些环境(例如，到被牵引车辆v1的侧面和/或上方和/或下方)。牵引车辆摄像装置c2输出包括与牵引车辆图像img2对应的所述牵引车辆图像数据dimg2的第二信号sin2。通过示例的方式，在图4b中示出牵引车辆图像img2。如图4b所示，被牵引车辆v1在牵引车辆图像img2中是可见的，并且部分遮挡了第二视场fov2。
76.被牵引车辆摄像装置c1和牵引车辆摄像装置c2是数字视频摄像装置。被牵引车辆摄像装置c1可操作成每秒捕获多个被牵引车辆图像帧。牵引车辆摄像装置c2可操作成每秒捕获多个牵引车辆图像帧。被牵引车辆摄像装置c1和牵引车辆摄像装置c2各自具有视角为约180
°
的广角镜头。视角可以小于或大于180
°
。被牵引车辆摄像装置c1和/或牵引车辆摄像装置c2可以各自呈单目摄像装置或立体摄像装置的形式。当被牵引车辆v1联接至牵引车辆v2时，被牵引车辆摄像装置c1可以用作倒车摄像装置以提供停车辅助。当被牵引车辆v1未联接至牵引车辆v2时，牵引车辆摄像装置c2可以用作倒车摄像装置以提供停车辅助。被牵引车辆摄像装置c1和牵引车辆摄像装置c2被布置在地平面以上大约相同的竖直高度处。在替选的布置中，牵引车辆摄像装置c2和被牵引车辆摄像装置c1可以沿竖直方向和/或横向方向彼此偏移。可以应用修正以允许被牵引车辆摄像装置c1与牵引车辆摄像装置c2之间的任何竖直偏移。替选地或另外地，可以应用校正来校正被牵引车辆摄像装置c1与牵引车辆摄像装置c2之间的角度偏移。
77.图像处理系统1包括一个或更多个控制器10。控制器10与第一成像装置c1和第二成像装置c2通信。图像处理系统1被配置成接收来自第一成像装置c1的被牵引车辆图像数据dimg1和来自第二成像装置c2的牵引车辆图像数据dimg2。控制器10可以被配置成例如参考应用于每个图像帧的时间戳数据来使第一图像数据dimg1和牵引车辆图像数据dimg2同步。控制器10将被牵引车辆图像数据dimg1的至少一部分和牵引车辆图像数据dimg2的至少一部分合成以生成表示合成图像img3的合成图像数据dimg3。将包括合成图像数据dimg3的输出信号sout1输出以显示合成图像img3。
78.在本实施方式中，控制器10被设置在牵引车辆v2中。在变型中，控制器10可以被设置在被牵引车辆v1中，或者可以由设置在被牵引车辆v1和/或牵引车辆v2上的单独的控制器10来执行处理。应当理解，该控制器或每个控制器10可以包括具有一个或更多个电子处
理器(例如，微处理器、微控制器、专用集成电路(asic)等)的控制单元或计算装置，并且可以包括单个控制单元或计算装置，或者替选地，该控制器或每个控制器10的不同功能可以体现在或托管在不同的控制单元或计算装置中。如本文中所使用的，术语“控制器”、“控制单元”或“计算装置”将被理解为包括单个控制器、控制单元或计算装置，以及共同操作以提供所需的控制功能的多个控制器、控制单元或计算装置。可以提供指令集，该指令集在被执行时使控制器10实现本文中描述的控制技术(包括本文中描述的方法所需的功能中的一些或全部功能)。该指令集可以嵌入在控制器10的所述一个或更多个电子处理器中；或者替选地，该指令集可以作为要在控制器10中执行的软件来提供。第一控制器或控制单元可以在一个或更多个处理器上运行的软件中实现。一个或更多个其他控制器或控制单元可以在一个或更多个处理器、可选地与第一控制器或控制单元在相同的一个或更多个处理器上运行的软件中实现。其他布置也是有用的。
79.如图5所示，控制器或每个控制器10包括至少一个电子处理器12，该至少一个电子处理器12具有：用于从被牵引车辆摄像装置c1和牵引车辆摄像装置c2接收一个或更多个输入信号的一个或更多个电输入14；以及用于输出输出信号sout1的一个或更多个电输出16。该控制器或每个控制器10还包括至少一个存储器装置18，该至少一个存储器装置18电耦接至至少一个电子处理器12并且具有存储在其中的指令20。至少一个电子处理器12被配置成访问至少一个存储器装置18并在该至少一个电子处理器12上执行指令20以执行本文中描述的方法。
80.该电子处理器或每个电子处理器12可以包括被配置成执行电子指令的任何合适的电子处理器(例如，微处理器、微控制器、asic等)。电子存储器装置或每个电子存储器装置18可以包括任何合适的存储器装置并且可以在其中或其上存储各种数据、信息、阈值、查找表或其他数据结构和/或指令。在实施方式中，存储器装置18具有存储在其中或其上的用于软件、固件、程序、算法、脚本、应用等的信息和指令，其可以管理本文中描述的方法的全部或部分。处理器或每个电子处理器12可以访问存储器装置18并且执行和/或使用那个或那些指令和信息来实施或执行本文中描述的功能和方法中的一些或全部。
81.至少一个存储器装置18可以包括计算机可读存储介质(例如，非暂态或非暂时性存储介质)，该计算机可读存储介质可以包括用于以机器或电子处理器/计算装置可读的形式存储信息的任何机构，包括但不限于：磁存储介质(例如，软盘)；光存储介质(例如，cd
‑
rom)；磁光存储介质；只读存储器(rom)；随机存取存储器(ram)；可擦除可编程存储器(例如，eprom和eeprom)；闪速存储器；或用于存储这样的信息/指令的电或其他类型的介质。
82.包括被牵引车辆图像数据dimg1的第一信号sin1经由一个或更多个输入14被输入至控制器10。控制器10与被牵引车辆摄像装置c1之间的连接可以是有线连接(例如，包括被牵引车辆v1与牵引车辆v2之间的电连接)。然而，在本实施方式中，在控制器10与被牵引车辆摄像装置c1之间建立无线连接。被牵引车辆摄像装置c1连接至发送器22，该发送器22被配置成将被牵引车辆图像数据dimg1作为射频(rf)第一信号sin1发送至设置在牵引车辆v2中的接收器24。接收器24连接至控制器10的一个或更多个输入14。将包括牵引车辆图像数据dimg2的第二信号sin2经由一个或更多个输入14输入至控制器10。控制器10与牵引车辆摄像装置c2之间的连接是有线连接。例如，牵引车辆摄像装置c2可以通过车辆通信网络26例如can总线连接至控制器10。在使用中，将被牵引车辆图像数据dimg1和牵引车辆图像数
据dimg2输入至控制器10。牵引车辆v2包括显示屏28(如图2所示)，在该显示屏28上可以选择性地显示被牵引车辆图像img1、牵引车辆图像img2(分别从被牵引车辆摄像装置c1和牵引车辆摄像装置c2接收的)和合成图像img3。
83.控制器10被配置成将被牵引车辆图像img1的至少一部分与牵引车辆图像img2的至少一部分组合以生成合成图像img3。控制器10被配置成分析牵引车辆图像img2以识别被牵引车辆v1的外周p1。如图4b所示，外周p1表示从牵引车辆摄像装置c2的视点看的被牵引车辆v1的外部可视边界(或外边缘)。控制器10可以通过计算牵引车辆图像img2的两个帧或更多个帧之间的像素的光流矢量来识别外周p1。跨牵引车辆图像img2计算光流矢量的幅度的梯度。该梯度在被牵引车辆v1的外周p1处最大，在该处，与牵引车辆图像img2的与被牵引车辆v1有关(并且具有相对低的移动)的区域相关联的像素被设置成接近或相邻于与牵引车辆图像img2的与背景有关(并且具有相对高的移动)的区域相关联的像素。可以使用其他技术来识别被牵引车辆v1的外周p1。例如，可以基于限定被牵引车辆v1的存储的几何数据来对外周p1进行预定义或建模。如图6a所示，在识别的外周p1内限定窗口w1。在本实施方式中，窗口w1为矩形，但是可以有用地采用其他形状。如图6b所示，将第一图像img1的子部分显示在窗口w1中以形成合成图像img3。
84.如上所述，被牵引车辆v1被捕获在牵引车辆图像img2中。被牵引车辆v1遮挡了牵引车辆v2后面的场景的区域并且妨碍了后部可视性。由被牵引车辆v1遮挡的第二视场fov2的区域在本文中被称为遮挡区域obr。在图3中示出了遮挡区域obr。应当理解，遮挡区域obr的大小、轮廓和位置取决于牵引车辆摄像装置c2的位置并且也取决于铰接角θ。遮挡区域obr包括第一截头锥体of
‑
1。第一截头锥体是三维体并且包括遮挡区域中心线obrcl。第一截头锥体具有在本实施方式中近似为矩形的横截面(垂直于遮挡区域中心线obrcl)。例如，第一截头锥体of
‑
1可以包括向外远离牵引车辆摄像装置c2扩展的截头圆锥或棱锥。可以参考牵引车辆图像img2内的被牵引车辆v1的轮廓来估计第一截头锥体of
‑
1的形状。例如，可以参考从牵引车辆图像img2中提取的牵引车辆v1的外周p1来对遮挡区域obr进行建模。遮挡区域中心线obrcl表示从牵引车辆摄像装置v2延伸穿过由外周p1界定的区域的几何中心的轴线。
85.如图7所示，控制器10被配置成参考原点o对遮挡区域obr进行建模。可以以二维或三维方式对遮挡区域obr进行建模。本实施方式中的控制器10被配置成在参考平面内以二维方式对遮挡区域obr进行建模。本实施方式中的参考平面是水平平面(与图7的图纸的平面重合)。该简化模型中的遮挡区域obr包括截头三角形。在变型中，控制器10可以以三维方式对遮挡区域obr进行建模，例如作为截头圆锥或棱锥。控制器10被配置成确定牵引车辆图像img2内的遮挡区域obr的角度范围和角度取向。控制器10识别遮挡区域obr的第一遮挡区域侧边界obb
‑
1和第二遮挡区域侧边界obb
‑
2。第一遮挡区域侧边界obb
‑
1和第二遮挡区域侧边界obb
‑
2表示牵引车辆图像img2中的遮挡区域obr的第一界限和第二界限。换言之，当在牵引车辆图像img2内观看时，第一遮挡区域侧边界obb
‑
1和第二遮挡区域侧边界obb
‑
2对应于被牵引车辆v1的第一侧和第二侧。在本实施方式中，第一遮挡区域侧边界obb
‑
1的角位置和第二遮挡区域侧边界obb
‑
2的角位置由相应的第一遮挡区域角坐标λ1和第二遮挡区域角坐标λ2(相对于水平平面中的第二纵向轴线xv2测量的)来限定。遮挡区域内角β(在第一遮挡区域侧边界obb
‑
1与第二遮挡区域侧边界obb
‑
2之间测量的)限定了遮挡区域obr的角
度范围。遮挡区域中心线obrcl将遮挡区域obr二等分。遮挡区域中心线角坐标λ限定了遮挡区域中心线obrcl在水平平面内相对于第二纵向轴线vx2的取向。在本实施方式中，遮挡区域中心线角坐标λ限定了遮挡区域中心线obrcl相对于第二成像装置c2的光轴的取向。遮挡区域中心线角坐标λ通过以下式来确定：
[0086][0087]
被牵引车辆摄像装置c1和牵引车辆摄像装置c2的相对位置和原点取决于被牵引车辆v1和牵引车辆v2相对于彼此的取向。本实施方式中的控制器10被配置成对被牵引车辆v1和牵引车辆v2进行建模，以确定被牵引车辆摄像装置c1相对于牵引车辆摄像装置c2的位置和/或取向。相对于原点o确定被牵引车辆摄像装置c1和牵引车辆摄像装置c2的位置。原点o的位置是预定义的，并且在本实施方式中被限定为在牵引车辆v2的后部处的第二纵向轴线xv2上的固定点。原点o可以可选地与牵引车辆摄像装置c1重合。控制器10访问存储在存储器装置18上的车辆数据集。车辆数据集可以是预定义的。车辆数据集包括：
[0088]
1.牵引车辆摄像装置偏移v
off
，其限定了牵引车辆摄像装置c2从原点o起沿第二纵向轴线xv2的偏移。
[0089]
2.牵引球偏移b
off
，其限定了牵引球7从原点o起沿第二纵向轴线xv2的偏移。
[0090]
3.联接框架长度a
l
，其限定了联接框架6沿第一纵向轴线xv1的长度。
[0091]
4.被牵引车辆宽度t
w
，其限定了垂直于第一纵向轴线xv1测量的被牵引车辆v1的宽度。
[0092]
可以针对特定的牵引车辆v2限定牵引车辆摄像装置偏移v
off
和牵引球偏移b
off
。例如，用户可以从包括用于多个不同类型的被牵引车辆v1的预定义参数的数据库中选择特定牵引车辆v2。替选地或另外地，用于特定被牵引车辆v1的参数可以由用户输入或者从服务器或计算装置下载。被牵引车辆v1的尺寸可以例如通过对被牵引车辆v1的动态行为的分析和/或使用图像处理技术分析牵引车辆图像img2来从其他源得出。
[0093]
控制器10根据车辆数据集和测量的铰接角θ对遮挡区域obr进行建模。例如，控制器10可以对第一遮挡区域侧边界obb
‑
1和第二遮挡区域侧边界obb
‑
2以及遮挡区域中心线obrcl进行建模。由此，控制器10可以确定第一遮挡区域角坐标λ1和第二遮挡区域角坐标λ2以及遮挡区域中心线角坐标λ。替选地或另外地，遮挡区域obr和/或第一遮挡区域侧边界obb
‑
1和第二遮挡区域侧边界obb
‑
2可以从牵引车辆图像img2的处理中得出。例如，第一遮挡区域侧边界obb
‑
1和第二遮挡区域侧边界obb
‑
2可以根据从牵引车辆v2提取的外周p1来近似。
[0094]
由于被牵引车辆摄像装置c1与牵引车辆摄像装置c2之间的纵向偏移，因此在被牵引车辆图像img1和牵引车辆图像img2内出现一个或更多个隐藏区域cr
‑
n。在图8中示出了隐藏区域cr
‑
1的形成，其中被牵引车辆摄像装置c1的视场fov1被旋转成使得第一光轴平行于第二纵向轴线xv2延伸。位于隐藏区域cr
‑
n中的感兴趣对象可以在被牵引车辆图像img1和牵引车辆图像img2中被隐蔽或遮挡而看不见。如图8所示，第一隐藏区域cr
‑
1形成在被牵引车辆v1的远离牵引车辆摄像装置c2的第一侧上。第二隐藏区域(未示出)可以形成在被牵引车辆v1的靠近牵引车辆摄像装置c2的第二侧上。将理解的是，每个隐藏区域cr
‑
n的大小和范围取决于被牵引车辆v1的铰接角θ。当形成合成图像img3时，隐藏区域cr
‑
n的形成可能
证明是有问题的。特别地，可能在被牵引车辆图像img1或牵引车辆图像img2中位于隐藏区域cr
‑
1内的感兴趣对象是不可见的(或者可能仅部分可见)。在某些情况下，感兴趣对象在所得到的合成图像img3中可能不可见。
[0095]
如图8所示，第一视场fov1和第二视场fov2可能彼此交叠，从而形成一个或更多个交叠区域ov
‑
n。第一交叠区域ov
‑
1可能形成在被牵引车辆v1的第一侧上。替选地或另外地，第二交叠区域(未示出)可能形成在被牵引车辆v1的第二侧上。将理解的是，该交叠区域或每个交叠区域ov
‑
n的大小和范围取决于被牵引车辆v1的铰接角θ。位于交叠区域ov
‑
n中的感兴趣对象可能存在于被牵引车辆图像img1和牵引车辆图像img2两者中。当形成合成图像img3时，交叠区域ov
‑
n的形成可能证明是有问题的。当将被牵引车辆图像img1和牵引车辆图像img2组合时，位于交叠区域ov
‑
n内的在被牵引车辆图像img1和牵引车辆图像img2两者中都可见的感兴趣对象可能重复。在某些情况下，所得到的合成图像img3可能包括感兴趣对象的副本。
[0096]
控制器10被配置成通过从被牵引车辆图像img1内确定感兴趣区域aoi来解决以上问题。感兴趣区域aoi是包含在遮挡区域obr内的观看区域。可以选择并且输出与感兴趣区域aoi对应的第一图像数据dimg1的子部分。可以例如在单独的显示窗口中或在单独的显示器上独立地显示感兴趣区域aoi。在本实施方式中，感兴趣区域aoi与牵引车辆图像img2组合以形成合成图像img3。感兴趣区域aoi是被牵引车辆图像img1的的子部分，其被呈现为牵引车辆图像img2之上的半透明图像，使得牵引车辆图像img2中存在的被牵引车辆v1的特征保持可见。所得到的合成图像img3可以提供视觉信息，否则该视觉信息在牵引车辆图像img2内会因被牵引车辆v1的存在被隐蔽或隐藏而看不见。现在将描述感兴趣区域aoi的选择。
[0097]
感兴趣区域aoi表示第一视场fov1的完全位于遮挡区域obr内的一部分。选择感兴趣区域aoi以使每个隐藏区域cr
‑
n的大小和/或每个交叠区域ov
‑
n的大小减小或最小化。感兴趣区域aoi以遮挡区域obr为边界。在三维中，感兴趣区域aoi将形成例如包括截头圆锥或棱锥的截头锥体，其向外远离被牵引车辆摄像装置c1扩展。在本实施方式中，控制器10以二维方式对感兴趣区域aoi进行建模。因此，感兴趣区域aoi包括具有以第一遮挡区域侧边界obb
‑
1和第二遮挡区域侧边界obb
‑
2为边界的边的截头三角形。感兴趣区域aoi具有感兴趣区域中心线aoicl。控制器10被配置成确定感兴趣区域中心线aoicl相对于第一纵向轴线xv1的角坐标α。感兴趣区域aoi具有表示感兴趣区域aoi在水平平面中的视场的内角感兴趣区域aoi的内角小于被牵引车辆摄像装置c1在水平平面中的视场fov1。在三维模型中，可以确定感兴趣区域中心线aoicl的倾斜角和垂直角范围以将感兴趣区域aoi限定为三维截头锥体。
[0098]
感兴趣区域中心线aoicl的角坐标α限定了感兴趣区域中心线aoicl相对于第一纵向轴线xv1的取向。在本实施方式中，以二维方式对感兴趣区域aoi进行建模并且仅在水平平面(xy平面)中限定感兴趣区域中心线aoicl的取向。根据被牵引车辆v1的铰接角θ动态地计算感兴趣区域中心线角坐标α。感兴趣区域中心线角坐标α限定了感兴趣区域aoi绕被牵引车辆摄像装置c1的光轴的有效旋转角。感兴趣区域中心线角坐标α在沿逆时针方向旋转时为正变量( ve)，并且在沿顺时针方向旋转时为负变量(
‑
ve)。现在将描述感兴趣区域aoi
的感兴趣区域中心线角坐标α和内角的计算。
[0099]
控制器10访问存储在存储器装置18中的车辆数据集并且接收包括铰接角θ的铰接信号sart。感兴趣区域中心线角坐标α使用以下式来计算：
[0100]
α＝θ
‑
β
‑
λ1
[0101]
其中，
[0102]
θ是测量的铰接角；
[0103]
β是遮挡区域内角；以及
[0104]
λ1是第一遮挡区域角坐标。
[0105]
第一变量β使用以下式来计算：
[0106][0107]
其中，
[0108][0109][0110][0111]
第二变量λ使用以下式来计算：
[0112][0113]
如图9所示，计算感兴趣区域中心线角坐标α，使得感兴趣区域中心线aoicl基本上平行于遮挡区域中心线obrcl延伸。当被牵引车辆v1与牵引车辆v2对准时(即铰接角θ为零)，遮挡区域中心线obrl和感兴趣区域中心线aoicl基本上彼此重合。当被牵引车辆v1和牵引车辆v2以相对于彼此的角倾斜(即铰接角θ为非零)时，遮挡区域中心线obrcl和感兴趣区域中心线aoicl彼此平行(并且彼此偏移)。
[0114]
控制器10还确定表示感兴趣区域aoi在水平平面中的视场的感兴趣区域内角控制器10可以确定第一感兴趣区域角坐标和第二感兴趣区域角坐标第一感兴趣区域角坐标和第二感兴趣区域角坐标限定感兴趣区域aoi的第一侧边界aoib
‑
1和第二侧边界aoib
‑
2相对于第一纵向轴线xv1的角取向。在本实施方式中，感兴趣区域内角被设置成基本上等于遮挡区域内角β。控制器10根据所确定的感兴趣区域aoi来选择第一图像数据dimg1的子部分。该选择过程可以包括裁剪与所确定的感兴趣区域aoi对应的第一图像img3的第一侧和/或第二侧。
[0115]
如图9所示，控制器10选择感兴趣区域aoi以防止在第一视场fov1与第二视场fov2之间形成任何交叠区域ov
‑
n(或者减小交叠区域ov
‑
n的大小)。从第一视场fov1内选择的感
兴趣区域aoi完全包含在第二视场fov2的遮挡区域obr内。因此，降低了图像元素在合成图像img3内为重复的风险。此外，控制器10选择感兴趣区域aoi以使在第一视场fov1与第二视场fov2之间的隐藏区域cr
‑
n的大小减小或最小化。如图9所示，该隐藏区域或每个隐藏区域cr
‑
n的宽度基本上恒定。在变型中，感兴趣区域内角可以大于遮挡区域内角β，使得一个或更多个隐藏区域cr
‑
n的宽度减小。例如，感兴趣区域内角可以被限定成使得一个或更多个隐藏区域cr
‑
n的宽度在预限定位置处(例如，在距原点o的预限定距离例如无穷远处)减小至零。
[0116]
现在将参照图10中所示的流程图100来描述图像处理系统1的操作。控制器10分别从被牵引车辆摄像装置c1和牵引车辆摄像装置c2接收第一图像数据dimg1和牵引车辆图像数据dimg2(块110)。控制器10对被牵引车辆v1和牵引车辆v2进行建模以确定遮挡区域obr(块120)。控制器10识别遮挡区域obr的侧边界和中心线(块130)。控制器10根据遮挡区域obr确定感兴趣区域aoi(块140)。选择表示所确定的感兴趣区域aoi的第一图像数据img1的子部分(块140)。第一图像数据img1的子部分与牵引车辆图像数据dimg2组合以生成合成图像数据dimg3(块150)。将合成图像数据dimg3输出至显示器(块160)。
[0117]
已经描述了包括至少一个电子处理器12的示例控制器10，该至少一个电子处理器12被配置成执行存储在至少一个存储器装置18中的电子指令，所述电子指令在被执行时使电子处理器12执行本文中描述的方法。然而，可设想的是，本发明不限于通过可编程处理装置来实现，并且本发明的功能和/或方法步骤中的至少一些以及在一些实施方式中全部可以等同地通过非可编程硬件来实现，例如通过非可编程asic、布尔(boolean)逻辑电路等来实现。
[0118]
本文中描述的本发明的实施方式包括第一成像装置c1和牵引车辆成像装置c2。应当理解，本发明的各方面可以被并入包括多于两个成像装置c1、c2的系统中。尽管第一成像装置c1和牵引车辆成像装置c2已经被描述为设置在单独的车辆v1、v2上，但是应当理解，第一成像装置c1和牵引车辆成像装置c2可以设置在同一车辆v1、v2上。
[0119]
本文中描述的成像装置c1、c2各自均包括数字摄像装置。摄像装置可以是例如在可见光或不可见光光谱中操作的光学摄像装置。替选地或另外地，成像装置c1、c2可以包括其他类型的传感器。例如，成像装置c1、c2可以包括以下中的一个或更多个：超声传感器、激光雷达传感器和雷达传感器。
[0120]
在本文中将控制器10描述为生成合成图像img3，该合成图像img3由被牵引车辆图像img1和牵引车辆图像img2中的每一个的至少一部分组成。在变型中，从被牵引车辆图像img1中选择的子部分aoi可以被独立地显示。例如，感兴趣区域aoi可以被显示在单独的查看窗口中或在单独的显示器上。
[0121]
应当理解，在不脱离本技术的范围的情况下，可以对本发明进行各种改变和修改。
[0122]
在变型中，可以通过对被牵引车辆图像img1进行处理来确定铰接角θ，以确定被牵引车辆v1的相对取向。例如，控制器10可以处理牵引车辆图像img2，以确定设置在被牵引车辆v1的前面上的一个或更多个目标(未示出)的相对位置和/或大小。
[0123]
在以下编号的项中规定了本发明的各方面：
[0124]
1.一种用于对图像数据进行处理的图像处理系统，从牵引车辆和被牵引车辆上设置的第一成像装置和第二成像装置接收所述图像数据，所述牵引车辆和所述被牵引车辆通
过铰接式联接装置彼此连接，所述图像处理系统包括一个或更多个控制器，所述图像处理系统包括：
[0125]
输入端，所述输入端被配置成接收：
[0126]
来自设置在所述被牵引车辆上并具有第一视场的第一成像装置的第一图像数据，所述第一图像数据表示所述被牵引车辆后的第一场景；
[0127]
来自设置在所述牵引车辆上并具有第二视场的第二成像装置的第二图像数据，所述第二图像数据表示所述牵引车辆后的第二场景；
[0128]
处理器，所述处理器被配置成：
[0129]
确定所述第二视场中由所述被牵引车辆遮挡的遮挡区域；
[0130]
根据所确定的遮挡区域确定所述第一视场中的感兴趣区域；以及选择所述第一图像数据的表示所确定的感兴趣区域的至少一部分的子部分。
[0131]
2.根据项1所述的图像处理系统，其中，所述处理器被配置成确定所述遮挡区域内要包含的所述感兴趣区域。
[0132]
3.根据项1或项2所述的图像处理系统，其中，所述处理器被配置成：
[0133]
识别所述感兴趣区域的一个或更多个侧边界以及/或者所述遮挡区域的一个或更多个侧边界。
[0134]
4.根据项3所述的图像处理系统，其中，所述处理器被配置成将所述感兴趣区域确定成使得所述感兴趣区域侧边界或每个感兴趣区域侧边界大体平行于所述至少一个遮挡区域侧边界中的相应遮挡区域侧边界延伸或者与所述至少一个遮挡区域侧边界中的相应遮挡区域侧边界大体重合。
[0135]
5.根据项3所述的图像处理系统，其中，所述处理器被配置成将所述感兴趣区域确定成使得所述感兴趣区域侧边界或每个感兴趣区域侧边界朝向所述至少一个遮挡区域侧边界中的相应遮挡区域侧边界会聚于预定距离处。
[0136]
6.根据前述项中任一项所述的图像处理系统，其中，所述处理器被配置成：
[0137]
确定所述遮挡区域的内角；以及
[0138]
确定所述感兴趣区域，使得所述感兴趣区域的内角至少大体等于所述遮挡区域的内角。
[0139]
7.根据前述项中任一项所述的图像处理系统，其中，所述遮挡区域具有遮挡区域中心线并且所述感兴趣区域具有感兴趣区域中心线；所述处理器被配置成将所述感兴趣区域确定成使得所述感兴趣区域中心线大体平行于所述遮挡区域中心线。
[0140]
8.根据前述项中任一项所述的图像处理系统，其中，所述输入端被配置成接收指示所述被牵引车辆与所述牵引车辆之间的铰接角的铰接角信号；并且所述处理器被配置成根据所述铰接角确定所述遮挡区域。
[0141]
9.根据前述项中任一项所述的图像处理系统，其中，所述处理器被配置成访问车辆数据文件，所述车辆数据文件包括以下中的一者或更多者：挂车宽度；挂车长度；联接偏移；牵引联接偏移。
[0142]
10.根据前述项中任一项所述的图像处理系统，其中，所述输入端被配置成接收指示所述被牵引车辆相对于所述牵引车辆的当前角度取向的铰接角；所述处理器被配置成根据该铰接角确定所述遮挡区域。
[0143]
11.根据前述项中任一项所述的图像处理系统，其中，所述处理器被配置成处理所述第二图像数据，以确定所述第一场景内的所述被牵引车辆的轮廓的至少一部分从而确定所述遮挡区域。
[0144]
12.一种车辆，包括根据前述项中任一项所述的图像处理系统。
[0145]
13.一种用于牵引车辆的图像处理方法，所述牵引车辆通过铰接式联接装置联接至被牵引车辆，所述图像处理方法包括：
[0146]
从设置在所述被牵引车辆上并具有第一视场的第一成像装置接收第一图像数据，所述第一图像数据表示所述被牵引车辆后的第一场景；
[0147]
从设置在所述牵引车辆上并具有第二视场的第二成像装置接收第二图像数据，所述第二图像数据表示所述牵引车辆后的第二场景；
[0148]
确定所述第二视场中由所述被牵引车辆遮挡的遮挡区域；
[0149]
根据所确定的遮挡区域确定所述第一视场中的感兴趣区域；以及
[0150]
选择所述第一图像数据的表示所确定的感兴趣区域的至少一部分的子部分。
[0151]
14.根据项13所述的图像处理方法，其中，所述感兴趣区域包含在所述遮挡区域内。
[0152]
15.根据项13或项14所述的图像处理方法，其中，所述方法包括：
[0153]
识别所述感兴趣区域的一个或更多个侧边界以及/或者所述遮挡区域的一个或更多个侧边界。
[0154]
16.根据项15所述的图像处理方法，其中，所述方法包括：
[0155]
将所述感兴趣区域确定成使得所述感兴趣区域侧边界或每个感兴趣区域侧边界大体平行于所述至少一个遮挡区域侧边界中的相应遮挡区域侧边界延伸或者与所述至少一个遮挡区域侧边界中的相应遮挡区域侧边界大体重合。
[0156]
17.根据项15所述的图像处理方法，其中，所述方法包括：
[0157]
将所述感兴趣区域确定成使得所述感兴趣区域侧边界或每个感兴趣区域侧边界朝向所述至少一个遮挡区域侧边界中的相应遮挡区域侧边界会聚于预定距离处。
[0158]
18.根据项13至项17中任一项所述的图像处理方法，其中，所述方法包括：
[0159]
确定所述遮挡区域的内角；以及
[0160]
确定所述感兴趣区域，使得所述感兴趣区域的内角至少大体等于所述遮挡区域内角。
[0161]
19.根据项13至项18中任一项所述的图像处理方法，其中，所述方法包括：
[0162]
识别遮挡区域中心线；以及
[0163]
确定所述感兴趣区域，使得所述感兴趣区域的中心线大体平行于所述遮挡区域中心线。
[0164]
20.根据项13至项19中任一项所述的图像处理方法，其中，所述方法包括确定所述被牵引车辆相对于所述牵引车辆的铰接角；以及根据所述铰接角确定所述遮挡区域。
[0165]
21.根据项13至项20中任一项所述的图像处理方法，其中，所述方法包括处理所述第二图像数据，以确定所述第一场景内的所述被牵引车辆的轮廓的至少一部分从而确定所述遮挡区域。
[0166]
22.一种计算机软件，其被布置成在被运行时执行根据项13至项21中任一项所述
的方法。
[0167]
23.一种存储有指令的非暂态计算机可读存储介质，所述指令当由一个或更多个电子处理器执行时使所述一个或更多个电子处理器实施根据项13至项21中任一项所述的方法。