用于监控自动驾驶或停车操作的系统和方法与流程

1.本发明首先涉及一种用于监控车辆的自动驾驶或停车操作的系统。其次，本发明涉及一种使用目前公开的系统监控车辆的自动驾驶或停车操作的方法。


背景技术：

2.本发明涉及用于自动驾驶车辆的已知自动驾驶员辅助系统(adas)的领域。车辆中的这种先进驾驶员辅助系统可以包括自主泊车辅助(vapa)以例如在停车场或停车楼内停车时提供全自动转向和操纵。这种系统使用比如gps(全球定位系统)或连同摄像机、激光雷达、雷达接近和超声波传感器一起的车载传感器这样的自动车辆控制装置以导航、识别有效的停车位，并且停放车辆(“停下”操纵)。车辆还能够根据用户的请求自动地将停放的车辆从停车位驾驶到指定的拾取位置(“召唤”操纵)。在召唤操纵中，车辆沿着指定的路线或距离行驶。因此，召唤操纵是一种操作，在该操作过程中车辆行驶(驾驶操作)。上述“停下”操纵更涉及一种停车操作。因此，在本文件中术语“驾驶操作”与术语“停下操纵”同义地使用，并且术语“停车操作”与术语“召唤操纵”同义地使用。
3.自动驾驶员辅助系统(adas)需要关于区域的信息，在此情况下该信息应用于为车辆绘制地图以规划用于停下和召唤操纵的路线。例如停车场或停车楼这样的区域的数字地图，可以非常简单并且只包含可行驶部分的描述，或可以更复杂，比如具有如标志、车道宽度等这样的附加属性的高清晰度地图。在大多数情况下，adas或vapa必须考虑例如停车场或停车楼的使用区域中的实际交通状况。该数字地图和该实际交通状况可能通过使用与adas或车辆连接的专用数据库来永久地更新。可替代地，或此外，该数字地图和该实际交通状况可能通过gps数据或使用连同摄像机、激光雷达、雷达接近和超声波传感器一起的车载传感器来更新。同样，与可能被其他交通参与者追踪和共享的该数字地图或该实际交通状况有关的数据可能用于这样的更新。
4.当首次使用adas或vapa时，用户可能不熟悉系统的功能。用户可能想要学习或检查系统是如何工作的。这样做的一种方法是在自动驾驶或停车操作(例如“停下”操纵或“召唤”操纵)过程中允许用户待在车辆里面。然而，在某个时间点在用户没有在车辆里面的情况下将必须执行驾驶或停车操作。为了这个目的，如果用户可以从车辆外面(特别地从车辆在用户的视线之外的位置)监控驾驶或停车操作以及在驾驶或停车操作过程中的相应车辆行为，则将是有利的。


技术实现要素：

5.因此，本发明的目的是提供一种允许用户从车辆外面监控(和观察)车辆的自动驾驶或停车操作的用户友好的系统和方法。本发明的另一目的是克服或至少减轻现有技术的缺点，或至少为用户提供方便的选择。
6.这些目的是通过在所附权利要求中定义的系统和方法来实现的。
7.根据本发明的第一方面，提供一种用于监控车辆的自动驾驶或停车操作的系统。
系统包括安装在车辆的不同位置上的多个摄像机，每一个摄像机都配置成从与摄像机的位置对应的摄像机视图捕捉驾驶或停车操作的实时视频，其中摄像机与安装在车辆中的第一通信单元信号连接。系统进一步地包括便携式电子装置，该便携式电子装置包括第二通信单元。第一通信单元配置成通过无线信号连接将捕捉到的实时视频传输到第二通信单元，其中第二通信单元配置成接收传输的实时视频。便携式电子装置配置成在驾驶或停车操作过程中以实时模式向便携式电子装置的用户显示实时视频。系统包括配置成自动地选择在便携式电子装置上向用户显示相应实时视频的摄像机视图的视图管理装置。
8.便携式电子装置可以是任何便携式计算机，例如膝上型轻便电脑、笔记本电脑、平板电脑、电话、智能手机等。原则上，由于本发明的基本构思与远程观察车辆的驾驶或停车操作有关，所以固定式计算机同样可以被用于代替便携式电子装置。
9.系统允许便携式电子装置(该便携式电子装置的第二通信单元无线地连接到车辆的第一通信单元)的用户(在自动驾驶或停车操作过程中)从车辆外部的位置在实时模式下或在实时视频中在视觉上观察车辆的自动驾驶或停车操作。安装在车辆的不同位置上的摄像机可以安装在车辆的外面或里面。每个摄像机都可以包括一个或多个镜头。同样，每个摄像机都可以由微控制器操作，微控制器与车辆的主控制单元连接。提到的“捕捉”视频的表达可以理解为向用户“显示”活动图像(由摄像机捕捉的时间分辨图像序列)。另外，术语“捕捉”可以理解为记录(和存储)该活动图像(由摄像机捕捉的时间分辨图像序列)。可以暂时地或长期地存储与该活动图像对应的数据。该数据还可以传输到外部服务器或数据库(例如云)。摄像机和第一通信单元的信号连接可以基于电缆或可以是无线信号连接。第一通信单元可以是车辆的主控制单元的一部分。第一和第二通信单元之间的无线信号连接可以基于数字信号(或数据)通信。该无线信号连接作为示例可以基于蓝牙、wlan(无线局域网)、zigbee(紫蜂)、nfc(近场通信)、wibree(超低功耗蓝牙无线技术)、wimax(全球微波互联接入)、irda(红外数据协议)、fso(无线光通信)、lifi(可见光无线通信)。该无线信号连接还可以基于第一和第二通信单元的移动互联网连接，例如基于2g(第二代手机通信技术规格)、3g(第三代移动通信技术)、4g(第四代通讯技术)、5g(第五代移动通信技术)或移动互联网连接的任何其它已知的或未来的标准的移动互联网连接。该第一和第二通信单元之间的无线连接可以是两个单元之间的直接连接(包括直接信号和数据传输)，或可以是包括一个或多个中间传输单元或服务器的间接连接。第一和第二通信单元可以被理解为是通信接口，每个通信接口都包括用于接收和传输信号和数据的专用装置(例如天线)。
10.合适的应用软件(缩写：app)可以安装在便携式电子装置上以操作通过第一和第二通信单元的无线连接传输到便携式电子装置的数据的可视化。app可以配置成在视频中或在视频旁边直接覆盖或显示特定特征/信息。
11.如上面所提到的，便携式电子装置配置成在驾驶或停车操作过程中以实时模式向便携式电子装置的用户显示该实时视频。这使用户能够通过他的智能手机观察实际的自动驾驶或停车操作，尽管用户可能位于看不到车辆的地方。因此用户可以实时且根据需要观察车辆行为和车辆附近。
12.视图管理装置可以包括硬件和软件组件，硬件和软件组件两者都是便携式电子装置或车辆的一部分。车辆和便携式电子装置的硬件和软件组件定义视图管理装置并且配置成彼此相互作用，也是可能的。硬件组件可以被理解为是计算装置。除通过视图管理装置自
动地选择摄像机视图的概率之外，视图管理装置还可以配置成用户可以手动地在不同的摄像机视图之间切换。视图管理装置可以包括算法(该算法可以基于人工智能)，该算法可以在专用软件(环境)中运行，软件安装在一个或两个该计算单元上。通过该算法执行自动选择向用户显示相应实时视频的摄像机视图。
13.当涉及上述摄像机视图的自动选择时，视图管理装置提供基于情况的视图管理系统。摄像机视图可以基于情景环境自动地改变以向用户显示最有趣的/相关的摄像机视图。当计算要向用户显示(哪个摄像机的)哪个摄像机视图时，算法可以考虑不同的标准。该标准可以与自动驾驶或停车操作本身有关，与车辆的附近(例如交通状况、交通参与者)或与用户的需求有关。
14.根据本发明的另一方面，摄像机安装在车辆的位置便于提供以下摄像机视图：车辆的前视图、车辆的后视图、车辆的左视图和车辆的右视图。为了提供每一个上述视图(前视图、后视图、左视图、右视图)，可以在车辆的相关位置上(车辆的前面、后面、左边、右边)配备单个摄像机或多个摄像机。摄像机可以安装在合适的车辆部件上。应该注意的是，根据本发明的系统可以在新制造的车辆上实施或通过改装来实施。
15.根据本发明的另一方面，可以基于由安装在车辆上的摄像机提供的实时视频和/或车辆的位置数据来获取与车辆的鸟瞰图有关的实时视频。鸟瞰图指的是从上面看车辆的图像，以观察者像鸟一样的视角。可以基于从车辆的前摄像机、后摄像机、左摄像机、和/或右摄像机提供的视频数据来计算(推断)鸟瞰图的实时视频。此外或可替代地，一个或多个摄像机可以安装在车辆车顶的顶部。(安装在车顶上的)该摄像机可以是360
°
摄像机。也可以在车辆上安装无人机。在将需要鸟瞰图的情况下，无人机可以上升(飞)到车辆上方的一定高度处并且提供鸟瞰图。
16.根据本发明的另一方面，视图管理装置配置成选择在便携式电子装置上向用户显示相应实时视频的一个或多个摄像机视图。值得注意的是视图管理装置不仅适合用于选择单个摄像机视图，而且适合用于选择同时要向用户显示的多个摄像机视图。在许多驾驶或停车操作(以及交通状况)中，几个(不同的)视图的并行观察可能是有趣的。可以以具有向用户显示的多个视频的图库格式向用户显示实时视频。图库格式可以包括作为视频马赛克的视频。
17.根据本发明的另一方面，视图管理装置配置成选择在便携式电子装置上以单摄像机视图或者除其它视图之外作为高亮摄像机视图向用户显示相应实时视频的摄像机视图。有时，例如在其它可访问的摄像机视图可能无法提供足够的与实际驾驶或停车操作有关的(或与实际交通状况有关的)信息的情况下，只向用户显示单摄像机视图可能是有利的。单摄像机视图意指只向用户显示单个实时视频的(指的是特定的)摄像机视图。高亮摄像机视图可以被理解为是一显示模式，在该显示模式下除(不是高亮的)其它摄像机视图的实时视频之外还向用户显著地显示与特定摄像机视图有关的实时视频。相对于向用户显示的其它摄像机视图的实时视频，可以放大显示与高亮摄像机视图有关的实时视频。
18.根据本发明的另一方面，视图管理装置配置成如下自动地选择单摄像机视图或高亮摄像机视图：
19.a.在车辆在直行向前的方向上或在直行倒退的方向上移动的情况下：
20.将前视图或后视图选择为单摄像机视图或高亮摄像机视图；
21.b.在车辆改变其运动方向的情况下：将指向改变的运动方向的摄像机视图选择为单摄像机视图或高亮摄像机视图；
22.c.在距车辆预定义的第一距离内检测到物体并且车辆正朝向物体移动的情况下：将指向物体的摄像机视图选择为单摄像机视图或高亮摄像机视图；
23.d.在距车辆预定义的第二距离内检测到物体并且物体正朝向车辆移动的情况下：将指向物体的摄像机视图选择为单摄像机视图或高亮摄像机视图。
24.视图管理装置可以配置成评估(或权衡)在a-d下给出的哪种情况/哪个方面在某个时间点是最相关的。根据估计(权衡)，接着决定哪个摄像机视图被选择为单摄像机视图或高亮摄像机视图。
25.当涉及a时，应该提到的是指向运动方向(直行向前、直行倒退)的摄像机可以被定义为最相关的摄像机。当发生运动方向的变化时(文字b)，摄像机视图可以改变为指向改变的运动方向的摄像机的摄像机视图。行驶电视视图可以覆盖在选定的摄像机视图的上面以指示运动的方向。
26.c的情况指向一种情况，在此情况下物体出现在车辆周围预定义的第一距离(或范围)内。物体可能是行人。系统可以包括用于确定物体和车辆之间的距离的装置。同样，系统可以包括用于确定车辆是否正朝向物体运动(例如物体和车辆之间的距离减少)的装置。上述装置可以是一个这样的摄像机或安装在车辆上的附加装置(距离测量装置)。如果满足两个标准，则选择指向物体的摄像机视图(显示为单摄像机视图或相对于其它摄像机视图的高亮摄像机视图)。该摄像机视图可以被称为“静态物体视图”。该预定义的第一距离可以自动地被确定或可以不断地适用于车辆的情景环境(例如交通状况)。
27.在情况d下，即在距车辆预定义的第二距离(预定义的第二距离大于预定义的第一距离)内检测到物体并且物体朝向车辆移动的情况下(物体和车辆之间的距离减少，这可以通过这样摄像机或专用的距离测量装置检测)，将指向物体的摄像机视图选择为单摄像机视图或高亮摄像机视图。该预定义的第二距离可以自动地被确定或可以不断地适用于车辆的情景环境(例如交通状况)。
28.根据本发明的另一方面，在情况d下，当物体离开第一摄像机的视野并且进入第二摄像机的视野时，可以切换单摄像机视图或高亮摄像机视图。因为摄像机的视野可能受到限制，移动物体可能进入不同摄像机的不同视野中。为了在视觉上跟随物体的运动，根据移动物体实际上所在的视野切换选定的摄像机，可能是必要的。可以为实时视频提供边界框以指示实际上追踪哪个移动(动态)物体。边界框可能受约束于移动物体并且可以提供为实时视频的叠加。
29.根据本发明的另一方面，视图管理装置配置成在自动地选择向用户显示的单摄像机视图或高亮摄像机视图时考虑自动驾驶或停车操作的预期运动长度，其中在预期运动长度低于给定的阈值长度的情况下，所选择的向用户显示的摄像机视图是固定的。该特征避免归因于(例如当车辆需要经历短期移动时在停车操作内)运动方向的快速变化的摄像机视图的闪烁。可以基于路径规划信息(例如gps数据)或追踪的车辆行为来预期运动长度。如果车辆运动低于给定的阈值长度，则摄像机视图不应该改变。可以自动地确定给定的阈值长度或可以通过车辆的制造商、车辆的用户等手动地定义给定的阈值长度。
30.根据本发明的另一方面，视图管理装置配置成在预计车辆的多个运动的预期运动
长度低于上述给定阈值的情况下将鸟瞰图选择为单摄像机视图或高亮摄像机视图。鸟瞰图不需要摄像机视图的快速变化，可以从车辆上方的位置观察更多的自动驾驶或停车操作(包括运动方向的多个变化)。为了帮助用户理解车辆行为(短期运动)，可以在摄像机视图的顶部投影预期的车辆最终位置和(驾驶或停车操作依赖的)预期路径。这种摄像机视图可以被称为“停车视图”。所以本发明的另一个方面实现车辆在自动驾驶或停车操作中的预期运动路径或结束位置投影到单摄像机视图或高亮摄像机视图中。
31.根据本发明的另一方面，视图管理装置配置成根据预定义的选择标准自动地选择在自动驾驶或停车操作的预定义的情况下的单摄像机视图或高亮摄像机视图，其中预定义的情况和预定义的选择标准如下：
32.a.在已经识别执行车辆的停车操作的停车位的情况下选择鸟瞰图；
33.b.在自动驾驶或停车操作的开始或结束时选择多个摄像机视图并且在多个摄像机视图之间进行切换。
34.当涉及情况a时，通常可以从鸟瞰图更好地观察停车操作。当涉及情况b时，在自动驾驶或停车操作的开始(或之前)或结束时自动切换可访问的摄像机视图或预定义的(例如前、后、左、右)摄像机视图使用户能够观察或检查车辆附近的可能妨碍驾驶或停车操作的可能物体。
35.为了根据上面给出的标准a和b来选择摄像机视图，系统可以(例如基于gps数据)考虑路径规划数据或与车辆的局部环境有关的数据。路径规划数据还可以参考当地地图。这种数据可以从外部服务器提供给车辆或便携式电子装置，使得视图管理装置可以考虑该数据。
36.可选地，在假设在驾驶或停车操作过程中车辆非常接近特定物体的情况下，可以(例如用边界框)标记(特定摄像机视图的)实时视频的一部分。
37.如先前所提到的，视图管理装置配置成基于程序(可选地基于人工智能的程序)自动地选择向用户显示的摄像机视图。
38.根据本发明的另一方面，视图管理装置配置成通过在与在便携式电子装置上向用户显示的选定的摄像机视图对应的实时视频中显示附加信息来向用户显示该附加信息，其中该附加信息优选地显示为视频叠加。该附加信息还可以通过方框或附属至物体的说明性装置或实时视频中存在的位置来显示。信息可以与预期运动路径、车辆数据、与环境有关的数据(例如室外温度)、交通标志等有关。
39.在实时视频的叠加将帮助用户更好地理解情景环境以及车辆的行为的情况下，附加情况包括(但不限于)：
[0040]-在拾取操纵结束时在停止位置的边界框；
[0041]-说明车辆要在十字路口停车的意图的停车标志；
[0042]-行驶速度；
[0043]-在拾取操纵的情况下剩余的行驶距离；
[0044]-到接近物体的距离；
[0045]-接近的动态(移动)物体的移动方向；
[0046]-关于在异常情况(部件故障、没有找到停车位等)的情况下的车辆的问题和意图的文本；
[0047]-在停车操作过程中的足迹多边形叠加(slot polygon overlay)；
[0048]-在停车操作过程中的本地路径规划者可视化叠加。
[0049]
系统可以配置成包括对在便携式电子装置的屏幕上向用户显示的实时视频的上述叠加。
[0050]
此外，在用户可以选择手动地关闭自动视图选择以及选择摄像机视图的情况下，可以在系统中执行一功能。这个特征可以在便携式电子装置上运行的app上执行。在一些摄像机视图可以是固定的(如由用户所选择)并且其它视图根据情景环境自动地改变的情况下，用户还可以混合模式。
[0051]
根据本发明的又一方面，提供一种使用先前描述的系统监控车辆的自动驾驶或停车操作的方法。方法(至少)包括以下步骤：
[0052]-捕捉驾驶或停车操作的实时视频；
[0053]-将捕捉到的实时视频传输到便携式电子装置；
[0054]-在驾驶或停车操作过程中以实时模式向便携式电子装置的用户显示实时视频。
[0055]
通过视图管理装置自动地选择在便携式电子装置上向用户显示相应实时视频的摄像机视图。选择可以参考单摄像机视图的选择(和显示)或参考高亮摄像机视图的选择(选定的摄像机视图相对于其它摄像机视图放大显示)。自动选择可以基于如先前所描述的相同的标准或情况。
[0056]
应该强调的是，系统可以包括用于执行在上面描述的任何方法步骤的专用单元或装置。
附图说明
[0057]
现在将参考附图更详细地描述本发明。在附图中：
[0058]
图1显示在根据本发明的系统和方法中使用的车辆的基本图示；
[0059]
图2显示根据本发明的系统的基本图示；
[0060]
图3显示在便携式电子装置的显示器上以单摄像机视图向用户显示实时视频的方式；
[0061]
图4显示在便携式电子装置的显示器上以高亮摄像机视图向用户显示实时视频的方式；
[0062]
图5a-d显示用于选择在便携式电子装置上要向用户显示的摄像机视图的不同的选择模式。
具体实施方式
[0063]
转向图1，显示在根据本发明的系统中使用的车辆的示意图。系统适合用于监控车辆1的自动驾驶或停车操作。车辆1(例如汽车)具有前面f、后面b以及左侧l和右侧r。多个摄像机2l、2r、2f、2b安装在车辆的不同位置上。摄像机2l安装在车辆1的左侧l，摄像机2r安装在车辆1的右侧r，摄像机2f安装在车辆1的前面f，以及摄像机2b安装在车辆1的后侧b。后面b可以同义地表达为车辆1的“后”侧。摄像机2l、2r、2f、2b的位置仅选择用于说明性目的。每一个摄像机2l、2r、2f、2b都配置成从与摄像机2l、2r、2f、2b的位置对应的摄像机视图捕捉驾驶或停车操作的实时视频。相应的摄像机视图是用视野21、22、23和24指示的，其中视野
21与摄像机2l有关，视野22与摄像机2r有关，视野23与摄像机2f有关并且视野24与摄像机2b有关。车辆包括第一通信单元11，该第一通信单元11可以是车辆1的车载计算机的一部分。摄像机2l、2r、2f、2b与第一通信单元11信号连接。
[0064]
如图2所示，根据本发明的系统包括安装在车辆1的不同位置上的多个摄像机2l、2r、2f、2b，每一个摄像机2l、2r、2f、2b都配置成从与摄像机2l、2r、2f、2b的位置对应的摄像机视图捕捉驾驶或停车操作的实时视频，其中摄像机2l、2r、2f、2b与安装在车辆1中的第一通信单元11信号连接(未示出)。
[0065]
系统进一步地包括便携式电子装置30，该便携式电子装置30包括第二通信单元12。便携式电子装置30包括显示器13。便携式电子装置30由用户5使用，其中用户5位于车辆1的外面。
[0066]
第一通信单元11配置成通过无线信号连接15将捕捉到的实时视频传输到第二通信单元12，其中第二通信单元12配置成接收传输的实时视频，并且其中便携式电子装置30配置成在驾驶或停车操作过程中以实时模式向便携式电子装置30的用户5显示实时视频。系统进一步地包括配置成自动地选择在便携式电子装置30上向用户5显示相应实时视频的摄像机视图的视图管理装置(未示出)。视图管理装置可以包括硬件和软件组件，硬件和软件组件两者都是便携式电子装置30或车辆1的一部分。车辆1和便携式电子装置30的硬件和软件组件一起提供视图管理装置并且配置成彼此相互作用，也是可能的。硬件组件可以被理解为是计算单元。除通过视图管理装置自动地选择摄像机视图的概率之外，视图管理装置可以配置成用户5可以在不同的摄像机视图之间手动地切换。视图管理装置可以包括算法(算法可以以人工智能为基础)，该算法可以在专用软件(环境)中运行，软件安装在一个或两个该计算单元上。通过该算法执行自动选择向用户5显示的相应实时视频的摄像机视图。
[0067]
如图3和4所示，视图管理装置配置成选择在便携式电子装置30上以单摄像机视图100或者除其它视图102之外作为高亮摄像机视图101向用户5显示的相应实时视频的摄像机视图。在单摄像机视图100中，在便携式电子装置30的显示器13上只显示单个实时视频。在高亮摄像机视图101中，特定摄像机视图的实时视频在与其它视图101(显示较小)的实时视频相比时可以放大显示。
[0068]
图5a-d说明(在便携式电子装置30上运行的app中提供的)不同按钮，便携式电子装置30的用户5可以启动/停用该按钮，其中按钮与不同的选择选项有关，选择选项与向用户5显示的实时视频的摄像机视图的选择有关。按钮可以以触摸敏感的方式在便携式电子装置30的显示器13上显示。在图5a-d中说明的从右到左的按钮，按钮与车辆1的右视图、左视图、后视图、前视图和鸟瞰图有关。该按钮还可以在车辆1的车载显示器上显示，使得车辆的用户5可以在离开车辆1之前预选特定的选择程序。
[0069]
图5a涉及与自动化(自动)摄像机选择有关的启动按钮(启动左按钮)。自动摄像机选择可以被选择为默认。图5b涉及摄像机选择的混合模式(启动从左边开始的第二按钮)。然而，在没有选择另一个摄像机视图的情况下只通过选择混合模式，系统经历如图5a所示的自动摄像机选择。图5c再次涉及摄像机选择的启动混合，但也启动右视图。在这种情况下，启动视图(在这种情况下右视图)在便携式电子装置30上作为单视图或高亮视图100、101向用户5显示直到视图管理装置决定存在应该向用户显示的更相关的(或关键的)视图
(例如特定的交通状况或运动)。当情况结束时，视图返回到选定的视图(在这种情况下右视图)。图5d涉及在没有自动选择按钮或启动混合选择的情况下左视图的选择。在这种情况下在便携式电子装置上只向用户5显示选定的视图。