周边图像生成装置和显示控制方法与流程

1.本公开内容涉及用于显示位于车身下方的路面的图像的显示控制方法和周边图像生成装置。


背景技术：

2.(与jp 2016-197785 a相对应的)us 2018/111553 a1公开了用于显示位于车辆下方的路面的图像的技术。通过使用在车辆向前行驶时获取的前摄像机的图像，将路面图像与另一摄像机图像合成。由于以这种方式示出车身下方的路面的合成图像是其中车身底部被透射的图像，因此在下文中也将其称为底置透明图像(underfloor transparent image)。
3.jp 3797343 b2公开了其中在示出车辆周边的鸟瞰视角图像中用框线示出车辆存在的范围的配置。


技术实现要素：

4.us 2018/111553 a1没有公开其中指示车辆的范围的车辆边界线叠加在底置透明图像上的配置。在这样的配置中，用户即使通过观看底置透明图像也难以识别车身存在于何处。如果用户错误地识别了车身的存在范围，则车辆将与障碍物接触的可能性增大。
5.响应于这样的困难，还假设其中显示与jp 3797343 b2的车辆边界线相对应的框线的配置。然而，在底置透射图像中，可以叠加各种线，例如指示轮胎的存在范围的轮胎边界线以及指示根据转向角的车辆的预测轨迹的引导线。当简单地将框布置为底置透射图像上的车辆边界线时，可能难以将车辆边界线与其他显示线区分开来。因此，用户仍然难以识别车辆存在的范围。
6.鉴于上述困难，本公开内容的目的是提供一种能够显示其中用户可以容易地识别车身的存在范围的底置透明图像的显示控制方法和周边图像生成装置。
7.根据本公开内容的一方面，一种用于车辆的周边图像生成装置，包括图像获取单元、图像存储单元和合成图像生成单元。图像获取单元获取从多个摄像机获得的多个摄像机图像，所述多个摄像机中的每个摄像机拍摄车辆的周边。图像存储单元存储行驶方向摄像机图像，该行驶方向摄像机图像是包括在所述多个摄像机图像中并且至少在车辆的行驶方向上捕获的图像的一部分或全部。合成图像生成单元基于所述多个摄像机图像和行驶方向摄像机图像来生成底置透明图像，底置透明图像是透射车辆的底部的合成图像。合成图像生成单元生成图像作为底置透明图像，在所生成的图像中，，指示车身范围的边界的车辆边界线被叠加在示出位于车辆下方的地面的一部分或全部的图像上，并且具有预定图案的装饰被添加至车辆边界线。
8.根据上述配置，显示添加了具有预定图案的装饰的车辆边界线。由于通过装饰突出了车辆边界线，因此用户可以容易地识别车身存在的范围。
9.根据本公开内容的另一方面，一种显示控制方法，控制用于支持车辆驾驶操作的
图像的显示。该显示控制方法包括：获取从多个摄像机获得的多个摄像机图像，所述多个摄像机中的每个摄像机拍摄车辆的周边；存储包括在所述多个摄像机图像中并且在车辆的行驶方向上捕获的行驶方向摄像机图像；以及基于所述多个摄像机图像和行驶方向摄像机图像来生成作为透射车辆的底部的合成图像的底置透明图像。底置透明图像是如下图像：其中，指示车身范围的边界的车辆边界线被叠加在示出位于车辆下方的地面的一部分或全部的图像上，并且具有预定图案的装饰被添加至车辆边界线。
10.根据上述配置，可以获得与周边图像生成装置的效果类似的效果。
附图说明
11.本发明的以上和其他目的、特征和优点将根据参照附图做出的以下具体实施方式而变得更明显。在附图中：
12.图1是示出周边显示系统的整体配置的框图；
13.图2是示出每个摄像机2的安装位置和捕获范围的示例的图；
14.图3是示出每个声呐8的安装位置和捕获范围的示例的图；
15.图4是示出图像生成ecu 1的功能的框图；
16.图5是示出虚拟视点vp的图；
17.图6是示出投影表面ts的图；
18.图7是示出用于生成底置透明图像的图像数据的图；
19.图8是示出底置透明图像的示例的图；
20.图9是图8中的由虚线围绕的区域的放大视图；
21.图10是示出装饰图像ef的示意图；
22.图11是示出添加至车辆边界线lvc的装饰图像ef的图；
23.图12是示出图像生成ecu 1的操作流程的流程图；
24.图13是示出显示图像dp的配置示例的图；
25.图14是示出装饰图像ef的修改示例的图；
26.图15是示出装饰图像ef的修改示例的图；
27.图16是示出底置透明图像的示例的图；
28.图17是图16中的由虚线围绕的区域的放大视图；
29.图18是示出装饰图像ef的修改示例的图；
30.图19是示出装饰图像ef的修改示例的图；
31.图20是示出装饰图像ef的修改示例的图；
32.图21是示出装饰图像ef的修改示例的图；
33.图22是示出其中根据车辆的移动状态来改变装饰图像ef的显示的控制模式的示例的图；以及
34.图23是示出虚拟视点vp的另一设置示例的图。
具体实施方式
35.在下文中，将参照附图描述根据本公开内容的周边显示系统sys的实施方式。周边显示系统sys在显示器上显示配备有该系统的车辆的周边图像。在下文中，配备有周边显示
系统sys的车辆v也将被称为主题车辆(subject vehicle)。
36.本实施方式的主题车辆例如是四轮驱动车辆，其被假设为不仅在路面铺有沥青等的道路上(即，道路上)行驶，而且还越野行驶，并且具有正常模式和越野模式作为驾驶模式。正常模式是适合道路上的驾驶模式，并且越野模式是适合越野的驾驶模式。每种驾驶模式都具有控制驱动力向前轮、后轮、左轮、右轮的分配的不同的方法。此处的越野主要是指具有较大的不规则性的地面例如岩石路。当然，越野也可以理解为道路以外的地面，即未维护的地面。本公开内容也可以应用于不期望越野行驶的车辆。主题车辆可以是其驱动源是发动机的车辆，或者可以是具有马达作为驱动源的电动车辆或混合动力车辆。
37.在下面的说明中，前后、左右和上下中的每个方向都是参照主题车辆定义的。具体地，前后方向与主题车辆的纵向方向相对应。左右方向与主题车辆的宽度方向相对应。上下方向与主题车辆的高度方向相对应。从另一个视点来看，上下方向对应于与平行于前后方向和左右方向的平面垂直的方向。在本公开内容中，垂直于高度方向的平面也被称为车辆水平面。此外，垂直于高度方向并且包括前后方向和左右方向的方向也被称为车辆的水平方向。车辆的水平方向与离开主题车辆的方向相对应。
38.另外，本公开内容中的“平行”不限于完全平行的状态。例如，“平行”可以倾斜大约20度。即，术语“平行”包括基本平行的状态。本公开内容中的表述“竖直”不限于完全竖直的状态，而是可以倾斜大约20度。
39.(整体配置的说明)
40.图1是示出根据本公开内容的周边显示系统sys的示意性配置的示例的图。如图1所示，周边显示系统sys包括图像生成ecu 1、多个摄像机2、显示器3、触摸面板4、操作按钮5、车辆状态传感器6、声呐ecu 7和多个声呐8。每个名称中的ecu是电子控制单元的缩写。
41.图像生成ecu 1可通信地连接至多个摄像机2、显示器3、触摸面板4、操作按钮5、车辆状态传感器6和声呐ecu 7中的每一个。多个声呐8连接至声呐ecu 7。上述各种装置或传感器和图像生成ecu 1可以单独通过专用线路连接，或者可以经由作为构建在车辆中的通信网络的车载网络连接。例如，摄像机2和图像生成ecu 1可以通过专用视频信号线路直接连接。
42.图像生成ecu 1基于从每个摄像机2输入的图像数据生成从任意视点观看的车辆周边区域的合成图像，作为用于支持车辆v的驾驶操作的图像，并且将生成的图像显示在显示器3上。图像生成ecu 1对应于周边图像生成装置。图像生成ecu 1通过使用计算机来实现。即，图像生成ecu 1包括处理单元11、ram 12、存储装置13、i/o 14、连接这些配置的总线等。
43.处理单元11是与ram 12相结合的用于运算处理的硬件(换句话说，运算核)。处理单元11例如是cpu。处理单元11访问ram 12以执行用于提供相应功能块的功能的各种处理。ram 12是易失性存储介质。
44.存储装置13包括非易失性存储介质，例如闪存。存储装置13存储作为固件的图像生成程序pg和各种绘图数据，以用于合成图像生成单元f7生成合成图像。绘图数据包括指示投影表面ts的形状的数据(这将在后面描述)、主题车辆的外观的3d模型的数据、主题车辆的预定部件的3d模型的数据等。针对其准备3d模型数据的部件的示例包括轮胎、方向盘、仪表面板、柱和车身面板。处理单元11对图像生成程序pg的执行与显示控制方法的执行相
对应，该显示控制方法是与图像生成程序pg相对应的方法。i/o 14是用于与另一装置通信的电路模块。i/o 14可以通过使用模拟电路元件、ic等来实现。稍后将描述图像生成ecu 1的细节。
45.摄像机2是捕获主题车辆的周围环境并将捕获的图像的数据输出到图像生成ecu 1的车载摄像机。每个摄像机2至少包括镜头和图像传感器，并且电子地获取示出主题车辆的周边的图像。多个摄像机2中的每个摄像机以预定的姿态附接至主题车辆的预定位置，以便彼此捕获不同的范围。如图2所示，本实施方式的周边显示系统sys包括前摄像机2f、后摄像机2b、左侧摄像机2l和右侧摄像机2r作为摄像机2。这四个摄像机2被布置在主题车辆中的不同位置处，并且捕获主题车辆周围的不同方向。下面描述具体的示例。
46.前摄像机2f是以预定视角拍摄车辆前方图像的摄像机。前摄像机2f附接至主题车辆的前端例如前格栅，前摄像机2f的光轴2f面向主题车辆的前部。后摄像机2b是以预定视角拍摄车辆后部的图像的摄像机。后摄像机2b以光轴2ba指向主题车辆后部的姿态布置在车身后表面上的预定位置处，例如靠近后牌照或后窗。左侧摄像机2l是捕获主题车辆的左侧的摄像机。左侧摄像机2l附接至左侧镜，光轴2la面向主题车辆的左侧。右侧摄像机2r是捕获主题车辆的右侧的摄像机。右侧摄像机2r附接至右侧镜，右侧摄像机2r的光轴2ra面向主题车辆的右侧。
47.采用广角镜头例如鱼眼镜头作为用于每个摄像机2的镜头，并且每个摄像机2具有180度或更大的视角θ。因此，通过使用四个摄像机2，可以拍摄主题车辆的整个周围的图片。上述每个摄像机2的安装位置可以适当地改变。前摄像机2f可以附接至后视镜、风挡的上端等。右侧摄像机2r或左侧摄像机2l可以布置在a柱或b柱的基部附近。周边显示系统sys可以包括安装在车顶上的摄像机2。摄像机2中的一些或全部可以是在车顶上、仪表板上、窗框附近等改装的摄像机。
48.指示车辆v中每个摄像机2的安装位置和姿态的数据(下文中，安装位置数据)存储在存储装置13中。每个摄像机2的安装位置可以表示为例如以车辆v的任意位置为中心的三维坐标(下文中，车辆三维坐标系)上的点。形成车辆三维坐标系的x轴可以是例如平行于车辆的左右方向的轴。此外，y轴可以是平行于前后方向的轴。z轴可以是平行于高度方向的轴。假设车辆的右方向对应于x轴的正方向，车辆的前部对应于y轴的正方向，以及车辆的上部方向对应于z轴的正方向。车辆三维坐标系的中心可以是例如后轮轴的中心。
49.显示器3设置有薄显示面板例如液晶显示器，并且是用于显示各种信息和图像的装置。显示器3布置在主题车辆的仪表面板等上，使得用户可以在视觉上识别屏幕。显示器3可以通过与图像生成ecu 1布置在相同的壳体中而与图像生成ecu 1集成。当然，显示器3可以是与图像生成ecu 1分离的装置。显示器3包括堆叠在显示面板上的触摸面板4，并且能够接受用户操作。触摸面板4例如是电容式触摸面板，并且输出指示用户的触摸位置的信号。此处的用户主要指的是驾驶员座位的乘客(所谓的驾驶员)。除了驾驶员之外，用户可以包括乘客座位中的乘客等。
50.操作按钮5是接收用户对显示器3的显示内容的操作的操作构件。操作按钮5是用于在显示器3上显示由图像生成ecu 1生成的合成图像并改变合成图像的虚拟视点的开关。操作按钮5例如设置在主题车辆的方向盘上，并且主要接收来自驾驶员的操作。用户可以经由操作按钮5和触摸面板4对周边显示系统sys执行各种操作。当用户对操作按钮5和触摸面
板4中的任何一个进行操作时，指示操作内容的操作信号被输入到图像生成ecu 1。操作按钮5也可以称为多信息开关。操作按钮5可以布置在仪表面板上。
51.周边显示系统sys可以包括作为用于驾驶员将车辆v的驾驶模式切换到越野模式的操作构件的行驶模式开关。用于切换驱动模式的操作构件可以是拨盘类型。换档杆可以具有作为驾驶模式开关的功能。
52.车辆状态传感器6是检测与主题车辆的行驶控制相关的状态量的传感器。车辆状态传感器6包括换档传感器、车速传感器、转向角传感器、加速度传感器等。换档传感器是检测换档位置的传感器，换句话说，是检测变速器的设置状态的传感器。车速传感器是检测主题车辆的行驶速度的传感器。转向角传感器是检测方向盘的旋转角度(所谓的转向角)的传感器。加速度传感器是检测作用在主题车辆上的车辆前后方向、左右方向和上下方向中的至少一个方向上的加速度的传感器。此处，假设采用3轴加速度传感器作为加速度传感器。加速度传感器的检测值可以用于确定相对于水平面的车辆姿态。作为车辆状态传感器6的用于周边显示系统sys的传感器的类型可以被适当地设计，并且不必包括所有上述传感器。此外，车辆高度传感器、陀螺仪传感器、方位角传感器等可以包括在车辆状态传感器6中。每个传感器向图像生成ecu 1输出指示要检测的物理状态量的当前值(即，检测结果)的数据。
53.声呐ecu 7是控制声呐8的操作的ecu。声呐8发射超声波作为探测波，并且接收由超声波反射的反射波以检测存在于主题车辆周围的对象。此外，声呐8基于从超声波的发射到作为反射波返回的时间来检测从声呐8到对象的距离。由每个声呐8检测到的对象的距离信息经由例如声呐ecu 7输入到图像生成ecu 1。
54.在该实施方式中，作为示例，如图3所示设置了八个声呐8。具体地，四个声呐8a至8d从前保险杠的右角部到左角部分散布置。此外，四个声呐8e至8h从主题车辆的后保险杠的右角部到左角部分散布置。利用声呐8的这样的布置，声呐ecu 7能够检测存在于主题车辆前方或后方的对象。声呐8的布置是示例，并且不限于图3所示的示例。此外，声呐8可以附接至侧梁(side sill)、防护板(fender)或门面板(door panel)，以便朝向车辆的侧面发射超声波。
55.另外，声呐ecu 7能够通过组合多个声呐8的检测结果来识别存在于主题车辆周围的对象的相对位置。例如，基于由两个或更多个声呐8中的每一个检测的到同一对象的距离来得出对象相对于主题车辆的方向，作为检测到的对象的方向。当声呐8检测到对象时，声呐ecu 7将指示对象的方向和距离的数据作为检测结果输入到图像生成ecu 1。此外，声呐ecu 7可以通过分析反射强度和接收到的波形来确定检测到的对象的高度，并将位置和高度信息作为检测到的对象信息输出到图像生成ecu 1。声呐ecu 7可以与图像生成ecu 1集成。
56.(图像生成ecu的配置)
57.如图4所示，图像生成ecu 1包括作为功能单元的图像获取单元f1、操作接收单元f2、车辆状态获取单元f3、障碍物信息获取单元f4、图像识别单元f5、显示控制单元f6、合成图像生成单元f7、显示图像生成单元f8和图像输出单元f9。此外，图像生成ecu 1包括图像存储器m1，图像存储器m1是用于临时存储图像数据的存储器。图像存储器m1通过使用例如包括在ram 12中的存储区域的一部分来实现。在图像存储器m1中，在捕获图像时车辆v的位置信息和取向信息可以与每个摄像机的图像相关联地存储。图像存储器m1与图像存储单元
相对应。
58.图像获取单元f1获取摄像机图像，该摄像机图像是由四个摄像机2中的每个摄像机生成的图像。通过组合摄像机2的图像，获得针对主题车辆的整个周围的图像数据。图像获取单元f1将从摄像机2输入的图像信号转换成预定数据格式的数字图像数据，并且然后将图像信号输出到图像识别单元f5和合成图像生成单元f7。
59.此外，例如，每当主题车辆移动预定存储距离时，图像获取单元f1就将分别获取的主题车辆的位置信息和车身姿态信息相关联地存储在图像存储器m1中。存储距离可以是例如0.1m、0.3m、0.5m等。当车辆向前行驶时，图像获取单元f1可以将例如前摄像机2f的包括从车辆前端紧下方到前方3m的地面的捕获图像数据存储在图像存储器m1中。此外，当车辆向后行驶时，图像获取单元f1可以将后摄像机2b的包括从车辆后端紧下方到后方3m的地面的捕获图像数据存储在图像存储器m1中。
60.另外，可以采用各种模式作为图像存储器m1中的图像数据的存储模式。例如，图像获取单元f1在图像存储器m1中最旧的更新区域中重写并保存新数据。即，图像存储器m1可以被配置成环形缓冲器。环形缓冲器是逻辑上布置成环形的存储区域。图像获取单元f1可以将在最近预定时间内获取的图像帧存储在不同于上述针对每个固定距离的图像数据的区域中。合成图像生成单元f7和显示图像生成单元f8参考存储在图像存储器m1中的新图像数据。图像获取单元f1可以在根据镜头特性对从摄像机2获取的图像执行图像处理例如失真校正、放大或缩小或者裁剪之后，存储从摄像机2获取的图像。
61.操作接收单元f2接收从操作按钮5和触摸面板4输出的操作信号。操作信号是指示用户对操作按钮5和触摸面板4的操作的内容的信号。作为结果，操作接收单元f2接收用于显示合成图像或摄像机图像的用户的指令操作。操作接收单元f2将与接收到的操作信号相对应的数据输入到显示控制单元f6。
62.车辆状态获取单元f3从设置在主题车辆中的其他装置(例如车辆状态传感器6)获取指示主题车辆的状态的信息。车辆状态获取单元f3从各种传感器获取换档位置、针对每个检测轴方向的加速度、车速、转向角等。车辆状态获取单元f3可以从其他ecu获取各种状态量。例如，可以从构成转向系统的ecu获取诸如转向角的信息。此外，车辆状态获取单元f3可以从图像识别单元f5获取关于之前的预定时间的移动距离、方向上的变化量等。即，车辆状态获取单元f3不仅可以从传感器还可以从另一ecu、图像识别单元f5等获取与主题车辆的状态相关的各种信息。此外，车辆状态获取单元f3可以组合多种类型的信息来计算车辆的行驶距离、车身方向的变化量等。车辆的方向不仅可以包括车辆面向的方向(所谓的偏航角)，还可以包括俯仰角、侧倾角等。
63.障碍物信息获取单元f4从声呐ecu 7获取关于存在于车辆周围的三维对象的信息。即，获取检测到的三维对象的大小、高度、相对位置等。此外，当声呐ecu 7设置有通过分析接收到的反射波的信号波形的特征量来识别检测到的对象的类型——例如低轮廓对象或障碍物——的鉴别器时，还获取声呐ecu 7对检测到的对象的识别结果。此处的低轮廓对象是高度为预定值(例如，4cm)或更小的三维对象，并且在概念上是指车辆v能够克服的三维对象。例如，低轮廓对象是指从路面突出的量小于预定阈值的岩石区域、放置在停车场的挡板等。此外，此处的障碍物在概念上是车辆v应当避开的三维对象。例如，障碍物是指具有使得与车辆v的车身接触的高度的岩石、护栏、墙壁或另一移动体。除了其他车辆之外，其他
移动对象还可以包括自行车、行人、动物等。障碍物信息获取单元f4可以执行所谓的传感器融合，其通过组合来自声呐ecu 7的信息与图像识别单元f5的识别结果来检测对象。
64.图像识别单元f5通过分析从摄像机2输入的图像来检测预定检测目标的位置、预定检测目标的类型等。图像识别单元f5具有作为用于基于例如图像特征矢量来识别对象类型的鉴别器的功能。图像识别单元f5可以通过使用例如应用深度学习的卷积神经网络(cnn)或深度神经网络(dnn)技术来识别对象。检测目标包括行人、其他车辆、道路标记(例如可以向铺设道路给出的车道标记)或道路边缘。除了作为车道标记的线之外，车道标记线还可以包括指示停车框等的线。
65.此外，图像识别单元f5可以基于在图像帧之间的图像上适当设置的特征点的位置的变化量来估计主题车辆的移动量和取向的变化量。例如，图像识别单元f5可以通过使用光流方法等来估计相对于某个参考点的当前位置、车身的取向的变化量、偏航率等，光流方法是一种帧间差分方法。光流是将图像数据中反映的对象的移动示出为矢量的信息。图像识别单元f5等的对象识别结果和主题车辆位置的估计结果被输出到显示控制单元f6、车辆状态获取单元f3、合成图像生成单元f7、显示图像生成单元f8等。
66.显示控制单元f6全面控制整个图像生成ecu 1。例如，显示控制单元f6基于从操作接收单元f2和车辆状态获取单元f3输入的信息来控制合成图像生成单元f7和显示图像生成单元f8，并且使合成图像生成单元f7和显示图像生成单元f8生成与主题车辆的行驶状态和用户的设置相对应的合成图像和显示图像dp。
67.显示控制单元f6基于例如来自换档传感器的信号或轮胎的旋转方向来确定主题车辆的行驶方向是向前方向还是向后方向。显示控制单元f6可以基于来自驾驶模式开关的输入信号来确定行驶环境是否是越野。
68.此外，显示控制单元f6基于主题车辆的行驶方向、来自触摸面板4的信号和来自操作按钮5的信号中的至少一个来设置虚拟视点vp的位置和视线方向，以用于生成稍后描述的合成图像。例如，如图5所示，可以采用鸟瞰视角vpb、驾驶员视点vpd等作为可以设置的虚拟视点vp。鸟瞰视角vpb是其中视点位置在主题车辆的正上方并且观看方向为正下方的虚拟视点vp的设置模式。当生成作为从车辆正上方观察的主题车辆及其周围环境的图像的鸟瞰视角图像时，应用鸟瞰视角vpb。可以适当地调整鸟瞰视角vpb的视角，以便包括车辆周围的预定范围。鸟瞰视角vpb的视点位置不限于车辆正上方，并且可以是从车辆正上方移动到后侧、前侧或横向方向的位置。鸟瞰视角vpb与其中虚拟视点vp布置在车辆内部外的室外视点的示例相对应。
69.驾驶员视点vpd是其中视点位置被设置为驾驶员眼睛在车辆内部中的假定位置的虚拟视点vp。例如，驾驶员视点vpd的视线方向可以被设置为斜向前和斜向下，以便包括前轮附近。斜向下的方向可以是例如从车辆的水平面指向向下大约20
°
至30
°
的方向。驾驶员视点vpd的视线方向可以基于用户对触摸面板4的操作(例如，滑动)而改变至任意方向，同时使用向前斜向下的方向作为参考方向。也可以适当地调整驾驶员视点vpd的视角，以便包括前轮附近的预定范围。例如，驾驶员视点vpd的视角可以是水平方向上的100度、竖直方向上的60度等。
70.驾驶员眼睛的假定位置被设置在例如驾驶员座椅的头枕附近。可以使用针对每种车辆类型设置的眼边(eyelip)作为驾驶员眼睛的假定位置。眼边是针对每种车辆类型定义
的虚拟空间区域。眼边呈基于统计地表示乘员的眼睛点的空间分布的眼睛范围来定义的虚拟椭圆形式。驾驶员视点vpd与其中虚拟视点vp布置在车辆内部中的车辆内部视点的示例相对应。此外，驾驶员视点vpd的位置可以布置在偏离驾驶员眼睛的假定位置的位置处。例如，驾驶员视点vpd可以布置在偏离驾驶员眼睛的假定位置预定量的位置处，例如，在驾驶员座椅与乘客座椅之间的中间位置处。
71.本实施方式的图像生成ecu 1包括作为用于显示底置透明图像cp的操作模式的底置显示模式，底置透明图像cp是其中车身底部被透射的合成图像。显示控制单元f6可以基于换挡杆被设置到预定位置和用户操作中的至少一个来切换显示模式。显示控制单元f6例如基于满足稍后描述的透明底置显示条件的事实来将显示模式设置为底置显示模式。显示控制单元f6使合成图像生成单元f7在底置显示模式下生成底置透明图像cp。在虚拟视点vp被设置为驾驶员视点vpd的状态下生成的底置透明图像cp在下文中也被称为驾驶员视点图像cpd。
72.合成图像生成单元f7执行用于生成合成图像例如底置透明图像cp的图像处理。合成图像生成单元f7将多个摄像机图像的数据投影到与主题车辆的周边相对应的虚拟投影表面ts上，并且使用投影表面上的数据生成指示从虚拟视点vp看到的主题车辆的周边的合成图像。
73.如图6中概念性地示出的，投影平面ts是与主题车辆的周边区域相对应的虚拟三维平面。投影表面ts的中心区域被定义为车辆区域r0，其是主题车辆的位置。车辆区域r0被设置为例如矩形平坦表面部分。车辆区域r0被设置为包括在俯视图中与主题车辆交叠的区域，换句话说，不能由摄像机2直接成像的区域。例如，投影表面ts在车辆区域r0附近形成为沿着车辆的水平方向的平面，并且具有碗状形状，该碗状形状具有其中倾斜度(梯度)随着与车辆区域r0的距离增大而增大的向下凸的曲面。摄像机图像的哪个部分被投影在投影表面ts的每个部分上与对应信息例如表格数据相关联。在投影表面ts上投影摄像机图像与在投影表面ts上纹理映射摄像机图像相对应。
74.投影表面ts的形状可以适当地改变。例如，投影表面ts的整个区域可以被设置为水平面。此外，投影表面ts可以具有从车辆区域r0的边缘部分开始向下凸的曲面区域的形状，换句话说，具有没有围绕车辆区域r0的平面区域的形状。
75.合成图像生成单元f7的操作由显示控制单元f6控制。例如，用于生成合成图像的虚拟视点vp由显示控制单元f6控制。合成图像生成单元f7包括作为子功能的摄像机图像合成单元f71和车辆图像添加单元f72。摄像机图像合成单元f71将每个摄像机图像投影到上述投影表面ts上。车辆图像添加单元f72将车辆v的图像布置在其上投影摄像机图像的投影表面ts上的预定位置处。稍后将描述摄像机图像合成单元f71和车辆图像添加单元f72的细节。
76.显示图像生成单元f8生成用于在显示器3上显示的显示图像dp。显示图像生成单元f8通过使用由合成图像生成单元f7生成的合成图像和由图像获取单元f1获取的摄像机图像来生成包括合成图像和摄像机图像的显示图像dp。由显示控制单元f6根据主题车辆的行驶方向和对触摸面板4的用户操作等来确定显示图像dp中包括的图像的组合。即，显示图像生成单元f8的操作由显示控制单元f6控制。
77.图像输出单元f9将由显示图像生成单元f8生成的显示图像dp转换成预定信号格
式的视频信号，将该信号输出到显示器3，并且在显示器3上对显示图像dp进行显示。作为结果，在显示器3上显示示出从虚拟视点vp看到的主题车辆的周边的合成图像。
78.(用于生成合成图像的方法)
79.在下文中，将描述合成图像生成单元f7生成底置透明图像cp时的操作。当满足稍后描述的底置显示条件时，摄像机图像合成单元f71将从图像获取单元f1输入的每个摄像机图像中包括的数据(每个像素的值)投影到虚拟三维空间中的投影表面ts上。每个摄像机图像相对于投影表面ts的投影位置预先与对应信息例如表格数据相关联。
80.例如，摄像机图像合成单元f71将前摄像机2f的图像数据投影到投影表面ts的前区域pf上，并且将后摄像机2b的图像数据投影到投影表面ts的后区域pb上。此外，摄像机图像合成单元f71将左侧摄像机2l的图像数据投影到投影表面ts的左侧区域pl上，并且将右侧摄像机2r的图像数据投影到投影表面ts的右侧区域pr上。关于作为由两个摄像机以交叠方式捕获的区域的交叠区域，可以采用以预定比率混合由两个摄像机拍摄的图像的方法或者以预定边界线连接由两个摄像机拍摄的图像的方法。
81.此外，基于来自显示控制单元f6的指令，从存储在图像存储器m1中的过去图像数据中提取车辆区域r0被估计位于的部分的图像，并且在执行旋转校正等之后对提取的图像进行投影。投影在车辆区域r0上的图像此后被称为底置图像，因为投影在车辆区域r0上的图像是当前位于主题车辆正下方的区域的图像，即底置的图像。
82.例如，如图7所示，当主题车辆向前行驶时，使用在当前位置后面3m处捕获的前摄像机2f的捕获图像来生成底置图像。当主题车辆向后行驶时，使用在当前位置前方3m处捕获的后摄像机图像来生成底置图像。即，使用当主题车辆位于距离当前位置的行驶方向的相反侧预定距离处时的图像来生成底置图像。当主题车辆向前行驶时，可以使用在从车辆位于当前位置后方3m的时间到当前位置的多个时间点处捕获的前摄像机图像来生成底置图像。当车辆向后行驶时，也可以应用相同的方法。投影在车辆区域r0(换句话说，底置部分)上的图像数据可以随着车辆v行驶而根据需要更新。
83.接下来，合成图像生成单元f7在显示控制单元f6的控制下在包括投影表面ts的三维空间中设置虚拟视点vp。合成图像生成单元f7能够在三维空间中的任意视点位置处设置指向任意视场方向的虚拟视点vp。
84.然后，车辆图像添加单元f72将关于主题车辆的各种图像元素布置在包括其上投影摄像机图像的投影表面ts的虚拟三维空间上。当虚拟视点vp布置在车辆内部外例如鸟瞰视角vpb时，车辆图像添加单元f72添加指示车身存在的路面范围的车辆边界线lvc、指示轮胎存在的路面范围的轮胎边界线lt等。车辆边界线lvc是示出通过将车身垂直于路面投影而形成的区域的轮廓的线，并且与从鸟瞰视角示出车辆v的外部形状的线相对应。类似地，轮胎边界线lt是示出通过将轮胎垂直于路面投影(即，正交投影)而形成的区域的轮廓的线，并且与从鸟瞰视角示出轮胎的外部形状的线相对应。本实施方式的车辆图像添加单元f72将预定装饰图像ef添加至车辆边界线lvc。车辆边界线lvc、装饰图像ef、轮胎边界线lt等中的每一个的显示状态由显示控制单元f6控制。车辆边界线lvc、装饰图像ef和轮胎边界线lt的细节将在后面描述。
85.此外，当虚拟视点vp布置在车辆内部例如驾驶员视点vpd时，合成图像生成单元f7在三维空间中的预定位置处除了布置车辆边界线lvc和轮胎边界线lt之外，还布置3d轮胎
模型、3d车身模型和3d内部模型等。3d轮胎模型是轮胎的3d模型并且整体被设置为半透明。3d轮胎模型可以仅由不透明或半透明的轮廓线构成。即，除了3d轮胎模型的轮廓线之外的部分可以被设置为无色且透明的。
86.此处的半透明不限于透明度为50％的状态，并且可以包括例如透明度为80％的状态。换句话说，表述“半透明”可以包括模糊地指示其存在的水平。透明度是指示值越高越透明的参数。在本公开内容中，透明度为100％的状态意指完全透明的状态。图像元素的透明度或不透明度是与像素的阿尔法值相对应的概念。通常，透明度的程度随着阿尔法值的增大而变高。
87.3d车身模型是车身的3d模型并且整体被设置为半透明。3d车身模型可以仅由不透明或半透明的轮廓线构成。即，除了3d车身模型的轮廓线之外的部分可以被设置为无色且透明的。3d内部模型是诸如仪表面板、方向盘、a柱等的3d模型。
88.3d轮胎模型、3d车身模型、3d内部模型等是示出主题车辆的组成构件的3d模型，并且可以被称为组成构件模型。可以适当地改变布置在三维空间中用于生成合成图像的3d模型，并且例如可以省略3d轮胎模型、3d车身模型、3d内部模型等的布置。
89.另外，车辆图像添加单元f72可以绘制指示与车辆端部隔开预定距离的点的刻度线或者指示车辆宽度的车辆宽度线。此外，车辆图像添加单元f72可以绘制计划轨迹线作为与车辆v相关的其他图像元素，该计划轨迹线是指示根据车辆v的转向角的计划行驶轨迹的线。车辆宽度线也可以用作计划轨迹线。车辆边界线lvc、轮胎边界线lt、计划行驶轨迹线等可以被称为车辆信息图像，因为它们是示出关于车辆v的信息的图像。另外，计划轨迹线、刻度线、车辆宽度线等也可以用作用于引导驾驶员的驾驶操作的信息。因此，显示线例如计划轨迹线也可以被称为引导线。引导线还可以包括车辆边界线lvc和轮胎边界线lt。
90.然后，合成图像生成单元f7根据虚拟视点vp来渲染存在于包括投影平面ts的三维空间中的各种图像元素，并且在从虚拟视点vp观看时切出包括在预定视角中的图像元素。作为结果，合成图像生成单元f7生成合成图像，该合成图像示出了从虚拟视点vp看到的主题车辆的底置的区域和主题车辆周围的区域。即，合成图像生成单元f7生成其中车身底部是透明的合成图像作为底置透明图像cp。如上所述，作为示例，按照将摄像机图像投影到投影表面ts上并且然后添加车辆图像的顺序生成合成图像。然而，可以并行执行各个处理。
91.另外，可以采用各种方法作为用于生成合成图像的方法。例如，基于摄像机图像生成的路面图像、车辆边界线lvc、轮胎边界线lt和构成车辆的构件的三维模型的图像可以布置在不同的层中并单独被处理。例如，可以结合摄像机图像层、边界线层和3d模型层来生成合成图像，摄像机图像层是包括在其上投影摄像机图像的投影表面ts的图像的层，边界线层是在其上布置车辆边界线、轮胎边界线等的层，3d模型层包括三维模型的图像。在这种情况下，摄像机图像层可以是最低层(背景侧)，并且边界线层和3d模型层可以叠加在摄像机图像层上。当然，层结构也可以适当改变。当通过使用多个层来单独处理每个图像元素时，最终集成了每个层的图像成为合成图像。
92.(车辆边界线lvc和装饰图像ef)
93.本实施方式的图像生成ecu 1生成其中装饰图像ef例如渐变或阴影被添加至车辆边界线lvc的图像。此处，将参照图8等描述车辆边界线lvc和装饰图像ef。图8是示出由本实施方式的合成图像生成单元f7生成的驾驶员视点图像cpd的示例的图。图9是图8所示左前
轮附近的放大视图。
94.除了车辆边界线lvc和轮胎边界线lt之外，图8和图9所示的示例还包括轮胎模型图像ptm、车身模型图像pbm等。当从驾驶员的视点vpd观看与前轮对应的3d轮胎模型、3d车身模型等时，各种模型图像是计算机图形(computer graphics，cg)或计算机生成图像(computer generated imagery，cgi)。当然，轮胎模型图像ptm和车身模型图像pbm是任意元素，并且可以通过用户设置等被省略。例如，基于图像生成ecu 1的设计者或用户的设置，轮胎模型图像ptm和车身模型图像pbm可以隐藏在驾驶员视点图像cpd中。
95.车辆边界线lvc是绘制在车辆区域r0上的线图像。车辆边界线lvc是指示车辆v存在的路面上的范围的线。车辆边界线lvc的粗细(换句话说，宽度wx)被设置为与例如路面上4cm相对应的粗细。可以基于包括投影平面ts的虚拟空间中的车身大小与真实空间中的车身大小的比率，将真实空间中的长度转换成虚拟空间中的长度。可以根据距虚拟视点vp的距离来调整在显示器3上显示作为底置透明图像cp的车辆边界线lvc的粗细。
96.真实空间中车辆边界线lvc的粗细可以等于3cm或2cm。此外，车辆边界线lvc在真实空间中可以具有等于6cm或8cm的粗细。车辆边界线lvc的可视性随着车辆边界线lvc变粗而提高。然而，当车辆边界线lvc变得更粗时，摄像机图像被线隐藏的部分增加。即，当显示为合成图像时，用户可以基于合成图像在视觉上识别的路面面积变小。因此，优选地，真实空间中车辆边界线lvc的粗细被设置为对应于小于5cm的值。
97.车辆边界线lvc的颜色可以适当地改变，并且例如被设置为蓝色，使得车辆边界线lvc可以容易地与路面的实际颜色区分开来。深色例如黑色容易被沥青同化，以及亮色例如白色容易被碎石路和路面上给出的车道标记同化。考虑到各种路面色调，车辆边界线lvc的颜色被设置为增强驾驶员对车辆边界线lvc的可视性。
98.装饰图像ef是用于增强车辆边界线lvc的可视性的装饰图像元素。换句话说，装饰图像ef是用于突出车辆边界线lvc的辅助图像元素。例如，装饰图像ef以具有预定宽度的条形形成。如图10所示，装饰图像ef被布置成使得其一个边缘沿着车辆边界线lvc。图10是用于说明图8和图9所示的车辆边界线lvc和装饰图像ef的配置的示意图。如图11所示，装饰图像ef可以布置为以相对于车辆水平面倾斜大约45度的方式从车辆边界线lvc向外延伸。装饰图像ef可以从车辆边界线lvc的外边缘朝向车辆高度方向(即，正上方)延伸。
99.延伸角δ——由装饰图像ef相对于车辆水平面形成的角度——可以适当地设置在0度至90度的范围内。即，装饰图像ef被设置为从车辆边界线lvc朝向外部延伸或者在车辆边界线lvc正上方延伸。在装饰图像ef的边缘之间，与连接至车辆边界线lvc的连接边缘efa相对的边缘被定义为开放边缘efb。当延伸角δ被设置为1度或更大时，开放边缘efb从路面浮动。装饰图像ef可以面向车辆边界线lvc的内部，并且延伸角δ可以被设置为91度或更大，例如120度。
100.装饰图像ef的颜色可以与车辆边界线lvc的颜色相同。装饰图像ef被设置为随着其靠近车辆边界线lvc而具有较低的透明度，并且随着其远离车辆边界线lvc而具有较高的透明度。即，装饰图像ef是带形图像，其具有随着与车辆边界线lvc的距离增大而变得透明的渐变。在图10中，渐变由点图案示出。透明度随着点图案的密度增大而降低。透明度随着点图案的密度减小而升高。例如，装饰图像ef连接至车辆边界线lvc的部分的透明度被设置为大约50％，并且远侧的端部被设置为100％等。根据与车辆边界线lvc的距离的透明度的
变化程度——其形成了渐变——可以呈线性函数的形式或二次函数的形式。色调的变化程度可以适当改变。
101.装饰图像ef的延伸长度h——在离开车辆边界线lvc的方向上的长度——被设置为与例如车辆边界线lvc的宽度wx相同或者比车辆边界线lvc的宽度wx更长。例如，真实空间中延伸长度h被设置为大约5cm至8cm。此外，延伸长度h可以被设置为通过将车辆边界线lvc的宽度wx乘以预定延伸系数而获得的长度。延伸系数可以是例如1.2或1.5。此外，延伸长度h可以被设置为短于车辆边界线lvc的宽度wx。例如，延伸长度h可以被设置为车辆边界线lvc的宽度wx的0.8倍。延伸长度h也可以理解为装饰图像ef本身的宽度。在一方面，延伸长度h也可以理解为装饰图像ef的高度。提供渐变并从上述车辆边界线lvc径向延伸的装饰图像ef是从车辆边界线lvc向上或向外延伸的图像，例如幕帘或极光(aurora)。
102.根据如上所述显示其中装饰图像ef被添加至车辆边界线lvc的底置透明图像cp的方面，可以增强车辆边界线lvc的可视性。此外，由于装饰图像ef被设置为半透明，因此可以降低由于装饰图像ef而看不到路面的可能性。车辆边界线lvc和装饰图像ef可以统一解释为车辆轮廓图像pvc。车辆轮廓图像pvc中的车辆边界线lvc可以称为主体或主线。此外，车辆轮廓图像pvc中的装饰图像ef可以被称为装饰部分。
103.(轮胎边界线lt)
104.轮胎边界线lt是指示车辆v的轮胎(换句话说，车轮)存在的路面范围的线。轮胎边界线lt被设置得比车辆边界线lvc细。例如，轮胎边界线lt的粗细被设置为车辆边界线lvc的大约一半。具体地，轮胎边界线lt的粗细被设置为与例如路面上2cm相对应的粗细。通过将轮胎边界线lt设置得更窄，驾驶员可以容易地看到轮胎正下方的路面和轮胎附近的路面。
105.此外，轮胎边界线lt的颜色被设置为与车辆边界线lvc的颜色不同的颜色。例如，轮胎边界线lt的颜色可以被设置为黄色或橙色。当然，轮胎边界线lt的颜色被设置为如在车辆边界线lvc的情况下考虑到各种路面颜色来增强驾驶员的可视性。
106.例如，轮胎边界线lt可以具有位于色轮中的车辆边界线lvc的颜色的相对侧的颜色(所谓的互补色)或与其相邻的颜色。通过使用作为针对车辆边界线lvc的互补色的轮胎边界线lt的颜色，可以使狭窄形成的轮胎边界线lt突出。蓝色的互补色是橙色，并且与橙色相邻的颜色包括黄色和红色。
107.另一方面，从另一视点来看，轮胎边界线lt的颜色可以与车辆边界线lvc的颜色类似。例如，当车辆边界线lvc是蓝色时，轮胎边界线lt可以是例如浅蓝色或深蓝色。由于车辆边界线lvc和轮胎边界线lt两者都是示出指示车辆当前位置的信息的线图像，因此可以通过使用这些相似的颜色来增强统一感。此外，作为合成图像，可以通过用诸如红色或橙色的颜色的框围绕对象来突出要注意的对象，例如存在于车辆周围的障碍物。基于这样的配置，图像上各种颜色的线的存在引起了对用户造成视觉烦恼的担忧。基于这样的情况，通过对车辆边界线lvc和轮胎边界线lt使用相似的颜色，用户可以区分指示关于车辆的信息的线与指示关于周边对象的信息的线。
108.在上文中，示出了虚拟视点vp被设置为驾驶员视点vpd的情况的示例，但是上述车辆边界线lvc和轮胎边界线lt也在设置鸟瞰视点vpb时被显示。在鸟瞰视角图像中，车辆边界线lvc的装饰图像ef可以以附着至路面平面的方式显示。
109.将参照图12所示的流程图描述底置透明图像显示处理的流程，该底置透明图像显示处理是在图像生成ecu 1显示底置透明图像cp时执行的一系列处理。当满足预定的底置显示条件时，开始图12所示的流程图。底置显示条件可以是用于显示底置透明图像cp的条件。例如，当用户按下操作按钮5时，图像生成ecu 1确定满足底置显示条件。另外，当经由触摸面板4执行用于显示底置透明图像cp的预定用户操作时，图像生成ecu 1确定满足底置显示条件。即，可以基于操作接收单元f2已经获取了指示已经执行了用于显示合成图像的操作的信号的事实来开始该流程。
110.构成底置显示条件的项可以包括换档位置、车速等。例如，换档位置被设置为预定范围和车速小于预定低速阈值中的至少一个可以包括在底置显示条件中。例如，图像生成条件可以包括换档位置被设置为低范围以及换档位置被设置为向后位置。低速阈值可以是例如10km/h、15km/h、20km/h等。另外，当在前摄像机图像或后摄像机图像显示在显示器3上时操作接收单元f2经由触摸面板4等接收到视点切换操作时，确定满足底置显示条件。
111.此外，可以以预定周期(例如，1/30秒周期)重复执行图12所示的处理流程，直到满足预定显示终止条件。显示终止条件可以是例如换档位置被设置为除预定范围之外的范围的情况、车速超过预定阈值的情况、再次按下操作按钮5的情况等。另外，当经由触摸面板4执行用于终止底置透明图像cp的显示的操作时，图像生成ecu 1可以确定满足显示终止条件。
112.此处，作为示例，假设底置透明图像显示处理包括s1至s8。当然，构成底置透明图像显示处理的步骤数量和处理顺序可以适当地改变。
113.首先，在s1中，车辆状态获取单元f3获取指示主题车辆的状态的信息例如换档位置和车速，并且处理进行到s2。这样的处理可以称为车辆状态获取步骤。
114.在s2中，图像获取单元f1获取由四个摄像机2获得的四个摄像机图像，并且处理进行到s3。这样的处理可以称为图像获取步骤。此外，s2包括作为更精细的步骤的s21。在s21中，基于在s1中获取的信息，确定自从上次存储由摄像机2在行驶方向侧捕获的图像以来车辆v是否已经行驶了预定的存储距离。当距摄像机图像的先前存储的移动距离等于或长于存储距离时，由摄像机2在行驶方向侧捕获的图像被存储在图像存储器m1中。
115.即，s21与每次车辆v行驶存储距离时将由摄像机2在行驶方向侧捕获的图像存储在图像存储器m1中的步骤相对应。当不满足图像生成条件的状态转变为满足图像生成条件的状态时，图像获取单元f1至少存储由摄像机2在行驶方向侧捕获的图像作为第一存储处理。这样的处理可以称为图像存储步骤。
116.在s3中，如上所述，摄像机图像合成单元f71将每个摄像机2的捕获图像映射到投影表面ts上的预定位置。此外，摄像机图像合成单元f71通过使用存储在图像存储器m1中的过去捕获的图像数据，将与当前车辆位置相对应的路面区域的图像映射到车辆区域r0。在完成该处理后，处理进行到s4。当可以投影到车辆区域r0上的图像尚未累积时，例如紧接在该流程开始之后，诸如黑色的不透明图像可以布置在车辆区域r0中作为底图像。这样的处理可以称为图像合成步骤。
117.在s4中，车辆图像添加单元f72将车辆边界线lvc和轮胎边界线lt布置在车辆区域r0中的预定位置处，并且处理进行到s5。在s4中，3d轮胎模型、3d车身模型等可以布置在车辆区域r0上方的预定位置处。此外，在s4中，可以绘制计划轨迹线、刻度线、车辆宽度线等作
为另一图像元素。在s4中，由于指示车辆的当前状态的信息被添加至合成图像，因此它可以被称为车辆信息添加步骤。
118.在s5中，合成图像生成单元f7在显示控制单元f6的控制下设置用于生成合成图像的虚拟视点vp。例如，当合成图像生成单元f7在接通行驶电力后第一次生成底置透明图像cp时，虚拟视点vp的默认设置可以是由设计者或用户预设的位置和视线方向。默认设置可以是例如其视线方向指向斜向前和斜向下的驾驶员视点vpd。另外，在s5中设置的虚拟视点vp的设置可以是上次显示底置透明图像cp时虚拟视点vp的位置和方向。在这种情况下，作为准备处理，显示控制单元f6将上次显示底置透明图像cp时的虚拟视点vp的设置数据存储在ram 12或存储装置13中。
119.此外，可以根据主题车辆的行驶方向来确定虚拟视点vp的位置和视线方向。例如，当主题车辆的行驶方向是向前方向时，采用如上所述其视线方向指向斜向前和斜向下的驾驶员视点vpd作为虚拟视点vp。另一方面，当主题车辆的行驶方向是向后方向时，例如，可以采用其视线方向指向斜向后和斜向下的驾驶员视点vpd作为虚拟视点vp。另外，可以在根据转向角的方向上调整虚拟视点vp的视线方向。此外，合成图像生成单元f7可以使显示控制单元f6获取由用户经由触摸面板4等指定的虚拟视点vp的位置和方向，并且使显示控制单元f6设置指定的位置和方向的虚拟视点vp。
120.此处，作为示例，假设应用其视线方向指向斜向前和斜向下的驾驶员视点vpd作为虚拟视点vp。这样的处理可以称为视觉视点设置步骤。当s5完成时，处理进行到s6。
121.在s6中，合成图像生成单元f7生成从s6中设置的虚拟视点vp观看到的底置透明图像cp。此处，作为示例，合成图像生成单元f7通过透射车辆的底部和车身来生成示出前轮附近的地面的驾驶员视点图像cpd作为底置透明图像cp。将合成图像生成单元f7生成的底置透明图像cp的数据输出到显示图像生成单元f8。这样的处理可以称为合成图像生成步骤。当s6中的处理完成时，处理进行到s7。
122.在s7中，显示图像生成单元f8生成包括由合成图像生成单元f7生成的底置透明图像cp的显示图像dp。例如，如图13所示，显示图像生成单元f8生成包括驾驶员视点图像cpd、右侧摄像机图像sr、左侧摄像机图像sl和视点切换开关图像sw的图像作为显示图像dp。具体地，驾驶员视点图像cpd布置在显示图像dp的中心区域上方，并且视点切换开关图像sw布置在中心区域下方。右侧摄像机图像sr布置在驾驶员视点图像cpd的右侧，并且左侧摄像机图像sl布置在驾驶员视点图像cpd的左侧。根据显示图像dp的这样的布局，可以在视觉上向驾驶员通知左右情况，同时保持用户对驾驶员视点图像cpd的良好可视性。即，通过观看显示图像dp，驾驶员可以识别前轮附近的地面状态和车辆侧面的状态。
123.包括在显示图像dp中的视点切换开关图像sw是用作用于在被用户触摸时将显示内容切换为显示图像dp的开关的图像。可以基于从触摸面板4输出的触摸位置信号来确定用户是否触摸视点切换开关图像sw。当检测到用户对视点切换开关图像sw的触摸操作时，显示图像生成单元f8例如根据来自显示控制单元f6的指令将要在图像中心区域中显示的图像从驾驶员视点图像cpd改变为前摄像机图像。视点切换开关图像sw可以将虚拟视点vp从驾驶员视点vpd切换到鸟瞰视角vpb。在这种情况下，例如，显示图像生成单元f8生成包括底置透射的鸟瞰视角图像的图像作为显示图像dp。将显示图像生成单元f8生成的显示图像dp的数据输出到图像输出单元f9。s7可以称为显示图像生成步骤。
124.在s8中，图像输出单元f9将由显示图像生成单元f8生成的显示图像dp的数字数据转换成预定信号格式的信号，并且将该数字数据输出到显示器3。作为结果，包括驾驶员视点图像cpd的显示图像dp显示在显示器3上。s8可以称为显示图像输出步骤。
125.上述控制是示例，并且显示图像生成单元f8可以根据主题车辆的行驶方向选择摄像机图像，并且在显示控制单元f6的控制下通过使用摄像机图像来生成显示图像dp。例如，当行驶方向是向后方向时，后摄像机图像可以布置在显示图像dp的中心区域中。此外，显示控制单元f6可以基于由操作接收单元f2接收的操作信号来改变要在显示图像dp上显示的图像的组合和布局、摄像机图像的显示范围等。
126.(效果)
127.根据以上配置，在透射车辆v的部件(例如仪表面板和车身底部)时，生成示出车辆周边的底置透明图像cp。底置透明图像cp与其中车辆边界线lvc和轮胎边界线lt叠加在存在于车辆正下方和车辆周围的对象的图像上的图像相对应。通过确认这样的底置透明图像cp，用户可以从车辆内部的视点确认主题车辆的周围环境的状态，并且可以直观地掌握主题车辆的周围环境的状态。
128.此外，用户可以基于包括在底置透明图像cp中的车辆边界线lvc容易地识别从车身到存在于车辆附近的三维对象——例如岩石、路缘或挡板——的距离。因此，可以降低车身无意中与三维对象接触的风险。此外，根据在底置透明图像cp中包括轮胎边界线lt的配置，用户可以容易地识别车身和轮胎相对于位于车身下方的车道标记、路缘、岩石等的位置。作为结果，例如，在越野驾驶期间，可以执行详细的驾驶操作，例如将轮胎放置在目标岩石上。另外，即使在道路上驾驶期间，也变得更容易执行详细的驾驶操作，例如将车身朝向道路边缘移动，使得轮胎不会撞击路缘。
129.另外，本实施方式的图像生成ecu 1显示其中装饰图像ef例如渐变被添加至车辆边界线lvc的车辆边界线lvc。根据这种配置，可以增强车辆边界线lvc的可视性。此外，当装饰图像ef例如渐变被添加至车辆边界线lvc时，其他显示线在没有装饰例如渐变(换句话说，效果)的情况下被显示。根据这样的配置，可以基于装饰的存在或不存在来抑制车辆边界线lvc被误认为另一显示线的可能性。此处的另一显示线可以包括轮胎边界线lt、计划轨迹线、刻度线、车辆宽度线等。
130.可以在不增加装饰的情况下加粗线条以使车辆边界线lvc突出。然而，如果车辆边界线lvc变得更粗，则路面被车辆边界线lvc隐藏的部分增加。此外，如果车辆边界线lvc变得更粗，则车辆实际存在的范围可能不清楚。如果边界线太粗，则用户难以确定实际车辆v的端部在边界线上哪里，即，用户难以确定车辆v的端部是位于边界线的外边缘、中心还是内边缘处。另一方面，根据上述配置，车辆边界线lvc的粗细保持细，并且可以变得明显。即，根据上述配置，可以在不过度隐藏摄像机图像的情况下突出车辆边界线lvc。另外，可以降低车辆实际存在的范围变得不清楚的可能性。
131.已经通过采用将视线方向指向前方的驾驶员视点vpd应用为合成图像的虚拟视点vp的情况描述了该实施方式的效果。当视线方向指向另一个方向例如向后、横向或斜横向时，可以获得相同的效果。此外，当虚拟视点vp布置在车辆内部中除驾驶员视点vpd之外的任意位置处时，可以获得相同的效果。另外，当虚拟视点vp被设置在车辆v的外表面上或车辆内部外的车辆附近的区域中时，可以预期相同的效果。此处的车辆附近的区域是指例如
距离车辆外表面0.2m以内的区域。外表面除了左侧表面部分和右侧表面部分之外还可以包括后表面部分、前端部分和车顶。门板、防护板、柱等可以包括在侧表面部分中。
132.虽然上面已经描述了本公开内容的实施方式，但是本公开内容不限于上面描述的实施方式，并且下面将要描述的各种修改包括在本公开内容的技术范围内，并且可以在不脱离下面描述的精神的范围内通过各种修改来实现。例如，下面将要描述的各种修改可以在不会引起技术不一致的范围内适当地组合实现。注意，具有与上述实施方式中描述的功能相同的功能的构件由相同的附图标记表示，并且将省略对相同构件的描述。当仅描述配置的一部分时，上述实施方式中描述的配置可以应用于其他部分。
133.(装饰图像ef)
134.装饰图像ef用作渐变图像，然而装饰图像ef可以是如图14所示的具有竖直条纹图案的图像。例如，通过沿着车辆边界线lvc交替布置有色半透明部分(下文中称为有色部分e1)以及作为无色且半透明部分的无色e2部分来形成竖直条纹图案。竖直条纹图案可以包括斑纹图案。有色部分e1与第一部分相对应，并且无色部分e2与第二部分相对应。第二部分与第一部分相比可以相对透明，并且可以不是无色且透明的。
135.有色部分e1的宽度w1可以被设置为车辆边界线lvc的宽度wx的大约1至4倍的值。例如，有色部分e1的宽度w1被设置为车辆边界线lvc的宽度wx的三倍。无色部分e2的宽度w2被设置为与有色部分e1的宽度w1相似的大小。无色部分e2的宽度w2可以大于有色部分e1的宽度w1。无色部分e2的宽度w2可以被设置为有色部分e1的宽度w1的两倍。无色部分e2的宽度w2限定了有色部分e1之间的间距。摄像机图像被装饰图像ef隐藏的区域随着无色部分e2的宽度w2的增大而变小，使得可以提高用户对路面的可视性。
136.此外，如图15所示，构成条纹图案的有色部分e1可以具有这样的渐变：其中，透明度随着越靠近车辆边界线lvc而被设置得越低，并且透明度随着越远离车辆边界线lvc而被设置得越高。例如，有色部分e1的连接至车辆边界线lvc的部分的透明度被设置为大约50％，并且远侧的端部被设置为100％等。图16和图17示出了在应用图15中示意性示出的图案作为装饰图像ef的情况下设置驾驶员视点vpd的底置透明图像cp。
137.根据其中装饰图像ef具有条纹图案——其中条纹图案具有相对于距车辆边界线lvc的距离变得透明的渐变——的配置，摄像机图像被装饰图像ef隐藏的部分与上述实施方式相比进一步减少。
138.另外，装饰图像ef可以具有其中延伸长度h根据位置而不同的形状。例如，如图18、图19和图20所示，装饰图像ef的开口边缘部分efb可以设置为波浪形状。波浪形状可以包括其中连接半圆的所谓的扇形。此外，装饰图像ef的开口边缘部分efb可以具有三角形波浪形状。当装饰图像ef具有波浪形状时，真实世界中延伸长度h的最大值hmx可以例如等于5cm。此外，真实世界中延伸长度h的最小值hmn可以是0或者等于2cm。
139.此外，如图21所示，即使当装饰图像ef具有波浪形状时，有色部分也可以随着其更靠近车辆边界线lvc而具有较低的透明度，并且随着其更远离车辆边界线lvc而具有较高的透明度。另外，可以在连接边缘部分efa与开口边缘部分efb之间应用上述条纹图案。
140.此外，如图21等所示，当装饰图像ef具有波浪形状时，每个地方的高度可以随着时间连续变化。根据这样的显示控制，装饰图像ef随着时间移动，并且车辆边界线lvc可以变得更加明显。另外，装饰图像ef可以设置有其中有色部分随着时间像火焰一样波动的效果。
141.此外，如图14、图15、图18和图21所示，当装饰图像ef具有根据位置而有不同高度的形状时，装饰图像ef可以随着车辆的移动而颤动。具体地，在装饰图像ef中，根部分——靠近车辆边界线lvc的部分——的位置可以不移动，但是顶点部分可以在与行驶方向相反的方向上平移，并且图像可以在它们之间连续连接。图22是示出其中当装饰图像ef具有如图15所示的竖直条纹图案时有色部分e1的倾斜角根据车辆的移动状态而改变的示例的图。
142.如图22所示，有色部分e1的倾斜度根据车辆v的行驶方向和车辆v是否停止而改变。根据该配置，用户可以基于装饰图像ef的显示模式来容易地直观识别车辆的移动状态。装饰图像ef的图案的倾斜角可以根据行驶速度而调整。车辆行驶得越高，倾斜角可以设置得越大。根据这样的配置，用户可以根据装饰图像ef的图案的倾斜程度来识别车辆的行驶速度。此外，可以根据转向角来调整有色部分e1的倾斜角。
143.另外，合成图像生成单元f7可以在显示控制单元f6的控制下根据障碍物的检测距离来改变车辆边界线lvc的颜色。例如，当距障碍物的距离等于或大于预定的第一距离时，车辆边界线lvc的颜色被设置为默认颜色，例如蓝色或绿色。另一方面，如果距障碍物的距离小于第一距离并且等于或大于预定的第二距离，则颜色可以改变为黄色。此外，当距障碍物的距离小于第二距离时，车辆边界线lvc的颜色可以改变为红色。第一距离可以是例如1.0m或0.8m。第二距离可以是比第一距离短的值，并且可以是例如0.3m或0.4m。可以根据行驶速度来动态地调整第一距离和第二距离。装饰图像ef的颜色可以改变为与车辆边界线lvc的颜色相联系。例如，当车辆边界线lvc变成黄色时，装饰图像ef也变成基于黄色的半透明图像。
144.此外，当距障碍物的距离小于第一距离时，显示控制单元f6可以以与距障碍物的距离相对应的时间间隔使车辆边界线lvc闪烁。在这种情况下，显示控制单元f6也可以与车辆边界线lvc的闪烁一起(换句话说，同步)使装饰图像ef闪烁。
145.显示控制单元f6可以局部改变装饰图像ef的与障碍物存在的方向相对应的部分的显示。构成显示模式的元素的示例包括大小、形状、颜色和透明度。例如，显示控制单元f6可以使装饰图像ef的靠近障碍物的部分比其他部分更长或闪烁更多。此外，装饰图像ef可以在障碍物存在的方向上振动。该配置使得用户容易识别障碍物存在于车辆的哪个方向。
146.另外，可以根据距障碍物的距离来切换是否显示装饰图像ef。例如，当距障碍物的距离为第二距离或更大时，显示控制单元f6显示装饰图像ef。另一方面，当距障碍物的距离小于第二距离时，装饰图像ef可以被隐藏。通过隐藏装饰图像ef，当距障碍物的距离小于第二距离时，可以容易地识别车辆边界线lvc与障碍物之间的间隔和位置关系。
147.另外，在上述实施方式中，轮胎边界线lt未设置有装饰例如渐变，但是本发明不限于此。装饰图像也可以被添加至轮胎边界线lt。添加至轮胎边界线lt的装饰图像的颜色可以与轮胎边界线lt的颜色相同。当装饰图像被添加至轮胎边界线lt时，优选地，轮胎边界线lt和车辆边界线lvc的颜色可以被设置为不同的颜色，以便容易将轮胎边界线lt与车辆边界线lvc区分开来。
148.(虚拟视点的变型)
149.在上文中，鸟瞰视角vpb和驾驶员视点vpd已经被示出为虚拟视点vp，但是可以被设置为虚拟视点vp的位置和方向的组合不限于上面的示例。虚拟视点vp可以布置在车辆内部之外的各种位置处。例如，如图23所示，图像生成ecu 1可以将后向鸟瞰视角vpb1或前向
鸟瞰视角vpb2设置为虚拟视点vp。后向鸟瞰视角vpb1与从位于车辆v的车顶上方的车辆前方的点俯视车辆v及其后方的虚拟视点vp相对应。此外，前向鸟瞰视角vpb2与从位于车辆v的车顶上方的车辆后方的点俯视车辆v及其前方的虚拟视点vp相对应。
150.此外，虚拟视点vp可以被设置在车辆内部的各种位置处。例如，作为虚拟视点vp，视点位置可以布置在侧镜附近、车辆内部的顶棚的中心等。此外，显示控制单元f6可以设置其视点位置在眼边后面预定距离处并且其视线方向指向斜向后和斜向下的室内后视点vpr。根据这样的室内后视点vpr，后轮附近可以显示得更大，作为在车辆向后行驶时显示的底置透明图像cp。作为结果，当车辆向后行驶以及向前行驶时，该配置使得驾驶员容易识别后轮和后保险杠附近的情况。
151.显示控制单元f6可以根据虚拟视点vp与路面之间的距离或者虚拟视点vp是否存在于车辆内部来改变是否显示装饰图像ef。例如，当虚拟视点vp设置在车辆内部例如驾驶员视点vpd时，装饰图像ef被添加至车辆边界线lvc。当在高于车顶的位置处设置虚拟视点vp例如鸟瞰视角vpb时，装饰图像ef可以被隐藏。在鸟瞰视角vpb中，视点远离路面，因此即使显示装饰图像ef，它也相对较小并且不太引人注目。在鸟瞰视角图像中，即使省略了精细图像元素例如装饰图像ef，对用户便利性的影响也很小。此外，通过省略对装饰图像ef的显示，可以减少处理单元11的处理负荷。以这种方式，根据其中根据虚拟视点vp的位置来切换是否显示装饰图像ef的配置，换句话说，根据合成图像的显示模式，提高了车辆边界线lvc的可视性，并且可以减少处理单元11的处理负荷。
152.(障碍物传感器)
153.在上文中，已经示出了其中声呐8用作用于检测车辆周围存在的对象的传感器(所谓的障碍物传感器)的配置，但是障碍物传感器可以是毫米波雷达。此外，障碍物传感器可以是光检测和测距/激光成像检测和测距(lidar)。图像生成ecu 1可以通过连接至各种障碍物传感器而被使用。
154.(显示)
155.在上述实施方式中，显示器3由车载显示器提供，但是由图像生成ecu 1生成的图像(例如底置透明图像cp)的显示目的地不限于车载显示器。显示器3可以是设置在用于远程控制车辆v的移动终端例如智能电话中的显示器。此外，显示器可以设置在用于远程控制车辆v的中心中。
156.在本公开内容中已经描述的装置、系统及其方法也可以通过专用计算机来实现，该专用计算机构成被编程为执行由计算机程序具体化的一个或更多个功能的处理器。此外，在本公开内容中已经描述的装置及其方法也可以通过专用硬件逻辑电路来实现。此外，在本公开内容中已经描述的装置及其方法也可以通过一个或更多个专用计算机来实现，该专用计算机由用于执行计算机程序的处理器和一个或更多个硬件逻辑电路的组合构成。此外，计算机程序可以存储计算机可读的非过渡有形记录介质作为要由计算机执行的指令。由图像生成ecu 1等提供的方法或功能可以由存储在有形存储器装置中的软件和执行软件的计算机、仅软件、仅硬件或软件和硬件的组合来提供。图像生成ecu 1的一些或所有功能可以被配置为硬件。将某一功能实现为硬件的配置包括通过一个或更多个ic等的使用来实现该功能的配置。图像生成ecu 1可以通过使用mpu、gpu或数据流处理器(dfp)代替cpu来实现。图像生成ecu 1可以通过cpu、mpu和gpu的组合来实现。图像生成ecu 1可以实现为片上
系统(soc)。此外，例如，可以通过使用现场可编程门阵列(fpga)、专用集成电路(asic)等来实现处理。应当注意，上述各种程序可以存储在非暂态有形存储介质中。可以采用各种存储介质例如硬盘驱动器(hdd)、固态驱动器(ssd)、闪存和安全数字(sd)卡作为程序存储介质。