车辆用显示装置的制作方法

1.本发明涉及一种为了显示车辆周边的图像而搭载于车辆的车辆用显示装置。


背景技术：

2.作为上述车辆用显示装置的一例，已知下述专利文献1的装置。该专利文献1的车辆用显示装置具备：多个摄像机，对车辆的周围进行摄影；图像处理装置，基于由该多个摄像机进行摄影得到的图像，生成将包括在特定的视场角的图像进行合成、加工所得到的合成图像；以及显示装置，显示由该图像处理装置生成的合成图像。图像处理装置生成将表示从规定的虚拟视点看时的车辆的周边区域的周边图像与以透视状态示出车室内的各种部件(例如仪表盘、柱等)的车室图像进行叠加所得到的图像来作为上述合成图像，使所生成的该合成图像显示在显示装置。
3.根据如上述那样构成的专利文献1的车辆用显示装置，具有如下优点：对于本车辆周边的障碍物等的信息能够一边掌握与本车辆的位置关系、一边进行识别。
4.专利文献1：日本特开2014-197818号公报


技术实现要素：

5.发明要解决的问题
6.在此，在上述专利文献1中，根据驾驶员的操作来选择性地显示将视场方向设为车辆前方的情况下的合成图像(以下称为前方视图图像)和将视场方向设为车辆后方的情况下的合成图像(以下称为后方视图图像)。生成前方视图图像时的虚拟视点和生成后方视图图像时的虚拟视点均被设定于驾驶席位置。
7.然而，在如上述那样以被固定地设定于驾驶席位置的虚拟视点为基准生成了前方视图图像和后方视图图像的情况下，在两个视图图像的至少一方中，有可能无法充分地显示对于驾驶员来说成为死角的车辆前部或车辆后部的左右的附近区域(死角区域)。在该情况下，考虑以使死角区域的显示充分的方式适当扩展前方视图图像和后方视图图像的各视角，但是如果其结果导致两个视图图像的视角互不相同，则例如有可能在从后方视图图像切换到前方视图图像(或者与其相反地切换)时驾驶员会感到不适，切换后的图像的可视性恶化。
8.本发明是鉴于如上所述的情况而完成的，目的在于提供能够将包括死角区域在内的必要充分的范围的视图图像以可视性优异的形态进行显示的车辆用显示装置。
9.用于解决问题的方案
10.作为用于解决所述问题的方案，本发明是一种为了显示车辆周边的图像而搭载于车辆的车辆用显示装置，其特征在于，具备：摄影部，对车辆的周边进行摄影；图像处理部，将由所述摄影部进行摄影得到的图像变换为从车室内看车辆周边时的图像即视图图像；以及显示部，显示由所述图像处理部生成的视图图像，所述图像处理部作为所述视图图像能够生成从位于车室内的第一虚拟视点看车辆后方时得到的后方视图图像、以及从位于车室
内的比所述第一虚拟视点靠后侧的位置的第二虚拟视点看车辆前方时得到的前方视图图像，所述显示部在车辆后退时显示所述后方视图图像，在车辆前进时显示所述前方视图图像，并且将这两个视图图像以大致相同的视角进行显示(技术方案1)。
11.根据本发明，在车辆的后退时，作为从位于车室内的相对靠前侧的位置的第一虚拟视点看车辆后方时的图像的后方视图图像被显示在显示部，因此能够得到如同从拉开远距离的位置俯瞰车辆后方那样的图像来作为后方视图图像，能够利用后方视图图像来显示包括存在于车辆后部的左右的附近的死角区域在内的必要充分的范围。由此，在例如驾驶员正在进行使车辆向后停车的驾驶操作时那样担心障碍物(其它车辆、行人等)与后退中的本车辆碰撞的场景中，能够使驾驶员准确地识别驾驶员看漏的可能性高的车辆的后侧方(死角区域)的障碍物，能够辅助驾驶员进行能够避免这样的与障碍物的碰撞(卷入)的安全的驾驶。
12.同样地，在车辆的前进时，作为从位于车室内的相对靠后侧的位置的第二虚拟视点看车辆前方时的图像的前方视图图像被显示在显示部，因此能够得到如同从拉开远距离的位置俯瞰车辆前方那样的图像来作为前方视图图像，能够利用前方视图图像来显示包括存在于车辆前部的左右的附近的死角区域在内的必要充分的范围。由此，在例如驾驶员正在进行使车辆向前停车的驾驶操作时那样担心障碍物(其它车辆、行人等)与前进中的本车辆碰撞的场景中，能够使驾驶员准确地识别驾驶员看漏的可能性高的车辆的前侧方(死角区域)的障碍物，能够辅助驾驶员进行能够避免这样的与障碍物的碰撞(卷入)的安全的驾驶。
13.另外，后方视图图像和前方视图图像的视角被设定为大致相同，因此能够良好地确保两个视图图像的可视性。例如在后方视图图像与前方视图图像之间视角大不相同的情况下，有可能在从后方视图图像切换到前方视图图像(或者与其相反地切换)时驾驶员会感到不适，驾驶员无法立即理解切换后的图像。与此相对，根据后方视图图像和前方视图图像的视角被设为大致相同的本发明，能够避免产生如上所述的不适，能够使驾驶员立即理解各视图图像。
14.优选的是，所述第一虚拟视点被设定于比落座于驾驶席的驾驶员的眼点靠上方且靠前方的位置，所述第二虚拟视点被设定于比所述驾驶员的眼点靠上方且靠后方的位置(技术方案2)。
15.根据该结构，能够以接近驾驶员的视线的方向视图来显示后方视图图像和前方视图图像，能够将各视图图像设为对于驾驶员来说容易直观地识别的图像。
16.在所述结构中，更优选的是，所述第一虚拟视点在侧视视图中被设定于穿过路面上的与车辆的后端相距慢行时的制动距离的第一目标位置和所述驾驶员的眼点的第一倾斜线上，所述第二虚拟视点在侧视视图中被设定于穿过路面上的与车辆的前端相距慢行时的制动距离的第二目标位置和所述驾驶员的眼点的第二倾斜线上(技术方案3)。
17.根据该结构，与驾驶员实际将视线朝向车辆后方的第一目标位置时看到的图接近的图像被显示为后方视图图像，因此在例如驾驶员正在进行将车辆向后停车的操作时，通过后方视图图像，能够使驾驶员准确地识别第一目标位置上的障碍物。同样地，与驾驶员实际将视线朝向车辆前方的第二目标位置时看到的图接近的图像被显示为前方视图图像，因此在例如驾驶员正在进行将车辆向前停车的操作时，通过前方视图图像，能够使驾驶员准
确地识别第二目标位置上的障碍物。与车辆相距慢行时的制动距离的第一/第二目标位置可以说是用于避免碰撞的重要的位置(驾驶员应该给予注意的位置)，通过使驾驶员准确地识别位于这样的第一/第二目标位置的障碍物，能够降低与该障碍物碰撞的可能性。
18.在所述结构中，更优选的是，所述图像处理部通过将由所述摄影部进行摄影得到的图像以所述第一虚拟视点或所述第二虚拟视点为投影中心投影到预先设定的虚拟的投影面，生成所述第一视图图像或所述第二视图图像，所述投影面具有被设定于路面上的平面投影面和从平面投影面的外周立起的立体投影面，所述第一目标位置和所述第二目标位置被设定于所述立体投影面的下缘的附近(技术方案4)。
19.这样，在立体投影面的下缘(换言之，平面投影面的外周)的附近设定了第一目标位置和第二目标位置的情况下，在各目标位置处存在障碍物时，能够将该障碍物的图像以主要投影到立体投影面的状态进行显示。立体投影面与平面投影面相比在投影时产生的失真少，因此通过将各目标位置上的障碍物的图像主要投影到这样的立体投影面，能够提高障碍物的可视性，能够进一步降低与该障碍物碰撞的可能性。
20.优选的是，所述图像处理部将表示本车辆的后部的部件群的第一模拟图像以透视状态叠加显示在所述后方视图图像，并且将表示本车辆的前部的部件群的第二模拟图像以透视状态叠加显示在所述前方视图图像，在所述第一模拟图像中包括规定本车辆的后部的最外廓的部件的图像，在所述第二模拟图像中包括规定本车辆的前部的最外廓的部件的图像(技术方案5)。
21.这样，在将以透视状态示出本车辆的后部(前部)的部件群的第一模拟图像(第二模拟图像)叠加地显示在后方视图图像(前方视图图像)上的情况下，能够使驾驶员对于显示在各视图图像中的障碍物等的信息一边掌握与本车辆的位置关系、一边进行识别。并且，在第一模拟图像中包括规定本车辆的后部的最外廓的部件的图像，在第二模拟图像中包括规定本车辆的前部的最外廓的部件的图像，因此能够使驾驶员准确地识别位于车辆的后侧方和前侧方的障碍物与有可能第一个与该障碍物碰撞的部件的位置关系，能够进一步降低与该障碍物碰撞的可能性。
22.发明的效果
23.如以上说明的那样，根据本发明的车辆用显示装置，能够将包括死角区域在内的必要充分的范围的视图图像以可视性优异的形态进行显示。
附图说明
24.图1是具备本发明的一个实施方式所涉及的车辆用显示装置的车辆的平面图。
25.图2是从后方看上述车辆中的车室的前部时的立体图。
26.图3是表示上述车辆用显示装置的控制系统的框图。
27.图4是从侧方看上述车室的前部时的侧视图。
28.图5是表示被设定于车室内的虚拟视点(第一虚拟视点和第二虚拟视点)和在生成从该虚拟视点看时的视图图像时使用的投影面的立体图。
29.图6是表示在车辆的驾驶中由图像处理部执行的控制的内容的流程图。
30.图7是表示在图6的步骤s4中执行的后方视图图像的生成/显示控制的详情的子例程。
31.图8是表示在图6的步骤s8中执行的前方视图图像的生成/显示控制的详情的子例程。
32.图9是用于说明人的注视稳定视场的图，(a)是平面图，(b)是侧视图。
33.图10是用于说明在生成后方视图图像时使用的图像数据的范围的图，(a)是平面图，(b)是侧视图。
34.图11是用于说明在生成后方视图图像时使用的第一虚拟视点的位置的侧视图。
35.图12是用于说明在生成前方视图图像时使用的图像数据的范围的图，(a)是平面图，(b)是侧视图。
36.图13是用于说明在生成前方视图图像时使用的第二虚拟视点的位置的侧视图。
37.图14是用于说明视点变换的处理的示意图，(a)表示对与投影面相比离虚拟视点更远的摄影对象进行摄影的情况，(b)表示对与投影面相比离虚拟视点更近的摄影对象进行摄影的情况。
38.图15是表示后方视图图像的一例的图。
39.图16是表示前方视图图像的一例的图。
40.附图标记说明
41.1：车辆用显示装置；
42.2：车外摄影装置(摄影部)；
43.3：图像处理部；
44.4：车内显示器(显示部)；
45.e：(驾驶员的)眼点；
46.g1：第一本车辆图标(第一模拟图像)；
47.g2：第二本车辆图标(第二模拟图像)；
48.g3：后挡泥板(规定车辆后部的最外廓的部件)；
49.g13：前挡泥板(规定车辆前部的最外廓的部件)；
50.m1：车辆的后端；
51.m2：车辆的前端；
52.l1：第一倾斜线；
53.l2：第二倾斜线；
54.p：投影面；
55.p1：平面投影面；
56.p2：立体投影面；
57.t1：第一目标位置；
58.t2：第二目标位置；
59.v1：第一虚拟视点；
60.v2：第二虚拟视点。
具体实施方式
61.(1)整体结构
62.图1是具备本发明的一个实施方式所涉及的车辆用显示装置1(以下称为显示装置
1)的车辆的平面图，图2是表示该车辆中的车室的前部的立体图，图3是表示显示装置1的控制系统的框图。如本图所示，显示装置1具备：车外摄影装置2(图1、图3)，对车辆的周边进行摄影；图像处理部3(图3)，对由车外摄影装置2进行摄影得到的图像实施各种图像处理；以及车内显示器4(图2、图3)，显示由图像处理部3进行处理后的图像。此外，车外摄影装置2相当于本发明中的“摄影部”的一例，车内显示器4相当于本发明中的“显示部”的一例。
63.车外摄影装置2具备对车辆的前方进行摄影的前摄像机2a、对车辆的后方进行摄影的后摄像机2b、对车辆的左方进行摄影的左摄像机2c以及对车辆的右方进行摄影的右摄像机2d。如图1所示，前摄像机2a安装于车辆前端的前脸部11，构成为能够获取车辆前方的角度范围ra内的图像。后摄像机2b安装于车辆后部的后备箱门(back door)12的后表面，构成为能够获取车辆后方的角度范围rb内的图像。左摄像机2c安装于车辆的左侧的侧视镜13，构成为能够获取车辆左方的角度范围rc内的图像。右摄像机2d安装于车辆的右侧的侧视镜14，构成为能够获取车辆右方的角度范围rd内的图像。这些前后左右的各摄像机2a～2d均由大视场的带有鱼眼镜头的摄像机构成。
64.车内显示器4配置于车室前部的仪表板20(图2)的中央部。车内显示器4例如由全彩色的液晶面板构成，能够根据乘客的操作、车辆的行驶状态显示各种画面。具体地说，车内显示器4除了具有显示由车外摄影装置2(摄像机2a～2d)进行摄影得到的图像的功能以外，还具有例如显示引导车辆的到目的地的行驶路径的导航画面、用于进行车辆所具备的各种设备的设定的设定画面等的功能。此外，图示的车辆是右舵车，在车内显示器4的右侧配置有方向盘21。另外，在方向盘21的后方配置有供驾驶车辆的驾驶员落座的坐席即驾驶席7(图1)。
65.图像处理部3通过对由车外摄影装置2(摄像机2a～2d)进行摄影得到的图像实施各种图像处理，生成从车室内看车辆周边时得到的图像(以下将其称为视图图像)，使所生成的视图图像显示在车内显示器4。图像处理部3根据条件生成从车室内看车辆后方时得到的后方视图图像和从车室内看车辆前方时得到的前方视图图像的某一个，使所生成的视图图像显示在车内显示器4，稍后叙述详情。
66.如图3所示，在图像处理部3上电连接有车速传感器sn1、挡位传感器sn2以及视图开关sw1。
67.车速传感器sn1是检测车辆的行驶速度的传感器。
68.挡位传感器sn2是检测车辆所具备的自动变速器(省略图示)的挡位的传感器。自动变速器至少能够实现d(前进)、n(空挡)、r(倒车)、p(停车)这四个挡位，由挡位传感器sn2检测实现了其中的哪个位。此外，d位是在车辆的前进时选择的挡位(前进挡)，r位是在车辆后退时选择的挡位(后退挡)，n、p的各个位是在车辆非行驶时选择的挡位。
69.视图开关sw1是用于决定在挡位为d位时(也就是说车辆的前进时)是否允许视图图像的显示的开关。在本实施方式中，在挡位为r位(后退挡)时，自动地在车内显示器4上显示后方视图图像，另一方面，在挡位为d位(前进挡)时，仅当视图开关sw1被进行了操作时(也就是说驾驶员要求时)在车内显示器4上显示前方视图图像，稍后叙述详情。图像处理部3根据视图开关sw1的操作状况和挡位传感器sn2的检测结果决定在车内显示器4上显示前方/后方视图图像的某一个、或者不显示双方。此外，视图开关sw1例如能够设置于方向盘21。
70.(2)图像处理部的详情
71.更详细地说明图像处理部3的结构。如图3所示，图像处理部3在功能上具有判定部31、图像提取部32、图像变换部33、图标设定部34以及显示控制部35。
72.判定部31是进行在进行图像处理时所需的各种判定的模块。
73.图像提取部32是进行在所需范围内提取前后左右的摄像机2a～2d的摄影图像的处理的模块。具体地说，图像提取部32根据车辆正在后退、还是正在前进来切换要使用的摄像机。例如，在车辆的后退时(在挡位为r挡时)，使用至少包括后摄像机2b的多个摄像机，在车辆的前进时(在挡位为d挡时)，使用至少包括前摄像机2a的多个摄像机。此外，从使用的各摄像机提取的图像的范围被设为与最终显示在车内显示器4上的图像(后述的视图图像)的视角相应的范围。
74.图像变换部33是通过一边将由图像提取部32提取出的各摄像机的摄影图像进行合成一边进行视点变换的处理来生成从车室内看车辆周边时的图像即视图图像的模块。在视点变换时，使用图5所示的投影面p以及图1、图4及图5所示的第一虚拟视点v1和第二虚拟视点v2。投影面p是呈碗状的虚拟的面，包括假定车辆在水平的路面上行驶时的被设定于该路面上的平面投影面p1和从平面投影面p1的外周立起的立体投影面p2。平面投影面p1是具有能够包围车辆的直径的圆形的投影面。立体投影面p2以越是上侧(越远离平面投影面p1的外周)则直径越大的方式形成为向上扩展状。第一虚拟视点v1和第二虚拟视点v2(图1、图4)是成为向投影面p投影时的投影中心的点，均被设定于车室内。第一虚拟视点v1位于比第二虚拟视点v2靠前侧的位置。图像变换部33将提取出的各摄像机的摄影图像变换为以第一虚拟视点v1或第二虚拟视点v2为投影中心向投影面p进行投影所得到的视图图像。能够变换得到的视图图像中至少包括：后方视图图像，是从第一虚拟视点v1看车辆后方的情况下的投影图像(将摄像机图像向投影面p中的后侧区域进行投影所得到的图像)；以及前方视图图像，是从第二虚拟视点v2看车辆前方的情况下的投影图像(将摄像机图像向投影面p中的前侧区域进行投影所得到的图像)。
75.图标设定部34是进行设定被叠加显示于上述视图图像(后方视图图像或前方视图图像)的第一本车辆图标g1(图15)和第二本车辆图标g2(图16)的处理的模块。第一本车辆图标g1是将从第一虚拟视点v1看车辆后方时映现的本车辆的各种部件(车轮、车室部件)以透视状态进行显示的图形图像，第二本车辆图标g2是将从第二虚拟视点v2看车辆前方时映现的本车辆的各种部件以透视状态进行显示的图形图像。第一本车辆图标g1相当于本发明中的“第一模拟图像”，第二本车辆图标g2相当于本发明中的“第二模拟图像”。
76.显示控制部35是进行使叠加有第一或第二本车辆图标g1、g2的视图图像显示在车内显示器4的处理的模块。即，显示控制部35对由图像变换部33生成的后方视图图像叠加由图标设定部34设定的第一本车辆图标g1，使该叠加后的视图图像显示在车内显示器4。同样地，显示控制部35对由图像变换部33生成的前方视图图像叠加由图标设定部34设定的第二本车辆图标g2，使该叠加后的视图图像显示在车内显示器4。
77.(3)控制动作
78.图6是表示在车辆的驾驶中由图像处理部3执行的控制的内容的流程图。当本图所示的控制开始时，图像处理部3(判定部31)判定由车速传感器sn1检测出的车速是否为预先决定的阈值速度x1以下(步骤s1)。此外，阈值速度x1例如能够设为15km/h左右。
79.在上述步骤s1中判断为“是”而确认出车速为阈值速度x1以下的情况下，图像处理部3(判定部31)判定由挡位传感器sn2检测出的挡位是否为r位(后退挡)(步骤s2)。
80.在上述步骤s2中判定为“是”而确认出挡位是r位的情况下(换言之车辆的后退时)，图像处理部3设定在后述的步骤s4中生成的后方视图图像的视角(步骤s3)。具体地说，在该步骤s3中，水平方向的视角被设定为90度，垂直方向的视角被设定为45度。
81.在上述步骤s3中设定的视角基于人的注视稳定视场。注视稳定视场是指，通过由头部的运动(摇头运动)帮助眼球运动而能够轻松地视觉辨认的范围。注视稳定视场一般被设为在水平方向上具有从左45度到右45度的角度范围、在垂直方向具有从上30度到下40度的角度范围。即，如图9的(a)(b)所示，当将注视稳定视场的水平方向的最大角度(水平最大角度)设为θ1、将垂直方向的最大角度(垂直最大角度)设为θ2时，水平最大角度θ1为90度，垂直最大角度θ2为70度。另外，在注视稳定视场的内侧存在具有水平30度、垂直20度的角度范围的有效视场，如果是该有效视场内的信息则可以说仅通过眼球运动就能够准确地进行判别。相反地，对于有效视场的外侧的信息，虽然可见但难以以足够的精度进行判别，难以注意到细微的变化。为了对有效视场的外侧的信息高精度地进行视觉辨认(注视)，需要通过头部的运动(摇头)的帮助。另一方面，如果虽然在有效视场的外侧、但是在注视稳定视场的内侧，则仅通过伴随轻松的轻微的头部运动就能够准确地判别信息，认为对于细微的变化也能够比较迅速地应对。
82.考虑到上述的点，在本实施方式中，后方视图图像的视角被设定为水平90度、垂直45度。即，后方视图图像的水平方向的视角被设定为与注视稳定视场的水平最大角度θ1相同即90度，并且后方视图图像的垂直方向的视角被设定为小于注视稳定视场的垂直最大角度θ2(＝70度)的45度。
83.接着，图像处理部3执行生成从车室内的第一虚拟视点v1看车辆后方时得到的后方视图图像并显示在车内显示器4的控制(步骤s4)。稍后叙述该控制的详情。
84.接着，说明在上述步骤s2中判定为“否”的情况、也就是说自动变速器的挡位不是r位(后退挡)的情况下的控制。在该情况下，图像处理部3(判定部31)判定由挡位传感器sn2检测出的挡位是否为d位(前进挡)(步骤s5)。
85.在上述步骤s5中判定为“是”而确认出挡位是d位的情况下(换言之车辆的前进时)，图像处理部3(判定部31)基于来自视图开关sw1的信号，判定该视图开关sw1是否处于on(接通)状态(步骤s6)。
86.在上述步骤s6中判定为“是”而确认出视图开关sw1是on状态的情况下，图像处理部3设定在后述的步骤s8中生成的前方视图图像的视角(步骤s7)。在该步骤s7中设定的前方视图图像的视角与在上述的步骤s3中设定的后方视图图像的视角相同，在本实施方式中被设定为水平90度、垂直45度。
87.接着，图像处理部3执行生成从车室内的第二虚拟视点v2看车辆前方时得到的前方视图图像并显示在车内显示器4的控制(步骤s8)。稍后叙述该控制的详情。
88.图7是表示在上述的步骤s4中执行的后方视图图像的生成/显示控制的详情的子例程。当本图所示的控制开始时，图像处理部3(图像提取部32)从后摄像机2b、左摄像机2c以及右摄像机2d的摄影图像获取所需范围的图像数据(步骤s11)。
89.图10的(a)(b)是用于说明在上述步骤s11中获取的图像数据的范围的示意图，以
平面视图和侧视视图示出了车辆及其周围的投影面p。如已经叙述的那样，后方视图图像是以第一虚拟视点v1为投影中心在水平90度、垂直45度的角度范围内将摄像机图像向后方进行投影所得到的图像。因而，得到这样的后方视图图像所需的图像数据至少是从第一虚拟视点v1以水平90度、垂直45度的角度向后方扩展的立体扇型状的摄影区域w1的图像数据。因此，在上述步骤s11中，从后摄像机2b、左摄像机2c以及右摄像机2d的各摄影图像的数据中分别获取与该摄影区域w1内的图像对应的数据。
90.关于这一点，更详细地进行说明。在本实施方式中，如图10的(a)所示，第一虚拟视点v1被设定于车辆中心轴lc(穿过车辆中心c并在前后方向上延伸的轴线)上，并且从该第一虚拟视点v1看正后方时得到的图像被生成为后方视图图像。因此，摄影区域w1成为在平面视图中从第一虚拟视点v1以水平90度(在车辆中心轴lc的左右各45度)的角度范围向后方扩展的扇型的区域、也就是说由从第一虚拟视点v1向左后方以45度的角度延伸的第一线k11和从第一虚拟视点v1向右后方以45度的角度延伸的第二线k12划分出的扇型的区域。为了得到这样的摄影区域w1内的摄影数据，在上述步骤s11中，将摄影区域w1在平面视图中分割为3个区域w11～w13(图10的(a))，从不同的摄像机获取各区域w11～w13的图像数据。在将区域w11设为第一区域、将区域w12设为第二区域、将区域w13设为第三区域时，在本实施方式中，从后摄像机2b获取第一区域w11的图像数据，从左摄像机2c获取第二区域w12的图像数据，从右摄像机2d获取第三区域w13的图像数据。
91.具体地说，第一区域w11是上述的摄影区域w1(由第一线k11和第二线k12划分出的区域)中的、与从后摄像机2b以水平170度(在车辆中心轴lc的左右各85度)的角度范围向后方扩展的扇型的区域重复的区域。换言之，第一区域w11是由从后摄像机2b向左后方以85度的角度延伸的第三线k13、从后摄像机2b向右后方以85度的角度延伸的第四线k14、第一线k11的位于比与第三线k13的交点j11靠后侧的位置的部分、以及第二线k12的位于比与第四线k14的交点j12靠后侧的位置的部分划分出的区域。第二区域w12是从摄影区域w1的左半部分除去第一区域w11的部分后的剩余的区域。第三区域w13是从摄影区域w1的左半部分除去第一区域w11的部分后的剩余的区域。此外，第二/第三区域w12、w13中的位于紧邻车辆的后侧的区域成为无法利用左右的摄像机2c、2d进行摄影的区域，而该区域的图像是通过规定的插值处理(例如对与死角区域邻接的区域的图像进行拉伸的处理)来进行补偿。
92.在通过以上那样从各摄像机2b、2c、2d获取所需范围的图像之后，图像处理部3(图像变换部33)设定在后述的步骤s15中生成后方视图图像时使用的第一虚拟视点v1(步骤s12)。如图4和图10的(a)所示，第一虚拟视点v1被设定于包括在车室内、并在平面视图中与车辆中心轴lc一致且在侧视视图中相对于驾驶员的头部d1向前方偏离的位置。
93.关于第一虚拟视点v1的详细的位置，参照图11来进行说明。在图11中，点t1是路面上(更准确地说，与平面投影面p1成同一个平面的虚拟的路面上)的与车辆的后端m1相距距离dt的点，以下将其称为第一目标位置。从车辆的后端m1到第一目标位置t1的距离dt相当于慢行时(车速为5km/h时)的制动距离、也就是说从驾驶员注意到危险之后起至通过制动器操作来使车辆停止为止的车辆的移动距离，例如被设定为2m。另外，图11中的点e(在图4中也有记载)是落座于驾驶席7的驾驶员的眼睛的位置、也就是说眼点(eye point)。此外，设该情况下的驾驶员具有与作为美国成年男性的第50百分位的假人偶的am50相同的体格，另外，设供驾驶员落座的驾驶席7(图4)的坐席位置被设定于与am50相当的驾驶员能够采取
适当的驾驶姿势的位置。
94.如图11所示，第一虚拟视点v1在侧视视图中被设定为位于穿过路面上的第一目标位置t1和驾驶员的眼点e的第一倾斜线l1上、且相对于眼点e向车辆前方偏离距离dv。换言之，第一虚拟视点v1被设定为位于车室内的比驾驶员的眼点e靠上方且靠前方的位置。被设定于这样的位置的第一虚拟视点v1在图4所示的侧视视图中位于比驾驶席7的坐席靠背7a靠前侧的区域中的车顶面板8的下侧的附近。此外，从眼点e到第一虚拟视点v1的前后方向的距离dv例如能够设定为200mm左右。
95.接着，图像处理部3(图像变换部33)设定在后述的步骤s15中生成后方视图图像时使用的投影面p(步骤s13)。如使用图5已经说明的那样，投影面p是内含车辆的碗状的投影面，包括平面投影面p1和立体投影面p2。在本实施方式中，设在平面视图中投影面p(平面投影面p1)的中心与图10的(a)所示的车辆中心c(车辆的前后方向和车宽方向的中心)一致。即，在步骤s13中，图像处理部3(图像变换部33)设定具有与车辆中心c相同的中心的圆形的平面投影面p1，并且设定从该平面投影面p1的外周以规定的曲率扩径且立起的立体投影面p2。另外，如图11所示，平面投影面p1的半径被设定为使第一目标位置t1位于平面投影面p1的外周(换言之，立体投影面p2的下缘)的附近。具体地说，在本实施方式中，平面投影面p1的半径例如被设定为4～5m左右以使第一目标位置t1存在于从平面投影面p1的外周(立体投影面p2的下缘)的后端稍微(例如200mm左右)向后方偏离的位置。
96.接着，图像处理部3(图标设定部34)设定在后述的步骤s16中与后方视图图像一起叠加显示的第一本车辆图标g1(图15)(步骤s14)。在此设定的第一本车辆图标g1是表示如图15所示那样从第一虚拟视点v1看后方时映现的本车辆的各种部件的图标，包括将车辆的后轮g1、车辆后部的外廓部件(后挡泥板g3等)以透视状态进行显示的图形图像。关于这样的第一本车辆图标g1，能够通过将被预先存储在图像处理部3的图形图像以根据第一虚拟视点v1与投影面p的位置关系决定的缩放比例进行放大或缩小等来生成。
97.接着，图像处理部3(图像变换部33)将在上述步骤s11中获取的各摄像机2b、2c、2d的摄影图像进行合成，并且使用在上述步骤s12、s13中设定的第一虚拟视点v1和投影面p对该合成后的图像进行视点变换的处理，由此生成从第一虚拟视点v1看车辆后方时得到的后方视图图像(步骤s15)。即，图像处理部3(图像变换部33)将由后摄像机2b进行摄影得到的第一区域w11的图像、由左摄像机2c进行摄影得到的第二区域w12的图像以及由右摄像机2d进行摄影得到的第三区域w13的图像(分别参照图10的(a))进行合成。然后，进行将该合成后的图像以第一虚拟视点v1为投影中心投影到投影面p的后侧的一部分、也就是说投影面p(平面投影面p1和立体投影面p2)中的作为与上述区域w11～w13对应的范围的后侧区域p1w的视点变换的处理。由此，能够生成从第一虚拟视点v1看车辆后方时得到的后方视图图像。
98.此外，上述的视点变换(向投影面p的投影)的处理例如能够如下进行。首先，对合成后的摄像机图像的各像素决定三维(x，y，z)的坐标。接着，使用根据第一虚拟视点v1与投影面p的后侧区域p1w的位置关系决定的规定的运算式等，将各像素的坐标变换为投影后的坐标。例如，如图14的(a)所示，在设对与投影面p相比离第一虚拟视点v1更远的摄影对象进行摄影所得到的图像是a1、且该图像a1中的特定的像素的坐标为a1、a2时，各像素的投影后的坐标分别成为投影面p上的坐标a1i、a2i。相反地，如图14的(b)所示，在设对与投影面p相比离第一虚拟视点v1更近的摄影对象进行摄影所得到的图像是b1、且该图像b1中的特定的
像素的坐标为b1、b2时，各像素的投影后的坐标分别成为投影面p上的坐标b1i、b2i。然后，基于这样的变换后的坐标与原来的坐标的关系对摄影图像进行加工。例如，在图14的(a)的事例中，摄影对象的图像a1被加工而变换为图像a1i，在图14的(b)的事例中，摄影对象的图像b1被加工而变换为图像b1i。图像处理部3(图像变换部33)通过如以上那样的过程来进行视点变换(向投影面p的投影)的处理，由此生成从第一虚拟视点v1看车辆后方时得到的后方视图图像。
99.接着，图像处理部3(显示控制部35)使在上述步骤s15中生成的后方视图图像以叠加有在上述步骤s14中设定的第一本车辆图标g1的状态显示在车内显示器4(步骤s16)。图15是示意性地表示该显示的一例的图。在该例子中，在后方视图图像中包括位于本车辆的后方的停车车辆(其它车辆)q1、q2的图像以及为了确定停车空间而附加在路面的白线u1的图像。另外，在第一本车辆图标g1中包括将左右的后轮g1、g1、悬架部件g2、位于各后轮g1、g1的周围的后挡泥板g3、g3、后玻璃g4以及左右的后灯g5分别以透视状态进行显示的图形图像。这些部件中的后挡泥板g3、g3是规定车辆后部的最外廓(最靠车宽方向的外侧的面)的部件。
100.接着，使用图8说明在上述的步骤s8(图6)中执行的前方视图图像的生成/显示控制的详情。当图8所示的控制开始时，图像处理部3(图像提取部32)从前摄像机2a、左摄像机2c以及右摄像机2d的摄影图像获取所需范围的图像数据(步骤s21)。
101.图12的(a)(b)是用于说明在上述步骤s21中获取的图像数据的范围的示意图，以平面视图和侧视视图示出了车辆及其周围的投影面p。如已经叙述的那样，前方视图图像是以第二虚拟视点v2为投影中心在水平90度、垂直45度的角度范围内将摄像机图像向前方进行投影所得到的图像。因而，得到这样的前方视图图像所需的图像数据至少是从第二虚拟视点v2以水平90度、垂直45度的角度向前方扩展的立体扇型状的摄影区域w2的图像数据。因此，在上述步骤s21中，从前摄像机2a、左摄像机2c以及右摄像机2d的各摄影图像的数据中分别获取与该摄影区域w2内的图像对应的数据。
102.在上述步骤s21中获取前方的摄影区域w2内的图像的方法与上述的步骤s11(图7)的方法、也就是说获取后方的摄影区域w1(图10)内的图像的方法同样。即，在上述步骤s21中，如图12的(a)所示，将在平面视图中从第二虚拟视点v2以水平90度(在车辆中心轴lc的左右各45度)的角度范围向前方扩展的扇型的区域、也就是说由从第二虚拟视点v2向左前方以45度的角度延伸的第一线k21和从第二虚拟视点v2向右前方以45度的角度延伸的第二线k22划分出的扇型的区域规定为摄影区域w2。然后，将该摄影区域w2在平面视图中分割为3个区域w21～w23，从不同的摄像机获取各区域w21～w23的图像数据。在将区域w21设为第一区域、将区域w22设为第二区域、将区域w23设为第三区域时，在本实施方式中，从前摄像机2a获取第一区域w21的图像数据，从左摄像机2c获取第二区域w22的图像数据，从右摄像机2d获取第三区域w23的图像数据。
103.具体地说，第一区域w21是上述的摄影区域w2(由第一线k21和第二线k22划分出的区域)中的、与从前摄像机2a以水平170度(在车辆中心轴lc的左右各85度)的角度范围向前方扩展的扇型的区域重复的区域。换言之，第一区域w21是由从前摄像机2a向左前方以85度的角度延伸的第三线k23、从前摄像机2a向右前方以85度的角度延伸的第四线k24、第一线k21的位于比与第三线k23的交点j21靠前侧的位置的部分、以及第二线k22的位于比与第四
线k24的交点j22靠前侧的位置的部分划分出的区域。第二区域w22是从摄影区域w2的左半部分除去第一区域w21的部分后的剩余的区域。第三区域w23是从摄影区域w2的左半部分除去第一区域w21的部分后的剩余的区域。此外，第二/第三区域w22、w23中的位于紧邻车辆的前侧的区域成为无法利用左右的摄像机2c、2d进行摄影的区域，而该区域的图像是通过规定的插值处理(例如对与死角区域邻接的区域的图像进行拉伸的处理)来进行补偿。
104.在通过以上那样从各摄像机2a、2c、2d获取所需范围的图像之后，图像处理部3(图像变换部33)设定在后述的步骤s25中生成前方视图图像时使用的第二虚拟视点v2(步骤s22)。如图4和图12的(a)所示，第二虚拟视点v2被设定于包括在车室内、并在平面视图中与车辆中心轴lc一致且在侧视视图中相对于驾驶员的头部d1向后方偏离的位置。
105.关于第二虚拟视点v2的详细的位置，参照图13来进行说明。在图13中，点t2是路面上(更准确地说，与平面投影面p1成同一个平面的虚拟的路面上)的与车辆的前端m2相距与慢行时(车速为5km/h时)的制动距离相当的距离dt(例如2m)的点，以下将其称为第二目标位置。
106.如图13所示，第二虚拟视点v2在侧视视图中被设定为位于穿过路面上的第二目标位置t2和驾驶员的眼点e的第二倾斜线l2上、且相对于眼点e向车辆后方偏离距离dv(例如200mm)。换言之，第二虚拟视点v2被设定为位于车室内的比驾驶员的眼点e靠上方且靠后方的位置。被设定于这样的位置的第二虚拟视点v2在图4所示的侧视视图中位于比驾驶席7的坐席靠背7a靠后侧的区域中的车顶面板8的下侧的附近。
107.接着，图像处理部3(图像变换部33)设定在后述的步骤s25中生成前方视图图像时使用的投影面p(步骤s23)。该投影面p与已经叙述的在生成后方视图图像时使用的投影面p(上述步骤s13)相同，包括具有与车辆中心c相同的中心的圆形的平面投影面p1和从平面投影面p1的外周以规定的曲率扩径且立起的立体投影面p2。由此，如图13所示，第二目标位置t2靠近平面投影面p1的外周(换言之，立体投影面p2的下缘)。具体地说，第二目标位置t2被设定于从平面投影面p1的外周(立体投影面p2的下缘)的前端稍微(例如200mm左右)向前方偏离的位置。
108.接着，图像处理部3(图标设定部34)设定在后述的步骤s26中与前方视图图像一起叠加显示的第二本车辆图标g2(图16)(步骤s24)。在此设定的第二本车辆图标g2是表示如图16所示那样从虚拟视点v2看前方时映现的本车辆的各种部件的图标，包括将车辆的前轮g11、车辆前部的外廓部件(前挡泥板g13等)以透视状态进行显示的图形图像。关于这样的第二本车辆图标g2，能够通过将被预先存储在图像处理部3的图形图像以根据第二虚拟视点v2与投影面p的位置关系决定的缩放比例进行放大或缩小等来生成。
109.接着，图像处理部3(图像变换部33)将在上述步骤s21中获取的各摄像机2a、2c、2d的摄影图像进行合成，并且使用在上述步骤s22、s23中设定的第二虚拟视点v2和投影面p对该合成后的图像进行视点变换的处理，由此生成从第二虚拟视点v2看车辆前方时得到的前方视图图像(步骤s25)。即，图像处理部3(图像变换部33)将由前摄像机2a进行摄影得到的第一区域w21的图像、由左摄像机2c进行摄影得到的第二区域w22的图像以及由右摄像机2d进行摄影得到的第三区域w23的图像(分别参照图12的(a))进行合成。然后，进行将该合成后的图像以第二虚拟视点v2为投影中心投影到投影面p的前侧的一部分、也就是说投影面p(平面投影面p1和立体投影面p2)中的作为与上述区域w21～w23对应的范围的前侧区域p2w
的视点变换的处理。由此，能够生成从第二虚拟视点v2看车辆前方时得到的前方视图图像。此外，视点变换的处理的详情与已经叙述的后方视图图像的生成时同样，因此在此省略其说明。
110.接着，图像处理部3(显示控制部35)使在上述步骤s25中生成的前方视图图像以叠加有在上述步骤s24中设定的第二本车辆图标g2的状态显示在车内显示器4(步骤s26)。图16是示意性地表示该显示的一例的图。在该例子中，在前方视图图像中包括位于本车辆的前方的停车车辆(其它车辆)q11、q12的图像以及为了确定停车空间而附加在路面的白线u11的图像。另外，在第二本车辆图标g2中包括将左右的前轮g11、g11、悬架部件g12、位于各前轮g11、g11的周围的前挡泥板g13、g13、前格栅g14以及前玻璃g15分别以透视状态进行显示的图形图像。这些部件中的前挡泥板g13、g13是规定车辆前部的最外廓(最靠车宽方向的外侧的面)的部件。
111.(4)作用效果
112.如以上说明的那样，在本实施方式中，能够基于由车外摄影装置2(摄像机2a～2d)进行摄影得到的图像来生成作为从车室内的第一虚拟视点v1看车辆后方时的图像的后方视图图像和作为从位于车室内的比第一虚拟视点v1靠后侧的位置的第二虚拟视点v2看车辆前方时的图像的前方视图图像，在车辆的后退时使后方视图图像显示在车内显示器4，在车辆的前进时使前方视图图像显示在车内显示器4。另外，后方视图图像和前方视图图像以彼此相同的视角(水平90度、垂直45度)被显示。根据这样的结构，具有如下优点：能够将包括死角区域在内的必要充分的范围的后方/前方视图图像以可视性优异的形态进行显示。
113.即，在上述实施方式中，在车辆的后退时，作为从位于车室内的相对靠前侧的位置的第一虚拟视点v1看车辆后方时的图像的后方视图图像被显示在车内显示器4，因此能够得到如同从拉开远距离的位置俯瞰车辆后方那样的图像来作为后方视图图像，能够利用后方视图图像来显示包括存在于车辆后部的左右的附近的死角区域在内的必要充分的范围。由此，在例如驾驶员正在进行使车辆向后停车的驾驶操作时那样担心障碍物(其它车辆、行人等)与后退中的本车辆碰撞的场景中，能够使驾驶员准确地识别驾驶员看漏的可能性高的车辆的后侧方(死角区域)的障碍物，能够辅助驾驶员进行能够避免这样的与障碍物的碰撞(卷入)的安全的驾驶。
114.同样地，在车辆的前进时，作为从位于车室内的相对靠后侧的位置的第二虚拟视点v2看车辆前方时的图像的前方视图图像被显示在车内显示器4，因此能够得到如同从拉开远距离的位置俯瞰车辆前方那样的图像来作为前方视图图像，能够利用前方视图图像来显示包括存在于车辆前部的左右的附近的死角区域在内的必要充分的范围。由此，在例如驾驶员正在进行使车辆向前停车的驾驶操作时那样担心障碍物(其它车辆、行人等)与前进中的本车辆碰撞的场景中，能够使驾驶员准确地识别驾驶员看漏的可能性高的车辆的前侧方(死角区域)的障碍物，能够辅助驾驶员进行能够避免这样的与障碍物的碰撞(卷入)的安全的驾驶。
115.另外，后方视图图像和前方视图图像的视角被统一，因此能够良好地确保两个视图图像的可视性。例如在后方视图图像与前方视图图像之间视角大不相同的情况下，有可能在从后方视图图像切换到前方视图图像(或者与其相反地切换)时驾驶员会感到不适，驾驶员无法立即理解切换后的图像。与此相对，根据后方视图图像和前方视图图像的视角被
统一的上述实施方式，能够避免产生如上所述的不适，能够使驾驶员立即理解各视图图像。
116.另外，在上述实施方式中，第一虚拟视点v1被设定于比落座于驾驶席7的驾驶员的眼点e靠上方且靠前方的位置，第二虚拟视点v2被设定于比眼点e靠上方且靠后方的位置，因此能够以接近驾驶员的视线的方向视图来显示各视图图像，能够将各视图图像设为对驾驶员来说容易直观地识别的图像。
117.另外，在上述实施方式中，在侧视视图中，在穿过路面上的与车辆的后端m1相距与慢行时的制动距离相当的距离dt的第一目标位置t1和驾驶员的眼点e的第一倾斜线l1上设定第一虚拟视点v1，因此能够使例如正在进行将车辆向后停车的操作的驾驶员准确地识别第一目标位置t1上的障碍物，能够降低与该障碍物碰撞的可能性。即，在驾驶员正在进行向后停车的操作时，即使在第一目标位置t1处存在障碍物，由于从车辆到该障碍物相距有慢行时的制动距离，因此也能够通过驾驶员的制动器操作来勉强避免与该障碍物的碰撞。反过来说，第一目标位置t1是驾驶员应该给予注意以能够可靠地识别位于此处的障碍物的位置，可以说是用于避免碰撞的重要的位置。对此，根据如上述那样在第一倾斜线l1上设定有第一虚拟视点v1的上述实施方式，与驾驶员实际将视线朝向第一目标位置t1时看到的图接近的图像被显示为后方视图图像，因此通过该后方视图图像，能够使驾驶员准确地识别位于第一目标位置t1的障碍物，能够降低与该障碍物碰撞的可能性。
118.同样地，在上述实施方式中，在侧视视图中，在穿过路面上的与车辆的前端m2相距距离dt(慢行时的制动距离)的第二目标位置t2和驾驶员的眼点e的第二倾斜线l2上设定第二虚拟视点v2，因此通过从这样的第二虚拟视点v2看时的前方视图图像，能够使例如正在进行将车辆向前停车的操作的驾驶员准确地识别第二目标位置t2上的障碍物，能够降低与该障碍物碰撞的可能性。
119.另外，在上述实施方式中，在生成后方视图图像和前方视图图像时摄像机图像以第一/第二虚拟视点v1、v2为投影中心而被投影到投影面p(平面投影面p1和立体投影面p2)，并且第一目标位置t1和第二目标位置t2被设定为靠近立体投影面p2的下缘(平面投影面p1的外周)，因此在各目标位置t1、t2处存在障碍物时，能够将该障碍物的图像以主要投影到立体投影面p2的状态进行显示，能够进一步提高各目标位置t1、t2上的障碍物的可视性。即，如图14的(b)所示，在投影到平面投影面p1之后的图像中容易产生大的失真，与此相对，在投影到立体投影面p2之后的图像中产生的失真小，可视性良好。因此，在如上述那样构成为各目标位置t1、t2上的障碍物的图像主要被投影到立体投影面p2的情况下，能够提高该障碍物的可视性，能够进一步降低与该障碍物碰撞的可能性。
120.另外，在上述实施方式中，将车辆后部的部件群以透视状态示出的第一本车辆图标g1被叠加地显示在后方视图图像上，并且将车辆前部的部件群以透视状态示出的第二本车辆图标g2被叠加地显示在前方视图图像上，因此能够使驾驶员对于显示在各视图图像中的障碍物等的信息一边掌握与本车辆的位置关系、一边进行识别。并且，在第一本车辆图标g1中包括规定车辆后部的最外廓的部件(后挡泥板g3)的图像，在第二本车辆图标g2中包括规定车辆前部的最外廓的部件(前挡泥板g13)的图像，因此能够使驾驶员准确地识别位于车辆的后侧方和前侧方的障碍物与有可能第一个与该障碍物碰撞的部件的位置关系，能够进一步降低与该障碍物碰撞的可能性。
121.(5)变形例
122.在上述实施方式中，将后方视图图像和前方视图图像的水平方向的视角设定为与人的注视稳定视场的水平最大角度θ1(＝90度)相同即90度，但是，如果考虑到在注视稳定视场的广度上存在些许的个体差异等，则各视图图像的水平方向的视角也可以是相对于90度稍微偏离的值。换言之，各视图图像的水平方向的视角只要是90度或者接近其的值(大致90度)即可，例如能够设定为85度以上且95度以下的范围的适当的值。
123.在上述实施方式中，将后方视图图像和前方视图图像的垂直方向的视角设定为45度，但是各视图图像的垂直方向的视角只要是人的注视稳定视场的垂直最大角度θ2(＝70度)以下且40度以上即可。即，能够将后方视图图像和前方视图图像的垂直方向的视角设定为40度以上且70度以下的范围的适当的值。
124.在上述实施方式中，将后方视图图像和前方视图图像的视角设定为彼此相同(水平90度、垂直45度)，但是两个视图图像的视角也可以不是完全相同，也可以稍有偏差。具体地说，如果后方视图图像和前方视图图像的视角之差为5度以下，则可以说两个视图图像的视角大致相同，本发明还包括这样的方式。
125.在上述实施方式中，在生成后方视图图像和前方视图图像时使将摄像机图像进行投影的投影面p的中心在平面视图中与车辆中心c一致，但是只要将投影面p设定为内含车辆即可，也可以在从车辆中心c偏离的位置处设定投影面p的中心。例如，也可以使投影面p的中心与第一虚拟视点v1或第二虚拟视点v2一致。更详细地说，也可以设为：在生成后方视图图像时设定以第一虚拟视点v1为中心的投影面，在生成前方视图图像时设定以第二虚拟视点v2为中心的投影面。
126.在上述实施方式中，以使与车辆的后端m1相距与慢行时的制动距离相当的距离dt(例如2m)的第一目标位置t1以及与车辆的前端m2相距相同的距离dt的第二目标位置t2分别位于相对于投影面p中的立体投影面p2的下缘(平面投影面p1的外周)稍微靠外侧(远离车辆的一侧)的位置的方式设定了平面投影面p1的半径，但是各目标位置t1、t2只要在立体投影面p2的下缘的附近即可，在此范围内能够变更为各种位置。例如，各目标位置t1、t2既可以位于与立体投影面p2的下缘一致的位置，也可以位于从立体投影面p2的下缘稍微向内侧(接近车辆的一侧)离开的位置。各目标位置t1、t2与立体投影面p2的下缘的距离容许到
±
50cm。换言之，如果该距离为
±
50cm以下，则可以说各目标位置t1、t2位于立体投影面p2的下缘的附近。