拍摄系统、拍摄装置及驾驶支援装置的制作方法

1.本发明涉及能够对存在于车辆的斜前方的立体物进行拍摄的拍摄系统及拍摄装置。


背景技术：

2.以往，已知有如下技术：检测存在于车辆的前方的立体物，进行避免车辆与该立体物的碰撞或减轻由碰撞带来的冲击的控制(碰撞回避控制)(例如，参照专利文献1)。立体物的检测，通过使用拍摄装置对车辆的前方进行拍摄并对通过拍摄而得到的图像数据进行解析来进行。该拍摄装置的光轴与车辆的前后轴(将车辆的车宽垂直地二等分且平行于接地面的轴)平行，该拍摄装置的水平视场角例如为100度。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2017-043262号公报


技术实现要素：

6.根据以往的技术，由于拍摄装置的水平视场角例如为100度，因此，对于位于比该视场角靠外侧的区域(到靠近车辆的斜前方、车辆侧方的方向为止的区域)的立体物，难以合适地进行碰撞回避控制。
7.对此，例如，可使拍摄装置构成为具有比以往广的水平视场角(例如180度)。然而，若在维持着拍摄装置的像素数(严格来说，拍摄装置所具备的图像传感器的像素数)的情况下扩大水平视场角，则每单位水平视场角的像素数会变少。其结果，图像的解析度(能够通过解析图像数据来检测出立体物的能力)降低，因此，能够检测出立体物的距离的界限值(检测界限距离)变短。
8.于是，考虑采用扩大水平视场角并且使图像传感器的像素数增加的拍摄装置。然而，若使图像传感器的像素数大幅增加，则会产生导致拍摄装置的成本大幅上升、拍摄装置大型化、电力消耗量及发热量增大这样的问题。
9.本发明是为了应对上述的问题而完成的。即，本发明的目的之一在于，提供一种不使图像传感器的像素数大幅增加就能够合适地对存在于车辆的斜前方的立体物进行拍摄的拍摄系统及拍摄装置。
10.本发明的拍摄系统(以下，也称作“第1发明系统”)，是车辆的拍摄系统，具备：
11.前方相机传感器(30)，具有在将作为与车辆(v)的前后轴平行的轴的基准轴(a)的方位设为基准方位时，水平视场角小于180度的预定的第1水平视场角(100度)，所述前方相机传感器以所述第1水平视场角(100度)包含于比与车辆(v)的左右方向对应的方位角(90度、-90度)靠所述车辆(v)的前方的区域的方式设置于所述车辆(v)，且通过对来自位于所述车辆(v)的前方的被拍摄体中的位于所述第1水平视场角(100度)内的被拍摄体的光进行光电变换而变换为电信号，来取得在所述车辆(v)的驾驶支援控制中所使用的前方窄域图
像数据；和
12.图像生成用相机传感器(20f、120l、120r)，具有水平视场角为180度以上的预定的第2水平视场角(180度)，所述图像生成用相机传感器设置于所述车辆(v)，且通过对来自位于所述车辆(v)的周围的被拍摄体中的位于所述第2水平视场角(180度)内的被拍摄体的光进行光电变换而变换为电信号，来取得为了生成所述车辆(v)的俯瞰图像而使用的周边广域图像数据，
13.其中，
14.所述图像生成用相机传感器(20f、120l、120r)具备：图像传感器(22、122l、122r)，包括分别进行所述光电变换的多个像素呈二维状排列的拍摄面(22a、122al、122ar)；和光学系统(21、121l、121r)，包括透镜(21a、121al、121ar)，使来自被拍摄体的光成像于所述拍摄面，
15.所述图像传感器(22、122l、122r)具有：特定区域(s1、s3、s5)，是来自位于斜侧方方位角范围(第1范围、第3范围、第5范围)内的被拍摄体的光在所述拍摄面成像的区域，该斜侧方方位角范围是从基于规定所述第1水平视场角(100度)的边界线的方位角即边界方位角(50度、-50度)决定的预定的方位角(52度、-52度)到与所述车辆(v)的斜前方方向对应的方位角(80度、-80度)为止的范围；和剩余区域(s2、s4、s6)，是来自位于剩余方位角范围(第2范围、第4范围、第6范围)内的被拍摄体的光在所述拍摄面成像的区域，该剩余方位角范围是从所述第2水平视场角(180度)除去所述斜侧方方位角范围后的范围，
16.所述透镜(21a、121al、121ar)，是具有构成为所述特定区域(s1、s3、s5)中的每单位水平视场角的像素数即水平像素密度比所述剩余区域(s2、s4、s6)中的水平像素密度大的曲面的透镜，
17.所述拍摄系统构成为，由所述图像生成用相机传感器(20f、120l、120r)取得的所述周边广域图像数据能够在所述车辆的驾驶支援控制中使用。
18.根据第1发明系统，特定区域中的解析度比剩余区域中的解析度高，所以，斜侧方方位角范围中的立体物的检测界限距离比剩余方位角范围中的立体物的检测界限距离长。在此，斜侧方方位角范围是与车辆的斜前方对应的范围。因而，第1发明系统能够至较远处对存在于车辆的斜前方的立体物进行拍摄。
19.除此之外，剩余区域中的水平像素密度比特定区域中的水平像素密度小，所以，相比于使剩余区域中的水平像素密度与特定区域中的水平像素密度为同等水平像素密度的构成，能够抑制图像传感器的像素数的大幅增加。
20.因此，根据第1发明系统的构成，不使图像传感器的像素数大幅增加，就能够合适地对存在于车辆的斜前方的立体物进行拍摄。
21.尤其是，根据第1发明系统，通过对图像生成用相机传感器应用具有上述曲面的透镜，使得“至较远处对存在于车辆的斜前方的立体物进行拍摄”成为了可能。在此，图像生成用相机传感器以往就是设置于车辆的相机传感器。因而，无需新导入用于对斜前方进行拍摄的相机传感器，能够以较低成本实现第1发明系统。
22.除此之外，根据第1发明系统，周边广域图像数据构成为能够在驾驶支援控制中使用。因而，对于位于以往难以合适地进行驾驶支援控制(例如碰撞回避控制)的区域(典型地，车辆的斜前方的区域)的立体物，也能够合适地执行驾驶支援控制。
23.本发明的拍摄装置(以下，也称作“第2发明装置”)，
24.能够设置于车辆(v)的前方部分(p1)，
25.具备：
26.图像传感器(22)，构成为包括多个像素呈二维状排列的拍摄面(22a)，所述多个像素分别对接受到的光进行光电变换而变换为电信号并输出；和
27.光学系统(21)，包括透镜(21a)，使来自被拍摄体的光成像于所述拍摄面(22a)，
28.所述拍摄装置，以水平视场角成为180度以上的方式，设定了所述拍摄面(22a)的尺寸及所述透镜(21a)的焦距。
29.在将作为通过在所述车辆(v)上的设置位置(p1)且与所述车辆(v)的前后轴平行的轴的基准轴(a)的方位设为基准方位时，将所述水平视场角中的比所述基准轴(a)靠左侧的方位角(θf)规定为正值，将比所述基准轴(a)靠右侧的方位角(θf)规定为负值的情况下，
30.所述基准轴(a)包含于垂直视场角，
31.所述拍摄面(22a)包括：第1区域(s1)，是与包含于大于45度且小于90度的方位角范围的左侧第1范围(52度≤θf≤80度)及包含于大于-90度且小于-45度的方位角范围的右侧第1范围(-80度≤θf≤-52度)对应的区域；和第2区域(s2)，是与所述水平视场角中的除所述左侧第1范围及所述右侧第1范围之外的方位角范围即第2范围(0度≤θf《52度、80度《θf≤90度、-90度≤θf《-80度及-52度《θf≤0度)对应的区域，
32.所述透镜(21a)，具有构成为所述第1区域(s1)中的每单位水平视场角的像素数即水平像素密度比所述第2区域(s2)中的水平像素密度大的曲面。
33.根据第2发明装置，第1区域中的解析度比第2区域中的解析度高，所以，左侧第1范围及右侧第1范围中的立体物的检测界限距离比第2范围中的立体物的检测界限距离长。在此，左侧第1范围是包含于大于45度且小于90度的方位角范围的范围，右侧第1范围是包含于大于-90度且小于-45度的方位角范围的范围。即，左侧第1范围是与车辆的左斜前方对应的范围，右侧第1范围是与车辆的右斜前方对应的范围。因而，第2发明装置能够与“存在于车辆的前方及前方部分侧方的立体物”相比，至相对更远处对“存在于车辆的斜前方的立体物”进行拍摄。
34.除此之外，第2区域中的水平像素密度比第1区域中的水平像素密度小，所以，相比于使第2区域中的水平像素密度与第1区域中的水平像素密度为同等水平像素密度的构成，能够抑制图像传感器的像素数的大幅增加。
35.因此，根据第2发明装置的构成，不使图像传感器的像素数大幅增加，就能够合适地对存在于车辆的斜前方的立体物进行拍摄。
36.此外，立体物的检测既可以由拍摄装置来进行，也可以由能够连接于拍摄装置的图像处理装置来进行。
37.本发明的一方式的驾驶支援装置，具备第2发明装置(20f)，且还具备：
38.左侧拍摄装置(20l)，能够设置于所述车辆(v)的左侧方部分(p2)；
39.右侧拍摄装置(20r)，能够设置于所述车辆(v)的右侧方部分(p3)；
40.后方拍摄装置(20re)，能够设置于所述车辆(v)的后方部分(p4)；及
41.图像处理装置(10)。
42.所述左侧拍摄装置(20l)、所述右侧拍摄装置(20r)及所述后方拍摄装置(20re)的
水平视场角均为180度以上。
43.所述图像处理装置(10)构成为，
44.取得由所述拍摄装置(20f)对所述车辆的前方、斜前方及前方部分侧方进行拍摄而得到的图像数据、由所述左侧拍摄装置(20l)对所述车辆的左侧方进行拍摄而得到的图像数据、由所述右侧拍摄装置(20r)对所述车辆的右侧方进行拍摄而得到的图像数据、及由所述后方拍摄装置(20re)对所述车辆的后方、斜后方及后方部分侧方进行拍摄而得到的图像数据，
45.基于所取得的上述图像数据来生成俯瞰图像。
46.根据该构成，第2发明装置也作为在俯瞰图像的生成中所使用的拍摄装置发挥功能。因而，仅对以往设置于车辆的前方部分的俯瞰图像生成用的拍摄装置的规格进行局部变更(例如，将透镜变更为第2发明装置的透镜)即可，无需新导入拍摄装置。因此，能够以较低成本实现第2发明装置。
47.在本发明的一方式下，
48.所述拍摄装置(20f)的所述拍摄面(22a)的所述第2区域(s2)中的所述水平像素密度，为所述后方拍摄装置(20re)所具备的拍摄面的水平像素密度以上。
49.根据该构成，防止在将俯瞰图像显示于任意的显示器时，因第2发明装置的透镜具有上述曲面而俯瞰图像的画质劣化的情况。
50.本发明的拍摄装置(以下，也称作“第3发明装置”)，
51.能够设置于车辆(v)的左侧方部分(p2)，
52.具备：
53.图像传感器(122l)，构成为包括多个像素呈二维状排列的拍摄面(122al)，所述多个像素分别对接受到的光进行光电变换而变换为电信号并输出；和
54.光学系统(121l)，包括透镜(121al)，使来自被拍摄体的光成像于所述拍摄面(122al)，
55.所述拍摄装置，以水平视场角成为180度以上的方式，设定了所述拍摄面(122al)的尺寸及所述透镜(121al)的焦距。
56.在将作为通过在所述车辆(v)上的设置位置(p2)且与所述车辆(v)的前后轴平行的轴的基准轴(a1)的方位设为基准方位时，将所述水平视场角中的比所述基准轴(a1)靠左侧的方位角(θl)规定为正值，将比所述基准轴(a1)靠右侧的方位角(θl)规定为负值的情况下，
57.所述基准轴(a1)包含于垂直视场角，
58.所述拍摄面(122al)包括：第3区域(s3)，是与包含于大于45度且小于90度的方位角范围的第3范围(52度≤θl≤80度)对应的区域；和第4区域(s4)，是与所述水平视场角中的除所述第3范围之外的方位角范围即第4范围(0度≤θl《52度、80度《θl≤90度)对应的区域，
59.所述透镜(121al)，具有构成为所述第3区域(s3)中的每单位水平视场角的像素数即水平像素密度比所述第4区域(s4)中的水平像素密度大的曲面。
60.根据第3发明装置，第3范围中的立体物的检测界限距离比第4范围中的立体物的检测界限距离长。在此，第3范围是包含于大于45度且小于90度的方位角范围的范围，所以，
是与车辆的左斜前方对应的范围。因而，第2发明装置，能够与“存在于车辆的前方的立体物”相比，至相对更远处对“存在于车辆的左斜前方的立体物”进行拍摄。
61.除此之外，第4区域中的水平像素密度比第3区域中的水平像素密度小，所以，相比于使第4区域中的水平像素密度与第3区域中的水平像素密度为同等水平像素密度的构成，能够抑制图像传感器的像素数的大幅增加。
62.因此，根据第3发明装置的构成，不使图像传感器的像素数大幅增加，就能够合适地对存在于车辆的左斜前方的立体物进行拍摄。
63.本发明的一方式的驾驶支援装置，具备第3发明装置(120l)，且还具备：
64.前方拍摄装置(120f)，能够设置于所述车辆(v)的前方部分(p1)；
65.右侧拍摄装置(20r)，能够设置于所述车辆(v)的右侧方部分(p3)；
66.后方拍摄装置(20re)，能够设置于所述车辆(v)的后方部分(p4)；及
67.图像处理装置(10)。
68.所述前方拍摄装置(120f)、所述右侧拍摄装置(20r)及所述后方拍摄装置(20re)的水平视场角均为180度以上。
69.所述图像处理装置(10)构成为，
70.取得由所述前方拍摄装置(120f)对所述车辆的前方、斜前方及前方部分侧方进行拍摄而得到的图像数据、由所述拍摄装置(120l)对所述车辆的左侧方进行拍摄而得到的图像数据、由所述右侧拍摄装置(20r)对所述车辆的右侧方进行拍摄而得到的图像数据、及由所述后方拍摄装置(20re)对所述车辆的后方、斜后方及后方部分侧方进行拍摄而得到的图像数据，
71.基于所取得的上述图像数据来生成俯瞰图像。
72.根据该构成，第3发明装置也作为在俯瞰图像的生成中所使用的拍摄装置发挥功能。因而，仅对以往设置于车辆的左侧方部分的俯瞰图像生成用的拍摄装置的规格进行局部变更(例如，将透镜变更为第3发明装置的透镜)即可，无需新导入拍摄装置。因此，能够以较低成本实现第3发明装置。
73.本发明的拍摄装置(以下，也称作“第4发明装置”)，
74.能够设置于车辆(v)的右侧方部分(p3)，
75.具备：
76.图像传感器(122r)，构成为包括多个像素呈二维状排列的拍摄面(122ar)，所述多个像素分别对接受到的光进行光电变换而变换为电信号并输出；和
77.光学系统(121r)，包括透镜(121ar)，使来自被拍摄体的光成像于所述拍摄面(122ar)，
78.所述拍摄装置，以水平视场角成为180度以上的方式，设定了所述拍摄面(122ar)的尺寸及所述透镜(121ar)的焦距。
79.在将作为通过在所述车辆(v)上的设置位置(p3)且与所述车辆(v)的前后轴平行的轴的基准轴(a2)的方位设为基准方位时，将所述水平视场角中的比所述基准轴(a2)靠右侧的方位角(θr)规定为正值，将比所述基准轴(a2)靠左侧的方位角(θr)规定为负值的情况下，
80.所述基准轴(a2)包含于垂直视场角，
81.所述拍摄面(122ar)包括：第5区域(s5)，是与包含于大于45度且小于90度的方位角范围的第5范围(52度≤θr≤80度)对应的区域；和第6区域(s6)，是与所述水平视场角中的除所述第5范围之外的方位角范围即第6范围(0度≤θr《52度、80度《θr≤90度)对应的区域，
82.所述透镜(121ar)，具有构成为所述第5区域(s5)中的每单位水平视场角的像素数即水平像素密度比所述第6区域(s6)中的水平像素密度大的曲面。
83.根据第4发明装置，第5范围中的立体物的检测界限距离比第6范围中的立体物的检测界限距离长。在此，第5范围是包含于大于45度且小于90度的方位角范围的范围，所以，是与车辆的右斜前方对应的范围。因而，第3发明装置，能够与“存在于车辆的前方的立体物”相比，至相对更远处对“存在于车辆的右斜前方的立体物”进行拍摄。
84.除此之外，第6区域中的水平像素密度比第5区域中的水平像素密度小，所以，相比于使第6区域中的水平像素密度与第5区域中的水平像素密度为同等水平像素密度的构成，能够抑制图像传感器的像素数的大幅增加。
85.因此，根据第4发明装置的构成，不使图像传感器的像素数大幅增加，就能够合适地对存在于车辆的右斜前方的立体物进行拍摄。
86.本发明的一方式的驾驶支援装置，具备第4发明装置(120r)，且还具备：
87.前方拍摄装置(120f)，能够设置于所述车辆(v)的前方部分(p1)；
88.左侧拍摄装置(20l)，能够设置于所述车辆(v)的左侧方部分(p2)；
89.后方拍摄装置(20re)，能够设置于所述车辆(v)的后方部分(p4)；及
90.图像处理装置(10)。
91.所述前方拍摄装置(120f)、所述左侧拍摄装置(20l)及所述后方拍摄装置(20re)的水平视场角均为180度以上。
92.所述图像处理装置(10)构成为，
93.取得由所述前方拍摄装置(120f)对所述车辆的前方、斜前方及前方部分侧方进行拍摄而得到的图像数据、由所述左侧拍摄装置(20l)对所述车辆的左侧方进行拍摄而得到的图像数据、由所述拍摄装置(120r)对所述车辆的右侧方进行拍摄而得到的图像数据、及由所述后方拍摄装置(20re)对所述车辆的后方、斜后方及后方部分侧方进行拍摄而得到的图像数据，
94.基于所取得的上述图像数据来生成俯瞰图像。
95.根据该构成，第4发明装置也作为在俯瞰图像的生成中使用的拍摄装置发挥功能。因而，仅对以往设置于车辆的右侧方部分的俯瞰图像生成用的拍摄装置的规格进行局部变更(例如将透镜变更为第4发明装置的透镜)即可，无需新导入拍摄装置。因此，能够以较低成本实现第4发明装置。
96.在本发明的一方式下，
97.所述拍摄装置(120l、120r)的所述拍摄面(122al、122ar)的所述第4区域(s4)或所述第6区域(s6)中的所述水平像素密度为所述后方拍摄装置(20re)所具备的拍摄面的水平像素密度以上。
98.根据该构成，防止在将俯瞰图像显示于任意的显示器时，因第3发明装置或第4发明装置的透镜具有上述曲面而俯瞰图像的画质劣化的情况。
99.在上述说明中，为了帮助理解发明，对于与实施方式对应的发明的构成要件，以写在括号里的方式添加了在实施方式中使用的标号，但发明的各构成要件不限定于由所述标号所规定的实施方式。
附图说明
100.图1是本发明的第1实施方式的具备前方pvm相机传感器的驾驶支援装置的概略构成图。
101.图2是前方pvm相机传感器的概略构成图。
102.图3是前方pvm相机传感器的拍摄范围的俯视图。
103.图4是示出在拍摄面中左侧第1光及右侧第1光比第2光在水平方向上扩大成像的图。
104.图5是规定了前方pvm相机传感器的方位角与水平像素密度的关系的图表。
105.图6是前方相机传感器的拍摄范围的俯视图。
106.图7是示出在自身车辆进入到交叉路口的情况下3秒后会发生碰撞的各种立体物相对于自身车辆的相对分布的俯视图。
107.图8是将前方pvm相机传感器的拍摄范围及作为比较例的2个相机传感器的拍摄范围重叠于图7的俯视图。
108.图9是本发明的第2实施方式的具备左侧pvm相机传感器及右侧pvm相机传感器的驾驶支援装置的概略构成图。
109.图10是左侧及右侧pvm相机传感器的概略构成图。
110.图11是左侧及右侧pvm相机传感器的拍摄范围的俯视图。
111.图12a是示出在拍摄面中第3光比第4光在水平方向上扩大而成像的图。
112.图12b是示出在拍摄面中第5光比第6光在水平方向上扩大而成像的图。
113.图13是规定了左侧及右侧pvm相机传感器的方位角与水平像素密度的关系的图表。
114.图14是将左侧及右侧pvm相机传感器的拍摄范围及作为比较例的2个相机传感器的拍摄范围重叠于图7的俯视图。
具体实施方式
115.(第1实施方式)
116.以下，参照附图，对本发明的第1实施方式的具备作为拍摄装置的前方pvm(pvm：panoramic view monitor：全景影像监控)相机传感器的驾驶支援装置进行说明。驾驶支援装置适用于车辆。以下，为了将该车辆与其他车辆区别，有时将其称作“自身车辆”。
117.如图1所示，驾驶支援装置具备驾驶支援ecu10(以下，简称作“ecu10”)。ecu是“electronic control unit”的简称，具备微型计算机作为主要部分。微型计算机包括cpu、rom、ram及接口(i/f)等。cpu通过执行储存于rom的指令(程序、例程)来实现各种功能。驾驶支援装置还具备分别连接于ecu10的“pvm相机传感器20、前方相机传感器30、车速传感器40、偏航率(yaw rate)传感器41、变速位置(档位)传感器42、pvm开关43、碰撞回避装置50及显示装置60”。
118.ecu10基于从设置于自身车辆的多处的pvm相机传感器20输出的图像数据来生成俯瞰图像及行进方向图像(均在后面进行叙述)，根据自身车辆的驾驶员的操作，将这些图像显示于显示装置60所具备的显示器60a。除此之外，ecu10还基于从“前方相机传感器30及pvm相机传感器20所具备的前方pvm相机传感器20f”输出的图像数据，大范围地检测存在于自身车辆的前方、自身车辆的斜前方及自身车辆的前端中央部的侧方的立体物。ecu10基于从传感器40及41取得的信号来判定是否自身车辆有可能与立体物碰撞。并且，在判定为有可能碰撞的情况下，ecu10控制碰撞回避装置50而执行碰撞回避控制。即，本实施方式的驾驶支援装置，将以往仅在俯瞰图像及行进方向图像的生成中使用的前方pvm相机传感器20f也用于碰撞回避控制。如后详述的那样，“前方pvm相机传感器20f在碰撞回避控制上的利用”，通过将具有自由曲面的透镜21a适用于前方pvm相机传感器20f而成为可能。
119.pvm相机传感器20具备前方pvm相机传感器20f、左侧pvm相机传感器20l、右侧pvm相机传感器20r及后方pvm相机传感器20re。以下，也将这些相机传感器分别简称作“相机传感器20f”、“相机传感器20l”、“相机传感器20r”及“相机传感器20re”。
120.前方pvm相机传感器20f设置于自身车辆的前端中央部的位置p1(参照图3)。更详细地说，相机传感器20f设置成，其光学系统21(后述)的光轴在位置p1处相对于自身车辆的前后轴以大约10度朝向下方。此外，相机传感器20f的设置角度不限于此。例如，相机传感器20f可设置成，在位置p1处光轴相对于前后轴以0度以上且20度以下的任意角度朝向下方。
121.如图2所示，相机传感器20f具备光学系统21、图像传感器22、信号处理电路23。
122.光学系统21包括鱼眼透镜21a，使来自被拍摄体的光成像于后述的拍摄面22a。鱼眼透镜21a是采用等距离投影方式的透镜，外表面具有预定的曲面(非旋转对称的自由曲面)。关于鱼眼透镜21a的详细构成在后面叙述。
123.图像传感器22包括多个像素在水平方向及垂直方向上(即呈二维状)以等间隔排列的拍摄面22a。拍摄面22a的尺寸设定成，水平方向的像素数为1920[pix]，垂直方向的像素数为1440[pix]。由此，图像传感器22的像素数为大约2.8m[pix]。这些像素分别构成为，将经由光学系统21接受到的光变换为电信号并输出。以下，在将某图像传感器的像素数记载为a
×
b[pix]的情况下，a表示水平方向的像素数，b表示垂直方向的像素数。此外，图像传感器22的像素数不限于此，例如，也可以为大约3m(1920
×
1536)[pix]。垂直方向的像素数优选为1440[pix]以上。
[0124]
信号处理电路23通过对从图像传感器22输出的电信号进行伽玛校正(gamma correction)及畸变校正(distortion correction)等处理而生成被拍摄体的图像数据(即对被拍摄体进行拍摄)，将该图像数据经由接口向ecu10输出(参照图1)。信号处理电路23例如在点火开关被设定在接通位置的期间(以下，也称作“工作期间”)中，每当经过预定的运算周期时进行该处理。
[0125]
鱼眼透镜21a的焦距及拍摄面22a的尺寸预先设计成，相机传感器20f的水平视场角成为180度，垂直视场角成为135度。由此，相机传感器20f能够对位于自身车辆的前方、斜前方及前端中央部的侧方(左右方向)的区域的被拍摄体进行拍摄。这样，相机传感器20f的水平视场角极广。因而，以下，将由相机传感器20f拍摄而得到的图像数据称作“前方广域图像数据”。此外，相机传感器20f相当于“图像生成用相机传感器”的一例，并且相当于能够设置于车辆的前方部分的“拍摄装置”的一例。相机传感器20f的水平视场角相当于“第2水平
视场角”的一例，前方广域图像数据相当于“周边广域图像数据”的一例。
[0126]
返回图1继续说明。左侧pvm相机传感器20l设置于自身车辆的左侧侧视镜的附近的位置p2(参照图3)。更详细地说，相机传感器20l设置成，其光学系统的光轴在位置p2处相对于自身车辆的左右轴以大约60度朝向下方。在此，左右轴是在车宽方向上延伸的轴。即，左右轴与前后轴正交且平行于接地面。
[0127]
右侧pvm相机传感器20r设置于自身车辆的右侧侧视镜的附近的位置p3(参照图3)。更详细地说，相机传感器20r设置成，其光学系统的光轴在位置p3处相对于自身车辆的左右轴以大约60度朝向下方。
[0128]
后方pvm相机传感器20re设置于自身车辆的后端中央部的位置p4(参照图3)。更详细地说，相机传感器20re设置成，其光学系统的光轴在位置p4处相对于自身车辆的前后轴以大约10度朝向下方。此外，相机传感器20re的设置角度不限于此。例如，相机传感器20re可设置成，在位置p4处光轴相对于前后轴以0度以上且20度以下的任意角度朝向下方。
[0129]
相机传感器20l具备光学系统、图像传感器、信号处理电路(均省略图示)。该光学系统包括采用等距离投影方式的鱼眼透镜(省略图示)。相机传感器20l的光学系统、图像传感器及信号处理电路的功能与相机传感器20f的光学系统21、图像传感器22及信号处理电路23的功能是同样的，但在以下的2点不同。
[0130]
·
相机传感器20l的鱼眼透镜具有旋转对称的曲面。
[0131]
·
相机传感器20l的图像传感器的像素数为大约1.2m(1280
×
960)[pix]，比图像传感器22的像素数(大约2.8m[pix])少。
[0132]
此外，以下，也将“图像传感器的像素数”简称作“相机传感器的像素数”。
[0133]
相机传感器20l的鱼眼透镜的焦距及拍摄面的尺寸预先设计成，相机传感器20l的水平视场角成为180度，垂直视场角成为135度。由此，相机传感器20l能够对位于自身车辆的左侧方区域的被拍摄体进行拍摄。以下，将由相机传感器20l拍摄而得到的图像数据称作“左方广域图像数据”。
[0134]
相机传感器20r及20re具有与相机传感器20l大致相同的构成，所以，省略其详细说明。相机传感器20r及20re均具有180度的水平视场角及135度的垂直视场角。由此，相机传感器20r能够对位于自身车辆的右侧方区域的被拍摄体进行拍摄。相机传感器20re能够对自身车辆的后方、自身车辆的斜后方及自身车辆的后端中央部的侧方的被拍摄体进行拍摄。以下，将由相机传感器20r及20re拍摄而得到图像数据分别称作“右方广域图像数据”及“后方广域图像数据”。此外，相机传感器20l、相机传感器20r及相机传感器20re分别相当于“左侧拍摄装置”“右侧拍摄装置”及“后方拍摄装置”的一例。
[0135]
前方相机传感器30(以下，也简称作“相机传感器30”)在自身车辆的车室镜(内部视镜/后视镜)的背面的位置p5设置成，相机传感器30位于自身车辆的车宽方向中央(参照图3)。更详细地说，相机传感器30设置成，其光学系统(后述)的光轴在位置p5处成为与自身车辆的前后轴大致平行。相机传感器30具备光学系统、图像传感器、信号处理电路(均省略图示)。该光学系统包括具有旋转对称的曲面的广角透镜(省略图示)。该图像传感器的像素数为大约1.2m(1280
×
960)[pix]，与相机传感器20l、20r及20re的图像传感器的像素数相同。相机传感器30的光学系统、图像传感器及信号处理电路的功能与相机传感器20f、20l、20r及20re的光学系统、图像传感器及信号处理电路的功能是同样的。
[0136]
相机传感器30的广角透镜的焦距及拍摄面的尺寸预先设计成，相机传感器30的水平视场角成为100度，垂直视场角成为75度。由此，相机传感器30能够对自身车辆的前方的被拍摄体进行拍摄。相机传感器30的水平视场角比相机传感器20f的水平视场角窄。因而，以下，将由相机传感器30拍摄而得到的图像数据称作“前方窄域图像数据”。由相机传感器20f和相机传感器30构成了拍摄系统。此外，相机传感器30的水平视场角相当于“第1水平视场角”的一例。
[0137]
车速传感器40产生与自身车辆的行驶速度(车速)相应的信号。ecu10取得车速传感器40产生的信号，基于该信号运算车速。
[0138]
偏航率传感器41产生与作用于自身车辆的偏航率相应的信号。ecu10取得偏航率传感器41产生的信号，基于该信号运算偏航率。
[0139]
变速位置传感器42产生与未图示的换档杆的变速位置(d、n、r或p)相应的信号。ecu10取得变速位置传感器42产生的信号，基于该信号检测变速位置。
[0140]
pvm开关43设置于未图示的方向盘的附近，可在使pvm图像(后述)显示于显示装置60的显示器60a时由驾驶员按下。pvm开关43在被驾驶员按下了时产生接通信号，在未被按下时产生断开信号。ecu10取得pvm开关43产生的信号，基于该信号，检测pvm开关43是处于接通还是断开的状态。
[0141]
碰撞回避装置50，在从ecu10接收到碰撞回避指令时，执行碰撞回避控制。碰撞回避控制是如下控制：在有可能与自身车辆碰撞的立体物存在于自身车辆的前方、斜前方及前端中央部侧方的情况下，执行向驾驶员发出警报的警报控制、对自身车辆自动地赋予制动力的自动制动控制、和/或自动地变更自身车辆的方向盘的转舵角的自动掌舵控制。这些控制均为周知的控制，所以省略详细说明。
[0142]
显示装置60具备设置于驾驶员能够看到的位置的显示器60a。显示装置60当从ecu10接收到pvm图像(后述)的显示指令时，将pvm图像显示于显示器60a。在本实施方式中，作为显示器60a，使用导航系统(省略图示)所具备的触摸面板。显示器60a的分辨率设定为1280[pix]
×
960[pix]。此外，作为显示器60a，也可以使用导航系统的触摸面板以外的显示器。
[0143]
ecu10从相机传感器20f、20l、20r及20re以及相机传感器30，分别取得“前方广域图像数据”“左方广域图像数据”“右方广域图像数据”及“后方广域图像数据”以及“前方窄域图像数据”，基于所取得的图像数据(即对图像数据进行图像处理)，进行(1)pvm图像的生成及显示指令发送处理、以及(2)立体物的检测、碰撞判定及碰撞回避指令发送处理。以下，进行具体说明。
[0144]
(1)pvm图像的生成及显示指令发送处理
[0145]
ecu10生成pvm图像。在此，所谓pvm，是在自身车辆通过驾驶员的驾驶操作而以较低速行驶着的情况下，在显示画面(在本实施方式中是显示器60a)显示自身车辆的周边区域的功能。pvm图像是为了用于pvm而生成的图像，包括俯瞰图像及行进方向图像等。行进方向图像包括前进方向图像及后退方向图像。
[0146]
俯瞰图像通过将前方广域图像数据、左方广域图像数据、右方广域图像数据及后方广域图像数据、以及预先储存于ecu10的rom的自身车辆的俯视图像(俯视自身车辆而得到的图像)合成而生成。在此，所谓俯瞰图像，意味着像从正上方俯瞰自身车辆及其周边区
域那样看到的图像，不意味着实际俯瞰时的图像。此外，ecu10在工作期间中，每当经过运算周期时生成俯瞰图像。
[0147]
前进方向图像基于前方广域图像数据而生成。前进方向图像是对自身车辆的前方、斜前方及前端中央部的侧方进行拍摄而得到的图像。ecu10在自身车辆前进中或在前进中停止并持续着停止状态的期间中(即变速位置为d或n的期间中)，每当经过运算周期时生成前进方向图像。
[0148]
后退方向图像基于后方广域图像数据而生成。后退方向图像是对自身车辆的后方、斜后方及后端中央部的侧方进行拍摄而得到的图像。ecu10在自身车辆后退中或在后退中停止并持续着停止状态的期间中(即变速位置为r的情况下)，每当经过运算周期时生成后退方向图像。
[0149]
ecu10在以下所述的预定的条件下将上述的图像分别显示于显示器60a的预定的区域。具体地说，ecu10基于从车速传感器40、变速位置传感器42及pvm开关43取得的信息，在车速为预定的车速阈值(例如12[km/h])以下且变速位置为d或n时判定为pvm开关43被按下了的情况下，向显示装置60发送显示俯瞰图像及前进方向图像的显示指令。显示装置60当接收到该显示指令时，在显示器60a的预定的区域分别显示俯瞰图像及前进方向图像(省略图示)。在此，所谓“预定的区域”，是预先划分出的具有固定尺寸的区域，在本实施方式中，表示将显示器60a左右一分为二时的左侧的区域和右侧的区域。显示装置60在左侧的区域显示俯瞰图像，在右侧的区域显示前进方向图像。
[0150]
另一方面，ecu10基于从车速传感器40、变速位置传感器42及pvm开关43取得的信息，在车速为车速阈值以下且变速位置为r时判定为pvm开关43被按下了的情况下，向显示装置60发送显示俯瞰图像及后退方向图像的显示指令。显示装置60当接收到该显示指令时，在显示器60a的上述左侧的区域显示俯瞰图像，在上述右侧的区域显示后退方向图像(省略图示)。
[0151]
此时，在显示器60a显示用于切换显示图像的标记。当乘员触碰该标记时，ecu10向显示装置60发送显示后退方向图像的显示指令。显示装置60当接收到该显示指令时，在显示器60a的整个区域显示后退方向图像(省略图示)。当乘员再次触碰上述标记时，在显示器60a再次显示俯瞰图像及后退方向图像。此外，如上述那样，相机传感器20re的像素数与显示器60a的分辨率同等，所以，即便是在显示器60a仅显示后退方向图像的情况下，该图像也能被合适地显示。
[0152]
(2)立体物的检测、碰撞判定及碰撞回避指令发送处理
[0153]
ecu10对前方广域图像数据及前方窄域图像数据进行解析，运算立体物的有无及自身车辆与立体物的相对关系(从自身车辆到立体物的距离、立体物相对于自身车辆的方位及立体物相对于自身车辆的相对速度等)。换言之，ecu10分别检测存在于相机传感器20f的拍摄范围及相机传感器30的拍摄范围的立体物。此外，立体物包括移动物(例如移动中的其他车辆及行人)及静止物(例如停止中的其他车辆、处于静止状态的行人及建筑物)。以下，首先，分别对相机传感器20f及30的拍摄范围进行说明，之后，对ecu10的(2)的处理进行说明。
[0154]
图3的范围rfw是相机传感器20f的拍摄范围(即，ecu10基于前方广域图像数据能够检测立体物的范围)的俯视图。如图3所示，基准方位被设定为，作为通过位置p1且与自身
车辆v的前后轴平行的轴的基准轴a的方位。基准轴a在自身车辆v的俯视中与光学系统21的光轴一致。以下，将水平视场角中的比基准轴a靠左侧的方位角θf规定为正值，将比基准轴a靠右侧的方位角θf规定为负值。除此之外，将垂直视场角中的比光轴靠上方的角度规定为正值，将比光轴靠下方的角度规定为负值。如上述那样，相机传感器20f的光轴相对于前后轴以大约10度向下方倾斜，垂直视场角为135度。因而，基准轴a包含于垂直视场角。
[0155]
范围rfw在方位角范围为52度≤θf≤80度的左侧第1范围及方位角范围为-80度≤θf≤-52度的右侧第1范围中，呈半径r1的扇形形状(以下，有时将左侧第1范围及右侧第1范围统称作“第1范围”)。范围rfw在水平视场角中的除第1范围之外的第2范围(即0度≤θf《52度、80度《θf≤90度、-90度≤θf《-80度及-52度《θf≤0度)中，呈半径r2的扇形形状。根据范围rfw的形状，第1范围中的立体物的检测界限距离(r1)比第2范围中的立体物的检测界限距离(r2)长。这起因于鱼眼透镜21a的构成。此外，第1范围相当于“斜侧方方位角范围”的一例，第2范围相当于“剩余方位角范围”的一例。
[0156]
参照图4进行具体说明。如图4所示，拍摄面22a包括区域s1l、区域s1r及区域s2。区域s1l是来自“存在于左侧第1范围且存在于垂直视场角中的预定的角度范围的被拍摄体”的光即左侧第1光在拍摄面22a成像的区域(以下，将上述预定的角度范围称作“第1特定垂直范围”)。区域s1r是来自“存在于右侧第1范围且存在于第1特定垂直范围的被拍摄体”的光即右侧第1光在拍摄面22a成像的区域。区域s2是来自“存在于水平视场角及垂直视场角中的剩余的角度范围的被拍摄体”的光即第2光在拍摄面22a成像的区域。第1特定垂直范围可设定为包括基准轴a且包括垂直视场角的大致中央的范围。在本实施方式中，第1特定垂直范围为-34度以上且34度以下。此外，光学系统21构成为使来自被拍摄体的光也成像于周边区域sp(拍摄面22a中的比区域s2靠外侧的区域)。然而，周边区域sp容易受到噪声的影响，所以，构成周边区域sp的像素的电信号不用于图像数据的生成。
[0157]
鱼眼透镜21a构成为在经由光学系统21使来自被拍摄体的光成像于拍摄面22a时，使左侧第1光及右侧第1光比第2光在水平方向上扩大而成像于拍摄面22a。左侧第1光的扩大率遍及第1特定垂直范围而恒定，右侧第1光的扩大率遍及第1特定垂直范围而恒定，两者的扩大率彼此相等。因而，区域s1l及区域s1r呈彼此全等的长方形形状。此外，左侧第1光及右侧第1光在垂直方向上不扩大。以下，有时将区域s1l及区域s1r统称作“区域s1”。区域s1相当于“特定区域”或“第1区域”的一例，区域s2相当于“剩余区域”或“第2区域”的一例。
[0158]
换言之，鱼眼透镜21a具有被加工成，区域s1中的每单位水平视场角的像素数即水平像素密度比区域s2的任意区域中的水平像素密度大的自由曲面。通常，水平方向的解析度(ecu10能够通过解析图像数据来检测出立体物的能力)随着水平像素密度变大而变高。因而，根据上述构成，区域s1中的水平方向的解析度比区域s2中的水平方向的解析度高，结果，第1范围中的立体物的检测界限距离(r1)比第2范围中的立体物的检测界限距离(r2)长。此外，左侧第1范围的下限方位角(52度)及右侧第1范围的上限方位角(-52度)基于规定前方相机传感器30的水平视场角(100度)的边界线的方位角(参照图6)即边界方位角(50度、-50度)而决定。
[0159]
参照图5，对立体物的检测界限距离与水平像素密度的关系进行具体说明。图5是表示相机传感器20f以及作为比较例的相机传感器c1(参照虚线)及c2(参照点划线)的方位角与水平像素密度(严格来说，第1特定垂直范围内的某角度(例如10度)下的水平像素密
度)的关系的图表。
[0160]
相机传感器c1及c2的光学系统所具有的透镜均为鱼眼透镜。不过，这些鱼眼透镜在具有旋转对称的曲面这一点上与相机传感器20f的鱼眼透镜21a不同。
[0161]
相机传感器c1的像素数为大约1.2m(1280
×
960)[pix]，其水平视场角为180度。即，相机传感器c1具有与相机传感器20l、20r及20re大致相同的构成。
[0162]
相机传感器c2的像素数为大约2.8m(1920
×
1440)[pix]，其水平视场角为180度。即，相机传感器c2除了鱼眼透镜不具有自由曲面这一点之外，具有与相机传感器20f大致相同的构成。
[0163]
如上述那样，相机传感器20f构成为，左侧第1光及右侧第1光的水平方向的扩大率遍及第1特定垂直范围而恒定。这一点对于相机传感器c1及c2而言也是同样的。因而，相机传感器20f、c1及c2的方位角与水平像素密度的关系遍及第1特定垂直范围而不变。
[0164]
此外，相机传感器20f、c1及c2各自所具有的光学系统构成为，来自存在于90度《θf《大约110度及-大约110度《θf《-90度的方位角范围的被拍摄体的光也能够成像于各自的拍摄面。因而，在图5的图表中，也图示出这些方位角范围中的水平像素密度。不过，拍摄面中的与这些方位角范围对应的像素的电信号不用于图像数据的生成。
[0165]
如上述那样，相机传感器c1及c2的鱼眼透镜具有旋转对称的曲面。因而，如图5所示，在水平视场角内(-90度≤θf≤90度)，相机传感器c1及c2的水平像素密度的变动的程度较小。相对于此，相机传感器20f的鱼眼透镜21a具有如上述那样进行了加工的自由曲面。因而，其水平像素密度在45度≤θf≤90度及-90度≤θf≤-45度的方位角范围中，比相机传感器c2(即具有与相机传感器20f相同的像素数的相机传感器)的水平像素密度大。尤其是，在第1范围中，相机传感器20f的水平像素密度成为了相机传感器c2的水平像素密度的大约1.4倍的大小。通常，在预定的方位角范围内，立体物的检测界限距离与第1特定垂直范围内的任意角度下的水平像素密度大致成比例。因而，在第1范围中，相机传感器20f对立体物的检测界限距离r1(参照图3)成为相机传感器c2对立体物的检测界限距离(大约30[m])的大约1.4倍(大约42[m])。
[0166]
另一方面，在第2范围中，相机传感器20f的水平像素密度被维持为与相机传感器c1的水平像素密度同等或其以上。因而，防止因鱼眼透镜21a具有自由曲面而pvm图像的画质劣化的情况。此外，在第2范围中，相机传感器20f对立体物的检测界限距离r2(参照图3)与相机传感器c1对立体物的检测界限距离(大约20[m])大致相等。
[0167]
这样，通过相机传感器20f具备具有上述自由曲面的鱼眼透镜21a，能够将pvm图像的画质维持为与以往同等程度(换言之，相对于显示器60a的分辨率而言相机传感器20f的像素数不会超规)，同时，在水平视场角中的特定范围(在本实施方式中是第1范围)中，与具有与相机传感器20f相同的像素数的相机传感器c2相比较，大幅延长立体物的检测界限距离。
[0168]
图6的范围rfn是相机传感器30的拍摄范围(即，ecu10能够基于前方窄域图像数据检测出立体物的范围)的俯视图。如图6所示，范围rfn的中心角为100度，呈半径rf为大约35[m]的扇形形状。此外，该中心角的2等分线位于基准轴a上。
[0169]
此外，如图3及图6所示，范围rfw与范围rfn部分重叠。ecu10在重叠部分处，将基于前方广域图像数据运算出的信息和基于前方窄域图像数据运算出的信息融合(fusion)来
检测立体物。
[0170]
接下来，ecu10，关于检测到的全部立体物，判定是否自身车辆有可能与立体物碰撞。具体地说，ecu10基于从车速传感器40取得的车速和从偏航率传感器41取得的偏航率，运算自身车辆的转弯半径，基于该转弯半径运算自身车辆的轨迹。除此之外，ecu10基于各立体物的位置(方位及距离)的推移来运算各立体物的轨迹。ecu10基于自身车辆的轨迹和各立体物的轨迹，判定在自身车辆维持当前的行驶状态行驶并且各立体物维持当前的移动状态移动的情况下自身车辆是否会与某个立体物碰撞。此外，在立体物是静止物的情况下，ecu10基于自身车辆的轨迹和立体物的当前的位置来判定自身车辆是否会与立体物碰撞。
[0171]
ecu10在判定为自身车辆会与立体物碰撞的情况下，运算到自身车辆与立体物碰撞为止的预测时间即碰撞预测时间(ttc：time to collision)。ttc可通过将从自身车辆到预测出碰撞的地点为止的距离除以车速来运算。ecu10在ttc为预定的ttc阈值以下的情况下，判定为自身车辆有可能与立体物碰撞。在该情况下，ecu10向碰撞回避装置50发送碰撞回避指令。碰撞回避装置50，在接收到碰撞回避指令时，根据状况执行上述碰撞回避控制中的至少1个(警报控制、自动制动控制和/或自动掌舵控制)。另一方面，ecu10在ttc比ttc阈值大的情况下，判定为自身车辆与立体物碰撞的可能性低，不进行碰撞回避指令的发送。ecu10在工作期间中，每当经过运算周期时执行(2)的处理。
[0172]
具备这样的鱼眼透镜21a的相机传感器20f，在自身车辆在交叉路口左转右转的情况下或者在没有红绿灯的交叉路口直行的情况下尤其有用。参照图7及图8进行具体说明。图7示出自身车辆v进入到交叉路口的场面。省略了道路及区划线等的图示。对自身车辆v，设定了将位置p1作为原点的xy坐标系。此外，自身车辆v的比例尺与xy坐标系的刻度的比例尺不同。立体物o1至o5均为移动物。具体地说，立体物o1是向 y轴方向(即，向与自身车辆v的当前的行进方向相同的方向)以平均的速度移动着的自行车。立体物o2是向 y轴方向以平均的速度移动着的行人。立体物o3是以预定的车速范围内的车速向 x轴方向移动着的电动两轮车。立体物o4是以30[km/h]到60[km/h]的范围内的车速向 x轴方向移动着的车辆。立体物o5是以较高的速度向 x轴方向移动着的车辆。
[0173]
立体物o1及o2是自身车辆v在以“左转时的平均的车速”在该交叉路口左转了的情况下3秒后会碰撞的立体物。立体物o3是自身车辆v在以“没有红绿灯的交叉路口的直行时的平均的车速”在没有红绿灯的交叉路口直行了的情况下3秒后会碰撞的立体物。立体物o4是自身车辆v在以30[km/h]到60[km/h]的范围内的车速在没有红绿灯的交叉路口直行了的情况下3秒后会碰撞的立体物。立体物o5是自身车辆v在以较低的速度在没有红绿灯的交叉路口直行了的情况下3秒后会碰撞的立体物。即，图7示出了在自身车辆v在交叉路口左转的情况下或以各种车速在没有红绿灯的交叉路口直行的情况下3秒后会碰撞的各种类型的立体物相对于自身车辆v的相对分布。
[0174]
图8是将方位角范围为0度≤θf≤90度的范围rfw、范围rc1及范围rc2重叠于图7的图。在此，范围rc1及范围rc2分别是相机传感器c1及c2(参照图5)设置于自身车辆v的位置p1的情况下的拍摄范围的俯视图。如图7所示，立体物o1至o5偏向于分布在自身车辆v的特定的方位角范围。根据图8，该特定的方位角范围与左侧第1范围一致。此外，虽然在图7及图8中省略了图示，但在自身车辆v在交叉路口右转的情况下或以各种车速在没有红绿灯的交叉路口直行的情况下3秒后会碰撞的各种立体物几乎全部与立体物o1至o5同样地偏向于分
布在自身车辆v的特定的方位角范围，可以认为该特定的方位角范围与右侧第1范围一致。
[0175]
如图8所示，相机传感器20f通过具备具有上述自由曲面的鱼眼透镜21a，构成为第1范围中的立体物的检测界限距离比第2范围中的立体物的检测界限距离长。因而，相机传感器20f能够与“存在于车辆的前方及前端中央部侧方的立体物”相比，至相对更远处对“存在于车辆的斜前方的立体物”进行拍摄。此外，可由相机传感器30至较远处对“存在于车辆的前方的立体物”进行拍摄(参照图6)。
[0176]
除此之外，鱼眼透镜21a构成为，拍摄面22a的区域s2中的水平像素密度比区域s1中的水平像素密度小。因而，相比于使区域s2中的水平像素密度与区域s1中的水平像素密度为同等水平像素密度的构成，能够抑制图像传感器22的像素数的大幅增加。因此，根据相机传感器20f的构成，不使图像传感器22的像素数大幅增加，就能够合适地对存在于自身车辆v的斜前方的立体物进行拍摄。
[0177]
更具体地说，范围rfw与范围rc2(具有与相机传感器20f相同的像素数的相机传感器c2的拍摄范围的俯视图)相比较，立体物的检测界限距离在第1范围中更长，在第2范围中更短。在此，如图8所示，在第2范围中，几乎不存在自身车辆v在进入交叉路口时有可能碰撞的立体物。因而，通过在像范围rfw这样，立体物偏向地分布的方位角范围中延长检测界限距离，在几乎不存在立体物的方位角范围中减低检测界限距离，不使图像传感器22的像素数大幅增加，就能够至较远处合适地对存在于所希望的方位角范围的立体物(即，自身车辆v在交叉路口左转右转的情况下或以各种车速在没有红绿灯的交叉路口直行的情况下有可能碰撞的各种立体物)进行拍摄。
[0178]
在此，在有无执行碰撞回避控制的判定中所使用的ttc阈值通常设定为3秒以下的任意值。因而，根据上述构成，能够针对存在于自身车辆的斜前方的立体物合适地执行碰撞回避控制。即，以往的驾驶支援装置仅能检测存在于自身车辆的前方(典型地，水平视场角为-50度≤θf≤50度)的立体物。因而，例如，关于像立体物o1至o5这样存在于自身车辆v的斜前方的立体物，在自身车辆左转而立体物o1和/或o2成为位于自身车辆的前方之前，或者在自身车辆进一步直行而立体物o3至o5成为位于自身车辆的前方之前，无法检测到立体物o1至o5，在检测到的时间点，有时ttc已经成为了ttc阈值以下。相对于此，根据具备相机传感器20f的驾驶支援装置，关于存在于自身车辆的斜前方的立体物，能够在ttc成为ttc阈值以下之前检测到。因而，关于这些立体物，能够合适地执行碰撞回避控制。
[0179]
尤其是，相机传感器20f也作为在pvm图像的生成中所使用的相机传感器来发挥功能。因而，仅对以往的前方pvm相机传感器的规格进行局部变更(具体地说，将鱼眼透镜变更为鱼眼透镜21a，并且将图像传感器的像素数从大约1.2m[pix]变更为大约2.8m[pix])即可，无需新导入相机传感器。因此，能够以较低成本实现相机传感器20f。
[0180]
除此之外，在相机传感器20f中，尽管鱼眼透镜21a的自由曲面构成为拍摄面22a的区域s1中的水平像素密度比区域s2中的水平像素密度大，但根据图5，区域s2中的水平像素密度被维持为相机传感器20re(即，具有与相机传感器c1大致相同的构成的相机传感器)的拍摄面的水平像素密度以上。根据该构成，防止因鱼眼透镜21a具备上述自由曲面而pvm图像的画质劣化的情况。
[0181]
(第2实施方式)
[0182]
接着，参照附图，对本发明的第2实施方式的具备作为拍摄装置的左侧pvm相机传
感器及右侧pvm相机传感器的驾驶支援装置进行说明。以下，关于与第1实施方式相同的构成，标注相同的标号，省略详细说明。
[0183]
如图9所示，本实施方式的驾驶支援装置在取代pvm相机传感器20而具备pvm相机传感器120这一点上与第1实施方式的驾驶支援装置不同。pvm相机传感器120具备前方pvm相机传感器120f、左侧pvm相机传感器120l、右侧pvm相机传感器120r及后方pvm相机传感器20re。
[0184]
相机传感器120f具有与第1实施方式的相机传感器20l、20r及20re大致相同的构成，在以下的2点上与第1实施方式的相机传感器20f不同。
[0185]
·
相机传感器120f的鱼眼透镜(省略图示)具有旋转对称的曲面而非自由曲面。
[0186]
·
相机传感器120f的像素数为大约1.2m(1280
×
960)[pix]。
[0187]
相机传感器120f的鱼眼透镜的焦距及拍摄面的尺寸预先设计成，相机传感器120f的水平视场角成为180度，垂直视场角成为135度。由此，相机传感器120f能够对位于自身车辆的前方、斜前方及前端中央部侧方的区域的被拍摄体进行拍摄。此外，相机传感器120f相当于“前方拍摄装置”的一例。
[0188]
如图10所示，相机传感器120l具备光学系统121l、图像传感器122l、信号处理电路23。
[0189]
光学系统121l包括鱼眼透镜121al。鱼眼透镜121al是采用等距离投影方式的透镜，具有非旋转对称的自由曲面。关于鱼眼透镜121al的详细构成在后面进行叙述。
[0190]
图像传感器122l包括多个像素在水平方向及垂直方向上(即呈二维状)以等间隔排列的拍摄面122al。拍摄面122al的尺寸与第1实施方式的拍摄面22a的尺寸相同。即，图像传感器122l的像素数为大约2.8m(1920
×
1440)[pix]。
[0191]
鱼眼透镜121al的焦距及拍摄面122al的尺寸预先设计成，相机传感器120l的水平视场角成为180度，垂直视场角成为135度。由此，相机传感器120l能够对位于自身车辆的左侧方区域的被拍摄体进行拍摄。此外，相机传感器120l相当于“图像生成用相机传感器”的一例，并且相当于能够设置于车辆的左侧方部分的“拍摄装置”的一例。相机传感器120l的水平视场角相当于“第2水平视场角”的一例。
[0192]
相机传感器120r具备光学系统121r、图像传感器122r、信号处理电路23。
[0193]
光学系统121r包括鱼眼透镜121ar。鱼眼透镜121ar是采用等距离投影方式的透镜，具有非旋转对称的自由曲面。关于鱼眼透镜121ar的详细构成在后面进行叙述。
[0194]
图像传感器122r包括多个像素在水平方向及垂直方向上(即呈二维状)以等间隔排列的拍摄面122ar。拍摄面122ar的尺寸与第1实施方式的拍摄面22a的尺寸相同。即，图像传感器122r的像素数为大约2.8m(1920
×
1440)[pix]。
[0195]
鱼眼透镜121ar的焦距及拍摄面122ar的尺寸预先设计成，相机传感器120r的水平视场角成为180度，垂直视场角成为135度。由此，相机传感器120r能够对位于自身车辆的右侧方区域的被拍摄体进行拍摄。此外，相机传感器120r相当于“图像生成用相机传感器”的一例，并且相当于能够设置于车辆的右侧方部分的“拍摄装置”的一例。相机传感器120r的水平视场角相当于“第2水平视场角”的一例。由相机传感器30和相机传感器120l及120r构成了拍摄系统。
[0196]
返回图9继续进行说明。ecu10从相机传感器120f、120l、120r及20re以及相机传感
器30，分别取得“前方广域图像数据”、“左方广域图像数据”、“右方广域图像数据”及“后方广域图像数据”以及“前方窄域图像数据”，基于所取得的图像数据，进行与第1实施方式的(1)及(2)同样的处理。不过，关于(2)的处理，在检测立体物时所使用的图像数据与第1实施方式不同。以下，对该不同点进行具体说明。此外，“左方广域图像数据”及“右方广域图像数据”相当于“周边广域图像数据”的一例。
[0197]
ecu10取代前方广域图像数据，将左方广域图像数据及右方广域图像数据与前方窄域图像数据一起进行解析，运算立体物的有无及自身车辆与立体物的相对关系。换言之，ecu10分别检测存在于相机传感器120l的拍摄范围、相机传感器120r的拍摄范围及相机传感器30的拍摄范围(参照图6的范围rfn)的立体物。
[0198]
图11的范围rl及范围rr分别是相机传感器120l及120r的拍摄范围(即，ecu10能够基于左方广域图像数据及右方广域图像数据检测出立体物的范围)的俯视图。如图11所示，关于相机传感器120l，基准方位被设定为，作为通过位置p2且与自身车辆v的前后轴平行的轴的基准轴a1的方位。基准轴a1与相机传感器120l的光学系统121l的光轴(省略图示)正交。以下，将水平视场角中的比基准轴a1靠左侧的方位角θl规定为正值，将比基准轴a1靠右侧的方位角θl规定为负值。除此之外，将垂直视场角中的比光轴靠上方的角度规定为正值，将比光轴靠下方的角度规定为负值。相机传感器120l的光轴相对于左右轴以大约60度向下方倾斜，垂直视场角为135度。因而，基准轴a1包含于垂直视场角。
[0199]
另一方面，关于相机传感器120r，基准方位被设定为，作为通过位置p3且与自身车辆v的前后轴平行的轴的基准轴a2的方位。基准轴a2与相机传感器120r的光学系统121r的光轴(省略图示)正交。以下，将水平视场角中的比基准轴a2靠右侧的方位角θr规定为正值，将比基准轴a2靠左侧的方位角θr规定为负值。除此之外，将垂直视场角中的比光轴靠上方的角度规定为正值，将比光轴靠下方的角度规定为负值。相机传感器120r的光轴相对于左右轴以大约60度向下方倾斜，垂直视场角为135度。因而，基准轴a2包含于垂直视场角。
[0200]
范围rl在方位角范围为52度≤θl≤80度的第3范围中，呈半径r3的扇形形状，在水平视场角中的除第3范围之外的第4范围(即，0度≤θl《52度、80度《θl≤180度)中，呈半径r4的扇形形状。
[0201]
范围rr在方位角范围为52度≤θr≤80度的第5范围中，呈半径r5(＝r3)的扇形形状，在水平视场角中的除第5范围之外的第6范围(即，0度≤θr《52度、80度《θr≤180度)中，呈半径r6(＝r4)的扇形形状。
[0202]
即，范围rl与范围rr，处于关于前后轴线对称的关系。根据范围rl及范围rr的形状，第3范围及第5范围中的立体物的检测界限距离(r3、r5)比第4范围及第6范围中的立体物的检测界限距离(r4、r6)长。这起因于鱼眼透镜121al及121ar的构成。此外，第3范围及第5范围相当于“斜侧方方位角范围”的一例，第4范围及第6范围相当于“剩余方位角范围”的一例。
[0203]
参照图12a及图12b进行具体说明。如图12a所示，相机传感器120l的拍摄面122al包括区域s3及区域s4。区域s3是来自“存在于第3范围且存在于第2特定垂直范围(在后面叙述)的被拍摄体”的光即第3光在拍摄面122al成像的区域。区域s4是来自“存在于水平视场角及垂直视场角中的剩余的角度范围的被拍摄体”的光即第4光在拍摄面122al成像的区域。
[0204]
如图12b所示，相机传感器120r的拍摄面122ar包括区域s5及区域s6。区域s5是来自“存在于第5范围且存在于第2特定垂直范围的被拍摄体”的光即第5光在拍摄面122ar成像的区域。区域s6是来自“存在于水平视场角及垂直视场角中的剩余的角度范围的被拍摄体”的光即第6光在拍摄面122ar成像的区域。
[0205]
第2特定垂直范围可设定为包括基准轴a1或a2且包括垂直视场角的上方的范围。在本实施方式中，第2特定垂直范围为0度以上且67.5度以下。此外，光学系统121l及121r构成为使来自被拍摄体的光也成像于周边区域sp(拍摄面122al中的比区域s4靠外侧的区域及拍摄面122ar中的比区域s6靠外侧的区域)。然而，构成周边区域sp的像素的电信号不用于图像数据的生成。
[0206]
如图12a所示，鱼眼透镜121al构成为在经由光学系统121l使来自被拍摄体的光成像于拍摄面122al时，使第3光比第4光在水平方向(纸面上下方向)上扩大而成像于拍摄面122al。扩大率遍及第2特定垂直范围而恒定。此外，第3光在垂直方向(纸面左右方向)上不扩大。区域s3相当于“特定区域”或“第3区域”的一例，区域s4相当于“剩余区域”或“第4区域”的一例。
[0207]
如图12b所示，鱼眼透镜121ar构成为在经由光学系统121r使来自被拍摄体的光成像于拍摄面122ar时，使第5光比第6光在水平方向上扩大而成像于拍摄面122ar。扩大率遍及第2特定垂直范围而恒定。此外，第5光在垂直方向上不扩大。区域s5相当于“特定区域”或“第5区域”的一例，区域s6相当于“剩余区域”或“第6区域”的一例。
[0208]
在本实施方式中，第3光的扩大率与第5光的扩大率彼此相等。因而，区域s3及区域s5呈彼此全等的长方形形状。此外，第3光的扩大率与第5光的扩大率也可以彼此不同。
[0209]
换言之，鱼眼透镜121al具有被加工成区域s3中的水平像素密度比区域s4的任意区域中的水平像素密度大的自由曲面。鱼眼透镜121ar具有被加工成区域s5中的水平像素密度比区域s6的任意区域中的水平像素密度大的自由曲面。根据该构成，区域s3及区域s5中的水平方向的解析度分别比区域s4及区域s6中的水平方向的解析度高，作为结果，第3范围及第5范围中的立体物的检测界限距离(r3、r5)分别比第4范围及第6范围中的立体物的检测界限距离(r4、r6)长。此外，第3范围的下限方位角(52度)及第5范围的下限方位角(52度)基于前方相机传感器30的边界方位角(50度、-50度)而决定。
[0210]
参照图13，对立体物的检测界限距离与水平像素密度的关系进行具体说明。图13是规定了相机传感器120l及120r、以及作为比较例的相机传感器c3(参照虚线)及c4(参照点划线)的方位角与水平像素密度(严格来说，第2特定垂直范围内的某角度(例如60度)下的水平像素密度)的关系的图表。不过，关于大于90度的方位角范围省略了图示。在本实施方式中，鱼眼透镜121al及121ar构成为，拍摄面122al的水平像素密度分布与拍摄面122ar的水平像素密度分布彼此相同。因而，在图13的图表中，相机传感器120l的表现与相机传感器120r的表现一致。
[0211]
相机传感器c3及c4的光学系统所具有的透镜均为鱼眼透镜。不过，这些鱼眼透镜在具有旋转对称的曲面这一点上与相机传感器120l及120r的鱼眼透镜121al及121ar不同。
[0212]
相机传感器c3的像素数为大约1.2m(1280
×
960)[pix]，其水平视场角为180度。即，相机传感器c3具有与相机传感器120f及20re大致相同的构成。
[0213]
相机传感器c4的像素数为大约2.8m(1920
×
1440)[pix]，其水平视场角为180度。
即，相机传感器c4除了鱼眼透镜不具有自由曲面这一点之外，具有与相机传感器120l及120r大致相同的构成。
[0214]
如上述那样，相机传感器120l及120r分别构成为，第3光及第5光的水平方向的扩大率遍及第2特定垂直范围而恒定。这一点对于相机传感器c3及c4而言也是同样的。因而，相机传感器120l、120r、c3及c4的方位角与水平像素密度的关系遍及第2特定垂直范围而不变。
[0215]
此外，相机传感器120l、120r、c3及c4各自所具有的光学系统构成为，来自存在于-大约20度《θl、θr《0度的方位角范围的被拍摄体的光也能够成像于各自的拍摄面。因而，在图13的图表中，也图示出这些方位角范围中的水平像素密度。不过，拍摄面中的与这些方位角范围对应的像素的电信号不用于图像数据的生成。
[0216]
如图13所示，相机传感器120l及120r与相机传感器c3及c4不同，分别具备具有如上述那样进行了加工的自由曲面的鱼眼透镜121al、121ar。因而，其水平像素密度在45度≤θl、θr≤87度的方位角范围中，比相机传感器c4(即，具有与相机传感器120l、120r相同的像素数的相机传感器)的水平像素密度大。尤其是，在第3及第5范围中，相机传感器120l及120r的水平像素密度成为了相机传感器c4的水平像素密度的大约1.6倍的大小。通常，在预定的方位角范围内，立体物的检测界限距离与第2特定垂直范围内的任意角度下的水平像素密度大致成比例。因而，在第3及第5范围中，相机传感器120l及120r对立体物的检测界限距离r3及r5(参照图11)成为相机传感器c4对立体物的检测界限距离(大约27[m])的大约1.6倍(大约43[m])。
[0217]
另一方面，在第4及第6范围中，相机传感器120l及120r的水平像素密度被维持为与相机传感器c3的水平像素密度同等或其以上。因而，防止因鱼眼透镜121al及121ar具有自由曲面而pvm图像的画质劣化的情况。此外，在第4及第6范围中，相机传感器120l及120r对立体物的检测界限距离r4及r6(参照图11)与相机传感器c3对立体物的检测界限距离(大约20[m])大致相等。
[0218]
这样，通过相机传感器120l及120r具备具有上述自由曲面的鱼眼透镜121al及121ar，能够将pvm图像的画质维持为与以往同等程度(换言之，相对于显示器60a的分辨率而言相机传感器120l及120r的像素数不会超规)，同时，在水平视场角中的特定范围(在本实施方式中是第3或第5范围)中，与具有与相机传感器120l及120r相同的像素数的相机传感器c4相比较，大幅延长立体物的检测界限距离。
[0219]
具备这样的鱼眼透镜121al及121ar的相机传感器120l及120r，在自身车辆在交叉路口左转右转的情况下或者在没有红绿灯的交叉路口直行的情况下尤其有用。以下，举出相机传感器120l作为例子，参照图14进行具体说明。图14是将方位角范围为0度≤θl≤180度的范围rl、范围rc3及范围rc4重叠于图7的图。在此，范围rc3及范围rc4分别是相机传感器c3及c4(参照图13)设置于自身车辆v的位置p2的情况下的拍摄范围的俯视图。根据图14，立体物o1至o5分布的特定的方位角范围与第3范围一致。此外，虽然在图14中省略了图示，但在自身车辆v在交叉路口右转的情况下或以各种车速在没有红绿灯的交叉路口直行的情况下3秒后会碰撞的各种立体物几乎全部与立体物o1至o5同样地偏向于分布在自身车辆v的特定的方位角范围，可以认为该特定的方位角范围与相机传感器120r的第6范围一致。
[0220]
根据相机传感器120l及120r，能够起到与第1实施方式的相机传感器20f同样的效
果。
[0221]
以上，对本实施方式的拍摄系统及拍摄装置进行了说明，但本发明不限定于上述实施方式，能够在不脱离本发明的目的的范围内进行各种变更。
[0222]
例如，第1实施方式的相机传感器20f及第2实施方式的相机传感器120l及120r的水平视场角也可以均为180度以上(例如190度)。
[0223]
除此之外，在第1实施方式中，左侧第1范围为满足45度《θf《90度的任意方位角范围即可，右侧第1范围为满足-90度《θf《-45度的任意方位角范围即可。同样，在第2实施方式中，第3范围及第4范围分别为满足45度《θl、θr《90度的任意方位角范围即可。
[0224]
而且，在第1实施方式中，相机传感器20f也可以不用于pvm图像的生成。即，相机传感器20f无需兼备前方pvm相机传感器的功能，也可以除了前方pvm相机传感器之外新导入相机传感器20f。关于第2实施方式也是同样的。
[0225]
而且，在第2实施方式中，相机传感器120l及120r无需在自身车辆v设置一对，也可以构成为仅设置任一方。在自身车辆v的位置p2设置相机传感器120l的情况下，在位置p3可设置相机传感器20r(即以往的右侧pvm相机传感器)。同样，在自身车辆v的位置p3设置相机传感器120r的情况下，在位置p2可设置相机传感器20l(即以往的左侧pvm相机传感器)。根据该构成，也能够合适地对存在于自身车辆v的左斜前方或右斜前方的立体物进行拍摄。
[0226]
标号说明
[0227]
10：驾驶支援ecu，20：pvm相机传感器，20f：前方pvm相机传感器，20l：左侧pvm相机传感器，20r：右侧pvm相机传感器，20re：后方pvm相机传感器，21：光学系统，21a：鱼眼透镜，22：图像传感器，22a：拍摄面，23：信号处理电路，30：前方相机传感器，40：车速传感器，41：偏航率传感器，42：变速位置传感器，43：pvm开关，50：碰撞回避装置，60：显示装置，60a：显示器。