倾斜角检测装置及控制装置的制作方法

1.本发明涉及对在图像上显示的二轮车相对于地面的法线的倾斜角进行检测的倾斜角检测装置及利用这样的倾斜角检测装置并控制车辆的行驶的控制装置。


背景技术：

2.为了预测在本车辆的周围行驶的二轮车的变动，提出了对二轮车相对于地面的法线的倾斜角进行检测的技术(例如参照专利文献1及2)。此外，在本技术中，将从二轮车的正面或背面观察该二轮车时的、从该二轮车相对于地面的接地点起连结至该二轮车的骑乘者的头顶部为止的直线相对于地面的法线的倾斜角度设为该二轮车相对于地面的法线的倾斜角(以下，有时简称为倾斜角)。
3.例如，专利文献1公开的驾驶支援系统在机动二轮车赶超了本车辆的情况下检测该机动二轮车的倾角，并基于检测到的倾角，判定机动二轮车是否插入到本车辆的前方。
4.另外，在专利文献2公开的动作方法中，求出在图像的至少两条线中被分类为二轮车的像素的中间列值，并基于该中间列值而求出二轮车的倾斜角。
5.在先技术文献
6.专利文献
7.专利文献1：日本特开2017
‑
185862号公报
8.专利文献2：日本特开2017
‑
102928号公报


技术实现要素：

9.发明要解决的课题
10.一般而言，由于在二轮车改变行进方向时，二轮车的骑乘者会使二轮车向行进方向侧倾斜，因此，二轮车的倾斜角成为用于预测二轮车的变动的重要信息。因此，要求更准确地检测在图像上显示的二轮车的倾斜角。
11.因此，本发明的目的在于提供能够检测在图像上显示的二轮车相对于地面的法线的倾斜角的倾斜角检测装置。
12.用于解决课题的手段
13.根据一个实施方式，提供一种倾斜角检测装置。该倾斜角检测装置具有：物体检测部，所述物体检测部通过将由拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器，从而在图像上检测包含有二轮车的物体区域；特征提取区域设定部，所述特征提取区域设定部设定使物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域，并从图像截取多个特征提取区域中的每一个；以及倾斜角检测部，所述倾斜角检测部在多个特征提取区域的每一个中求出二轮车的宽度，并基于针对多个特征提取区域中的每一个的相对于图像的旋转角和二轮车的宽度，对二轮车的宽度成为最小的相对于图像的旋转角进行检测并将该旋转角作为二轮车相对于地面的法线的倾斜角。
14.在该倾斜角检测装置中，优选的是，倾斜角检测部针对多个特征提取区域中的每
一个，在将该特征提取区域的尺寸变更为预定的尺寸之后，输入到为了检测二轮车的左端的位置及右端的位置而进行了预先学习的第二识别器，由此，求出多个特征提取区域的每一个中的二轮车的左端的位置及右端的位置，针对多个特征提取区域中的每一个，作为该特征提取区域中的二轮车的左端的位置及右端的位置之差而求出该特征提取区域中的二轮车的宽度。
15.另外，在该倾斜角检测装置中，优选的是，倾斜角检测部通过对多个特征提取区域的每一个中的二轮车的宽度与该特征提取区域相对于图像的旋转角的组进行拟合，从而求出表示二轮车的宽度的变化相对于旋转角的变化的拟合曲线，并将在该拟合曲线中二轮车的宽度成为最小的旋转角设为二轮车相对于地面的法线的倾斜角。
16.根据另一实施方式，提供一种倾斜角检测装置。该倾斜角检测装置具有：物体检测部，所述物体检测部通过将由拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器，从而在图像上检测包含有二轮车的物体区域；特征提取区域设定部，所述特征提取区域设定部设定使物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域，并从图像截取多个特征提取区域中的每一个；以及倾斜角检测部，所述倾斜角检测部在多个特征提取区域的每一个中求出二轮车的高度，并基于针对多个特征提取区域中的每一个的相对于图像的旋转角和二轮车的高度，对二轮车的高度成为最大的相对于图像的旋转角进行检测并将该旋转角作为二轮车相对于地面的法线的倾斜角。
17.根据又一实施方式，提供一种对车辆的行驶进行控制的控制装置。该控制装置具有：物体检测部，所述物体检测部通过将由搭载于车辆的拍摄部生成的图像输入到为了检测二轮车而进行了预先学习的第一识别器，从而在图像上检测包含有位于车辆的周围的二轮车的物体区域；特征提取区域设定部，所述特征提取区域设定部设定使物体区域每次旋转彼此不同的预定角度而得到的多个特征提取区域，并从图像截取多个特征提取区域中的每一个；倾斜角检测部，所述倾斜角检测部在多个特征提取区域的每一个中求出二轮车的宽度，并基于针对多个特征提取区域中的每一个的相对于图像的旋转角和二轮车的宽度，对二轮车的宽度成为最小的相对于图像的旋转角进行检测并将该旋转角作为二轮车相对于地面的法线的倾斜角；驾驶计划部，所述驾驶计划部基于检测出的二轮车的倾斜角来预测二轮车行驶的轨迹，并基于所预测的轨迹来设定车辆的行驶预定路径，以使车辆与二轮车远离预定距离以上；以及车辆控制部，所述车辆控制部对车辆进行控制，以使车辆沿着行驶预定路径行驶。
18.发明的效果
19.本发明的倾斜角检测装置可以发挥能够检测在图像上显示的二轮车相对于地面的法线的倾斜角这样的效果。
附图说明
20.图1是安装有倾斜角检测装置的车辆控制系统的概略结构图。
21.图2是作为倾斜角检测装置的一实施方式的电子控制装置的硬件结构图。
22.图3是与包含有倾斜角检测处理的车辆控制处理相关的电子控制装置的处理器的功能框图。
23.图4是示出作为第一识别器而利用的dnn的结构的一例的图。
24.图5是示出在图像上显示的关于二轮车的物体区域及特征提取区域的一例的图。
25.图6是示出截取出的特征提取区域与尺寸调整后的特征提取区域的关系的一例的图。
26.图7是示出由第二识别器进行的二轮车的左右端的检测结果的一例的图。
27.图8是说明基于每个特征提取区域的二轮车的宽度的检测结果的倾斜角检测的概要的图。
28.图9是与倾斜角检测处理关联的各部分的处理的时序图。
29.图10是包含有倾斜角检测处理的车辆控制处理的动作流程图。
30.附图标记说明
31.1 车辆控制系统
32.2 相机
33.3 电子控制装置(倾斜角检测装置)
34.4 车内网络
35.21 通信接口
36.22 存储器
37.23 处理器
38.31 物体检测部
39.32 特征提取区域设定部
40.33 倾斜角检测部
41.34 追踪部
42.35 驾驶计划部
43.36 车辆控制部
具体实施方式
44.以下，参照附图，对倾斜角检测装置进行说明。该倾斜角检测装置检测在图像上显示的二轮车相对于地面的法线的倾斜角。因此，该倾斜角检测装置通过将图像输入到为了检测二轮车而进行了预先学习的第一识别器，从而检测在图像上显示的包含有二轮车的区域(以下，有时称为物体区域)。并且，该倾斜角检测装置设定通过使物体区域每次旋转预定的角度而获得的多个特征提取区域，并从图像截取各特征提取区域。然后，该倾斜角检测装置通过将各特征提取区域尺寸调整为一定的尺寸，并将包含有尺寸调整后的各特征提取区域各自的像素值的输入数据输入到第二识别器，从而按各特征提取区域求出该特征提取区域的水平方向上的二轮车的宽度(以下，有时简称为特征提取区域中的二轮车的宽度)，基于每个特征提取区域的二轮车的宽度和相对于原始图像的旋转角，对二轮车的宽度成为最小的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
45.以下，说明将倾斜角检测装置应用于车辆控制系统的例子。在该例中，倾斜角检测装置通过对由搭载于车辆的相机获得的时间序列上的一系列的图像执行倾斜角检测处理，从而对存在于车辆的周围的二轮车进行检测，并对检测到的二轮车的倾斜角进行检测。然后，车辆控制系统基于检测到的倾斜角预测二轮车的变动，并基于所预测的变动对车辆进行自动驾驶控制。
46.图1是安装有倾斜角检测装置的车辆控制系统的概略结构图。另外，图2是作为倾斜角检测装置的一个实施方式的电子控制装置的硬件结构图。在本实施方式中，搭载于车辆10并控制车辆10的车辆控制系统1具有用于对车辆10的周围进行拍摄的相机2和作为倾斜角检测装置的一例的电子控制装置(ecu)3。相机2与ecu3经由控制器局域网这样的遵照标准的车内网络4能够通信地连接。此外，也可以是，车辆控制系统1还具有存储用于车辆10的自动驾驶控制的地图的存储装置。而且，也可以是，车辆控制系统1具有lidar或雷达这样的测距传感器、gps接收机这样的用于遵照卫星定位系统对车辆10的自身位置进行定位的接收机、用于与其他设备进行无线通信的无线终端、以及用于搜索车辆10的行驶预定路线的导航装置等。
47.相机2是作为用于对存在于预定的检测范围内的物体进行检测的传感器的拍摄部的一例，具有由ccd或c
‑
mos等对可见光具有灵敏度的光电转换元件的阵列构成的二维检测器和在该二维检测器上对成为拍摄对象的区域的像进行成像的光学成像系统。并且，相机2例如以朝向车辆10的前方的方式安装在车辆10的车厢内。并且，相机2每隔预定的拍摄周期(例如1/30秒～1/10秒)对车辆10的前方区域进行拍摄，并生成拍摄到该前方区域的图像。优选的是，由相机2获得的图像为彩色图像。此外，也可以在车辆10设置拍摄方向或焦距不同的多个相机。
48.相机2每当生成图像时，经由车内网络4向ecu3输出所生成的图像。
49.ecu3控制车辆10。在本实施方式中，ecu3基于从由相机2获得的时间序列上的一系列的图像中检测出的物体对车辆10进行控制，以便对车辆10进行自动驾驶。因此，ecu3具有通信接口21、存储器22及处理器23。
50.通信接口21为通信部的一例，具有用于将ecu3连接于车内网络4的接口电路。即，通信接口21经由车内网络4与相机2连接。并且，通信接口21每当从相机2接收到图像时，向处理器23移交接收到的图像。
51.存储器22是存储部的一例，例如具有易失性的半导体存储器及非易失性的半导体存储器。此外，如后述那样，在处理器23具有多个运算单元的情况下，存储器22也可以按各运算单元具有专用的存储器电路。并且，存储器22存储有在由ecu3的处理器23执行的倾斜角检测处理中使用的各种数据及参数例如从相机2接收到的图像、用于确定在倾斜角检测处理中利用的各识别器的各种参数、以及每个物体的种类的确信度阈值等。而且，存储器22将表示与检测出的物体相关的信息的检测物体列表这样的在倾斜角检测处理的中途生成的各种数据存储一定期间。另外，也可以是，存储器22还存储有地图信息这样的在车辆10的行驶控制中利用的信息。
52.处理器23为控制部的一例，具有一个或多个cpu(central processing unit：中央处理单元)及其周边电路。也可以是，处理器23还具有逻辑运算单元、数值运算单元或图形处理单元(graphics processing unit、gpu)这样的其他运算电路。并且，在车辆10行驶的期间，每当从相机2接收到图像时，处理器23对接收到的图像执行包含有倾斜角检测处理的车辆控制处理。并且，处理器23基于检测出的车辆10周围的物体特别是二轮车对车辆10进行控制，以便对车辆10进行自动驾驶。
53.图3是与包含有倾斜角检测处理的车辆控制处理相关的ecu3的处理器23的功能框图。处理器23具有物体检测部31、特征提取区域设定部32、倾斜角检测部33、追踪部34、驾驶
计划部35及车辆控制部36。处理器23所具有的上述各部分例如是通过在处理器23上运行的计算机程序来实现的功能模块。或者，处理器23所具有的上述各部分也可以是设置于处理器23的专用的运算电路。另外，处理器23所具有的上述各部分中的物体检测部31、特征提取区域设定部32及倾斜角检测部33执行倾斜角检测处理。此外，在将多个相机设置于车辆10的情况下，处理器23也可以按各相机，基于由该相机获得的图像来执行倾斜角检测处理。
54.物体检测部31每当从相机2接收到图像时，通过将接收到的最新的图像输入到物体检测用的第一识别器，从而检测在该图像上显示的包含有二轮车这样的检测对象物体的物体区域。此外，除了二轮车以外，检测对象物体还包括影响车辆10的行驶控制的物体例如其他车辆、人、道路标识、信号机、车道区划线等道路标志及道路上的其他物体等。
55.在本实施方式中，物体检测部31利用如下的dnn作为第一识别器，所述dnn为了对在图像上显示的包含有检测对象物体(包含有二轮车)的物体区域进行检测并识别检测对象物体的种类而进行了预先学习。物体检测部31利用的dnn例如能够设为single shot multibox detector(单步多框检测器，ssd)或faster r
‑
cnn这样的具有卷积神经网络(以下，简称为cnn)型的架构的dnn。
56.图4是示出作为第一识别器而利用的dnn的结构的一例的图。dnn400具有设置于输入图像的输入侧的主干部401和与主干部401相比设置于输出侧的位置检测部402及种类推定部403。位置检测部402基于来自主干部401的输出，输出在图像上显示的包含有检测对象物体的物体区域。种类推定部403基于来自主干部401的输出，算出在由位置检测部402检测出的物体区域显示的检测对象物体的每个种类的确信度。此外，位置检测部402及种类推定部403也可以一体地形成。
57.主干部401例如能够设为具有从输入侧朝向输出侧串联连接的多个层的cnn。在这多个层中包括两个以上的卷积层。而且，在主干部401所具有的多个层中也可以包括按一个或多个卷积层设置的池化层。另外，在主干部401所具有的多个层中还可以包括一个以上的全连接层。例如，主干部401能够设为与ssd的基本层相同的结构。或者，主干部401也可以依照vgg
‑
19、alex net或nin(network
‑
in
‑
network)这样的其他cnn架构来构成。
58.在被输入图像时，主干部401通过对该图像执行在各层的运算，从而输出根据该图像算出的特征图(feature map)。此外，主干部401也可以输出分辨率不同的多个特征图。例如，主干部401也可以输出具有与输入的图像的分辨率相同的分辨率的特征图和比输入的图像的分辨率低的分辨率的一个以上的特征图。
59.分别向位置检测部402及种类推定部403输入从主干部401输出的特征图。并且，位置检测部402及种类推定部403例如分别能够设为具有从输入侧朝向输出侧串联连接的多个层的cnn。对于位置检测部402及种类推定部403中的每一个而言，在cnn所具有的多个层中包括两个以上的卷积层。另外，对于位置检测部402及种类推定部403中的每一个而言，在cnn所具有的多个层中也可以包括按一个或多个卷积层设置的池化层。此外，cnn所具有的卷积层及池化层对于位置检测部402及种类推定部403而言也可以共用化。而且，对于位置检测部402及种类推定部403中的每一个而言，在多个层中也可以包括一个以上的全连接层。在该情况下，优选的是，全连接层与各卷积层相比设置于输出侧。另外，也可以将来自各卷积层的输出直接输入到全连接层。另外，种类推定部403的输出层既可以是依照softmax函数(softmax function)来算出各个种类的检测对象物体的确信度的softmax层，也可以
是依照sigmoid函数(sigmoid function)来算出各个种类的检测对象物体的确信度的sigmoid层。
60.位置检测部402及种类推定部403例如以按图像上的各种位置、各种尺寸及各种纵横比的区域输出各个种类的检测对象物体的确信度的方式进行学习。因此，识别器400通过被输入图像，从而按图像上的各种位置、各种尺寸及各种纵横比的区域输出各个种类的检测对象物体的确信度。并且，位置检测部402及种类推定部403对针对任一种类的检测对象物体的确信度成为预定的确信度阈值以上的区域进行检测，并将其作为显示该种类的检测对象物体的物体区域。
61.对于在识别器400的学习中利用的指导数据所包含的图像(指导图像)而言，例如标注有检测对象物体的种类(例如普通乘用车、公交车、卡车、二轮车等)和表示检测对象物体的物体区域即该检测对象物体的外接矩形。
62.识别器400使用上述那样的多个指导图像，例如按照误差反向传播法这样的学习方法进行学习。处理器23通过利用像这样进行了学习的识别器400，从而能够从图像高精度地检测二轮车这样的检测对象物体。
63.也可以是，物体检测部31通过进一步执行nms(non
‑
maximum suppression，非极大值抑制)处理，从而从至少局部重叠的两个以上的物体区域中的、被推定为表示同一物体的物体区域选择一个。
64.物体检测部31将各物体区域的图像上的位置及范围和该物体区域所包含的物体的种类登记于检测物体列表。然后，物体检测部31将检测物体列表存储于存储器22。
65.特征提取区域设定部32按检测到的二轮车设定用于求出该二轮车的宽度的多个特征提取区域。由于特征提取区域设定部32对各个二轮车执行相同的处理即可，因此，以下说明对一个二轮车的处理。
66.特征提取区域设定部32参照检测物体列表，确定表示检测到的二轮车的物体区域，设定使该物体区域相对于原始图像每次旋转彼此不同的预定角度而得到的多个特征提取区域。然后，特征提取区域设定部32从图像截取各特征提取区域。此外，当在检测物体列表中登记有两台以上的二轮车的情况下，特征提取区域设定部32按各个二轮车设定特征提取区域即可。另外，预定角度例如能够设为5
°
单位、10
°
单位或20
°
单位。
67.图5是示出在图像上显示的关于二轮车的物体区域及特征提取区域的一例的图。在该例中，针对在图像500上显示的包含有二轮车(包含有骑乘者)501的矩形形状的物体区域510，通过使物体区域510每次旋转
±
20度，从而包含物体区域510本身(即旋转角为0度)在内地设定五个特征提取区域510～514。此外，优选的是，特征提取区域设定部32以在各特征提取区域510～514中包含原来的物体区域510整体的方式设定各特征提取区域510～514。由此，能够抑制二轮车的左右各自的端部的一部分从任一特征提取区域脱离，后述的第二识别器能够准确地检测二轮车的左端及右端各自的位置。
68.特征提取区域设定部32从原始图像截取所设定的各特征提取区域。在获得的各特征提取区域中包含有成为倾斜角的检测对象的二轮车。由于各特征提取区域相对于对应的物体区域以彼此不同的旋转角度进行设定，所以按各特征提取区域，二轮车相对于该特征提取区域的下端的倾斜不同。另外，一般而言，在从前方或后方观察二轮车的情况下，将二轮车相对于地面的接地点与该二轮车的骑乘者的头顶部连结的方向(以下，为了便于说明，
称为中心线方向)上的长度比与中心线方向正交的方向上的长度长。因此，在图5中，如各特征提取区域510～514所示的那样，二轮车的中心线方向与特征提取区域的下端所成的角越大，则特征提取区域的水平方向(即与特征提取区域的下端平行的方向)上的二轮车的宽度变得越小。即，特征提取区域相对于原始图像的旋转角与二轮车的倾斜角之差越小，则特征提取区域的水平方向上的二轮车的宽度变得越小。因此，通过根据这些特征提取区域中的每一个对二轮车的宽度进行检测，从而能够推定二轮车的倾斜角。
69.特征提取区域设定部32通过针对从图像截取的特征提取区域中的每一个，以使水平方向上的宽度及垂直方向上的宽度成为预定的尺寸(例如64
×
64像素)的方式执行下采样、上采样、bi
‑
linear(双线性)插补或bi
‑
cubic(双三次)插补等尺寸转换处理，从而进行尺寸调整。由此，不论图像上的二轮车的尺寸及二轮车的倾斜角如何，都将相同尺寸的特征提取区域输入到后述的第二识别器，因此，能够简化第二识别器的构造。
70.图6是示出从图像截取的特征提取区域与尺寸调整后的特征提取区域的关系的一例的图。在图6中，特征提取区域610～614分别与图5所示的特征提取区域510～514对应，是进行尺寸调整之前的特征提取区域。另一方面，特征提取区域620～624分别是通过将特征提取区域610～614尺寸调整为预定的尺寸而获得的尺寸调整后的特征提取区域。由于尺寸调整前的各特征提取区域610～614相对于原始图像的旋转角彼此不同，且各特征提取区域610～614被设定为包含物体区域整体，因此，各特征提取区域610～614的水平方向及垂直方向上的尺寸彼此不同。但是，尺寸调整后的特征提取区域620～624的水平方向及垂直方向上的尺寸彼此相等。
71.特征提取区域设定部32向倾斜角检测部33输出进行了尺寸调整的各特征提取区域。而且，特征提取区域设定部32针对各特征提取区域，向倾斜角检测部33通知尺寸调整后的水平方向上的宽度与尺寸调整前的水平方向上的宽度之比(以下，为了便于说明，称为归一化比)。
72.倾斜角检测部33针对登记在检测物体列表中的二轮车中的每一个，对该二轮车的倾斜角进行检测。由于倾斜角检测部33对各个二轮车执行相同的处理即可，因此，以下说明针对一个二轮车的处理。
73.倾斜角检测部33通过将包含有尺寸调整后的各特征提取区域的各个像素值的输入数据输入到为了检测二轮车的左端的位置和右端的位置而进行了预先学习的第二识别器，从而按各特征提取区域对在该特征提取区域显示的二轮车的左端的位置和右端的位置进行检测。倾斜角检测部33基于从各特征提取区域检测出的二轮车的左端的位置和右端的位置，求出在各特征提取区域显示的二轮车的宽度。然后，倾斜角检测部33基于针对各特征提取区域的二轮车的宽度和相对于原始图像的旋转角，对二轮车的宽度成为最小的旋转角进行检测并将该旋转角作为二轮车的倾斜角。在本实施方式中，倾斜角检测部33对各特征提取区域中的二轮车的宽度成为最小的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
74.例如，在尺寸调整后的各个特征提取区域的尺寸为64
×
64像素、特征提取区域的个数为五个且截取了各特征提取区域的原始图像为用rgb的三通道表示的彩色图像的情况下，对于第二识别器而言，向第二识别器输入尺寸为(5(特征提取区域数)、3(通道数)、64(水平方向像素数)、64(垂直方向像素数))这样的四阶张量的输入数据。
75.第二识别器例如能够设为具有cnn型的架构的神经网络。在该情况下，第二识别器具有：一个以上的卷积层，所述一个以上的卷积层进行针对水平方向及垂直方向的卷积运算或者针对水平方向、垂直方向及通道方向的卷积运算，并生成特征图；一个以上的全连接层，所述一个以上的全连接层对由卷积层算出的特征图进行全连接运算；以及输出层，所述输出层基于全连接层的运算结果，输出各特征提取区域中的二轮车的左端的位置及右端的位置。而且，第二识别器也可以在多个卷积层之间具有使特征图的分辨率降低的池化层。输出层例如使用sigmoid函数作为激活函数，针对各特征提取区域，按水平方向上的位置，在[0、1]的值域中输出表示二轮车的左端相似度的值。在该情况下，例如，输出值为0的位置表示二轮车的左端的位置，另一方面，输出值为1的位置表示二轮车的右端的位置。或者，输出层也可以不使用激活函数，而针对各特征提取区域，对左端位置和右端位置各自的位置进行回归推定。
[0076]
第二识别器使用如下的指导数据，依照误差反向传播法进行预先学习，所述指导数据包含多个组，该多个组为上述那样的尺寸调整后的特征提取区域的集合(set)与在该集合所包含的各特征提取区域中表示二轮车的左端的位置及右端的位置的注释信息的组。对于作为指导数据而使用的尺寸调整后的特征提取区域的集合而言，例如通过将指导数据生成用的图像输入到第一识别器来确定表示二轮车的物体区域，并对所确定的物体区域执行与特征提取区域设定部32的处理同样的处理，从而对上述尺寸调整后的特征提取区域的集合进行制作。
[0077]
图7是示出由第二识别器进行的二轮车的左右端的检测结果的一例的图。如图7所示，第二识别器在尺寸调整后即输入到第二识别器的特征提取区域700上输出二轮车的左端位置xleftnormalized及右端位置xrightnormalized。
[0078]
倾斜角检测部33针对尺寸调整后的特征提取区域中的每一个，基于该特征提取区域的归一化比，将从第二识别器输出的二轮车的左端的位置及右端的位置校正为尺寸调整前的特征提取区域的位置。即，倾斜角检测部33针对尺寸调整后的特征提取区域中的每一个，通过使该特征提取区域中的二轮车的左端的位置及右端的位置除以针对该特征提取区域的归一化比，从而能够求出尺寸调整前的特征提取区域中的二轮车的左端的位置及右端的位置。然后，倾斜角检测部33针对尺寸调整前的各特征提取区域算出二轮车的左端的位置与右端的位置之差，并将其作为该特征提取区域中的二轮车的宽度。倾斜角检测部33确定尺寸调整前的各特征提取区域中的二轮车的宽度成为最小的特征提取区域，对所确定的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
[0079]
例如，在图5所示的例子中，在五个特征提取区域510～514中的使物体区域沿逆时针方向旋转40
°
而得到的特征提取区域513中，二轮车501的宽度成为最小。因此，倾斜角检测部33将二轮车501的倾斜角检测为沿逆时针方向的40
°
。
[0080]
根据变形例，倾斜角检测部33使用非线性最小二乘法等拟合方法，将特征提取区域各自的旋转角与二轮车的宽度的组拟合为用二次曲线等表示的拟合曲线。该拟合曲线表示二轮车的宽度的变化相对于旋转角的变化，所述旋转角的变化是相对于原始图像的旋转角的变化。因此，倾斜角检测部33也可以在拟合曲线中确定二轮车的宽度成为最小的旋转角，并将该确定的旋转角检测为二轮车的倾斜角。
[0081]
图8是说明该变形例的基于每个特征提取区域的二轮车的宽度的检测结果的倾斜
角检测的概要的图。在图8中，横轴表示特征提取区域相对于原始图像的旋转角。此外，在该例中，将使特征提取区域沿顺时针方向旋转的情况下的旋转角表示为负，另一方面，将使特征提取区域沿逆时针方向旋转的情况下的旋转角表示为正。另外，纵轴表示二轮车的宽度。并且，曲线800表示针对按各特征提取区域求出的二轮车的宽度与该特征提取区域的旋转角的组801的拟合曲线。在该例中，在拟合曲线800中，在旋转角为40
°
时二轮车的宽度成为最小。因此，倾斜角检测部33将二轮车的倾斜角检测为40
°
。
[0082]
根据该变形例，即使在任意的特征提取区域的旋转角相对于二轮车的倾斜角均不一致的情况下，倾斜角检测部33也能够准确地检测该二轮车的倾斜角。
[0083]
倾斜角检测部33按记录在检测物体列表中的二轮车，将检测到的二轮车的倾斜角与该二轮车的信息相关联地存储在存储器22中。
[0084]
图9是与倾斜角检测处理关联的各部分的处理的时序图。处理器23的各部分的处理例如由在处理器23上运行的调度器(未图示)进行管理，并依照图9所示的时序图来执行。在图9中，横轴表示时间。另外，在图9中，各个区块表示执行在该区块内示出的处理，各个箭头表示各处理之间的数据(图像、检测物体列表、特征提取区域等)的交接。例如，当ecu3在时刻t1从相机2接收到图像时，利用处理器23所具有的gpu执行针对该图像的由物体检测部31进行的检测对象物体的检测处理。此外，在进行检测对象物体的检测处理之前，也可以对图像进行对比度校正或颜色转换这样的前处理。
[0085]
在进行检测对象物体的检测处理时，利用处理器23所具有的cpu进行检测出的物体的种类及物体区域向检测物体列表的登记等物体检测的后处理，之后，执行由后述的追踪部34进行的追踪处理。另外，与追踪处理并行地对检测出的二轮车执行由特征提取区域设定部32进行的特征提取区域设定处理。并且，在特征提取区域设定处理之后，利用gpu执行各个特征提取区域的尺寸调整、包含有尺寸调整后的各个特征提取区域的倾斜角检测部33向第二识别器的输入数据的生成、以及基于第二识别器的各特征提取区域中的二轮车的左右端的检测处理。然后，基于该检测结果，利用cpu执行二轮车的倾斜角的检测处理。然后，将追踪处理的结果及倾斜角的检测结果用于驾驶计划部35及车辆控制部36的处理。此外，各个特征提取区域的尺寸调整、向第二识别器的输入数据的生成、以及基于第二识别器的旋转角不同的各特征提取区域中的二轮车的左右端的检测处理作为批量处理来执行即可。
[0086]
追踪部34通过针对从最新的图像检测出的物体区域中的每一个，参照检测物体列表将在该物体区域显示的检测对象物体与从过去的图像检测出的检测对象物体相对应，从而对在该物体区域显示的检测对象物体进行追踪。
[0087]
追踪部34例如通过将lucas
‑
kanade法这样的基于光流的追踪处理应用于最新的图像中的所关注的物体区域及过去的图像中的物体区域，从而对在该物体区域显示的检测对象物体进行追踪。因此，追踪部34例如通过针对所关注的物体区域应用sift或harris算子这样的特征点提取用的滤波器，从而从该物体区域提取多个特征点。并且，追踪部34通过针对多个特征点中的每一个，依照所应用的追踪方法来确定过去的图像的物体区域中的对应的点，从而算出光流即可。或者，追踪部34也可以通过针对最新的图像中的所关注的物体区域及过去的图像中的物体区域，应用在从图像检测出的移动物体的追踪中应用的其他追踪方法，从而对在该物体区域显示的检测对象物体进行追踪。
[0088]
追踪部34针对从最新的图像检测出的检测对象物体中的不与在过去的图像上显示的检测对象物体相对应的检测对象物体，将其作为新的追踪对象而分配与其他追踪中的检测对象物体不同的识别编号，并将该分配的识别编号登记在检测物体列表中。另一方面，追踪部34针对从最新的图像检测出的检测对象物体中的与在过去的图像上显示的检测对象物体相对应的检测对象物体、即追踪中的检测对象物体，使其同与对该追踪中的检测对象物体分配的识别编号相同的识别编号相对应。
[0089]
驾驶计划部35参照检测物体列表，以避免存在于车辆10的周围的物体与车辆10碰撞的方式生成一个以上的车辆10的行驶预定路径(轨道)。行驶预定路径例如被表示为从当前时刻起到预定目标时间为止的各时刻的车辆10的目标位置的集合。例如，驾驶计划部35通过参照检测物体列表并使用相机2向车辆10的安装位置等信息来执行视点转换处理，从而将检测物体列表中的物体的图像内坐标转换为俯瞰图像上的坐标(俯瞰坐标)。然后，驾驶计划部35通过针对一系列的俯瞰坐标执行使用了卡尔曼滤波器(kalman filter)或粒子滤波器(particle filter)等的跟踪处理，从而对在检测物体列表中登记的物体进行追踪，根据通过其追踪结果而获得的轨迹，对物体各自的到预定目标时间为止的预测轨迹进行推定。此时，在所关注的检测对象物体为二轮车的情况下，驾驶计划部35将追踪中的各图像的取得时刻的该二轮车的倾斜角用于预测轨迹的推定。例如，在作为所关注的检测对象物体的二轮车相对于地面的法线向逆时针方向倾斜的情况下(即在从车辆10观察向左侧倾斜的情况下)，其倾斜角越大，且逆时针方向上的倾斜角随着时间经过越增加，则该二轮车向左侧进行车道变更或左拐的可能性越高。因此，驾驶计划部35针对该二轮车，推定如下的预测轨迹：逆时针方向上的倾斜角越大，且逆时针方向上的倾斜角随着时间经过越增加，则会以越短的时间向左侧进行车道变更或左拐。同样地，在作为所关注的检测对象物体的二轮车相对于地面的法线向顺时针方向倾斜的情况下(即在从车辆10观察向右侧倾斜的情况下)，其倾斜角越大，且顺时针方向上的倾斜角随着时间经过越增加，则该二轮车向右侧进行车道变更或右拐的可能性越高。因此，驾驶计划部35针对该二轮车，推定如下的预测轨迹：顺时针方向上的倾斜角越大，且顺时针方向上的倾斜角随着时间经过越增加，则会以越短的时间向右侧进行车道变更或右拐。而且，在作为所关注的检测对象物体的二轮车的倾斜角的绝对值为预定的角度(例如5
°
)以下的情况下，该二轮车直行的可能性较高。因此，驾驶计划部35针对该二轮车，推定进行直行那样的预测轨迹。
[0090]
驾驶计划部35基于追踪中的各物体的预测轨迹和车辆10的位置、速度及姿态而生成车辆10的行驶预定路径，以便对于任意的物体而言，到预定目标时间为止的追踪中的物体的每一个与车辆10之间的距离的预测值均成为预定距离以上。此外，驾驶计划部35例如能够基于从搭载于车辆10的gps接收机(未图示)获得的表示车辆10的当前位置的当前位置信息，对车辆10的位置、速度及姿态进行推定。或者，也可以是，每当利用相机2获得图像时，定位处理部(未图示)根据该图像对车辆10的左右的车道区划线进行检测，并对检测出的车道区划线与存储于存储器22的地图信息进行匹配，由此对车辆10的位置、速度及姿态进行推定。而且，驾驶计划部35例如也可以参照车辆10的当前位置信息和存储于存储器22的地图信息，对可供车辆10行驶的车道的数量进行确认。并且，在可供车辆10行驶的车道存在多个的情况下，驾驶计划部35也可以以变更车辆10行驶的车道的方式生成行驶预定路径。
[0091]
此外，驾驶计划部35也可以生成多个行驶预定路径。在该情况下，驾驶计划部35也
可以选择多个行驶预定路径中的车辆10的加速度的绝对值的总和成为最小的路径。
[0092]
驾驶计划部35向车辆控制部36通知所生成的行驶预定路径。
[0093]
车辆控制部36对车辆10的各部分进行控制，以使车辆10沿着所通知的行驶预定路径行驶。例如，车辆控制部36依照所通知的行驶预定路径以及由车速传感器(未图示)测定出的车辆10的当前的车速求出车辆10的加速度，并对加速器开度或制动量进行设定，以便成为该加速度。然后，车辆控制部36依照所设定的加速器开度求出燃料喷射量，并向车辆10的发动机的燃料喷射装置输出与该燃料喷射量相应的控制信号。或者，车辆控制部36向车辆10的制动器输出与所设定的制动量相应的控制信号。
[0094]
而且，在车辆10为了沿着行驶预定路径行驶而变更车辆10的前进道路的情况下，车辆控制部36依照该行驶预定路径求出车辆10的转向角，并向对车辆10的转向轮进行控制的致动器(未图示)输出与该转向角相应的控制信号。
[0095]
图10是由处理器23执行的包含有倾斜角检测处理的车辆控制处理的动作流程图。处理器23每当从相机2接收到图像时，依照图10所示的动作流程图执行车辆控制处理。此外，在以下所示的动作流程图中，步骤s101～s105的处理对应于倾斜角检测处理。
[0096]
处理器23的物体检测部31向第一识别器输入从相机2获得的最新的图像，并对在该图像上显示的检测对象物体进行检测。即，物体检测部31在图像上检测包含有检测对象物体的矩形形状的物体区域(步骤s101)。而且，物体检测部31对该检测对象物体的种类进行识别。然后，物体检测部31将检测出的物体登记在检测物体列表中。
[0097]
处理器23的特征提取区域设定部32针对从最新的图像检测出的检测对象物体中的二轮车，设定使包含有该二轮车的物体区域相对于原始图像每次旋转彼此不同的预定角度而得到的多个特征提取区域，并从图像截取各特征提取区域(步骤s102)。而且，特征提取区域设定部32将各特征提取区域尺寸调整为预定的尺寸(步骤s103)。
[0098]
处理器23的倾斜角检测部33针对从最新的图像检测出的检测对象物体中的二轮车，通过将包含有尺寸调整后的各特征提取区域的各个像素值的输入数据输入到第二识别器，从而对每个特征提取区域的二轮车的左右端的位置进行检测(步骤s104)。然后，倾斜角检测部33根据每个特征提取区域的二轮车的左右端的位置，求出每个特征提取区域的二轮车的宽度，对其宽度成为最小的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角(步骤s105)。此外，如上述变形例那样，也可以是，倾斜角检测部33求出基于每个特征提取区域的二轮车的宽度与相对于原始图像的旋转角的组而求出的表示二轮车的宽度的变化相对于旋转角的变化的拟合曲线，对在该拟合曲线中二轮车的宽度成为最小的旋转角进行检测并将该旋转角作为二轮车的倾斜角。
[0099]
另外，处理器23的追踪部34针对最新的图像中的包含有检测对象物体的物体区域中的每一个，基于该物体区域和过去的图像中的物体区域，对最新的图像中的在该物体区域显示的检测对象物体进行追踪(步骤s106)。
[0100]
处理器23的驾驶计划部35参照检测物体列表，针对登记在检测物体列表中的各检测对象物体，以与根据该检测对象物体的追踪结果而求出的该检测对象物体的预测轨迹远离预定的距离以上的方式生成车辆10的行驶预定路径(步骤s107)。此外，在如上述那样检测对象物体为二轮车的情况下，驾驶计划部35也将该二轮车的倾斜角用于预测轨迹的推定。然后，处理器23的车辆控制部36对车辆10进行控制，以使车辆10沿着行驶预定路径行驶
(步骤s108)。然后，处理器23结束车辆控制处理。
[0101]
如以上说明的那样，该倾斜角检测装置通过将图像输入到为了检测二轮车而进行了预先学习的第一识别器，从而对在图像上显示的包含有二轮车的物体区域进行检测。并且，该倾斜角检测装置设定通过使物体区域每次旋转预定的角度而获得的多个特征提取区域，并从图像截取各特征提取区域。该倾斜角检测装置通过在将各特征提取区域尺寸调整为预定的尺寸之后，将包含有各特征提取区域的各个像素值的输入数据输入到第二识别器，从而按各特征提取区域求出该特征提取区域中的二轮车的宽度，对宽度成为最小的特征提取区域的旋转角进行检测并将该旋转角作为二轮车的倾斜角。特别是，该倾斜角检测装置通过利用为了检测尺寸调整后的各特征提取区域中的二轮车的左端的位置及右端的位置而进行了预先学习的识别器作为第二识别器，从而能够准确地检测各特征提取区域中的二轮车的宽度。并且，各特征提取区域中的二轮车的宽度根据二轮车相对于该特征提取区域的下端的倾斜角而变化，且二轮车的宽度成为最小时的特征提取区域相对于原始图像的旋转角与二轮车相对于地面的倾斜角大致一致。因此，该倾斜角检测装置通过根据二轮车的宽度成为最小的特征提取区域相对于原始图像的旋转角求出二轮车的倾斜角，从而能够准确地检测二轮车的倾斜角。
[0102]
再次参照图5，假定二轮车的中心线方向与特征提取区域的下端所成的角越大，则特征提取区域的垂直方向(即与特征提取区域的下端正交的方向)上的二轮车的高度变得越大。因此，根据变形例，也可以是，倾斜角检测部33根据每个特征提取区域的二轮车的上下端的位置，求出每个特征提取区域的二轮车的高度，对其高度成为最大的特征提取区域相对于原始图像的旋转角进行检测并将该旋转角作为二轮车的倾斜角。在该情况下，与上述实施方式同样地，倾斜角检测部33通过将包含有尺寸调整后的各特征提取区域的各个像素值的输入数据输入到为了检测二轮车的上端的位置和下端的位置而进行了预先学习的第二识别器，从而按各特征提取区域，对在该特征提取区域显示的二轮车的上端的位置和下端的位置进行检测即可。
[0103]
根据另一变形例，物体检测部31也可以利用dnn以外的识别器，根据图像对检测对象物体进行检测。例如，作为第一识别器，物体检测部31也可以使用如下的支持向量机(svm)，所述支持向量机(svm)以将根据在图像上设定的窗口算出的特征量(例如hog)作为输入并向该窗口输出表示成为检测对象的物体的确信度的方式进行了预先学习。物体检测部31一边对在图像上设定的窗口的位置、尺寸及纵横比进行各种变更，一边根据该窗口算出特征量并向svm输入算出的特征量，由此，针对该窗口求出确信度。并且，物体检测部31在针对任一种类的检测对象物体确信度成为预定的确信度阈值以上的窗口中判定为表示该检测对象物体，并将该窗口设为物体区域即可。此外，也可以按成为检测对象的物体的种类准备svm。在该情况下，物体检测部31通过针对各窗口向各个svm输入根据该窗口算出的特征量，从而按物体的种类算出确信度即可。
[0104]
根据又一变形例，在被输入到第二识别器的输入数据中也可以包括从物体检测部31所使用的第一识别器的主干部输出的特征图中的、与尺寸调整后的各特征提取区域的各个像素的位置对应的特征(feature)。
[0105]
基于上述实施方式或变形例的倾斜角检测装置也可以安装在车载设备以外的设备。例如，基于上述实施方式或变形例的倾斜角检测装置也可以构成为：根据利用以每隔预
定周期对屋外的预定的区域进行拍摄的方式设置的监视相机生成的图像来检测二轮车，并对检测到的二轮车的倾斜角进行检测。
[0106]
另外，实现基于上述实施方式或变形例的倾斜角检测装置的处理器23的各部分的功能的计算机程序也可以以记录在半导体存储器、磁记录介质或光记录介质这样的计算机可读取的便携式的记录介质中的形式提供。
[0107]
如以上那样，本领域技术人员能够在本发明的范围内与所实施的方式相匹配地进行各种变更。