驾驶辅助装置及驾驶辅助方法与流程

1.本发明涉及一种驾驶辅助装置和驾驶辅助方法。


背景技术：

2.以往，已知一种输出用于对移动体的驾驶员的驾驶进行辅助的信息的驾驶辅助装置。例如，专利文献1中，公开有如下驾驶辅助装置：从驾驶员的驾驶行为来判定驾驶员对环境的识别状态是基于技能的状态还是基于知识-规则的状态，通过车辆行驶的环境和判定的识别状态来决定向驾驶员提供的信息。现有技术文献专利文献
3.专利文献1：日本专利特开2005-4414号公报


技术实现要素：

发明所要解决的技术问题
4.一般来说，可以考虑移动体行驶的环境有无数种。与此相对，专利文献1所公开的现有技术没有考虑到车辆行驶的环境可能有无数种，而是基于预先设定的规则提供信息。因此，现有技术中，存在以下问题：为了提供信息而设定的规则有限，无法提供对应于无数种环境的信息。
5.本发明是为了解决上述问题而完成的，其目的在于提供一种能够输出对应于无数种环境的用于驾驶的辅助信息的驾驶辅助装置。用于解决技术问题的技术手段
6.本发明所涉及的驾驶辅助装置包括：环境信息获取部，该环境信息获取部获取与移动体的周边环境相关的环境信息；行动信息获取部，该行动信息获取部获取与移动体的驾驶员的行动相关的行动信息；运算部，该运算部基于环境信息获取部获取到的环境信息、以及以环境信息为输入并输出用于进行移动体的自动驾驶控制的控制信息的机器学习模型，来得到控制信息；贡献信息判定部，该贡献信息判定部基于环境信息获取部获取到的环境信息和运算部得到的控制信息，来判定对该控制信息的贡献度较高的贡献信息；识别信息计算部，该识别信息计算部基于行动信息获取部获取到的行动信息和环境信息获取部获取到的环境信息，来计算表示移动体的周边环境中的驾驶员的识别区域的识别信息；确定部，该确定部基于贡献信息判定部判定的贡献信息和识别信息计算部计算出的识别信息，来确定被推测为未被驾驶员识别的未识别贡献信息；以及信息输出控制部，该信息输出控制部基于确定部所确定的未识别贡献信息，来输出驾驶辅助所需的驾驶辅助信息。发明效果
7.根据本发明,可以输出对应于无数种环境的用于驾驶辅助的信息。
附图说明
8.图1是示出实施方式1所涉及的驾驶辅助装置的结构例的图。图2是示出实施方式1中环境信息获取部获取到的、以图像表现的环境信息的一个示例的示意图。图3是示出实施方式1中贡献信息判定部生成的贡献信息图像的一个示例的示意图。图4是用于说明实施方式1中环境信息获取部基于环境信息和行动信息生成的识别信息图像的一个示例的示意图，图4a是示出驾驶员朝向前方的状态的图，图4b是示出识别信息计算部生成的识别信息图像的示意图。图5是用于说明实施方式1中环境信息获取部基于环境信息和行动信息生成的识别信息图像的另一个示例的示意图，图5a是示出驾驶员先看左前方再看右前方的状态的图，图5b是示出识别信息计算部生成的识别信息图像的示意图。图6是用于说明实施方式1中环境信息获取部基于环境信息和行动信息生成的识别信息图像的另一个示例的示意图，图6a是示出驾驶员先看左前方再看右前方之后看右后视镜的状态的图，图6b是示出识别信息计算部生成的识别信息图像的示意图。图7是用于说明实施方式1中环境信息获取部基于环境信息和行动信息生成的识别信息图像的另一个示例的示意图。图8是用于说明实施方式1中信息输出控制部以图像形式输出的驾驶辅助信息的一个示例的示意图。图9是用于说明实施方式1所涉及的驾驶辅助装置的动作的流程图。图10a、图10b是示出实施方式1所涉及的驾驶辅助装置的硬件结构的一个示例的图。
具体实施方式
9.以下，参照附图对本发明的实施方式进行详细说明。实施方式1.图1是示出实施方式1所涉及的驾驶辅助装置1的结构例的图。驾驶辅助装置1如图1所示，包括环境信息获取部11、行动信息获取部12、运算部13、贡献信息判定部14、识别信息计算部15、确定部16、信息输出控制部17和机器学习模型18。
10.在实施方式1中，驾驶辅助装置1搭载于车辆上，输出用于对该车辆的驾驶员的驾驶进行辅助的信息(以下称为“驾驶辅助信息”)。另外，驾驶辅助装置1辅助驾驶的车辆以具有自动驾驶功能为前提。即使车辆具有自动驾驶功能，驾驶员也能不执行该自动驾驶功能而自行驾驶车辆。在能够自动驾驶的车辆中由驾驶员自行驾驶的情况下，驾驶辅助装置1输出驾驶辅助信息。具体而言，驾驶辅助信息是用于对驾驶员告知在车辆周边的环境中推测为未被驾驶员识别的区域的信息。
11.驾驶辅助装置1基于与车辆周边环境相关的环境信息和机器学习完成的模型(以下称为“机器学习模型”)18来控制驾驶辅助信息的输出。机器学习模型18是机器学习中的完成学习的模型。具体而言，机器学习模型18是预先进行机器学习以使得在输入环境信息
时输出用于进行车辆的自动驾驶控制的控制信息的模型。用于进行车辆的自动驾驶控制的控制信息例如是与转向角的控制量相关的信息、与油门的控制量相关的信息、或者与刹车的控制量相关的信息。用于车辆的自动驾驶控制的控制信息包含与车辆的自动驾驶控制所需的各种自动驾驶控制量相关的信息。机器学习模型18例如由神经网络构成。机器学习模型18是通过强化学习预先生成的。
12.在实施方式1中，车辆周边的环境是围绕本车辆的环境。围绕本车辆的环境是指有无其他车辆的位置或行人等围绕本车辆的环境的状态。在实施方式1中，本车辆的位置等本车辆的状态也包含在围绕本车辆的环境的状态中。
13.环境信息获取部11获取与本车辆周边的环境相关的环境信息。环境信息例如包含与本车辆相关的本车信息、与其他车辆相关的其他车辆信息、与行人相关的行人信息、与道路相关的道路信息或与障碍物相关的障碍物信息。本车信息包含与本车辆的车速、本车辆的加速度、本车辆的位置、本车辆的形状或者本车辆正在行驶的行驶车道相关的信息等。其他车辆信息包含与其他车辆的位置、其他车辆的车速、其他车辆的形状或者其他车辆正在行驶的行驶车道相关的信息等。行人信息包含与行人的位置、行人步行的速度或者行人的形状相关的信息等。道路信息包含与车道、道路类别、道路形状、红绿灯、标志或道路上的显示相关的信息等。障碍物信息包含与障碍物的位置、障碍物的移动速度或障碍物的形状相关的信息等。
14.另外，上述环境信息仅仅是一个示例，环境信息可以包含与围绕本车辆的环境相关的所有信息。例如，环境信息可以包含与天气相关的信息，环境信息可以包含与交通堵塞相关的信息。
15.环境信息获取部11从环境信息获取用装置(省略图示)得到的信息(以下称为“环境信息获取用信息”)提取特征量，并生成环境信息。根据如上所述的环境信息中包含的信息的类别来对特征量进行分类。例如，环境信息获取部11提取与其他车辆的位置相对应的特征量，生成环境信息。在以下的实施方式1中，将环境信息中包含的信息的每个类别的、与该类别对应的特征量称为“类别特征量”。
16.环境信息获取用装置例如是拍摄装置(省略图示)。拍摄装置搭载于车辆上，对车辆的前方进行拍摄。环境信息获取部11从拍摄装置获取由该拍摄装置拍摄到的拍摄图像作为环境信息获取用信息。环境信息获取部11从拍摄图像提取类别特征量以生成环境信息。具体而言，环境信息获取部11例如从拍摄装置拍摄到的拍摄图像中提取与本车辆的位置、本车辆的速度、其他车辆的位置、其他车辆的速度或行人的位置等对应的特征量。环境信息获取部11生成反映提取出的特征量的图像。将环境信息获取部11生成的图像作为环境信息。如上所述，环境信息获取部11例如获取以图像表现的环境信息。
17.这里，图2是示出实施方式1中环境信息获取部11获取到的、以图像表现的环境信息的一个示例的示意图。另外，在图2中，将图的上侧作为本车辆的行进方向。在图2中,环境信息获取部11提取对应于其他车辆的类别特征量、对应于本车辆的
类别特征量、对应于行人的类别特征量、以及表示红绿灯的类别特征量，并示出以图像来表现提取出的各类别特征量的环境信息。以下，将表现环境信息的图像称为“环境信息图像”。如图2所示，环境信息图像是将本车辆周边的环境抽象化后的图像。在图2中，环境信息图像设为俯视图。
18.在实施方式1中，作为一个示例，环境信息获取部11如上所述，基于拍摄装置拍摄到的拍摄图像来提取类别特征量，获取环境信息图像作为环境信息，但这仅仅是一个示例。环境信息获取用装置例如可以是距离图像传感器(省略图示)。距离图像传感器搭载于车辆上，以获取到车辆前方的物体为止的距离图像。环境信息获取部11也可以从距离图像提取类别特征量以获取环境信息。此外，环境信息获取用装置例如也可以是雷达装置(省略图示)。雷达装置搭载于车辆上，以检测车辆前方的物体。环境信息获取部11也可以从与检测到的物体相关的信息提取类别特征量，以获取环境信息。
19.此外，环境信息不限于图像，例如也可以是矢量。环境信息获取部11例如也可以基于拍摄装置拍摄到的拍摄图像来提取表示与本车辆的位置或其他车辆的位置等对应的类别特征量的矢量，并基于该矢量的信息获取环境信息。由此，环境信息获取部11也可以作为用数值表示的信息而获取环境信息。
20.此外，实施方式1中，环境信息获取部11在提取类别特征量的基础上，基于从环境信息获取用装置得到的环境信息获取用信息来获取环境信息，但这仅是一个示例。例如，环境信息获取部11也可以将从环境信息获取用装置得到的环境信息获取用信息直接作为环境信息。
21.环境信息获取部11将获取到的环境信息输出到运算部13、贡献信息判定部14和识别信息计算部15。
22.行动信息获取部12获取与驾驶员的行动相关的行动信息。在实施方式1中，驾驶员的行动包含驾驶员的全部行动。与驾驶员的行动相关的信息例如包含与驾驶员的视线朝向相关的信息、与驾驶员的脸朝向相关的信息、驾驶员的睁眼度或驾驶员的集中度。行动信息获取部12基于从上述环境信息获取用装置得到的信息来获取行动信息。在实施方式1中，行动信息获取部12基于从拍摄装置得到的拍摄图像来获取行动信息。行动信息获取部12例如可以使用已知的图像处理技术来获取行动信息。行动信息获取部12将获取到的行动信息输出到识别信息计算部15。
23.运算器13基于环境信息获取部11获取到的环境信息和机器学习模型18，得到用于进行车辆的自动驾驶控制的控制信息。具体而言，运算部13将环境信息获取部11获取到的环境信息，换言之，将环境信息图像输入到机器学习模型18，以得到上述控制信息。运算部13将得到的控制信息输出到贡献信息判定部14。另外，运算部13得到的控制信息用于进行驾驶辅助信息的输出控制即可，在实际进行本车辆的自动驾驶控制时，无需用于该自动驾驶控制。
24.贡献信息判定部14基于环境信息获取部11获取到的环境信息和运算部13得到的控制信息来判定对控制信息贡献度高的贡献信息。具体而言，贡献信息判定部14基于环境
信息获取部11获取到的环境信息来计算该环境信息所反映的类别特征量的对控制信息的贡献度。然后，贡献信息判定部14将环境信息所反映的类别特征量中对运算部13得到的控制信息的贡献度高的类别特征量判定为贡献信息。
25.例如，贡献信息判定部14与机器学习模型18相关，可以使用对运算结果对应的输入的贡献度进行计算的现有技术来计算贡献度，基于计算出的贡献度来判定贡献信息。此外，例如，贡献信息判定部14也可以在环境信息获取部11获取到的环境信息中生成使类别特征量微小地变化的环境信息(以下称为“贡献度判定用环境信息”)，得到将环境信息和贡献度判定用环境信息分别输入到机器学习模型18中来得到运算结果，换言之，得到控制信息，以计算贡献度。贡献信息判定部14生成对每个类别特征量的贡献度判定用环境信息。贡献信息判定部14将通过输入环境信息得到的控制信息和通过输入贡献度判定用环境信息得到的控制信息进行比较，当差值在预先设定的值以上的情况下，判定为贡献度判定用环境信息中微小变化的类别特征量对控制信息的影响较大，将该类别特征量的贡献度设为“高”。贡献信息判定部14将贡献度“高”的类别特征量判定为贡献信息。
26.例如，环境信息为如图2所示的环境信息图像的情况下，贡献信息判定部14针对环境信息图像中表示多个其他车辆的类别特征量、表示本车辆的类别特征量或表示多个行人的类别特征量的每一个来计算贡献度。然后，贡献信息判定部14将所计算出的贡献度高的类别特征量判定为贡献信息。另外，预先决定贡献信息判定部14在贡献度是多少的情况下判定该贡献度是高的。
27.贡献信息判定部14判定的贡献信息例如可以是类别特征量为“贡献信息”或“不是贡献信息”的二值判定，也可以是用表示对控制信息的运算做出贡献的贡献度的数值来判定类别特征量。
28.贡献信息判定部14生成表示贡献信息的信息(以下称为“贡献度计算后信息”)。另外，在实施方式1中，贡献信息判定部14将贡献度计算后信息与环境信息的表现形式相匹配。这里，由于环境信息作为图像生成，因此贡献信息判定部14用图像表示贡献度计算后信息。贡献信息判定部14生成由环境信息图像上的区域指示贡献信息的图像(以下称为“贡献信息图像”)。具体而言，贡献信息判定部14将表示环境信息图像中的类别特征量中作为贡献信息的类别特征量的区域的亮度与除了作为该贡献信息的类别特征量以外的区域的亮度不同的图像生成作为贡献信息图像。
29.这里，图3是示出实施方式1中贡献信息判定部14生成的贡献信息图像的一个示例的示意图。图3所示的贡献信息图像是在环境信息为图2所示的环境信息图像的情况下，贡献信息判定部14基于该环境信息图像和运算部13得到的控制信息来判定贡献信息而生成的贡献信息图像。图3所示的贡献信息图像表示贡献信息判定部14将环境信息图像中的类别特征量之中表示在本车辆的行进方向上存在红绿灯的类别特征量(参照图3的301)、表示在本车辆的行进方向上存在行人的类别特征量(参照图3的302)和表示接近交叉路口的相向车辆的类别特征量(参照图3的303)判定为对控制信息的贡献度高的贡献信息。另外，图3的302表示的类别特征量包含分别表示相对于本车辆的行进方向存在于前方的两个行人的类别特
征量、以及表示相对于本车辆的行进方向存在于左侧的一个行人的特征量。如图3所示，贡献信息图像中，表示本车辆的行进方向上所存在的红绿灯的类别特征量被提取出的区域、表示本车辆的行进方向上所存在的行人的类别特征量被提取出的区域、以及表示接近交叉路口的相向车辆的类别特征量被提取出的区域的亮度较高，这些区域以外的区域的亮度较低。在图3中，贡献信息判定部14将亮度高的区域设为白色，亮度低的区域设为黑色。由此，贡献信息判定部14在环境信息获取部11获取到的环境信息为图像的情况下，以图像上的区域来表示该图像中将运算部13得到的对控制信息的贡献度高的贡献信息。
30.另外，在实施方式1中，贡献信息判定部14通过图像来表现贡献度计算后信息，并且通过图像上的区域来表示贡献信息，但这仅是一个例子。贡献信息判定部14能生成以任意表现形式表现贡献信息的信息。但是，在环境信息以环境信息图像表现的情况下，贡献信息判定部14结合环境信息和表现形式，以贡献信息图像表现贡献度计算后信息，以图像上的区域表示贡献信息，在这种情况下，与以图像上的区域以外的信息表示贡献信息的情况相比，更容易在驾驶辅助装置1中形成贡献信息与识别信息之间的差异。确定部16计算贡献信息与识别信息之间的差异。确定部16的详细情况将在后文中阐述。贡献信息判定部14将所生成的贡献信息图像输出到确定部16。
31.识别信息计算部15基于环境信息获取部11获取到的环境信息和行动信息获取部12获取到的行动信息来计算表示本车辆周边的环境中的驾驶员的识别区域的信息(以下称为“识别信息”)。识别信息计算部15生成表示识别信息的信息(以下称为“识别判定后信息”)。在实施方式1中，识别信息计算部15将识别判定后信息与环境信息的方式相结合。这里，由于环境信息以图像生成，因此识别信息判定部15用图像表示识别判定后信息。识别信息计算部15生成以环境信息图像上的区域表示识别信息的图像(以下称为“识别信息图像”)。识别信息计算部15在环境信息图像上生成表示识别信息的区域的亮度与表示该识别信息的区域以外的区域的亮度的不同的识别信息图像。识别信息计算部15例如在识别信息图像中以白色示出表示识别信息的区域，以黑色示出表示识别信息的区域以外的区域。
32.使用附图对识别信息计算部15生成的识别信息图像的一个示例的示意图进行说明。图4至图6是用于说明实施方式1中识别信息计算部15基于环境信息和行动信息生成的识别信息图像的一个示例的示意图。另外，在图4至图6中，将图的上侧作为本车辆的行进方向。此外，在图4至图6中，识别信息计算部15在识别信息图像中示出表示识别信息的区域和表示本车辆的区域。在图4至图6中，表示本车辆的区域用灰色表示。图4示出了当驾驶员处于朝向前方的状态时(参见图4a)识别信息计算部15所生成的识别信息图像(参见图4b)的示意图。在图4b中，识别信息图像上表示识别信息的区域由401示出。识别信息计算部15从包含在行动信息中的驾驶员的视线方向判定驾驶员朝向前方即可。如图4b所示，识别信息图像是将本车辆和识别信息抽象化后的图像。在图4b中，识
别信息图像设为俯视图。
33.识别信息计算部15可以将计算出的识别信息按时间顺序重叠，以表现该识别信息。识别信息计算部15每次计算识别信息时都将识别信息存储在存储部(图示省略)中，从存储部获取时间序列的识别信息即可。该情况下，识别信息计算部15例如也可以以颜色的浓淡表现驾驶员识别时间序列的识别信息的程度(以下称为“识别度”)。图5示出了当驾驶员处于从朝向左前变为朝向右前的状态时(参见图5a)识别信息计算部15生成的识别信息图像(参见图5b)的示意图。在图5b中，识别信息图像上表示识别信息的区域由501示出。在图5b中，识别信息计算部15判定为越是驾驶员最近看到的区域，驾驶员的识别度越高，而越是驾驶员过去看到的区域，驾驶员的识别度越低。具体而言，识别信息计算部15在识别信息图像中将表示驾驶员看向右前方时的识别信息的区域的亮度表现得比表示驾驶员看向左前方时的识别信息的区域的亮度要高。
34.此外，识别信息计算部15也可以考虑设置在本车辆上的反光镜或拍摄装置等来表现识别信息。图6示出了处于驾驶员在看左前方后看右前方之后看右后视镜的状态(参见图6a)时识别信息计算部15生成的识别信息图像(参见图6b)的示意图。在图6b中，识别信息图像上表示识别信息的区域由601示出。在图6b中，识别信息计算部15以在识别信息图像上提高亮度的方式来表现除了表示驾驶员看向左前方时的识别信息的区域和表示驾驶员看向右前方时的识别信息的区域之外的表示驾驶员看向右后视镜时的识别信息的区域。另外，识别信息计算部15可以基于包含于环境信息的驾驶员的视线方向和右后视镜的设置位置的信息来判定驾驶员看向右后视镜。右后视镜的设置位置的信息例如作为本车辆信息而包含于环境信息中。当驾驶员看到右后视镜时，识别信息计算部15计算出本车辆的相对于行进方向的右后方的区域作为识别信息。识别信息计算部15以示出除了表示驾驶员看向左前方时的识别信息的区域、示出驾驶员看向右前方时的识别信息的区域、示出驾驶员看向右后视镜时的识别信息的区域的顺序来提高区域的亮度。识别信息计算部15将所生成的识别判定后信息输出到确定部16。这里，识别信息计算部15将所生成的识别信息图像输出到确定部16。
35.另外，在实施方式1中，识别信息计算部15通过图像来表现识别判定后信息，并且通过图像上的区域来表示识别信息，但这仅是一个例子。识别信息计算部15能生成以任意表现形式表现识别信息的信息。但是，在环境信息和贡献信息以图像表现的情况下，识别信息计算部15结合环境信息和贡献信息，以识别信息图像表现识别判定后信息，以图像上的区域表示识别信息，在该情况下，与以图像上的区域以外的信息表示识别信息的情况相比，更容易在驾驶辅助装置1中形成贡献信息与识别信息之间的差异。确定部16计算贡献信息与识别信息之间的差异。确定部16的详细情况将在后文中阐述。
36.确定部16基于贡献信息判定部14判定出的贡献信息和识别信息计算部15计算出的识别信息，确定被推测为未被驾驶员识别的贡献信息(以下称为“未识别贡献信息”)。确定部16将贡献信息与识别信息作比较，确定未识别贡献信息。
实施方式1中，确定部16根据将贡献信息判定部14生成的贡献信息图像和识别信息图像与识别信息计算部15生成的识别信息图像进行比较而得的结果所产生的差异或过多或不足，来确定未识别贡献信息。具体而言，确定部16例如将贡献信息图像和识别信息图像作比较，在贡献信息图像中，在识别信息图像上提取由与识别信息图像上表示识别信息的区域不重叠的区域所表示的贡献信息来作为差分。确定部16将提取出的贡献信息作为差分，确定为未识别贡献信息。
37.使用附图，列举具体示例来说明确定部16确定未识别贡献信息的一系列处理。以下的具体示例中，贡献信息图像为如图3所示的图像。此外，识别信息图像为如图7所示的图像。在图7中，将图的上侧作为本车辆的行进方向。另外，图7所示的识别信息图像表示驾驶员的识别区域为驾驶员稍稍右斜前方的区域。即，图7所示的识别信息图像是表示驾驶员正在识别行进方向的稍稍右斜前方的区域。
38.确定部16将图7所示的识别信息图像和图3所示的贡献信息图像作比较，确定被推测为未被驾驶员认定的区域。这里，图3所示的贡献信息图像上的表示贡献信息的区域中，本车辆的行进方向的左侧表示行人的区域与图7所示的识别信息图像上的表示识别信息的区域不重叠。因此，确定部16将贡献信息图像中表示本车辆的行进方向左侧的行人的贡献信息确定为未识别贡献信息。确定部16将所确定的未识别贡献信息输出到信息输出控制部17。
39.信息输出控制部17基于确定部16确定的未识别贡献信息，输出驾驶辅助所需的驾驶辅助信息。实施方式1中，信息输出控制部17例如将驾驶辅助信息以图像形式输出。
40.图8是用于说明实施方式1中信息输出控制部17以图像形式输出的驾驶辅助信息的一个示例的示意图。图8将贡献信息图像设为如图3所示的图像，将识别信息图像设为如图7所示的图像，确定部16将表示本车辆的行进方向左侧的行人的贡献信息确定为未识别贡献信息，在这种情况下，示出信息输出控制部17所输出的、作为图像的驾驶辅助信息。图8所示的图像中，以不同的亮度示出表示本车辆的行进方向左侧的行人的区域、以及该区域以外的区域。
41.信息输出控制部17输出的驾驶辅助信息例如被用于向正驾驶车辆的驾驶员输出警报的应用。具体而言，例如，信息输出控制部17从行驶中的本车辆上所搭载的输出装置(省略图示)向驾驶员输出警报以告知其无法识别必要的信息。上述示例中，信息输出控制部17向本车辆的驾驶员输出消息，以告知其无法识别位于行进方向左侧的行人。此外，例如，信息输出控制部17输出的驾驶辅助信息也可以用于从驾驶员的驾驶强制转移到自动驾驶的应用。具体而言，例如，信息输出控制部17向行驶中的本车辆所搭载来进行自动驾驶控制的自动驾驶控制部(省略图示)输出驾驶辅助信息。自动驾驶控制部在驾驶辅助信息为表示预先决定的类别的驾驶辅助信息的情况下，将本车辆的驾驶强制转移到自动驾驶。
42.机器学习模型18如上所述，是预先进行了机器学习以使得在输入环境信息时输出用于进行车辆的自动驾驶控制的控制信息的、机器学习中完成学习的模型。
在图1中，机器学习模型18设置于驾驶辅助装置1中，但这仅是一个示例。机器学习模型18也可以设置于驾驶辅助装置1的外部的、驾驶辅助装置1能参考的地方。
43.对实施方式1所涉及的驾驶辅助装置1的动作进行说明。图9是用于说明实施方式1所涉及的驾驶辅助装置1的动作的流程图。环境信息获取部11获取与车辆周边的环境相关的环境信息(步骤st901)。具体而言，环境信息获取部11基于拍摄装置拍摄到的拍摄图像来提取类别特征量，并获取以图像来表现的环境信息。环境信息获取部11将获取到的环境信息输出到运算部13、贡献信息判定部14和识别信息计算部15。
44.行动信息获取部12获取与驾驶员的行动相关的行动信息(步骤st902)。具体而言，行动信息获取部12基于从拍摄装置得到的拍摄图像来获取行动信息。行动信息获取部12将获取到的行动信息输出到识别信息计算部15。
45.运算器13基于步骤st901中环境信息获取部11获取到的环境信息和机器学习模型18，得到用于进行车辆的自动驾驶控制的控制信息(步骤st903)。具体而言，运算部13将环境信息获取部11获取到的环境信息输入到机器学习模型18，以得到上述控制信息。运算部13将得到的控制信息输出到贡献信息判定部14。
46.贡献信息判定部14基于步骤st901中环境信息获取部11获取到的环境信息和步骤st903中运算部13得到的控制信息来判定对控制信息贡献度高的贡献信息(步骤st904)。具体而言，贡献信息判定部14基于环境信息获取部11获取到的环境信息来计算该环境信息所反映的类别特征量对控制信息的贡献度。然后，贡献信息判定部14将环境信息所反映的类别特征量中对运算部13得到的控制信息的贡献度高的类别特征量判定为贡献信息。贡献信息判定部14生成以环境信息图像上的区域来表示贡献信息的贡献信息图像。具体而言，贡献信息判定部14将表示环境信息图像中的类别特征量中作为贡献信息的类别特征量的区域的亮度与除了作为该贡献信息的类别特征量以外的区域的亮度不同的图像生成作为贡献信息图像。贡献信息判定部14将所生成的贡献信息图像输出到确定部16。
47.识别信息计算部15基于步骤st901中环境信息获取部11获取到的环境信息和步骤st902中行动信息获取部12获取到的行动信息，来计算本车辆周边的环境中表示驾驶员的识别区域的识别信息(步骤st905)。识别信息计算部15生成以环境信息图像上的区域来表示识别信息的识别信息图像。识别信息计算部15将所生成的识别信息图像输出到确定部16。
48.确定部16基于步骤st904中贡献信息判定部14判定的贡献信息和步骤st905中识别信息计算部15计算出的识别信息来确定未识别贡献信息(步骤st906)。确定部16将提取出的未识别贡献信息输出到信息输出控制部17。
49.信息输出控制部17基于步骤st906中确定部16确定的未识别贡献信息，输出驾驶辅助所需的驾驶辅助信息(步骤st907)。
50.另外，这里，步骤st902的动作在步骤st901的动作之后且在步骤st903的动作之前
执行，但这仅是一个示例。步骤st902的动作可以在步骤st901的动作之后直到执行步骤st905的动作为止。
51.由此，驾驶辅助装置1将与车辆周边环境相关的环境信息输入到以环境信息为输入并输出用于进行车辆自动驾驶控制的控制信息的机器学习模型18，以获得控制信息。驾驶辅助装置1判定与车辆周边的环境相关的环境信息中对得到的控制信息贡献度高的贡献信息，基于该贡献信息和表示车辆周边的环境中驾驶员的识别区域的识别信息来确定未识别贡献信息。然后，驾驶辅助装置1基于确定的未识别贡献信息来输出驾驶辅助信息。驾驶辅助装置1如上所述，确定驾驶辅助信息时，由于使用机器学习模型18，因此，能输出对应于无数的环境的用于辅助驾驶的信息。
52.以上的实施方式1中，贡献信息判定部14在判定贡献信息时，在对计算出的贡献度进行加权的基础上，将该贡献度高的信息判定为贡献信息。例如，使用以环境信息作为输入，输出转向角的控制量、油门的控制量和刹车的控制量的机器学习模型18来进行控制信息的运算的情况下，相对于该控制信息的贡献度高的类别特征量可能限制于表示道路或白线等地形的类别特征量。该情况下，贡献信息判定部14将表示地形的类别特征量判定为贡献信息。实施方式1所涉及的驾驶辅助装置1进行驾驶员是否能够识别应当识别的区域的判定，在驾驶员无法识别应当识别的区域的情况下，利用贡献信息来通知驾驶员该未识别区域。因此，在驾驶辅助装置1中，有必要将表示有关与通行者或其他车辆之间的道路环境的信息的类别特征量优先于地形信息判定为贡献信息。贡献信息判定部14在对贡献度进行加权的基础上，将该贡献度高的类别特征量判定为贡献信息，从而如上所述，能够防止表示地形的类别特征量优先于表示与道路环境相关的信息的类别特征量而被判定为贡献信息。其结果是，驾驶辅助装置1适当地进行驾驶员是否能够识别应当识别的区域的判定。
53.此外，以上的实施方式1中，机器学习模型18是通过强化学习生成的，但生成机器学习模型18时的学习方法不限于强化学习。例如，机器学习模型18也可以通过将有教师的环境信息作为教师数据来进行有教师的学习而生成。但是，机器学习模型18通过强化学习而生成，从而即使在无法收集足够的教师数据的环境中，例如也可以使用模拟器进行学习。
54.此外，以上的实施方式1中，假定机器学习模型18只有一个，但这仅是一个示例。例如，也可以存在多个对应于环境信息的不同的机器学习模型18。举出对应于环境信息的机器学习模型18的具体示例，例如，对应于右转场景的机器学习模型18、对应于左转场景的机器学习模型18、对应于正在一般道路上行驶的场景的机器学习模型18、或者对应于正在高速公路上行驶的场景的机器学习模型18。存在多个机器学习模型18的情况下，运算部13能使用环境信息获取部11获取到的环境信息所对应的不同的机器学习模型18来得到控制信息。例如，运算部13在本车辆右转时能使用右转所对应的机器学习模型18来得到控制信息。运算部13可以从环境信息中包含的本车信息和道路信息等来判定本车辆为右转。由此，运算部13使用根据环境信息而不同的机器学习模型18来得到控制信息，从而驾驶辅助装置1与机器学习模型18只有一个的情况相比，更加能够根据车辆周边的环境来判定贡献信息，其结果是能够更适当地判定驾驶员是否识别了应当识别的区域。
55.此外，在以上的实施方式1中，识别信息计算部15基于环境信息和行动信息来计算
识别信息，识别信息计算部15在计算识别信息时不需要环境信息。识别信息计算部15也可以仅基于行动信息计算识别信息。但是，该情况下，确定部16计算出贡献信息与识别信息的差分时，为了不将与识别信息重复的贡献信息判定为与识别信息不重复的贡献信息，确定部16考虑到环境信息，与贡献信息图像相同，有必要在环境信息图像上生成表示识别信息的识别信息图像。换句话说，例如在贡献信息图像和识别信息图像中，在分别以图像上的区域表示相同信息时，确定部16有必要生成贡献信息图像上的该区域与识别信息图像上的该区域一致的识别信息图像。确定部16将生成的识别信息图像和贡献信息图像作比较。
56.此外，以上的实施方式1中，驾驶辅助装置1搭载于车辆上，但这仅是一个示例。例如，也可以在服务器中包括使用图1所说明的驾驶辅助装置1的结构部的一部分。例如，环境信息获取部11和行动信息获取部12搭载于车辆上，运算部13、贡献信息判定部14、识别信息计算部15、确定部16和信息输出控制部17的功能配备于服务器上。
57.此外，以上的实施方式1中，驾驶辅助装置1输出驾驶辅助信息的对象为车辆，但这仅是一个示例。例如，驾驶辅助装置1输出驾驶辅助信息的对象也可以是工厂内能自动搬运物体的叉车(省略图示)。此外，例如，驾驶辅助装置1输出驾驶辅助信息的对象也可以是作为在教育车辆的驾驶或行驶时所使用的模拟车辆驾驶或行驶的驾驶模拟器(省略图示)。驾驶辅助装置1输出驾驶辅助信息的对象可以是能够自动驾驶的任何移动体。
58.图10a、图10b是示出实施方式1所涉及的驾驶辅助装置1的硬件结构的一个示例的图。在实施方式1中，通过处理电路1001来实现环境信息获取部11、行动信息获取部12、运算部13、贡献信息判定部14、识别信息计算部15、确定部16和信息输出控制部17的功能。即，驾驶辅助装置1包括处理电路1001，该处理电路1001基于使用机器学习模型18得到的控制信息来判定的贡献信息和表示驾驶员的识别区域的识别信息，来进行确定驾驶辅助信息的控制。处理电路1001可以如图10a所示那样是专用硬件，也可以如图10b所示那样是执行存储于存储器1006的程序的cpu(central processing unit：中央处理单元)1005。
59.在处理电路1001为专用的硬件的情况下，处理电路1001例如相当于单一电路、复合电路、程序化的处理器、并联程序化的处理器、asic(application specific integrated circuit：专用集成电路)、fpga(field-programmable gate array：现场可编程门阵列)或它们的组合。
60.在处理电路1001为cpu1005的情况下，环境信息获取部11、行动信息获取部12、运算部13、贡献信息判定部14、识别信息计算部15、确定部16和信息输出控制部17的功能由软件、固件或软件与固件的组合来实现。即，环境信息获取部11、行动信息获取部12、运算部13、贡献信息判定部14、识别信息计算部15、确定部16和信息输出控制部17由执行储存于hdd(hard disk drive：硬盘驱动器)1002、存储器1006等的程序的cpu505、或系统lsi(large-scale integration：大规模集成化)等处理电路1001来实现。此外，储存于hdd1002、存储器1006等的程序可以说是由计算机来执行环境信息获取部11、行动信息获取
部12、运算部13、贡献信息判定部14、识别信息计算部15、确定部16和信息输出控制部17的顺序或方法。这里，存储器1006例如相当于ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)、闪存、eprom(erasable programmable read only memory：可擦可编程只读存储器)、eeprom(electrically erasable programmable read-only memory：电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、或者磁盘、软盘、光盘、压缩光盘、迷你光盘、dvd(digital versatile disc：数字通用光盘)等。
61.另外，对于环境信息获取部11、行动信息获取部12、运算部13、贡献信息判定部14、识别信息计算部15、确定部16和信息输出控制部17的功能，可以用专用硬件实现一部分，也可以用软件或固件实现一部分。例如，对于环境信息获取部11和行动信息获取部12，可利用作为专用的硬件的处理电路1001来实现其功能，对于运算部13、贡献信息判定部14、识别信息计算部15、确定部16和信息输出控制部17，可利用处理电路1001读取储存于存储器1006的程序并执行来实现其功能。此外，驾驶辅助装置1包括省略图示的环境信息获取用装置、输出装置或自动驾驶控制部等装置、进行有线通信或无线通信的输入接口装置1003和输出接口装置1004。
62.如上所述，根据实施方式1，驾驶辅助装置1构成为包括：环境信息获取部11，该环境信息获取部11获取与移动体的周边环境相关的环境信息；行动信息获取部12，该行动信息获取部12获取与移动体的驾驶员的行动相关的行动信息；运算部13，该运算部13基于环境信息获取部11获取到的环境信息、以及以环境信息为输入并输出用于进行移动体的自动驾驶控制的控制信息的机器学习模型18，来得到控制信息；贡献信息判定部14，该贡献信息判定部14基于环境信息获取部11获取到的环境信息、运算部13得到的控制信息，来判定对该控制信息贡献度较高的贡献信息；识别信息计算部15，该识别信息计算部15基于行动信息获取部12获取到的行动信息和环境信息获取部11获取到的环境信息，来计算表示移动体的周边的环境中驾驶员的识别区域的识别信息；确定部16，该确定部16基于贡献信息判定部14判定的贡献信息和识别信息计算部计算出的识别信息，来确定被推测为未被驾驶员识别的未识别贡献信息；以及信息输出控制部17，该信息输出控制部17基于确定部16所确定的未识别贡献信息，来输出驾驶辅助所需的驾驶辅助信息。因此，驾驶辅助装置1能输出对应于无数的环境的、用于驾驶辅助的的信息。
63.此外，根据实施方式1，在驾驶辅助装置1中，贡献信息判定部14在对贡献度进行加权的基础上计算贡献信息。因此，驾驶辅助装置1能优先将应当作为贡献信息的类别特征量判定为贡献信息，并且能够适当地判定驾驶员是否识别了应当识别的区域。
64.此外，根据实施方式1，存在多个机器学习模型18的情况下，驾驶辅助装置1中，运算部13构成为能使用环境信息获取部11获取到的环境信息所对应的不同的机器学习模型18来得到控制信息。因此，与只有一个机器学习模型18的情况相比，驾驶辅助装置1能够更加根据车辆周边的环境来判定贡献信息，其结果是，能够更恰当地判定驾驶员是否识别了应当识别的区域。
65.另外，本发明申请在其发明范围内可以对实施方式的任意结构要素进行变形，或者在实施方式中省略任意的结构要素。工业上的实用性
66.本发明所涉及的车辆控制用运算装置构成为能够输出对应于无数的环境的用于
驾驶辅助的信息，因此能够应用于输出用于辅助移动体的驾驶员驾驶的信息的驾驶辅助装置。标号说明
67.1驾驶辅助装置，11环境信息获取部，12行动信息获取部，13运算部，14贡献信息判定部，15识别信息计算部，16确定部，17信息输出控制部，18机器学习模型，1001处理电路，1002hdd，1003输入接口装置，1004输出接口装置，1005cpu，1006存储器。