驾驶辅助装置及驾驶辅助方法与流程

1.本发明涉及一种车辆的驾驶辅助装置和驾驶辅助方法。


背景技术：

2.以往的驾驶辅助装置中，对从搭载在车辆上的传感器获取到的信息与用于控制车辆的辅助信息之间的对应关系进行机器学习。以往这样的驾驶辅助装置基于传感器的可靠性来评价辅助信息的可靠度(例如，参照专利文献1)。现有技术文献专利文献
3.专利文献1：日本专利特开2015－82324号公报


技术实现要素：

发明所要解决的技术问题
4.在以往的驾驶辅助装置中，机器学习算法所进行的运算是黑盒(blackbox)运算，并且以机器学习算法所输出的辅助信息具有统一的可靠度为前提。由此，由于以往的驾驶辅助装置没有评价由机器学习算法输出的辅助信息的可靠度，因此存在车辆有可能基于低可靠度的辅助信息作出非预期的行为的问题。
5.本发明是为了解决上述问题而完成的，其目的在于抑制因机器学习而导致车辆作出非预期行为的发生。用于解决技术问题的技术手段
6.本发明的驾驶辅助装置包括：传感器获取部，该传感器获取部用于获取搭载在车辆上的传感器的输出结果；运算部，该运算部使用机器学习算法来运算用于控制车辆的推理结果，该机器学习算法将由传感器获取部获取到的输出结果作为输入；可靠度推定部，该可靠度推定部推定由运算部运算出的推理结果的可靠度；以及控制输出部，该控制输出部将由可靠度推定部推定出的可靠度附加到由运算部运算出的推理结果，并作为车辆控制信息输出。发明效果
7.根据该发明，对使用以传感器获取部的输出结果为输入的机器学习算法运算出的推理结果的可靠度进行推定，因此能抑制由于机器学习而导致的车辆非预期行为的发生。
附图说明
8.图1是示出实施方式1所涉及的驾驶辅助装置的结构例的框图。图2是示出实施方式1所涉及的驾驶辅助装置的动作例的流程图。图3是示出实施方式2所涉及的驾驶辅助装置的结构例的框图。图4是表示实施方式2中运算部所具有的多层神经网络的结构例的图。
图5是示出实施方式2所涉及的驾驶辅助装置的动作例的流程图。图6是表示实施形态2中推理结果的分布例的相对频率分布图。图7是示出实施方式3所涉及的驾驶辅助装置的结构例的框图。图8是示出实施方式3所涉及的驾驶辅助装置的动作例的流程图。图9是示出实施方式4所涉及的驾驶辅助装置的结构例的框图。图10是示出实施方式4所涉及的驾驶辅助装置的动作例的流程图。图11是示出各实施方式所涉及的驾驶辅助装置的硬件结构的一个示例的图。图12是示出各实施方式所涉及的驾驶辅助装置的硬件结构的另一个示例的图。
具体实施方式
9.下面，为了更详细地说明本发明，根据附图对用于实施本发明的方式进行说明。实施方式1.图1是表示实施方式1所涉及的驾驶辅助装置10的结构例的框图。传感器2、车辆控制部3以及驾驶辅助装置10安装在车辆1上。驾驶辅助装置10包括传感器获取部11、可靠度推定部12、教师数据存储部13、运算部14和控制输出部15。传感器2和车辆控制部3连接到该驾驶辅助装置10。
10.传感器2用于检测车辆1的周围环境。该传感器2例如是用于拍摄车辆1的周围的摄像头、或用于检测存在于车辆1的周围的物体的毫米波雷达。另外，传感器2不限于一个传感器或一种传感器，也可以由多个传感器或多种传感器构成。
11.图2是示出实施方式1所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图2的流程图所示的动作，并重复动作直到点火开关断开为止。
12.在步骤st11中，传感器获取部11获取由传感器2检测到的信息，并且通过整合获取到的信息来生成表示车辆1的周围环境的周围环境信息。传感器获取部11将周围环境信息输出到可靠度推定部12和运算部14。周围环境信息是能够识别存在于车辆1周围的其他车辆或行人等的状态、车辆1周围的地形等、障碍物等的信息。此外，周围环境信息可以是由传感器2输出的原始数据，也可以是通过执行某种处理而进行抽象化的信息。抽象化的信息例如是在与车辆1的周围空间相对应的坐标系中绘制周围物体等的图表。
13.在步骤st12中，运算部14使用以来自传感器获取部11的周围环境信息作为输入的机器学习算法来运算用于控制车辆1的推理结果。机器学习算法例如是神经网络或多层神经网络(深度学习)。推理结果例如是制动器或加速器的踏入量或方向盘的转向角。运算部14将运算出的推理结果输出到控制输出部15。
14.在步骤st13中，可靠度推定部12将来自传感器获取部11的周围环境信息与存储在教师数据存储部13中的教师数据进行比较，以获得两者之间的相似度。教师数据存储部13中存储运算部14所具有的机器学习算法进行学习时所使用的教师数据。例如，可靠度推定部12通过对教师数据实施统计处理来计算教师数据的特征量。同样地，可靠度推定部12通过对周围环境信息也实施统计处理来计算周围环境信息的特征量。然后，可靠度推定部12计算教师数据的特征量和周围环境信息的特征量之间的相关值，并将相关值设为相似度。用于计算特征量的统计处理例如是用于计算平均值的处理或通过
自动编码(auto encoder)的维度压缩处理。教师数据存储部13可以存储教师数据的特征量来代替教师数据。
15.在步骤st14中，可靠度推定部12基于教师数据与周围环境信息之间的相似度，推定由运算部14使用该周围环境信息运算出的推理结果的可靠度。可靠度推定部12将推定的可靠度输出到控制输出部15。相似度越高，可靠度推定部12推定出的推理结果的可靠度越高。例如，可靠度推定部12通过相似度和预定的阈值之间的比较判定来推定离散型的可靠度(例如，从级别1到级别5的可靠度)。或者，可靠度推定部12可以通过对相似度实施多项式变形处理来推定连续型的可靠度(例如，从0％到100％的可靠度)。
16.在步骤st15中，控制输出部15将来自可靠度推定部12的可靠度附加到来自运算部14的推理结果，从而生成车辆控制信息。控制输出部15向车辆控制部3输出车辆控制信息。
17.车辆控制部3使用包括在来自控制输出部15的车辆控制信息中的推理结果来控制车辆1的动作。此外，车辆控制部3根据附加到推理结果的可靠度来改变控制内容。例如，当可靠度为预定的阈值以上时，车辆控制部3通过使用附加了该可靠度的推理结果来控制车辆1的动作，当可靠度小于上述预定的阈值时，废弃附加了该可靠度的推理结果，而不进行动作控制。
18.如上所述，实施方式1的驾驶辅助装置10具备传感器获取部11、运算部14、可靠度推定部12和控制输出部15。传感器获取部11获取搭载在车辆1上的传感器2的输出结果。运算部14使用机器学习算法来运算用于控制车辆1的推理结果，该机器学习算法以传感器获取部11获取的传感器2的输出结果作为输入。可靠度推定部12求出由传感器获取部11获取到的输出结果与用于机器学习算法的学习的教师数据之间的相似度，并且基于相似度推定由运算部14运算出的推理结果的可靠度。控制输出部15将由可靠度推定部12推定出的可靠度附加到由运算部14运算出的推理结果，并作为车辆控制信息进行输出。通过该结构，驾驶辅助装置10能够推定机器学习算法的推理结果的可靠度。因此，当机器学习算法的推理结果的可靠度由于不成熟的学习等原因而较低时，驾驶辅助装置10能够抑制车辆1非预期行为的发生。
19.另外，根据实施方式1，可靠度推定部12也可以是求出由传感器获取部11获取的传感器2的输出结果的特征量与教师数据的特征量之间的相似度的结构。通过该结构，能够减小用于存储教师数据的教师数据存储部13的容量。
20.实施方式2.在实施方式1中，基于作为传感器2的输出结果的周围环境信息与用于机器学习算法的学习的教师数据之间的相似度来推定推理结果的可靠度，但是在实施方式2中，基于预先试用机器学习算法时的试用结果来推定推理结果的可靠度。
21.图3是表示实施方式2所涉及的驾驶辅助装置10的结构例的框图。实施方式2的驾驶辅助装置10构成为具有可靠度推定部12a和试用结果存储部21，以代替图1所示的实施方式1的驾驶辅助装置10中的可靠度推定部12和教师数据存储部13。对于图3中与图1相同或相当的部分，标注相同的标号并省略说明。
22.试用结果存储部21存储运算部14所具有的机器学习算法在试用时的试用结果。试用结果例如是在运算部14中设定机器学习算法之前进行试用时，构成该机器学习算法的神
经网络中从输入到输出的各个路径的使用次数。
23.图4是表示实施方式2中运算部14所具有的多层神经网络的结构例的图。在图4中，机器学习算法是3层的多层神经网络。另外，假设输入层由包括节点n0的三个节点构成，中间层由包括节点n1的四个节点构成，输出层由包括节点n2的两个节点构成。周围环境信息x0、x1、x2被输入到多层神经网络的输入层的各个节点。此外，从多层神经网络的输出层的各个节点输出推理结果y0、y1。
24.当进行图4所示的多层神经网络的学习时，优化连接节点间的链路(例如连接节点n0和节点n1的链路l0)的权重，使得当输入作为教师数据的周围环境信息x0、x1、x2时，输出作为教师数据的推理结果y0、y1。此外，在试用学习后的多层神经网络时，收集该多层神经网络中从输入到输出的各个路径被使用的使用次数，并将该路径和使用次数相关联的试用结果存储在试用结果存储部21中。从输入到输出的路径例如是节点n0、链路l0、节点n1、链路l1再到节点n2的路径。这里，使用是指路径上一定数量以上的节点的输出的绝对值为规定的阈值以上。例如，当路径上的所有节点数量为“10”、一定数量为“8”、阈值为“0.6”时，输出为0.6以上的节点有8个以上的路径被计为“已使用”。
25.图5是示出实施方式2所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图5的流程图所示的动作，并重复该动作直到点火开关断开为止。图5的步骤st11中的动作与图2的步骤st11中的动作相同。
26.在步骤st12中，与实施方式1相同，运算部14使用以来自传感器获取部11的周围环境信息作为输入的机器学习算法来运算用于控制车辆1的推理结果。另外，在实施方式2中，运算部14将表示在构成机器学习算法的神经网络中对推理结果进行运算时使用的从输入到输出的路径的运算过程信息输出到可靠度推定部12a。例如，当运算部14在运算推理结果y0时，使用图4的节点n0、链路l0、节点n1、链路l1再到节点n2为止的路径的情况下，链路l0和链路l1的权重影响推理结果y0。因此，运算部14将该路径作为运算过程信息输出到可靠度推定部12a。
27.在步骤st21中，可靠度推定部12a从试用结果存储部21中存储的各个路径的使用次数中，选择与基于来自运算部14的运算过程信息的从输入到输出的路径一致的路径的使用次数。可靠度推定部12a基于从试用结果存储部21选择出的使用次数来推定由运算部14运算出的推理结果的可靠度。使用次数越多，可靠度推定部12推定出的推理结果的可靠度越高。例如，可靠度推定部12a通过使用次数和预定的阈值之间的比较判定来推定离散型的可靠度(例如，从级别1到级别5的可靠度)。或者，可靠度推定部12可以对使用次数实施多项式变形处理来推定连续型的可靠度(例如，从0％到100％的可靠度)。
28.图5的步骤st15中的动作与图2的步骤st15中的动作相同。
29.如上所述，实施方式2的可靠度推定部12a使用表示机器学习算法在试用时构成该机器学习算法的神经网络中从输入到输出的各路径的使用次数的信息，基于与运算部14对推理结果进行运算时使用的神经网络中从输入到输出的路径对应的使用次数，来推定推理结果的可靠度。通过该结构，驾驶辅助装置10能够推定机器学习算法的运算过程的可靠度。因此，当机器学习算法的推理结果的可靠度由于不成熟的学习等原因而较低时，驾驶辅助
装置10能够抑制车辆1非预期行为的发生。
30.另外，在上述例子中，可靠度推定部12a利用神经网络中从输入到输出的路径的使用次数来推定推理结果的可靠度，但不限于该推定方法。可靠度推定部12a例如可以将预定推理结果的分布与由运算部14运算出的推理结果的分布进行比较，并且基于两者的一致比例来推定由运算部14运算出的推理结果的可靠度。预定的推理结果的分布例如是基于在试用机器学习算法时输出的多个推理结果的相对频率分布，并且存储在试用结果存储部21中。
31.图6是表示实施方式2中的推理结果的分布例的相对频率分布图。在图6的图表中，横轴是推理结果y0的值，纵轴是推理结果y0的各个值的相对频率。此外，黑色条形表示预定的推理结果的相对频率分布，白色条形表示由运算部14在最近的规定期间内运算出的推理结果的相对频率分布。相对频率分布的一致比例越高，可靠度推定部12推定的推理结果的可靠度越高。例如，可靠度推定部12a通过一致比例和预定的阈值之间的比较判定来推定离散型的可靠度(例如，从级别1到级别5的可靠度)。或者，可靠度推定部12a可以对一致比例实施多项式变形处理来推定连续型的可靠度(例如，从0％到100％的可靠度)。
32.实施方式3.在实施方式3中，基于周围环境信息的复杂度，校正作为传感器2的输出结果的周围环境信息与机器学习算法进行学习所用的教师数据之间的相似度。
33.图7是表示实施方式3所涉及的驾驶辅助装置10的结构例的框图。实施方式3的驾驶辅助装置10构成为具有可靠度推定部12b来代替图1所示的实施方式1的驾驶辅助装置10中的可靠度推定部12。对于图7中与图1相同或相当的部分，标注相同的标号并省略说明。
34.图8是示出实施方式3所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图8的流程图所示的动作，并重复该动作直到点火开关断开为止。图8的步骤st11、st12、st13中的动作与图2的步骤st11、st12、st13中的动作相同。
35.在步骤st31中，可靠度推定部12b计算来自传感器获取部11的周围环境信息的复杂度。例如，可靠度推定部12b可以基于传感器获取部11从传感器2获取到的信息的熵(例如，拍摄图像的白噪声)来计算复杂度，也可以基于传感器获取部11识别出的车辆1的周围物体数量等来计算复杂度。
36.在步骤st32中，可靠度推定部12b将复杂度与预定的阈值进行比较。当复杂度为上述预定的阈值以上时(步骤st32的“是”)，可靠度推定部12b在步骤st33中进行用于减小相似度的校正。例如，可靠度推定部12b计算大小与周围环境信息的复杂度成比例的减小值，并从步骤st13中求出的相似度中减去计算出的减小值。在随后的步骤st14中，可靠度推定部12b基于减小后的相似度推定由运算部14运算出的推理结果的可靠度。因此，当周围环境信息的复杂度较大时，相似度下降，作为结果，可靠度也下降。
37.另一方面，当复杂度小于上述预定的阈值时(步骤st32的“否”)，可靠度推定部12b在步骤st14中基于在步骤st13中求出的相似度来推定由运算部14运算出的推理结果的可靠度。
38.如上所述，实施方式3的可靠度推定部12b计算由传感器获取部11获取的传感器2
的输出结果的复杂度，并基于输出结果的复杂度校正相似度。通过该结构，驾驶辅助装置10能够更精确地推定推理结果的可靠度。
39.实施方式4.在实施方式4中，基于周围环境信息的属性信息和教师数据的属性信息，校正作为传感器2的输出结果的周围环境信息与机器学习算法进行学习所用的教师数据之间的相似度。
40.图9是表示实施方式4所涉及的驾驶辅助装置10的结构例的框图。实施方式4的驾驶辅助装置10构成为具备传感器获取部11c、可靠度推定部12c和教师数据存储部13c，来代替图1所示的实施方式1的驾驶辅助装置10中的传感器获取部11、可靠度推定部12和教师数据存储部13。对于图9中与图1相同或相当的部分，标注相同的标号并省略说明。
41.教师数据存储部13c存储运算部14所具有的机器学习算法进行学习时使用的教师数据、教师数据的属性信息。教师数据存储部13c可以存储教师数据的特征量来代替教师数据。属性信息包括获取教师数据时的日期时间信息、天气信息和地理信息中的至少一个。日期时间信息可以是由秒、分钟等表示的时刻，也可以是早晨和晚上等的时间段。天气信息可以是晴、雨、以及多云等类别，也可以是气压、风速等的数值。地理信息可以是纬度和经度等的数值，也可以是高速公路和城市街区等的类别。
42.图10是示出实施方式4所涉及的驾驶辅助装置10的动作例的流程图。驾驶辅助装置10例如在车辆1的点火开关接通时开始图10的流程图所示的动作，并重复该动作直到点火开关断开为止。
43.在步骤st41中，传感器获取部11c与实施方式1同样地，获取由传感器2检测到的信息，并且通过整合获取到的信息来生成表示车辆1的周围环境的周围环境信息。此外，在实施方式4中，传感器获取部11c从传感器2获取日期时间信息、天气信息和地理信息中的至少一个，并且将获取到的信息设为属性信息。传感器获取部11c将周围环境信息输出到运算部14，并将周围环境信息和属性信息输出到可靠度推定部12c。除了从传感器2获取属性信息之外，传感器获取部11c还可以从汽车导航装置或车外的服务器装置等获取属性信息。
44.图10的步骤st12、st13中的动作与图2的步骤st12、st13中的动作相同。
45.在步骤st42，可靠度推定部12c将来自传感器获取部11c的属性信息与教师数据存储部13c中存储的教师数据的属性信息进行比较。当具有与周围环境信息的属性信息一致的属性信息的教师数据的数量(即，属性信息的一致比例)为预定的阈值以上时(步骤st43的“是”)，可靠度推定部12c在步骤st44中进行增加相似度的校正。例如，可靠度推定部12c计算大小与属性信息的一致比例成比例的增加值，并将算出的增加值加到在步骤st13中求出的相似度上。在接着的步骤st14中，可靠度推定部12c基于增加后的相似度推定由运算部14运算出的推理结果的可靠度。因此，当周围环境信息的属性信息与教师数据的属性信息一致时，相似度提高，结果可靠度也提高。
46.另一方面，当属性信息的一致比例小于上述预定的阈值时(步骤st43的“否”)，可靠度推定部12c在步骤st14中基于在步骤st13中求出的相似度来推定由运算部14运算出的推理结果的可靠度。
47.如上所述，实施方式4的可靠度推定部12c将传感器获取部11c获取传感器2的输出结果时的日期时间信息、天气信息、和地理信息中的至少一个与教师数据的日期时间信息、天气信息、和地理信息中的至少一个进行比较，来校正相似度。通过该结构，驾驶辅助装置10能够更精确地推定推理结果的可靠度。
48.另外，在实施方式4中，说明了使用具有各种日期时间信息、天气信息以及地理信息的教师数据来学习运算部14的机器学习算法的例子，但是，也可以针对每个日期时间、每个天气或者每个地理那样，针对每个属性信息来学习机器学习算法。在这种情况下，运算部14具有针对每个属性信息的机器学习算法。该运算部14从传感器获取部11c获取周围环境信息的属性信息，并且通过使用与获取到的属性信息一致的属性信息的机器学习算法来运算推理结果。可靠度推定部12c可以求出周围环境信息和具有与该周围环境信息的属性信息一致的属性信息的教师数据之间的相似度，并基于求出的相似度推定可靠度。在这种情况下，可靠度推定部12c不需要基于属性信息的一致比例来校正相似度。
49.作为具体示例，传感器获取部11c生成降雨时的周围环境信息。在这种情况下，运算部14通过使用降雨时的教师数据进行学习的机器学习算法来运算推理结果。可靠度推定部12c将降雨时的周围环境信息与上述降雨时的教师数据进行比较，计算相似度，并基于计算出的相似度推定可靠度。
50.另外，，也可以将实施方式2、实施方式3、和实施方式4中的至少一个与实施方式1组合。在此，对将实施方式1和实施方式2进行组合的例子进行说明。例如，可靠度推定部12与实施方式1同样地，求出来自传感器获取部11的周围环境信息与教师数据存储部13中存储的教师数据之间的相似度，并基于相似度推定推理结果的可靠度。接着，可靠度推定部12与实施方式2同样地使用试用结果存储部21中存储的试用结果，推定推理结果的可靠度。并且，可靠度推定部12使用通过实施方式1的方法推定的可靠度和通过实施方式2的方法推定的可靠度，算出最终的可靠度，并向控制输出部15输出。例如，可靠度推定部12计算通过实施方式1的方法推定的可靠度和通过实施方式2的方法推定的可靠度的平均值作为最终的可靠度。
51.最后，说明各实施方式所涉及的驾驶辅助装置10的硬件结构。图11和图12是示出各实施方式所涉及的驾驶辅助装置10的硬件结构例的图。驾驶辅助装置10中的教师数据存储部13、13c和试用结果存储部21是存储器102。驾驶辅助装置10中的传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14和控制输出部15的功能由处理电路实现。即，驾驶辅助装置10具备用于实现上述功能的处理电路。处理电路可以是作为专用硬件的处理电路100，也可以是执行存储于存储器102的程序的处理器101。
52.如图11所示，在处理电路为专用的硬件的情况下，处理电路100例如相当于单一电路、复合电路、程序化处理器、并联程序化处理器、asic(application specific integrated circuit：专用集成电路)、fpga(field
‑
programmable gate array：现场可编程门阵列)或它们的组合。可以由多个处理电路100实现传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14和控制输出部15的功能，也可以汇总各部分的功能由一个处理电路100实现。
53.如图12所示，当处理电路是处理器101时，传感器获取部11和11c、可靠度推定部
12、12a、12b、12c、运算部14和控制输出部15的功能通过软件、固件或软件和固件的组合来实现。软件或固件以程序的形式来表述，并存储于存储器102。处理器101读取存储于存储器102的程序并执行，从而实现各部的功能。即，驾驶辅助装置10具备存储器102，存储器102用于存储在由处理器101来执行时最终执行图2等的流程图中所示的步骤的程序。此外，可以说，该程序使计算机执行传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14和控制输出部15的步骤或方法。
54.此处，处理器101指cpu(central processing unit：中央处理部)、处理装置、运算装置或微处理器等。存储器102例如可以是ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)、eprom(erasable programmable rom：可擦可编程只读存储器)、或闪存等非易失性或易失性的半导体存储器，也可以是硬盘、软盘等磁盘，也可以是cd(compact disc：压缩盘)或dvd(digital versatile disc：数字通用盘)等光盘。
55.另外，传感器获取部11、11c、可靠度推定部12、12a、12b、12c、运算部14以及控制输出部15的功能可以是一部分由专用硬件来实现，另一部分由软件或固件来实现。如上所述，驾驶辅助装置10中的处理电路可以利用硬件、软件、固件或它们的组合来实现上述功能。
56.另外，在上述例子中，传感器获取部11、11c、可靠度推定部12、12a、12b、12c、教师数据存储部13、13c、运算部14、控制输出部15、以及试用结果存储部21的功能集中于作为车载设备的驾驶辅助装置10的结构，但也可以分散于网络上的服务器装置、智能手机等便携式信息终端、以及车载设备等。例如，驾驶辅助系统由具有可靠度推定部12、12a、12b、12c、教师数据存储部13、13c、运算部14和试用结果存储部21的服务器装置和具有传感器获取部11、11c和控制输出部15的车载设备构成。
57.本发明在其发明范围内，能够自由组合各实施方式，将各实施方式的任意结构要素进行变形，或者也可以省略各实施方式的任意的结构要素。工业上的实用性
58.本发明的驾驶辅助装置推定机器学习的可靠度，因此适合用于使用机器学习的驾驶辅助装置等。标号说明
59.1车辆，2传感器，3车辆控制部，10驾驶辅助装置，11、11c传感器获取部，12、12a、12b、12c可靠度推定部，13、13c教师数据存储部，14运算部，15控制输出部，21试用结果存储部，100处理电路，101处理器，102存储器，l0、l1链路，n0、n1、n2节点，x0、x1、x2周围环境信息，y0、y1推理结果。