状态判定装置及状态判定方法与流程

1.本发明涉及判定车辆的驾驶员的状态的状态判定装置及状态判定方法。


背景技术：

2.在车辆的驾驶员处于漫不经心驾驶状态的情况下，交通事故的风险变高。提出了基于驾驶员的视线方向或面部朝向这样的动作来判定驾驶员是否处于漫不经心驾驶状态的技术。
3.在专利文献1中记载了高精度地检测车辆的驾驶员的漫不经心驾驶状态的漫不经心驾驶检测系统。专利文献1所记载的漫不经心驾驶检测系统基于驾驶员的面部的朝向的变动和车辆的驾驶场景判定驾驶员的漫不经心驾驶状态，所述驾驶员的面部的朝向的变动基于车辆的驾驶员的面部的图像数据而被检测出。
4.在先技术文献
5.专利文献
6.专利文献1：日本特开2017
‑
151693号公报
7.驾驶员的动作根据道路状况而不同。因此，当根据单一的判定基准进行漫不经心驾驶状态的判定时，有时无法适当地检测漫不经心驾驶。


技术实现要素：

8.本发明的目的在于提供能够适当地判定车辆的驾驶员的驾驶状态的状态判定装置。
9.本发明的状态判定装置具备：判定部，所述判定部在示出车辆的驾驶员的视线方向或面部朝向的动作对应值分布的动作范围包含于预定范围的情况下，判定为驾驶员处于漫不经心驾驶状态；及范围变更部，所述范围变更部根据车辆的周围的道路状况扩展预定范围。
10.在本发明的状态判定装置中，优选的是，范围变更部根据在车辆的前方具有弯道(curve)的道路状况，向弯道的方向扩展预定范围。
11.在本发明的状态判定装置中，优选的是，弯道的曲率半径越小，范围变更部越大地扩展预定范围。
12.在本发明的状态判定装置中，优选的是，范围变更部根据坡度在车辆的前方变化的道路状况，向坡度变化的方向扩展预定范围。
13.在本发明的状态判定装置中，优选的是，范围变更部根据在车辆的前方检测出设置物的道路状况，从驾驶员的位置向检测出设置物的位置扩展预定范围。
14.在本发明的状态判定装置中，优选的是，车辆的车速越大，范围变更部越大地扩展预定范围。
15.状态判定方法包括：在示出车辆的驾驶员的视线方向或面部朝向的动作对应值分布的动作范围包含于预定范围的情况下，判定为驾驶员处于漫不经心驾驶状态，根据车辆
的周围的道路状况扩展预定范围。
16.根据本发明的状态判定装置，能够适当地判定车辆的驾驶员的驾驶状态。
附图说明
17.图1是安装有状态判定装置的车辆的概略结构图。
18.图2是ecu的硬件示意图。
19.图3是ecu具有的处理器的功能框图。
20.图4是状态判定处理的流程图。
21.图5是示出状态判定处理的第一例的图。
22.图6是示出状态判定处理的第二例的图。
23.图7是示出状态判定处理的第三例的图。
24.附图标记的说明
25.1 车辆
26.5 ecu
27.531 判定部
28.532 范围变更部
具体实施方式
29.以下，参照附图详细说明能够适当地判定车辆的驾驶员的驾驶状态的状态判定装置。状态判定装置在示出车辆的驾驶员的视线方向或面部朝向的动作对应值分布的动作范围包含于预定范围的情况下，判定为驾驶员处于漫不经心驾驶状态。并且，状态判定装置根据车辆的周围的道路状况扩展预定范围。
30.图1是安装有状态判定装置的车辆的概略结构图。
31.车辆1具有驾驶员监视摄像机2、gnss接收机3、存储装置4及ecu5(electronic control unit：电子控制单元)。驾驶员监视摄像机2、gnss接收机3及存储装置4与ecu5经由依据控制器局域网络这样的规格的车内网络能够通信地连接。
32.驾驶员监视摄像机2是用于检测驾驶员的动作的传感器的一例。驾驶员监视摄像机2具有由ccd或c
‑
mos等对红外光具有灵敏度的光电转换元件的阵列构成的二维检测器和对该二维检测器上的成为拍摄对象的区域的像进行成像的成像光学系统。另外，驾驶员监视摄像机2具有发出红外光的光源。驾驶员监视摄像机2例如朝向就座于驾驶员座椅的驾驶员的面部地安装于车厢内的前方上部。驾驶员监视摄像机2按预定的拍摄周期(例如1/30秒～1/10秒)向驾驶员照射红外光，输出拍摄驾驶员的面部而得到的图像。
33.gnss接收机3按预定的周期接收来自gnss(global navigation satellite system：全球导航卫星系统)卫星的gnss信号，基于接收到的gnss信号对车辆1的自身位置进行定位。gnss接收机3按预定的周期经由车内网络向ecu5输出定位信号，所述定位信号表示基于gnss信号的车辆1的自身位置的定位结果。
34.存储装置4是存储部的一例，例如具有硬盘装置或非易失性的半导体存储器。存储装置4保存有与位置对应地存储道路状况的地图信息。存储装置4按照来自ecu5的道路状况的读取要求，读取道路状况，并经由车内网络将读取的道路状况传递给ecu5。
35.ecu5是状态判定装置的一例，使用驾驶员监视摄像机2生成的图像、gnss接收机3生成的定位信号及存储于存储装置4的地图信息，执行状态判定处理。
36.图2是ecu5的硬件示意图。ecu5具备通信接口51、存储器52及处理器53。
37.通信接口51是通信部的一例，具有用于将ecu5与车内网络连接的通信接口电路。通信接口51将接收到的数据供给到处理器53。另外，通信接口51将从处理器53供给的数据输出到外部。
38.存储器52具有易失性的半导体存储器及非易失性的半导体存储器。存储器52保存在基于处理器53的处理中使用的各种数据，例如表示用于基于动作对应值分布的动作范围判定是否处于漫不经心驾驶状态的预定范围的值、按道路状况确定的预定范围的变更规则等。另外，存储器52保存各种应用程序，例如执行状态判定处理的状态判定程序等。
39.处理器53是控制部的一例，具有一个以上处理器及其周边电路。处理器53还可以具有逻辑运算单元、数值运算单元或图形处理单元这样的其他运算电路。
40.图3是ecu5具有的处理器53的功能框图。
41.ecu5的处理器53具有判定部531和范围变更部532作为功能块。处理器53具有的这些各部分是利用在处理器53上执行的程序安装的功能模块。或者，处理器53具有的这些各部分也可以作为独立的集成电路、微处理器或固件安装于ecu5。
42.判定部531取得驾驶员监视摄像机2生成的图像。判定部531根据取得的图像检测出驾驶员的视线方向。视线方向利用车辆1的行进方向与驾驶员的视线之间的水平方向或铅垂方向的角度表示。
43.判定部531通过将取得的图像输入到以检测瞳孔及光源的角膜反射的位置的方式预先学习的识别器，从而确定拍摄驾驶员的面部而得到的图像所包含的驾驶员的眼睛中的瞳孔及角膜反射的位置。然后，判定部531基于瞳孔与角膜反射的位置关系，检测视线方向。
44.识别器例如能够设为具有从输入侧向输出侧串联连接的多个层的卷积神经网络(cnn)。通过预先使用包含瞳孔及角膜反射的面部图像作为教师数据输入到cnn，并进行学习，从而cnn作为确定瞳孔及角膜反射的位置的识别器进行动作。
45.判定部531也可以通过将取得的图像输入到识别器，从而确定驾驶员的眼睛中的眼角及虹膜的位置，并基于眼角与虹膜的位置关系检测视线方向。在该情况下，驾驶员监视摄像机2可以具有在夜间的车厢内的环境下也能够适当地输出拍摄驾驶员的面部而得到的图像的高灵敏度可见光传感器。
46.判定部531按驾驶员监视摄像机2的拍摄周期检测视线方向，求出预定间隔(例如15秒钟)中的视线方向分布的动作范围。然后，进行动作范围与存储于存储器52的预定范围的比较，在动作范围包含于预定范围的情况下，判定为驾驶员处于漫不经心驾驶状态。
47.范围变更部532从存储装置4取得与gnss接收机3生成的定位信号所表示的车辆1的当前位置对应的车辆1的周围的道路状况。然后，判定车辆1的周围的道路状况和与变更规则关联地存储于存储器52的各道路状况是否一致，并根据车辆1的周围的道路状况扩展预定范围。
48.图4是状态判定处理的流程图。ecu5在车辆1进行行驶的期间以预定的周期反复执行状态判定处理。
49.首先，范围变更部532判定车辆1的周围的道路状况和与变更规则关联地存储于存
储器52的各道路状况是否一致(步骤s1)。在判定为车辆1的周围的道路状况和与变更规则关联的各道路状况中的任一个一致的情况下(步骤s1：是)，范围变更部532按照与道路状况关联的变更规则扩展预定范围(步骤s2)。在判定为车辆1的周围的道路状况和与变更规则关联的各道路状况中的任一个都不一致的情况下(步骤s1：否)，范围变更部532不变更预定范围，进入接下来的处理。
50.接着，判定部531算出示出车辆1的驾驶员的视线方向的动作对应值分布的动作范围(步骤s3)。接着，判定部531使用动作范围和存储于存储器52的预定范围，判定驾驶员是否处于漫不经心驾驶状态(步骤s4)，并结束状态判定处理。
51.处理器53基于状态判定处理的判定结果，执行对判定为漫不经心驾驶状态的驾驶员的注意唤起处理。例如，处理器53通过向搭载于车辆1的未图示的显示器输出预定的信号，从而使其显示促使集中注意力在驾驶上的消息。另外，处理器53也可以通过向搭载于车辆1的未图示的扬声器输出预定的信号，从而使其输出促使集中注意力在驾驶上的语音。
52.图5是说明状态判定处理的第一例的图。
53.在图5所示的第一例中，车辆1从位置p11向位置p12行驶。位置p11处的车辆1的周围的道路状况对应于直线道路。在位置p11处，检测出驾驶员的视线方向ed111
‑
ed113。在视线方向ed111
‑
ed113分布的动作范围ar11中，视线方向ed111及ed112位于预定范围rr11的内侧，视线方向ed113位于预定范围rr11的外侧。即，动作范围ar11不包含于预定范围rr11。
54.另一方面，位置p12处的车辆1周围的道路状况是在车辆1的前方的位置p13具有弯道的道路状况。在存储器52中，与在车辆1的前方具有弯道的道路状况对应地存储有向弯道的方向扩展预定范围的变更规则。因此，范围变更部532按照变更规则，对于预定范围rr11向弯道的方向(在图5的例子中为右方)扩展预定范围。
55.在位置p12处，检测出驾驶员的视线方向ed121
‑
ed123。在视线方向ed121
‑
ed123分布的动作范围ar12中，视线方向ed123成为扩展后的预定范围rr12的内侧。因此，动作范围ar12包含于预定范围rr12。
56.在图5的例子中，车辆1的驾驶员在位置p11处不被判定为漫不经心驾驶状态，在位置p12处被判定为漫不经心驾驶状态。
57.图6是说明状态判定处理的第二例的图。
58.在图6所示的第二例中，车辆1从位置p21向位置p22行驶。位置p21处的车辆1的周围的道路状况对应于直线道路。在位置p21处，检测出驾驶员的视线方向ed211
‑
ed213。在视线方向ed211
‑
ed213分布的动作范围ar21中，视线方向ed212及ed213位于预定范围rr21的内侧，视线方向ed211位于预定范围rr21的外侧。即，动作范围ar21不包含于预定范围rr21。
59.另一方面，位置p22处的车辆1的周围的道路状况是坡度在车辆1的前方的位置p23变化而成为上坡的道路状况。但是，在俯瞰位置p23的图6中，未图示坡度。在存储器52中，与坡度在车辆1的前方变化的道路状况对应地存储有向坡度变化的方向扩展预定范围的变更规则。因此，范围变更部532按照变更规则，对于预定范围rr21向坡度变化的方向(在图6的例子中为上方)扩展预定范围。
60.在位置p22处，检测出驾驶员的视线方向ed221
‑
ed223。在视线方向ed221
‑
ed223分布的动作范围ar22中，视线方向ed221成为扩展后的预定范围rr22的内侧。因此，动作范围ar22包含于预定范围rr22。
61.在图6的例子中，车辆1的驾驶员在位置p21处不被判定为漫不经心驾驶状态，在位置p22处被判定为漫不经心驾驶状态。
62.图7是说明状态判定处理的第三例的图。
63.在图7所示的第三例中，车辆1从位置p31向位置p32行驶。位置p31处的车辆1的周围的道路状况对应于直线道路。在位置p31处，检测出驾驶员的视线方向ed311
‑
ed313。在视线方向ed311
‑
ed313分布的动作范围ar31中，视线方向ed312及ed313位于预定范围rr31的内侧，视线方向ed311位于预定范围rr31的外侧。即，动作范围ar31不包含于预定范围rr31。
64.另一方面，位置p32处的车辆1的周围的道路状况是在车辆1的前方的位置p33检测出作为设置物的道路标识rs的道路状况。在存储器52中，与在车辆1的前方检测出设置物的道路状况对应地存储有向检测出设置物的位置扩展预定范围的变更规则。因此，范围变更部532按照变更规则，对于预定范围rr31向检测出道路标识rs的位置(在图7的例子中为向上)扩展预定范围。
65.在位置p32处，检测出驾驶员的视线方向ed321
‑
ed323。在视线方向ed321
‑
ed323分布的动作范围ar32中，视线方向ed321成为扩展后的预定范围rr32的内侧。因此，动作范围ar32包含于预定范围rr32。
66.在图7的例子中，车辆1的驾驶员在位置p31处不被判定为漫不经心驾驶状态，在位置p32处被判定为漫不经心驾驶状态。
67.通过如以上那样使ecu5执行状态判定处理，从而ecu5能够适当地判定车辆的驾驶员的驾驶状态。
68.根据变形例，范围变更部532也可以在根据在车辆1的前方具有弯道的道路状况向弯道的方向扩展预定范围的情况下，弯道的曲率半径越小，则越大地扩展预定范围。弯道的曲率半径作为地图信息存储于存储装置4。
69.根据不同的变形例，范围变更部532也可以在根据车辆1的周围的道路状况扩展预定范围的情况下，车辆1的车速越大，则越大地扩展预定范围。车辆1的车速能够从与车内网络连接的未图示的车速传感器取得。
70.根据不同的变形例，判定部531也可以代替车辆1的驾驶员的视线方向，或在视线方向的基础之上，从驾驶员监视摄像机2生成的图像检测驾驶员的面部朝向。面部朝向利用车辆1的行进方向与驾驶员的面部朝向的方向之间的水平方向或铅垂方向的角度表示。能够通过将从图像检测出的眼睛或口这样的面部部位与标准的面部的三维模型进行对照，从而检测出面部朝向。
71.应该理解的是，本领域技术人员能够在不偏离本发明的精神及范围的情况下对其施加各种变更、置换及修正。