认知功能推测装置、学习装置及认知功能推测方法与流程

1.本发明涉及推测车辆的驾驶员的认知功能的认知功能推测装置、学习车辆的驾驶员的认知功能的学习装置、以及推测车辆的驾驶员的认知功能的认知功能推测方法。


背景技术：

2.已知在一般情况下，人随着年龄的增长，认知功能会下降。这里所说的认知功能是指人所具有的用于恰当地驾驶车辆的功能。例如，在车辆的驾驶员年龄较大的情况下，由于认知功能下降，驾驶员可能无法实现该认知功能，其结果是，有时无法进行恰当的驾驶。因此，例如，在驾驶辅助的技术中，寻求一种技术，推测驾驶员是否具有一定水平的认知功能。另一方面，作为某驾驶员的、与针对驾驶的集中程度这一意义上的认知度有关的技术，例如，在专利文献1中公开了一种认知度推测装置，基于车辆的驾驶员的视线的上下方向的移动来推测认知度。现有技术文献专利文献
3.专利文献1：日本专利特开2015-80549号公报


技术实现要素：

发明所要解决的技术问题
4.如上所述，在驾驶辅助的技术中，寻求一种技术，推测驾驶员是否具有一定水平的认知功能。然而，现有的驾驶辅助的技术中，存在无法推测驾驶员的认知功能的问题。专利文献1所公开的认知度推测装置中，对认知度进行了推测，但该认知度是某个驾驶员暂时的针对驾驶的集中度，并非对某个驾驶员是否具有一定水平的用于恰当地驾驶车辆的功能进行推测。因此，专利文献1所公开的认知度推测装置的技术无法解决上述问题。
5.本发明是为了解决上述问题而完成的，其目的在于提供一种认知功能推测装置，能推测驾驶员是否具有一定水平的认知功能。用于解决技术问题的技术手段
6.本发明所涉及的认知功能推测装置包括：车外信息获取部，该车外信息获取部获取与车辆周边的状况有关的车外信息；脸部信息获取部，该脸部信息获取部获取与车辆的驾驶员的脸部有关的脸部信息；生物信息获取部，该生物信息获取部获取驾驶员的生物信息；车辆信息获取部，该车辆信息获取部获取与车辆有关的车辆信息；车外信息特征量提取部，该车外信息特征量提取部基于车外信息获取部获取到的车外信息，提取用于推测驾驶员的认知功能的车外信息特征量；脸部信息特征量提取部，该脸部信息特征量提取部根据车外信息特征量提取部提取出的车外信息特征量，基于脸部信息获取部获取到的脸部信息，提取用于推测驾驶员的认知功能的脸部信息特征量；生物信息特征量提取部，该生物信
息特征量提取部根据车外信息特征量提取部提取出的车外信息特征量，基于生物信息获取部获取到的生物信息，提取用于推测驾驶员的认知功能的生物信息特征量；车辆信息特征量提取部，该车辆信息特征量提取部根据车外信息特征量提取部提取出的车外信息特征量，基于车辆信息获取部获取到的车辆信息，提取用于推测驾驶员的认知功能的车辆信息特征量；以及认知功能推测部，该认知功能推测部基于车外信息特征量提取部提取出的车外信息特征量、与脸部信息特征量提取部提取出的脸部信息特征量、生物信息特征量提取部提取出的生物信息特征量和车辆信息特征量提取部提取出的车辆信息特征量中的至少1个、以及机器学习模型，来推测驾驶员的认知功能是否较低。发明效果
7.根据本发明，能推测驾驶员是否具有一定水平的认知功能。
附图说明
8.图1是示出实施方式1所涉及的认知状态推测装置的结构例的图。图2是用于说明实施方式1中、车外信息特征量提取部所提取的车外信息特征量、脸部信息特征量提取部所提取的脸部信息特征量、生物信息特征量提取部所提取的生物信息特征量、或车辆信息特征量提取部所提取的车辆信息特征量之间的关系的一个示例的图像的图。图3是用于说明实施方式1所涉及的认知功能推测装置的动作的流程图。图4是用于说明实施方式1所涉及的学习装置的动作的流程图。图5a、图5b是示出实施方式1所涉及的认知功能推测装置的硬件结构的一个示例的图。
具体实施方式
9.以下，参照附图对本发明的实施方式进行详细说明。实施方式1.图1是示出实施方式1所涉及的认知功能推测装置1的结构例的图。假设实施方式1所涉及的认知功能推测装置1搭载于车辆(图示省略)。如图1所示，认知功能推测装置1与车内拍摄装置2、生物传感器3、车辆信息检测装置4以及车外拍摄装置5相连接。假设车内拍摄装置2、生物传感器3、车辆信息检测装置4和车外拍摄装置5搭载于车辆。
10.车内拍摄装置2对车辆内进行拍摄。车内拍摄装置2例如是以监视车辆内为目的而设置于车辆的车内摄像头等，设置为至少能拍摄包含坐在驾驶座上的驾驶员的脸部应当存在的范围在内的车辆内的范围。坐在驾驶座上的驾驶员的脸部应当存在的范围例如指与驾驶座的头枕前方附近的空间相当的范围。车内拍摄装置2可以与为了监视车辆内的驾驶员的状态而搭载于车辆的所谓的“驾驶员监控系统”所具有的拍摄装置共用。
11.生物传感器3测量驾驶员的生物信息。驾驶员的生物信息例如是驾驶员的脉搏、体温、血压、呼吸、心跳或脑电波的信息。
12.车辆信息检测装置4检测与车辆有关的车辆信息。车辆信息检测装置4包含加速器开度传感器、转向角传感器、制动器传感器、gps(global positioning system：全球定位系
统)、导航装置等检测与车辆有关的信息的各种装置。车辆信息例如是与加速器开度有关的信息、与方向盘转向角有关的信息或与制动器操作量有关的信息。例如，在车辆信息检测装置4是加速器开度传感器的情况下，该加速器开度传感器检测加速器被操作的情况或车辆的加速器开度等。此外，例如，在车辆信息检测装置4是转向角传感器的情况下，该转向角传感器检测车辆的方向盘转向角等。此外，例如，在车辆信息检测装置4是制动器传感器的情况下，该制动器传感器检测车辆的制动器被操作的情况或制动器操作量等。此外，例如，在车辆信息检测装置4是gps情况下，该gps检测车辆的当前位置。此外，例如，在车辆信息检测装置4是导航装置的情况下，该导航装置检测该导航装置被操作的情况或车辆的路径信息等。
13.车外拍摄装置5例如是拍摄车辆的周边的车外摄像头。
14.认知功能推测装置1基于车外拍摄装置5拍摄到的图像(以下称为“车外拍摄图像”)、车内拍摄装置2拍摄到的图像(以下称为“车内拍摄图像”)、生物传感器3测量出的生物信息或车辆信息检测装置4测量出的车辆信息、机器学习模型203，来推测车辆的驾驶员的认知功能。这里，“模型”是机器学习中的学习完成模型。机器学习模型203由学习装置20使用机器学习来生成。学习装置20和机器学习模型203的详细内容在后文中阐述。实施方式1中，“认知功能”是指人所具有的用于恰当地驾驶车辆的功能。在驾驶员具有一定水平的认知功能的情况下，该驾驶员能恰当地驾驶车辆。另一方面，如果驾驶员的认知功能下降，则该驾驶员无法恰当地驾驶车辆，如在驾驶车辆时产生一定的违规行为等。一般来说，随着年龄的增加，认知功能将下降。
15.认知功能推测装置1包括脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征性提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认知功能推测部19和学习装置20。认知功能推测部19具备判定部191。学习装置20包括获取部201、学习部202和机器学习模型203。
16.脸部信息获取部11从车内拍摄装置2获取车内拍摄图像，并基于车内拍摄图像，来获取与车辆的驾驶员的脸部有关的脸部信息。实施方式1中，驾驶员的脸部信息指与驾驶员的脸部朝向有关的信息、与驾驶员的视线有关的信息、与驾驶员的睁眼度有关的信息、与驾驶员的张嘴度有关的信息、基于驾驶员的表情的情绪信息、与驾驶员的头部的位置有关的信息等。脸部信息获取部11例如可以使用已知的图像识别技术，从车内拍摄图像中获取驾驶员的脸部信息。脸部信息获取部11将获取到的脸部信息输出到脸部信息特征量提取部16。脸部信息获取部11可以使存储部(图示省略)存储获取到的脸部信息。
17.生物信息获取部12从生物传感器3获取车辆的驾驶员的生物信息。生物信息获取部12可以从车内拍摄装置2获取车内拍摄图像，并使用现有的图像识别技术，从车内拍摄图像中获取生物信息。具体而言，生物信息获取部12例如使用现有的图像识别技术，对车内拍摄图像中的驾驶员的脸部的亮度变化进行分析。然后，生物信息获取部12根据分析出的驾驶员的脸部的亮度变化，来推测例如驾驶员的脉搏。生物信息获取部12将获取到的是生物信息输出到生物信息特征量提取部17。生物信息获取部12可以使存储部存储获取到的生物信息。
18.车辆信息获取部13从车辆信息检测装置4获取与车辆有关的车辆信息。车辆信息获取部13将获取到的车辆信息输出到车辆信息特征量提取部18。车辆信息获取部13可以使存储部存储获取到的车辆信息。
19.车外信息获取部14从车外拍摄装置5获取车外拍摄图像，并基于车外拍摄图像，来获取与车辆周边的状况有关的车外信息。实施方式1中，车外信息指与红绿灯有关的信息、是否有行人冲出的信息、与车辆行驶中的路径有关的信息、与标志有关的信息等。与红绿灯有关的信息例如包含与有无红绿灯以及红绿灯的颜色有关的信息。与标志有关的信息例如包含与有无标志以及标志的内容有关的信息。车外信息获取部14例如可以使用已知的图像识别技术，从车外拍摄图像中获取车外信息。此外，车外信息获取部14可以将从车外拍摄装置5获取到的车外拍摄图像直接设为车外信息。车外信息获取部14将获取到的车外信息输出到车外信息特征量提取部15。车外信息获取部14可以使存储部存储获取到的车外信息。
20.车外信息特征量提取部15基于车外信息获取部14获取到的车外信息，来提取用于推测驾驶员的认知功能的车外信息特征量。若举出具体示例，则例如在车外信息中包含红绿灯的信息、且红绿灯为红灯的情况下，车外信息特征量提取部15将该是红灯的意思的信息提取作为用于推测驾驶员的认知功能的车外信息特征量。此时，车外信息特征量提取部15例如可以将表示实际空间上的红绿灯的位置的信息也包含在车外信息特征量中。设为车外拍摄图像的拍摄范围预先决定，车外信息特征量提取部15例如可以基于车外拍摄图像、地图信息和车辆的位置信息来计算实际空间上的红绿灯的位置。车外信息特征量提取部15例如可以从搭载于车辆的导航装置(图示省略)获取地图信息。此外，车外信息特征量提取部15可以从gps获取车辆的位置信息。另外，车外信息获取部14可以计算实际空间上的红绿灯的位置，并将其作为车外信息输出到车外信息特征量提取部15。
21.此外，例如，在车外信息中包含红绿灯的信息、且红绿灯为绿灯的情况下，车外信息特征量提取部15将该是绿灯的意思的信息提取作为用于检测驾驶员的认知功能的车外信息特征量。此时，车外信息特征量提取部15例如可以将表示实际空间上的红绿灯的位置的信息也包含在车外信息特征量中。
22.此外，例如，在获取车外拍摄图像来作为车外信息的情况下，如果在该车外拍摄图像上检测到发生了人的冲出，则车外信息特征量提取部15将存在该冲出的意思的信息提取作为用于推测驾驶员的认知功能的车外信息特征量。另外，该情况下，车外信息例如是车外拍摄图像，车外信息获取部14可以将最近存储于存储部的车外拍摄图像、与从车外信息获取部14输出的车外拍摄图像进行比较，以检测是否发生了人的冲出。
23.此外，例如，在获取车辆禁止进入的标志的信息来作为车外信息的情况下，车外信息特征量提取部15将存在该车辆禁止进入的标志的信息的意思的信息提取作为用于推测驾驶员的认知功能的车外信息特征量。此外，例如，在获取暂时停止的标志的信息来作为车外信息的情况下，车外信息特征量提取部15将存在该暂时停止的标志的信息的意思的信息提取作为用于推测驾驶员的认知功能的车外信息特征量。
24.此外，例如，在预先设定的期间内重复输出类似的车外信息的情况下，车外信息特征量提取部15将车辆在相同道路上重复行驶的意思的信息提取作为用于推测驾驶员的认
知功能的车外信息特征量。另外，该情况下，例如，车外信息是车外拍摄装置5拍摄到的车外拍摄图像，车外信息获取部14可以基于存储部中所存储的车外拍摄图像，来判断在期间内重复输出了类似的车外信息。
25.预先决定车外信息特征量提取部15基于车外信息提取哪种车外信息特征量。预先决定车外信息特征量，以使其成为与在车外发生的某些事件有关的信息，并且成为与有可能进行在驾驶员为认知功能下降的驾驶员的情况下容易进行的一定违规行为(例如，参照警视厅主页、认知功能下降时容易进行的一定违规行为(18标准行为)、url：“https：//www.keishicho.metro.tokyo.jp/smph/menkyo/koshu/koureisha_anzen.html”)的事件有关的信息。车外信息特征量提取部15将提取出的车外信息特征量输出到脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18以及认知功能推测部19。
26.脸部信息特征量提取部16根据车外信息特征量提取部15提取出的车外信息特征量，基于脸部信息获取部11获取到的脸部信息，来提取用于推测驾驶员的认知功能的脸部信息特征量。关于基于车外信息特征量的脸部信息特征量的详细内容，在后文中举出具体示例来说明。脸部信息特征量提取部16将提取出的脸部信息特征量输出到认知功能推测部19。
27.生物信息特征量提取部17根据车外信息特征量提取部15提取出的车外信息特征量，基于生物信息获取部12获取到的生物信息，来提取用于推测驾驶员的认知功能的生物信息特征量。关于基于车外信息特征量的生物信息特征量的详细内容，在后文中举出具体示例来说明。生物信息特征量提取部17将提取出的生物信息特征量输出到认知功能推测部19。
28.车辆信息特征量提取部18根据车外信息特征量提取部15提取出的车外信息特征量，基于车辆信息获取部13获取到的车辆信息，来提取用于推测驾驶员的认知功能的车辆信息特征量。关于基于车外信息特征量的车辆信息特征量的详细内容，在后文中举出具体示例来说明。车辆信息特征量提取部18将提取出的车辆信息特征量输出到认知功能推测部19。
29.这里，关于基于车外信息特征量提取部15提取出的车外信息特征量由脸部信息特征量提取部16提取的脸部信息特征量、由生物信息特征量提取部17提取的生物信息特征量、或由车辆信息特征量提取部18提取的车辆信息特征量，举出具体示例来说明。图2是用于说明实施方式1中、车外信息特征量提取部15所提取的车外信息特征量、脸部信息特征量提取部16所提取的脸部信息特征量、生物信息特征量提取部17所提取的生物信息特征量、或车辆信息特征量提取部18所提取的车辆信息特征量之间的关系的一个示例的图像的图。如图2所示，根据车外信息特征量提取部15提取出的车外信息特征量的内容，预先决定脸部信息特征量提取部16提取哪种脸部信息特征量、生物信息特征量提取部17提取哪种生物信息特征量、或车辆信息特征量提取部18提取哪种车辆信息特征量。另外，图2中，举例示出根据某个车外信息特征量所能提取的脸部信息特征量的一个示例、生物信息特征量的一个示例、或车辆信息特征量的一个示例。对于图2所示的某个车外信息特征量，未必需要提取图2所示的与该某个车外信息特征量对应的所有脸部信息
特征量、生物信息特征量以及车辆信息特征量。具体而言，图2并不意味着例如在将是红灯的意思的信息提取作为车外信息特征量的情况下，必须提取表示驾驶员的视线方向的信息以及表示脸部朝向的信息以作为脸部信息特征量。此外，图2并不意味着例如在将是红灯的意思的信息提取作为车外信息特征量的情况下，必须提取制动器是否被操作的制动器操作信息、到制动器操作为止的反应时间、以及加速器是否被操作的加速器操作信息。
30.例如，在车外信息特征量提取部15将是红灯的意思的信息提取作为车外信息特征量的情况下，脸部信息特征量提取部16基于脸部信息获取部11获取到的脸部信息，将表示驾驶员的视线方向的信息提取作为脸部信息特征量。该情况下，例如，车辆信息特征量提取部18基于车辆信息获取部13获取到的车辆信息，将制动器是否被操作的制动器操作信息提取作为车辆信息特征量。由此，车外信息特征量提取部15能将表示驾驶员对于车外信息特征量所示的事件的行动模式的信息提取作为车辆信息特征量。上述示例中，车外信息特征量提取部15将表示驾驶员是否对于车外信息特征量所示的变为红灯这一事件操作了制动器的行动模式的信息设为车辆信息特征量。车辆信息特征量提取部18可以基于车辆信息获取部13获取到的车辆信息，将是红灯的意思的车外信息特征量被提取后、到操作制动器为止所需的时间提取作为车辆信息特征量。车辆信息特征量提取部18例如可以基于存储部中所存储的车辆信息，来计算是红灯的意思的车外信息特征量被提取后、到操作制动器为止所需的时间。由此，车辆信息特征量提取部18能将驾驶员对于车外信息特征量所示的事件的反应时间设为车辆信息特征量。上述示例中，车辆信息特征量提取部18将到驾驶员对于车外信息特征量所示的变为红灯这一事件操作制动器为止的反应时间设为车辆信息特征量。
31.此外，例如，在车外信息特征量提取部15将是绿灯的意思的信息提取作为车外信息特征量的情况下，脸部信息特征量提取部16基于脸部信息获取部11获取到的脸部信息，将表示驾驶员的视线方向的信息提取作为脸部信息特征量。该情况下，例如，车辆信息特征量提取部18基于车辆信息获取部13获取到的车辆信息，将加速器是否被操作的加速器操作信息提取作为车辆信息特征量。车辆信息特征量提取部18例如可以将是绿灯的意思的车外信息特征量被提取后、到操作加速器为止的反应时间提取作为车辆信息特征量。
32.此外，例如，在车外信息特征量提取部15将存在冲出的意思的信息提取作为车外信息特征量的情况下，脸部信息特征量提取部16基于脸部信息获取部11获取到的脸部信息，将表示驾驶员的睁眼度的信息提取作为脸部信息特征量。该情况下，例如，车辆信息特征量提取部18基于车辆信息获取部13获取到的车辆信息，将存在冲出的意思的车外信息特征量被提取后、到操作制动器为止所需的时间提取作为车辆信息特征量。
33.此外，例如，在车外信息特征量提取部15将存在暂时停止的标志的意思的信提取息作为车外信息特征量的情况下，车辆信息特征量提取部18基于车辆信息获取部13获取到的车辆信息，将制动器是否被操作的制动器操作信息提取作为车辆信息特征量。
34.此外，例如，在车外信息特征量提取部15将车辆在相同道路上重复行驶的意思的信息提取作为车外信息特征量的情况下，脸部信息特征量提取部16基于脸部信息获取部11获取到的脸部信息，将驾驶员的情绪信息提取作为脸部信息特征量。该情况下，例如，生物信息特征量提取部17基于生物信息获取部12获取到的生物信息，将与驾驶员的脉搏和心跳有关的信息提取作为生物信息特征量。此外，该情况下，例如，车辆信息特征量提取部18基
于车辆信息获取部13获取到的车辆信息，将表示导航装置是否被操作的信息提取作为车辆信息特征量。
35.虽然在图2中没有图示，然而，例如在车辆信息特征量提取部15将车辆在十字路口或弯道上行驶中的意思的信息提取作为车外信息特征量的情况下，车辆信息特征量提取部18可以基于车辆信息获取部13获取到的车辆信息，将车辆的方向盘转向角提取作为车辆信息特征量。
36.以上示例中，说明了如下示例：在认知功能推测装置1中，车辆信息特征量提取部18将表示驾驶员针对车外信息特征量所示的事件的行动模式的信息提取作为车辆信息特征量。除此以外，在认知功能推测装置1中，脸部信息特征量提取部16也可以将表示驾驶员的行动模式的信息提取作为脸部信息特征量。例如，在车外信息特征量提取部15将存在冲出的意思的信息提取作为车外信息特征量的情况下，脸部信息特征量提取部16也能基于存储部中所存储的脸部信息，将表示驾驶员的情绪信息是否针对存在该冲出的事件发生变化的行动模式的信息设为脸部信息特征量。例如，在驾驶员的情绪信息没有变化的情况下，可以说对于存在冲出的事件，驾驶员并未注意到该冲出，而采用了继续无表情的行动。此外，例如，在车外信息特征量提取部15将存在暂时停止的标志的意思的信息提取作为车外信息特征量的情况下，脸部信息特征量提取部16也能基于存储部中所存储的脸部信息，将表示针对存在该暂时停止的标志的事件驾驶员使视线方向变化的行动模式的信息设为脸部信息特征量。例如，在驾驶员并未使视线朝向暂时停止的标志的方向的情况下，可以说驾驶员采取了忽略该标志的行动。此外，在认知功能推测装置1中，生物信息特征量提取部17也可以将表示驾驶员的行动模式的信息提取作为生物信息特征量。例如，在车外信息特征量提取部15将存在冲出的意思的信息提取作为车外信息特征量的情况下，生物信息特征量提取部17也能基于存储部中所存储的生物信息，将表示驾驶员的呼吸频率是否针对存在该冲出的事件发生变化的行动模式的信息设为生物信息特征量。例如，当存在驾驶员的呼吸频率变快的变化的情况下，可以说针对存在冲出的事件，驾驶员为了平静下来而采取了有意识地加快呼吸的行动。
37.此外，以上示例中，说明了如下示例：在认知功能推测装置1中，车辆信息特征量提取部18将车外信息特征量所示的事件发生后、到驾驶员所进行的车辆操作为止的反应时间提取作为车辆信息特征量。除此以外，在认知功能推测装置1中，脸部信息特征量提取部16也能将车外信息特征量所示的事件发生后、到驾驶员的脸部信息发生变化为止的反应时间提取作为脸部信息特征量。例如，在车外信息特征量提取部15将是红灯的意思的信息提取作为车外信息特征量的情况下，脸部信息特征量提取部16也能基于存储部中所存储的脸部信息，将到驾驶员使视线朝向红灯为止的反应时间设为脸部信息特征量。此外，在认知功能推测装置1中，生物信息特征量提取部17也能将车外信息特征量所示的事件发生后、到驾驶员的生物信息发生变化为止的反应时间提取作为生物信息特征量。例如，在车外信息特征量提取部15将存在冲出的意思的信息提取作为车外信息特征量的情况下，生物信息特征量提取部17也能基于存储部中所存储的生物信息，将表示到驾驶员的呼吸频率针对存在该冲出的事件发生变化为止的反应时间设为生物信息特征量。
38.由此，脸部信息特征量提取部16、生物信息特征量提取部17或车辆信息特征量提取部18基于车外信息特征量提取部15所提取的车外信息特征量，分别提取脸部信息特征
量、生物信息特征量或车辆信息特征量。在脸部信息特征量、生物信息特征量或车辆信息特征量中，根据车外信息特征量，设定用于判定在驾驶员为认知功能下降的驾驶员的情况下容易进行的一定违规行为的信息。
39.此外，如上所述，在认知功能推测装置1中，相对于车外信息特征量提取部15提取出的车外信息特征量，无需提取所有的脸部信息特征量、生物信息特征量和车辆信息特征量。在认知功能推测装置1中，对于车外信息特征量提取部15提取出的车外信息特征量，提取脸部信息特征量、生物信息特征量和车辆信息特征量中的至少1个即可。
40.返回使用了图1的认知功能推测装置1的说明。认知功能推测部19基于车外信息特征量提取部15提取出的车外信息特征量、与车辆信息特征量提取部18提取出的车辆信息特征量、脸部信息特征量提取部16提取出的脸部信息特征量和生物信息特征量提取部17提取出的生物信息特征量中的至少1个、以及机器学习模型203，来推测驾驶员的认知功能是否较低。具体而言，认知功能推测部19将车外信息特征量、车辆信息特征量、脸部信息特征量和生物信息特征量中的至少1个输入机器学习模型203，以得到表示驾驶员的认知功能是否较低的认知功能信息。
41.实施方式1中，认知功能推测部19具备判定部191。认知功能推测部19的判定部191基于车外信息特征量提取15提取出的车外信息特征量、与车辆信息特征量提取部18提取出的车辆信息特征量、脸部信息特征量提取部16提取出的脸部信息特征量和生物信息特征量提取部17提取出的生物信息特征量中的至少1个、以及机器学习模型203，在预先设定的期间(以下称为“判定用期间”)持续判定是否推测为驾驶员的认知功能较低。在判定部191在判定用期间持续判定为驾驶员的认知功能被推测为较低的情况下，认知功能推测部19推测为驾驶员的认知功能较低。由此，能防止瞬间推测为驾驶员的认知功能较低，能提高驾驶员的认知功能的推测精度。
42.另外，这里，设为认知功能推测部19具备判定部191，但这只是一个示例。可以采用认知功能推测部19不具备判定部191的结构。
43.学习装置20生成机器学习模型203，该机器学习模型203以用于推测车辆的驾驶员的认知功能的车外信息特征量、与车外信息特征量相对应的用于推测车辆的驾驶员的认知功能的车辆信息特征量、与车外信息特征量相对应的用于推测车辆的驾驶员的认知功能的脸部信息特征量、或与车外信息特征量相对应的用于推测车辆的驾驶员的认知功能的生物信息特征量为输入，并输出表示驾驶员的认知功能是否较低的认知功能信息。另外，在认知功能推测部19推测驾驶员的认知功能之前，由学习装置20生成机器学习模型203。
44.学习装置20包括获取部201、学习部202和机器学习模型203。获取部201获取作为机器学习模型203的输入的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。对获取部201获取的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量附加认知功能是否较低的正确信息。预先生成作为机器学习模型203的输入的附加了正确信息的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。获取部201获取这些预先生成的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。
另外，获取部201获取的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量的具体内容与车外信息特征量提取部15提取的车外信息特征量、脸部信息特征量提取部16提取的脸部信息特征量、生物信息特征量提取部17提取的生物信息特征量或车辆信息特征量提取部18提取的车辆信息特征量的具体内容相同。例如，管理员等对试验对象实施笔试，通过测量该试验对象的认知功能，来收集该试验对象的测试行驶数据。例如，管理员等可以使试验对象进行测试行驶，通过测量该试验对象的认知功能，来收集该试验对象的测试行驶数据。管理员等根据收集到的测试行驶数据，生成作为机器学习模型203的输入的附加了正确信息的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。另外，优选管理员等将具有各种水平的认知功能的一定数量的车辆的驾驶员设为试验对象。
45.例如，作为获取部201获取的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量，预先生成正常人驾驶车辆的情况下的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量、以及认知功能较低的人驾驶车辆的情况下的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。正常人驾驶车辆的情况下的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量中，附加有认知功能不低的意思的正确信息。另一方面，认知功能较低的人驾驶车辆的情况下的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量中，附加有认知功能较低的意思的正确信息。具体而言，例如，预先生成对车辆进行测试行驶的正常人以及认知功能较低的老年人进行该测试行驶时获取的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。另外，实施方式1中，正常人指具有恰当地驾驶车辆所需的认知功能的人。另一方面，认知功能较低的人指没有充分的认知功能来恰当地驾驶车辆的人。
46.对于正常人、以及老年人等认知功能较低的驾驶员进行测试行驶时所获取的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量，举出具体示例来说明。例如，设为在正常人进行测试行驶时，红绿灯变为红色。于是，正常人观察红灯，瞬时操作制动器，并使车辆停止。该情况下，生成是红灯的意思的信息，以作为车辆信息特征量。此外，生成变成红灯时的正常人的视线方向，以作为脸部信息特征量。此外，生成变为红灯后正常人是否操作制动器、以及变为红灯后到操作制动器为止的反应时间，以作为车辆信息特征量。然后，对这些车外信息特征量、脸部信息特征量以及车辆信息特征量附加认知功能不低的意思的正确信息。
47.另一方面，例如，设为在认知功能较低的老年人进行测试行驶时，红绿灯变为红色。于是，该老年人例如观察红灯，操作制动器并使车辆停止，但与到正常人操作制动器为止的时间相比，到操作制动器为止需要更长的时间。该情况下，生成是红灯的意思的信息，以作为车外信息特征量。此外，生成变成红灯时的老年人的视线方向，以作为脸部信息特征量。此外，生成变为红灯后老年人是否操作制动器、以及变为红灯后到操作制动器为止的反应时间，以作为车辆信息特征量。然后，对这些车外信息特征量、脸部信息特征量以及车辆信息特征量附加认知功能较低的意思的正确信息。
48.获取部201将获取到的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量输出到学习部202。
49.学习部202通过学习来生成机器学习模型203，该学习使用获取部201获取到的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。
50.另外，实施方式1中，如图1所示，设为学习装置20设置于认知功能推测装置1，但这仅是一个示例。学习装置20可以设置在认知功能推测装置1外部的认知功能推测装置1所能参照的场所，学习装置20也可以单独使用。
51.对实施方式1所涉及的认知功能推测装置1的动作进行说明。图3是用于说明实施方式1所涉及的认知功能推测装置1的动作的流程图。认知功能推测装置1进行信息获取处理，并获取各种信息(步骤st301)。具体而言，脸部信息获取部11从车内拍摄装置2获取车内拍摄图像，并基于车内拍摄图像，来获取与车辆的驾驶员的脸部有关的脸部信息。此外，生物信息获取部12从生物传感器3获取车辆的驾驶员的生物信息。车辆信息获取部13从车辆信息检测装置4获取与车辆有关的车辆信息。车外信息获取部14从车外拍摄装置5获取车外拍摄图像，并基于车外拍摄图像，来获取与车辆周边的状况有关的车外信息。脸部信息获取部11将获取到的脸部信息输出到脸部信息特征量提取部16。生物信息获取部12将获取到的是生物信息输出到生物信息特征量提取部17。车辆信息获取部13将获取到的车辆信息输出到车辆信息特征量提取部18。车外信息获取部14将获取到的车外信息输出到车外信息特征量提取部15。
52.车外信息特征量提取部15基于在步骤st301中由车外信息获取部14获取到的车外信息，来提取用于推测驾驶员的认知功能的车外信息特征量(步骤st302)。车外信息特征量提取部15将提取出的车外信息特征量输出到脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18以及认知功能推测部19。
53.认知功能推测装置1根据步骤st302中车外信息特征量提取部15提取出的车外信息特征量，来进行各种特征量提取处理(步骤st303)。具体而言，脸部信息特征量提取部16根据车外信息特征量提取部15提取出的车外信息特征量，基于脸部信息获取部11获取到的脸部信息，来提取用于推测驾驶员的认知功能的脸部信息特征量。此外，生物信息特征量提取部17根据车外信息特征量提取部15提取出的车外信息特征量，基于生物信息获取部12获取到的生物信息，来提取用于推测驾驶员的认知功能的生物信息特征量。车辆信息特征量提取部18根据车外信息特征量提取部15提取出的车外信息特征量，基于车辆信息获取部13获取到的车辆信息，来提取用于推测驾驶员的认知功能的车辆信息特征量。脸部信息特征量提取部16将提取出的脸部信息特征量输出到认知功能推测部19。此外，生物信息特征量提取部17将提取出的生物信息特征量输出到认知功能推测部19。车辆信息特征量提取部18将提取出的车辆信息特征量输出到认知功能推测部19。
54.认知功能推测装置1进行认知功能推测处理(步骤st304)。具体而言，认知功能推测部19基于步骤st302中车外信息特征量提取部15所提取出的车外信息特征量、与步骤st303中车辆信息特征量提取部18所提取出的车辆信息特征量、脸部信息特征量提取部16提取出的脸部信息特征量和生物信息特征量提取部17提取出的生物信息特征量中的至少1个、以及机器学习模型203，来推测驾驶员的认知功能是否较低。
55.图4是用于说明实施方式1所涉及的学习装置20的动作的流程图。
获取部201进行特征量获取处理(步骤st401)。具体而言，获取部201获取作为机器学习模型203的输入的附加有正确信息的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。获取部201将获取到的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量输出到学习部202。
56.学习部202通过学习来生成机器学习模型203(步骤st402)，该学习使用步骤st401中获取部201获取到的车外信息特征量、车辆信息特征量、脸部信息特征量或生物信息特征量。
57.如上所述，实施方式1所涉及的认知功能推测装置1提取用于推测驾驶员的认知功能下降的车外信息特征量，并基于提取出的车外信息特征量，来提取用于推测驾驶员的认知功能下降的脸部信息特征量、生物信息特征量或车辆信息特征量。然后，认知功能推测部1将提取出的车外信息特征量、脸部信息特征量、生物信息特征量或车辆信息特征量输入机器学习模型203，以得到表示驾驶员的认知功能是否较低的认知功能信息。由此，认知功能推测装置1能推测驾驶员是否能始终恰当地驾驶车辆的认知功能。
58.实施方式1所涉及的认知功能推测装置1中所得到的认知功能信息可以在各种场景下灵活运用。例如，设为车辆是即使人不进行驾驶操作也能自动行驶的自动驾驶车辆，且该认知功能推测装置1搭载于该自动驾驶车辆。该情况下，如果在认知功能推测装置1中得到驾驶员的认知功能较低的认知功能信息，则基于该认知功能信息，能进行使该驾驶员驾驶的车辆的制动器的效果更好、或使方向盘的操作的效果更好等的驾驶辅助。此外，例如，作为判断驾驶员是否能驾驶时的判断材料，医疗机构可以使用认知功能信息。此外，例如，认知功能降低的人有时通过驾驶来进行使该认知功能恢复的康复。如果在上述康复中使用的车辆中搭载认知功能推测装置1，则在该认知功能推测装置1中得到的认知功能信息可以有助于确认康复的成果。此外，例如，在认知功能推测装置1中得到驾驶员的认知功能较低的认知功能信息的情况下，也能基于该认知功能信息，从车辆向周围通知该车辆的驾驶员的认知功能较低的意思。具体而言，例如，认知功能推测装置1所具备的控制部(图示省略)向驾驶员的家属发送通知该驾驶员正在驾驶的邮件。此外，例如，控制部进行使危险信号灯点亮、或使喇叭鸣响的控制。
59.图5a、图5b是示出实施方式1所涉及的认知功能推测装置1的硬件结构的一个示例的图。实施方式1中，脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认知功能推测部19、获取部201、学习部202的功能由处理电路501来实现。即，认知功能推测装置1具备用于进行驾驶员的认知功能的推论的处理电路501。处理电路501可以如图5a所示那样是专用硬件，也可以如图5b所示那样是执行存储于存储器506的程序的cpu(central processing unit：中央处理单元)505。
60.在处理电路501是专用硬件的情况下，处理电路501例如与单一电路、复合电路、程序化后的处理器、并联程序化后的处理器、asic(application specific integrated circuit：专用集成电路)、fpga(field-programmable gate array：现场可编程门阵列)或它们的组合相对应。
61.在处理电路501为cpu505的情况下，脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认知功能推测部19、获取部201、学习部202的功能由软件、固件或软件和固件的组合来实现。即，脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认知功能推测部19、获取部201、学习部202由执行存储于hdd(hard disk drive：硬盘驱动器)502、存储器506等的程序的cpu505、系统lsi(large-scale integration：大规模集成电路)等的处理电路501来实现。此外，hdd502、存储器506等中所存储的程序也可以说是使计算机执行脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认知功能推测部19、获取部201、学习部202的步骤或方法的程序。此处，存储器506例如相当于ram(random access memory：随机存取存储器)、rom(read only memory：只读存储器)、闪存、eprom(erasable programmable read only memory：可擦除可编程只读存储器)、eeprom(electrically erasable programmable read only memory：电可擦可编程只读存储器)等非易失性或易失性的半导体存储器、或磁盘、软盘、光盘、压缩磁盘、微型磁盘、dvd(digital versatile disc：数字通用盘)等。
62.另外，对于脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认知功能推测部19、获取部201、学习部202的功能，可以由专用的硬件实现一部分，并由软件或固件实现一部分。例如，对于生物信息获取部12、车辆信息获取部13、车外信息获取部14，可以由作为专用硬件的处理电路501实现其功能，对于车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认知功能推测部19、获取部201、学习部202，可以由处理电路501读取并执行存储器506中所存储的程序来实现其功能。此外，机器学习模型203使用存储器506。另外，这是一个示例，机器学习模型203可以由hdd502、ssd(solid state drive：固态硬盘)或dvd等构成。此外，认知功能推测装置1具备与车内拍摄装置2、生物传感器3、车辆信息检测装置4或车外拍摄装置5等装置进行有线通信或无线通信的输入接口装置503和输出接口装置504。
63.如上所述，根据实施方式1，认知功能推测装置1包括：车外信息获取部14，该车外信息获取部14获取与车辆周边的状况有关的车外信息；脸部信息获取部11，该脸部信息获取部11获取与车辆的驾驶员的脸部有关的脸部信息；生物信息获取部12，该生物信息获取部12获取驾驶员的生物信息；车辆信息获取部13，该车辆信息获取部13获取与车辆有关的车辆信息；车外信息特征量提取部15，该车外信息特征量提取部15基于车外信息获取部14
获取到的车外信息，提取用于推测驾驶员的认知功能的车外信息特征量；脸部信息特征量提取部16，该脸部信息特征量提取部16根据车外信息特征量提取部15提取出的车外信息特征量，基于脸部信息获取部11获取到的脸部信息，提取用于推测驾驶员的认知功能的脸部信息特征量；生物信息特征量提取部17，该生物信息特征量提取部17根据车外信息特征量提取部15提取出的车外信息特征量，基于生物信息获取12部获取到的生物信息，提取用于推测驾驶员的认知功能的生物信息特征量；车辆信息特征量提取部18，该车辆信息特征量提取部18根据车外信息特征量提取部15提取出的车外信息特征量，基于车辆信息获取部13获取到的车辆信息，提取用于推测驾驶员的认知功能的车辆信息特征量；以及认知功能推测部19，该认知功能推测部19基于车外信息特征量提取部15提取出的车外信息特征量、与脸部信息特征量提取部16提取出的脸部信息特征量、生物信息特征量提取部17提取出的生物信息特征量和车辆信息特征量提取部18提取出的车辆信息特征量中的至少1个、以及机器学习模型203，来推测驾驶员的认知功能是否较低。因此，能推测驾驶员是否具有一定水平的认知功能。
64.此外，实施方式1所涉及的认知功能推测装置1除了上述结构以外，还构成为具备判定部191，该判定部191基于车外信息特征量、与脸部信息特征量、生物信息特征量和车辆信息特征量中的至少1个、以及机器学习模型203，在判定用期间持续判定是否推测为驾驶员的认知功能较低，在判定部191在判定用期间持续判定为驾驶员的认知功能被推测为较低的情况下，认知功能推测部19推测为驾驶员的认知功能较低。由此，认知功能推测装置1能防止瞬间推测为驾驶员的认知功能较低，能提高驾驶员的认知功能的推测精度。
65.以上的实施方式1中，设为认知功能推测装置1搭载于车辆，并设为脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认证功能推测部19和学习装置20设置于认知功能推测装置1。并不限于此，脸部信息获取部11、生物信息获取部12、车辆信息获取部13、车外信息获取部14、车外信息特征量提取部15、脸部信息特征量提取部16、生物信息特征量提取部17、车辆信息特征量提取部18、认证功能推测部19或学习装置20中，可以将一部分设置于车辆所搭载的车载装置，并将其他设置于经由网络连接到该车载装置的服务器，并利用车载装置和服务器来构成认知功能推测系统。
66.另外，本发明申请在其发明的范围内可以对实施方式的任意构成要素进行变形，或者省略实施方式的任意构成要素。工业上的实用性
67.本发明所涉及的认知功能推测装置构成为能推测驾驶员是否具有一定水平的认知功能，因此，能适用于推测车辆的驾驶员的认知功能的认知功能推测装置。标号说明
68.1 认知功能推测装置2 车内拍摄装置3 生物传感器4 车辆信息检测装置5 车外拍摄装置
11 脸部信息获取部12 生物信息获取部13 车辆信息获取部14 车外信息获取部15 车外信息特征量提取部16 脸部信息特征量提取部17 生物信息特征量提取部18 车辆信息特征量提取部19 认知功能推测部191 判定部20 学习装置201 获取部202 学习部203 机器学习模型501 处理电路502hdd503 输入接口装置504 输出接口装置505 cpu506 存储器。