关注对象共享装置、关注对象共享方法与流程

关注对象共享装置、关注对象共享方法
1.相关申请的交叉引用
2.本技术以2020年12月11日在日本技术的日本专利申请第2020－206064号作为基础，将基础申请的内容整体上通过参照引用至本技术。
技术领域
3.本公开涉及驾驶员对关于就坐于后部座位的人物所关心的车外的事物的信息进行共享的技术。


背景技术：

4.在专利文献1中公开了以下技术，即，基于驾驶员以外的乘员亦即同乘者做出特定的表情、动作、发出表示特定感情的语音、或者进行规定的指示操作，将车外相机的拍摄图像显示于驾驶员可视觉确认的显示器。显示于显示器的图像是车室外的存在于同乘者的视线方向上的被摄体的图像。这样，在专利文献1中，在专利文献1所公开的结构中，在显示器显示包含同乘者可能关心的被摄体的图像。
5.专利文献1：日本特开2014－96632号公报
6.作为车辆的利用方式，存在儿童就坐于设置于后部座位的儿童用座椅，而其监护人(例如父母)就坐于驾驶座的情况。儿童与大人相比可能对多样的物体感兴趣。而且，儿童针对感兴趣的事物，经常向作为驾驶员的监护人询问，或告诉监护人该事物的存在。
7.然而，由于作为驾驶员的监护人需要集中于驾驶，因此不总能够认真地对待儿童的询问。另外，驾驶员难以掌握就坐于后部座位的儿童在看什么。因此，即使在驾驶负荷较轻的情况下，驾驶员也难以进行贴近儿童的兴趣反应的应对。特别是，在儿童是还不能够将事物很好地语言化的年龄的情况、是词汇量较少的年龄的情况下，变得更加困难。
8.针对这样的课题，根据专利文献1所公开的技术，由于在显示器显示包含儿童可能感兴趣的被摄体的图像，因此驾驶员能够通过观看该图像，在一定程度上推测儿童对什么有兴趣。然而，在专利文献1所公开的结构中，仅显示图像。因此，父母为了针对儿童对车室外的事物的反应进行回应/共情，需要基于显示图像确定儿童可能着眼于的被摄体，并将该被摄体语言化而说话，对驾驶员的负担依然较大。此外，此处的驾驶员是指作为就坐于驾驶座的人物的驾驶座乘员。


技术实现要素：

9.本公开是基于该情况而完成的，其目的在于，提供驾驶座的乘员容易针对儿童对车室外的事物的反应进行回应的关注对象共享装置、关注对象共享方法。
10.用于实现该目的的关注对象共享装置是在设置有用于儿童就坐的座位亦即儿童用座椅的车辆中使用的关注对象共享装置，其中，具备：儿童信息获取部，作为表示就坐于儿童用座椅的儿童的状态的信息，根据在拍摄范围中包含儿童的至少面部的车室内相机的图像来获取儿童的视线方向；兴趣反应检测部，根据儿童的生物体信息、儿童的语音、以及
视线方向的至少任意一个，检测儿童对车室外的事物的兴趣反应；关注对象检测部，根据儿童信息获取部获取的视线方向、和安装于车辆以便拍摄车外的车外相机(28)的拍摄图像，检测儿童感兴趣的对象亦即关注对象；对象信息获取部，从配置于车辆的内部或者外部的数据库获取针对关注对象语言化后的信息；以及通知处理部，针对对象信息获取部获取的信息，使用与该信息对应的文本的显示以及语音输出的至少任意一方来向驾驶座乘员以及儿童的至少任意一方通知。
11.在上述结构中，根据儿童的视线信息，确定儿童关注的事物作为关注对象，并且获取针对该关注对象语言化的信息并向儿童或者驾驶座乘员的至少任意一方提供。此处，根据向作为驾驶座乘员的监护人通知关于关注对象的信息的结构，由于不仅通知图像还通知语言化后的信息，因此该监护人容易识别儿童在关注什么。因此，容易以儿童关注的事物为主题与儿童进行交谈。
12.另外，根据向儿童通知关于关注对象的信息的结构，由于也通知针对关注对象物语言化后的信息，因此容易基于该信息向驾驶座乘员传达自己在关注什么。其结果是，驾驶座乘员容易针对儿童的兴趣反应进行回应。
13.另外，用于实现上述目的的关注对象共享方法是用于监护人共享就坐于预先设定于车辆的儿童用座椅的儿童表现出兴趣的事物的由至少一个处理器执行的关注对象共享方法，其中，包含：根据在拍摄范围中包含就坐于儿童用座椅的儿童的至少面部的车室内相机的图像，获取儿童的视线方向；根据儿童的生物体信息、儿童的语音、以及视线方向的至少任意一个，检测儿童对车室外的事物的兴趣反应；根据获取的儿童的视线方向、和安装于车辆以便拍摄车外的车外相机的拍摄图像，检测儿童感兴趣的对象亦即关注对象；从配置于车辆的内部或者外部的数据库获取针对关注对象语言化后的信息；以及针对获取的关于关注对象的信息，使用与该信息对应的文本的显示以及语音输出的至少任意一方来向驾驶座乘员以及儿童的至少任意一方通知(s110、s111、s113)。
14.上述方法是由上述的关注对象共享装置执行的方法。根据上述的方法，可通过与关注对象共享装置相同的作用得到相同的效果。
15.此外，权利要求书中记载的括弧内的附图标记表示与作为一个方式而记载于后述的实施方式的具体机构的对应关系，并不限定本公开的技术范围。
附图说明
16.图1是表示关注对象共享系统的整体结构的一个例子的框图。
17.图2是表示车窗显示器的结构的一个例子的图。
18.图3是hcu的功能框图。
19.图4是用于对hcu的工作进行说明的流程图。
20.图5是表示关于关注对象物(狗)的通知图像的一个例子的图。
21.图6是表示关于关注对象物(车)的通知图像的一个例子的图。
22.图7是表示关于关注对象物(建筑物)的通知图像的一个例子的图。
23.图8是表示关于关注对象物(彩虹)的通知图像的一个例子的图。
具体实施方式
24.以下，使用附图，对本公开的实施方式进行说明。图1是表示应用了本公开所涉及的关注对象共享装置的关注对象共享系统sys的概略性的结构的一个例子的图。构成本公开的关注对象共享系统sys的要素的一部分或者全部搭载于车辆。关注对象共享系统sys所具备的功能要素的一部分也可以设置于车辆的外部。此外，关注对象共享系统sys在一个方面也能够理解为辅助儿童与作为驾驶员的监护人的交流的系统。因此，关注对象共享系统sys也能够称为交流辅助系统。
25.＜序言＞
26.本公开中的驾驶员是指就坐于驾驶座的人物，即驾驶座乘员。在驾驶员这一表述中，不限于实际实施驾驶操作的一部分或者全部的人物。驾驶员这一记载在自动驾驶中是指应当从自动驾驶系统接受驾驶操作的权限的人物。此处，作为一个例子，假定儿童乘坐于设置于后部座位的儿童座椅，并且就坐于后部座位的儿童的监护人作为驾驶员而就坐于驾驶座的情况，来对关注对象共享系统sys的工作进行说明。在监护人的概念中，除了包含儿童的母亲、父亲以外，还包含祖父母等亲属等。保姆也可以根据使用该系统的地域的习俗或者法律而包含于监护人中。
27.例如儿童座椅通过安全带、isofix等机构固定在位于驾驶座的后侧的座位等车辆所具备的后部座位中的规定位置。isofix是按iso13216－1：1999规定的结构，也被称为latch(lower anchors and tethers for children：儿童用下扣件和拴带)。此处的儿童座椅是指广义上的儿童用的乘员保护装置或者约束装置，能够包含用于调整就坐面的高度的增高座椅、幼儿座椅等。以下，将设置有儿童座椅的座位等儿童所就坐的座位记载为儿童用座椅。此外，例如在儿童的体型足够大的情况等满足可省略设置约束器具的条件的情况下，也可以不向儿童用座椅设置儿童座椅。儿童用座椅是儿童可就坐的座位即可，并不必须是儿童专用的。儿童用座椅有时也可以构成为大人也可就坐的座位。
28.另外，本公开的“自动驾驶”指示的等级例如相当于美国汽车工程师学会(sae international)定义的等级3，也可以为等级4以上。等级3是指在运行设计区域(odd：operational design domain)内系统执行全部的驾驶任务，另一方面，在紧急时操作权限从系统转移至用户的等级。odd例如是规定行驶位置为高速公路内等，可执行自动驾驶的条件的区域。在等级3下，要求在有来自系统的驾驶交替的请求的情况下，驾驶员能够迅速地应对。等级3相当于所谓的带条件的自动驾驶。等级4是除了无法应对的道路、极限环境等特定状况下以外，系统能够实施全部的驾驶任务的等级。等级5是在所有环境下系统能够实施全部的驾驶任务的等级。等级4以上的自动驾驶是指自动驾驶装置进行全部的驾驶任务的等级，即允许驾驶座乘员的睡眠的自动化等级。此外，等级2以下相当于驾驶员执行转向操纵以及加减速的至少一部分的驾驶任务的驾驶辅助等级。此处的系统是指包含关注对象共享系统sys的车载系统。
29.＜关于关注对象共享系统sys的结构＞
30.如图1所示，关注对象共享系统sys构成为包含控制显示器等hmi(human machine interface：人机接口)的工作的hcu(hmi control unit：hmi控制单元)1。hcu1相当于关注对象共享装置。
31.hcu1与驾驶员状态监视器(以下，dsm：driver status monitor)21等多样的车载
设备连接使用。例如hcu1与dsm21、驾驶员传感器22、驾驶员用麦克风23、输入装置24、儿童用相机25、儿童传感器26、儿童用麦克风27、车外相机28、以及定位器29连接。另外，hcu1也与通信装置31、仪表显示器32、中央显示器33、平视显示器(hud)34、后座显示器35、车窗显示器36、对话装置37、扬声器38等连接。
32.此外，hcu1也经由作为在车辆内构建的通信网络的车辆内网络nw，与省略图1中的图示的多样的传感器/设备连接。例如在hcu1中，构成为也能够经由车辆内网络nw与控制自动驾驶装置等车辆的行驶的计算机相互通信，可以被输入表示当前的车辆是否是自动驾驶模式的信号。另外，hcu1经由车辆内网络nw输入多样的车载传感器的检测结果等。作为车载传感器，例如可举出检测车速、加速度、转向操纵角、换档位置、加速器的踩下量、制动器的踩下量等的传感器。另外，在车载传感器中也包含检测停车制动器的工作状态、车辆的电源状态的传感器/开关等。
33.此外，hcu1和各种设备也可以通过专用线连接，也可以经由车辆内网络nw连接。另外，也可以在hcu1与车载设备之间夹有ecu(electronic control unit：电子控制单元)。
34.dsm21是根据用户的面部图像依次检测用户的状态的装置。dsm21例如包含近红外光源、近红外相机、以及控制它们的控制模块。dsm21在近红外相机朝向驾驶座的头枕所存在的方向的姿势下，例如设置于转向柱部的上表面、或者仪表盘的上表面等。dsm21通过近红外相机拍摄被近红外光源照射了近红外光的驾驶员的头部。通过控制模块对由近红外相机拍摄的拍摄图像进行图像分析。控制模块根据从近红外相机输入的拍摄图像，例如提取驾驶员的眼睛的开度等表示驾驶员的状态的信息亦即驾驶员状态信息。此外，构成dsm21的相机也可以是可见光相机。dsm21将从驾驶员的面部图像提取出的驾驶员状态信息输出至hcu1。
35.在驾驶员状态信息中，例如包含驾驶员的面部的方向、视线方向、眼睑的开度、瞳孔的开度、嘴的开度、姿势等。另外，dsm21也可以构成为根据面部的特征点的分布等，估计驾驶员的表情、感情等。作为基于图像分析的检测表情的方法，能够援用使用面部的特征点的分布模式、面部的肌肉的运动的方法等多样的方法，因此省略此处的详细说明。作为一个例子，能够采用检测多个种类的action unit(活动单元，以下，au)，并且根据每个au的检测量(分数)的模式来估计表情的方法等，该action unit被定义为根据解剖学的见解而与脸部的各肌肉建立对应的运动的单位。作为au，例如可举出眉毛下降、脸颊上升、嘴角上升、上唇上升等。
36.此外，dsm21也可以根据驾驶员的表情等，估计驾驶员的紧张程度。此外，也可以根据驾驶员的面部的颜色信息估计驾驶员的健康状态。在驾驶员的状态信息中，能够包含表情、感情、紧张程度、健康状态等。此外，也可以hcu1具备根据图像分析来检测驾驶员的状态的功能。在该情况下，dsm21构成为能够将驾驶员的面部图像输出至hcu1即可。dsm21与hcu1之间的功能配置能够适当地变更。
37.驾驶员传感器22是感测驾驶员的生物体信息的生物体传感器。驾驶员传感器22例如是感测脉搏的脉搏传感器。驾驶员传感器22也可以是将血压、心电位、心率、出汗量、体温、来自人体的散热量、呼吸的节奏、呼吸的深度、呼气成分、身体成分、姿势、身体动作、皮肤电活动、脸部肌肉的活动电位、以及末梢血流量的至少任意一个设为检测对象的传感器。末梢血流量例如是指指尖等末梢部的血流量。在生物体传感器中，包含温度传感器、脉搏传
感器、湿度传感器、心率传感器等。另外，在生物体信息的概念中，可以如上述那样包含多样的状态量。在hcu1，也可以连接有作为检测对象的生物体信息不同的多个种类的驾驶员传感器22。此外，上述的dsm21也能够在广义上包含于驾驶员传感器22。
38.驾驶员传感器22也可以内置于驾驶座的靠背部、头枕，也可以设置于方向盘。另外，通过朝向驾驶座收发作为探测波的毫米波来能够将检测驾驶员的心率、身体动作、姿势的毫米波雷达也包含于生物体传感器。驾驶员传感器22也可以是热成像相机。作为驾驶员传感器22，能够采用电波式的类型的传感器、使用红外线的类型的传感器等多样的检测原理的传感器。
39.此外，各种驾驶员传感器22的一部分或者全部也可以是佩戴于驾驶员的例如手臂等来使用的可穿戴设备。可穿戴设备能够采用腕带型、手表型、戒指型、眼镜型、耳机型等多样的形状的设备。作为驾驶员传感器22的可穿戴设备构成为能够经由搭载于车辆的通信装置31与hcu1相互通信。可穿戴设备和通信装置31的连接方式也可以是有线连接，也可以是无线连接。作为无线连接的方式，能够采用bluetooth(注册商标)、wi-fi(注册商标)等近距离无线通信标准。此外，作为生物体传感器，也能够采用检测由交感神经系统活动引起的皮肤电导(皮肤表面电位)变化的皮肤电活动(eda)传感器等。
40.驾驶员用麦克风23是将前部座位的乘员发出的语音等周围的声音转换为电信号并输入至hcu1的装置。驾驶员用麦克风23例如配置于转向柱盖的上表面、方向盘、仪表盘的中央部等，以便容易对驾驶员的说话语音进行收音。
41.输入装置24是用于接收驾驶员对hcu1的指示的操作部件。输入装置24也可以是设置于方向盘的辐条部的机械式开关(所谓的转向开关)，也可以是识别驾驶员的说话内容的语音输入装置。另外，输入装置24例如也可以是层叠于中央显示器33等设置于仪表盘的显示器的显示面板上的触摸面板。并且，输入装置24也可以是驾驶员的智能手机。例如，能够将驾驶员拥有的智能手机的触摸面板以及显示器援用为输入装置24。
42.儿童用相机25是拍摄就座于儿童用座椅的儿童的面部的相机。例如儿童用相机25安装于位于儿童用座椅的正面的前部座位的背面部。儿童用相机25也可以配置于车室内的棚顶部等，以便能够拍摄就坐于后部座位的儿童的面部。也可以将在拍摄范围中包含后部座位整体的相机援用为儿童用相机25。例如儿童用相机25也可以安装于棚顶部的中央部、挡风玻璃的上端部、高位仪表板等。儿童用相机25拍摄到的图像数据向hcu1输出。此外，在此处的图像数据的概念中也能够包含视频信号。儿童用相机25相当于车室内相机。
43.儿童传感器26是感测就坐于儿童用座椅的乘员(即儿童)的生物体信息的生物体传感器。儿童传感器26与驾驶员传感器22相同地，是将血压、心电位、心率、出汗量、体温等多样的状态量的至少一个作为检测对象的传感器。例如儿童传感器26是感测脉搏的脉搏传感器。在hcu1，也可以连接有作为检测对象的生物体信息不同的多个种类的儿童传感器26。在儿童的生物体信息中，与驾驶员的生物体信息相同地，可以包含多样的项目。
44.儿童传感器26例如内置于儿童用座椅。此外，儿童传感器26也可以是使用毫米波、红外线等来获取各种关键信息的非接触式的传感器。儿童传感器26也可以是热成像相机。此外，作为儿童传感器26，也可以是佩戴于儿童的例如手臂等来使用的可穿戴设备。作为儿童传感器26的可穿戴设备构成为能够经由搭载于车辆的通信装置31与hcu1相互通信即可。
45.儿童用麦克风27是将后部座位的乘员，特别是就坐于儿童用座椅的儿童发出的语
音转换为电信号并输入至hcu1的装置。儿童用麦克风27例如配置于位于儿童用座椅的正面的前部座位的背面部、车室内棚顶部的中央部等，以便容易对就坐于儿童用座椅的儿童的说话语音进行收音。儿童用麦克风27也可以设置于儿童座椅的头枕附近。
46.车外相机28是拍摄本车辆周边，并将该拍摄图像的数据输出至hcu1的车载相机。车外相机28至少具备透镜和图像传感器，以电子方式取得表示本车辆的周边的图像。车外相机28也可以为一台，也可以为多台。
47.例如在hcu1，连接有前方相机、后方相机、左侧方相机、以及右侧方相机作为车外相机28。前方相机是以规定的视角拍摄车辆前方的相机，例如安装于前格栅等本车辆的前端。后方相机是以规定的视角拍摄车辆后方的相机，例如配置于后车牌照附近、后车窗附近等车体背面部的规定位置。左侧方相机是拍摄本车辆的左侧方的相机，安装于左侧后视镜。右侧方相机是拍摄本车辆的右侧方的相机，安装于右侧后视镜。作为这些车外相机28的透镜，采用鱼眼透镜等广角透镜，各车外相机28具有180度以上的视角。因此，通过利用四个相机2，能够拍摄本车辆的整个周围(即360
°
)。
48.此外，上述的各相机2的安装位置能够适当地变更。前方相机也可以安装于车内后视镜、挡风玻璃的上端部等。左右的侧方相机也可以配置于a柱、b柱的根部附近。车外相机28也可以安装于车顶上，也可以安装于车室内的棚顶部。一部分或者全部的车外相机28例如也可以是后安装于车顶上、仪表板上、后部座位用的车门的窗框附近等的相机。车外相机28也可以是具备多个透镜和拍摄元件的组，而能够通过一台来进行360
°
拍摄的复眼相机。另外，关注对象共享系统sys也可以具备拍摄距离的范围不同的多个相机，作为车外相机28。例如，关注对象共享系统sys也可以具备用于拍摄近距离的近距离相机、和用于拍摄相对远方的望远相机，作为车外相机28。
49.定位器29是对本车辆的当前位置进行定位的装置。定位器29例如使用gnss接收机、惯性传感器、地图数据库(以下，db)来实现。gnss接收机是通过接收从构成gnss(global navigation satellite system：全球导航卫星系统)的定位卫星发送的导航信号，来依次(例如每100毫秒)检测该gnss接收机的当前位置的设备。定位器29通过将gnss接收机的定位结果和惯性传感器中的测量结果组合，来依次定位本车辆的位置。定位出的车辆位置向hcu1输出。另外，定位器29从地图db读取以当前位置为基准确定的规定范围的地图数据，并向hcu1提供。地图db也可以本地保存于车辆，也可以配置于云上。
50.通信装置31是用于与外部装置无线或者有线通信的装置。例如通信装置31按照bluetooth(注册商标)等标准，来与被带入车室内的智能手机4、可穿戴设备实施数据通信。智能手机4主要是驾驶员拥有的智能手机。另外，通信装置31例如构成为能够实施按照lte(long term evolution：长期演进)、4g、5g等标准的无线通信，与规定的服务器5实施数据通信。
51.例如如另外后述的那样，服务器5保存关于儿童有兴趣的车室外的物体亦即关注对象物的数据。另外，服务器5具备登记有关于多样的物体的说明信息的数据库等。服务器5构成为能够根据来自车辆的请求，发送关于通过hcu1检测到的儿童的关注对象物的说明信息。此外，服务器5也可以具有针对从车辆发送的关注对象物，获取互联网上的信息并返回给车辆的功能。服务器5也可以是web服务器。关于从车辆发送来的关注对象物的数据也可以是图像数据，在该情况下，服务器5构成为能够通过分析接收到的图像来获取将关注对象
物语言化后的文本数据作为检索词即可。
52.仪表显示器32是在仪表盘中配置于位于驾驶座的正面的区域的显示器。作为显示器，能够采用液晶显示器、有机el显示器等。中央显示器33是在仪表盘中配置于车宽方向中央附近的显示器。hud34是根据从hcu1、导航装置等输入的控制信号以及视频数据，通过向挡风玻璃的规定区域投射图像光，来映现出可被用户感知的虚像的设备。hud34显示与车辆的前方的风景重叠的图像。仪表显示器32、中央显示器33、以及hud34分别显示与从hcu1输入的信号对应的图像。仪表显示器32、中央显示器33、以及hud34相当于面向驾驶员的显示器。当然，副驾驶座的乘员也可视觉确认中央显示器33。因此，中央显示器33也能够理解为面向包含副驾驶座乘员的前部座位的乘员的显示器。
53.后座显示器35是面向后部座位的乘员，主要面向就坐于儿童用座椅的乘员的显示器。后座显示器35也被称为后方监视器。后座显示器35例如配置于位于儿童用座椅的正面的前部座位的背面部、车室内棚顶部等。后座显示器35也根据来自hcu1的输入信号工作。此外，此处作为一个例子，后座显示器35具备触摸面板，构成为能够在后座显示器35上接收儿童对显示画面的指示操作。
54.车窗显示器36是通过向车辆侧面的窗玻璃，特别是向与儿童用座椅相邻的侧车窗照射显示光，来在该窗玻璃显示图像的装置。例如如图2所示，车窗显示器36包含用于射出图像光的投影仪361、和屏幕362。屏幕362是用于将图像光向车室内反射的薄片状的结构，贴附于成为图像光的照射对象的窗玻璃61的车室内侧的面。也可以在投影仪361与屏幕362之间夹有用于放大反射的反射镜363。反射镜363优选为凹面镜，但也可以为平面镜。投影仪361、反射镜363配置于车顶部62的车室内侧的面，即车室内棚顶部。
55.对话装置37是与就坐于儿童用座椅的儿童、驾驶员等各种乘员进行对话的装置。对话装置37例如进行以下动作：识别儿童用麦克风27获取的儿童的语音数据、制作针对儿童的输入语音的回应、以及语音输出回应。对话装置37例如构成为使用人工智能来进行乘员的说话内容的识别以及回应的生成。也可以构成为服务器5经由通信装置31而实施说话内容的识别处理、回应的生成处理。对话装置37也可具备在后座显示器35显示规定的代理人(agent)的图像的功能。代理人例如是架空的人物、拟人化的动物等角色。代理人也可以是驾驶员预先设定的驾驶员的化身(avatar)等。
56.对话装置37可以在语音输出规定的消息的情况下，在后座显示器35显示代理人如同在说话一样活动的动画。此外，包含使用了代理人的动画的显示的对话装置37的工作由hcu1控制。另外，使用了代理人的动画的显示目的地不限于后座显示器35，也可以是车窗显示器36。
57.扬声器38使语音在车辆的车室内产生。作为语音输出的种类，存在读出规定的文本的语音消息、音乐、警报等。在语音这一表述中，也包含简单的声音。在车辆作为扬声器38设置有驾驶员用的扬声器38a、和儿童用的扬声器38b。驾驶员用的扬声器38a例如设置于仪表盘、驾驶座的头枕等。另外，儿童用的扬声器38b内置于儿童用座椅。儿童用的扬声器38b也可以设置于儿童用座椅附近的侧壁部、棚顶部。
58.＜关于hcu1的结构＞
59.hcu1是综合控制使用了显示器等的向用户的信息提示的计算机。hcu1构成为具备处理器11、ram(random access memory：随机存取存储器)12、储存器13、通信接口14(图中
的i/o)、以及将这些结构连接的总线等的计算机。
60.处理器11例如是cpu(central processing unit：中央处理器)等运算核心。处理器11通过对ram12的访问来执行各种处理。ram12是易失性的存储器。通信接口14是用于hcu1与其它装置通信的电路。通信接口14使用模拟电路元件、ic等实现即可。
61.储存器13是包含闪存等非易失性的存储介质的结构。在储存器13储存有用于使计算机作为hcu1发挥功能的程序亦即关注对象共享程序。处理器11执行关注对象共享程序相当于执行与关注对象共享程序对应的方法亦即关注对象共享方法。另外，在储存器13登记有表示车外相机28的车辆中的设置位置、儿童用座椅的位置、儿童用相机25的设置位置等的数据。
62.hcu1通过处理器11执行保存于储存器13的关注对象共享程序，从而提供图3所示的各功能部。即，hcu1具备儿童信息获取部f1、车外信息获取部f2、驾驶员信息获取部f3、以及车辆信息获取部f4。另外，hcu1具备兴趣反应检测部f5、对象物确定部f6、说明信息获取部f7、驾驶负荷估计部f8、通知控制部f9、记录处理部fa、以及兴趣对象管理部fb，作为功能部。通知控制部f9具备定时调停部f91、对象控制部f92，作为更详细的功能部。通知控制部f9相当于通知处理部。
63.儿童信息获取部f1从儿童用相机25、儿童传感器26获取与就坐于儿童用座椅的儿童的状态相关的多样的信息。例如儿童信息获取部f1通过分析从儿童用相机25提供的图像，来估计儿童的面部的方向、视线方向、眼睑的开度、瞳孔的开度、嘴的开度、姿势、身体动作等的至少一部分。在身体动作中，也包含将手指或者手朝向窗外的行为。儿童信息获取部f1也可以构成为根据来自儿童用相机25的图像中包含的面部的特征点的分布等，估计儿童的表情、感情等。此外，也可以构成为根据嘴周围的特征点的分布的时间序列变化模式来检测儿童有无说话。并且，也可以根据身体动作，主要根据胸部或者腹部的位置的变化模式，来估计呼吸的节奏。
64.此外，也可以儿童用相机25具备通过分析儿童用相机25的拍摄图像来估计儿童的状态的功能/处理模块。另外，也可以外部服务器具备上述的功能。在该情况下，通信装置31将儿童的图像数据发送至服务器5，并且在服务器5分析接收图像并将其结果返回给车辆。这样，用于实现本公开的结构的各种功能也可以分散配置于边缘和云。各种功能的配置方式能够适当地变更。
65.另外，儿童信息获取部f1从儿童传感器26获取脉搏信息等检测结果。当然，在儿童传感器26构成为能够检测脉搏数、血压、心电位、心率、出汗量、体温、散热量、呼吸的节奏、呼吸的深度、呼气成分、身体成分、姿势、身体动作等的情况下，儿童信息获取部f1也可以获取这些信息。
66.对儿童信息获取部f1获取的儿童的状态信息而言，赋予表示获取时刻的时间戳并保存于ram12。儿童信息获取部f1获取的儿童的状态量的信息被按照每个信息种类区分，例如在ram12保存一定时间。获取时刻不同的数据可按获取时刻的顺序排序保存，以使获取时刻为最新的数据为前端。数据的保存期间能够设为例如2分钟、5分钟等。
67.此外，儿童信息获取部f1针对脉搏数、眼睛的开度、心率、体温、皮表面电位等，根据最近规定时间的检测结果来计算各自的平常值。平常值例如能够设为最近规定时间以内的观测值的平均值、中值。例如儿童信息获取部f1针对脉搏数、眼睛的开度、面部的方向的
每一个，通过将最近1分钟以内的观测值平均来计算各状态量的平常值。这些平常值可用作用于检测儿童对某事物感兴趣而成为兴奋状态的判断基准。
68.此外，儿童信息获取部f1在儿童说话了的情况下，根据来自儿童用麦克风27的输入信号，检测儿童已说话的情况。另外，更优选儿童信息获取部f1在儿童说出某些话的情况下，获取表示其说话内容、声音的大小的信息。说话内容可通过语音识别处理确定。儿童信息获取部f1获取或者检测到的各种信息被兴趣反应检测部f5、对象物确定部f6利用。
69.车外信息获取部f2是从车外相机28、定位器29等获取车外的信息的结构。例如车外信息获取部f2依次获取车外相机28拍摄到的图像数据，并暂时保存于ram12等。图像数据的保存区域可构成为环形缓冲区。即，在保存量达到一定的上限值的情况下，从较早的数据开始依次删除并保存新数据。
70.车外信息获取部f2将从车外相机28输入的图像数据与拍摄时刻的车辆的位置信息、时刻信息建立对应并保存于ram12。此外，车外信息获取部f2也可以构成为通过分析从车外相机28输入的图像，来确定该图像内包含的被摄体的位置、种类。在物体的识别中，例如能够使用应用了深度学习的cnn(convolutional neural network：卷积神经网络)、dnn(deep neural network：深度神经网络)技术等。
71.另外，车外信息获取部f2从定位器29获取车辆周边的地图信息。即，获取存在于车辆周边的设施、地标等的信息。另外，在地图信息中，也包含当前行驶的道路的种类等道路构造所涉及的信息。道路的种类例如表示是一般道路还是高速公路等。另外，在道路构造所涉及的信息中，包含道路的曲率、存在于车辆的前方的分岔/汇流地点、路口、至信号灯的剩余距离等。
72.驾驶员信息获取部f3从dsm21、驾驶员传感器22获取与驾驶员的状态相关的多样的信息。驾驶员信息获取部f3相当于驾驶座乘员信息获取部。例如驾驶员信息获取部f3从dsm21获取驾驶员的面部的方向、视线方向、眼睑的开度、瞳孔的开度、嘴的开度、姿势等的至少一部分。另外，在dsm21构成为能够估计驾驶员的表情、紧张程度等的情况下，驾驶员信息获取部f3也可获取这些信息。此外，也可以构成为根据嘴周围的特征点的分布的时间序列变化模式来检测驾驶员有无说话。并且，也可以根据身体动作，主要根据胸部或者腹部的位置的变化模式，来估计驾驶员的呼吸的节奏。呼吸的节奏可将紧张程度、驾驶负荷作为估计材料。如上述那样，也可以是驾驶员信息获取部f3、服务器5具备dsm21所具备的功能即通过分析驾驶员的图像来估计驾驶员的状态的功能/处理模块。
73.车辆信息获取部f4也获取行驶用电源的状态(开/关)、车速、加速度、转向操纵角、加速器的踩下量、制动器的踩下量等。行驶用电源是用于车辆行驶的电源，在车辆为汽油车的情况下是指点火电源。在车辆为电动汽车、混合动力车等这样的电动车的情况下，行驶用电源是指系统主继电器。另外，车辆信息获取部f4从定位器29获取表示车辆的当前位置的信息。本车辆的位置信息可通过纬度、经度、高度等表现。
74.兴趣反应检测部f5根据儿童信息获取部f1获取的儿童的状态信息，判定儿童是否对车室外的某事物表现出兴趣。此处，也将儿童对车室外的某事物表现出兴趣记载为兴趣反应。判定为产生兴趣反应相当于检测到兴趣反应。作为儿童表现出兴趣的对象，除了建筑物、招牌等静止物以外，还假定行人、动物等移动体、景色等多样的事物。在此处的事物这一表述中，不仅包含静止物、移动体这样的物，还包含状况、状态、风景、体验等。
75.例如兴趣反应检测部f5在就坐于儿童用座椅的儿童持续观察相同的物体规定时间以上的情况下，判定为存在兴趣反应。在儿童持续观察相同的物体规定时间以上的情况中，除了视线方向为恒定方向规定时间的情况以外，还包含将视线方向向车辆的行进方向相反侧(例如后方)移动以便通过眼睛追逐关注物体的情况。
76.另外，兴趣反应检测部f5也可以在儿童为表示特定感情的表情的情况下，判定为存在兴趣反应。此处的特定感情包含感叹、惊叹等，更具体而言，包含吃惊、钦佩、笑脸等。进一步地，兴趣反应检测部f5也可以在检测到儿童以将面部朝向车室外的状态说话的情况下，判定为存在兴趣反应。此时，也可以根据儿童的声音的大小来评价兴趣的高低。另外，也可以根据儿童以将面部朝向车室外的状态反复说出相同的单词规定次数以上，来判定为表现出较高的兴趣反应。
77.此外，也可以根据儿童说出“快看”、“那是什么？”等向驾驶员提问那样的短语，来判定为存在兴趣反应。此外，也可以根据说出表示特定的动物或者状态的拟声语、拟态语、拟音语(所谓的象声词)，来检测兴趣反应。此外，也可以根据儿童进行了将手指或者手朝向窗外的动作，即进行了指示某事物的动作，来判定为存在兴趣反应。
78.此外，兴趣反应检测部f5也可以根据儿童的脉搏、心率、眼睛的开度等生物体信息，来检测儿童的兴趣反应。例如也可以根据脉搏变得比平常值快规定的阈值以上，来判定为存在兴趣反应。另外，也可以根据眼睛的开度比平常值增加规定值以上，来判定为存在兴趣反应。作为兴趣反应的检测材料，也能够使用体温的变化、呼吸的状态、身体成分等。此外，在呼吸的状态中，包含呼吸的速度、呼气成分等。这样，兴趣反应检测部f5也可以根据儿童为与平时不同的状态、为兴奋状态，来探测对某事物表现出兴趣关心的情况。
79.对象物确定部f6在兴趣反应检测部f5检测到儿童的兴趣反应的情况下，根据从该时刻起最近的规定追溯时间以内的儿童的视线方向，来确定儿童表现出兴趣的对象亦即关注对象物。在此处的关注对象物的概念中，包含设施、地标、招牌等静止物、行人等移动体、动物、状况(事件)、景色等。例如，不熟悉的建筑物、穿着玩偶服的人、狗、猫、消防车等紧急车辆、使用了受儿童欢迎的角色的商业招牌、企业的招牌等可成为关注对象物。对象物确定部f6相当于关注对象检测部。
80.对象物确定部f6例如在检测到兴趣反应的时刻、或者追溯时间以内，在车外相机28拍摄到的图像中将存在于儿童的视线方向上的被摄体确定为关注对象。此处的追溯时间能够设为200毫秒、500毫秒、1秒等。
81.此外，可基于根据儿童用相机25的图像确定的车室内的儿童的眼睛的位置、和以儿童的眼睛的位置为起点的视线方向，来计算针对车室外的儿童的视线方向。可根据儿童用相机25的设置位置以及姿势、和图像内的儿童的眼睛的位置，来计算车室内的儿童的眼睛的位置。另外，通过将针对车室外的儿童的视线方向与车体所朝向的方位角等信息组合，也可计算儿童将视线所朝向的绝对方向等。此处的绝对方向例如是与东西南北等规定的方位角对应的方向。
82.这样，通过比较在检测到兴趣反应的时刻或者其紧前获取以及保存的车外相机28的图像与儿童的视线方向，可自动地确定儿童所关注的对象物。
83.此外，此处作为一个例子，对象物确定部f6将关注对象物作为图像获取。当然，作为其它方式，对象物确定部f6也可以通过分析作为确定的关注对象物的被摄体的图像亦即
关注对象物图像，来确定该关注对象物的种类、名称等。对象物确定部f6获取的关注对象物的图像亦即关注对象图像输出至说明信息获取部f7。此外，对象物确定部f6在关注对象物的确定过程中，也获取从车辆或者驾驶座来看存在关注对象物的方向。关于存在关注对象物的方向的信息也输出至说明信息获取部f7、通知控制部f9。
84.说明信息获取部f7从配置于车辆内或者车辆外的辞典数据库获取关于对象物确定部f6确定的关注对象物的说明信息。辞典数据库是登记有关于多样的物体的说明信息的数据库。辞典数据库也可以搭载于车辆，也可以搭载于云上。辞典数据库也可以是web服务器等。说明信息获取部f7相当于对象信息获取部。
85.例如说明信息获取部f7通过向服务器5发送关注对象物图像，来从服务器5获取关于关注对象物的说明信息。此处的说明信息除了包含对象的名称以外，还包含对象的类别(大分类)、作用、背景、类似的事物等的至少一个。例如若关注对象物为建筑物，则其固有名称/一般名称、作用、高度、建造年份等包含于说明信息。另外，若关注对象物为动物，则狗、猫、鸟等这样的大分类、和更详细的种类的名称、大小、原产地、特征(性格)等包含于说明信息。若关注对象物为祭典等事件，则其名称、历史背景、举办时期等包含于说明信息。在关注对象物为彩虹等自然现象的情况下，其名称、产生原理等可成为说明信息。在关注对象物为救护车、工程车辆等车辆的情况下，其名称、职责、特征等包含于说明信息。在关注对象物为企业、店铺的招牌的情况下，除了该企业/店铺的名称以外，提供服务的种类、创立年份、代表商品等也可包含于说明信息。说明信息主要能够设为图鉴、辞典、指南等上刊登的信息。
86.服务器5根据来自说明信息获取部f7的询问，通过分析关注对象物图像来确定关注对象物的名称，并且也获取该关注对象物所涉及的名称以外的信息。名称以外的信息也可以通过将该名称作为检索关键词进行互联网检索来取得，也可以通过参照服务器5自身保有的辞典数据库来取得。然后服务器5将以关注对象物的名称作为检索关键词而收集到的信息作为说明信息返回给车辆。根据这样的结构，即使车辆不具备收录了庞大的数据的数据库，说明信息获取部f7也能够获取关于多样的关注对象物的信息。
87.此外，说明信息获取部f7也可以通过分析关注对象物图像来确定该关注对象物的种类、名称等。在该情况下，将关注对象物的名称作为检索关键词，从配置于车辆内或者车辆外的数据库获取该关注对象物的职责、背景等补充信息。说明信息获取部f7获取的信息与对象物图像建立对应并暂时保存于ram12等。该数据集被通知控制部f9、记录处理部fa参照。
88.驾驶负荷估计部f8根据驾驶员的状态信息、车辆的行驶环境、以及是否在自动驾驶中的至少任意一个，来判定驾驶员的驾驶负荷是否为较高的状态。作为驾驶员的状态信息，可使用驾驶员信息获取部f3获取/检测到的信息。作为行驶环境信息，可使用车辆信息获取部f4或者车外信息获取部f2获取的车辆周边的信息。是否在自动驾驶中可经由车辆内网络nw从自动驾驶装置输入。此外，也可以从自动驾驶装置输入表示自动驾驶的等级即表示相当于等级0～5的哪一个的信号。
89.驾驶负荷估计部f8例如在为等级3以上的自动驾驶中，并且至移交的剩余时间为规定的阈值以上的情况下，判定为驾驶负荷不高。此外，移交相当于从系统对驾驶座乘员转移驾驶操作的权限。另一方面，即使在自动驾驶中，在系统向驾驶员请求移交的情况等下，可判断为驾驶员的驾驶负荷较高。
90.另外，驾驶负荷估计部f8也可以根据驾驶员的脉搏、呼吸的间隔及深度、皮肤电活动、脸部肌肉的活动电位、末梢血流量等生物体信息，来判定驾驶负荷是否较高。例如在脉搏、呼吸比平常值快规定值以上的情况等表示驾驶员为紧张状态的情况下，可判断为驾驶负荷较高。驾驶员的紧张状态能够根据握持方向盘的强度、姿势、皮肤电活动、眨眼的间隔、末梢血流量等多样的生物体信息来估计。作为紧张状态、驾驶负荷的判定方法，能够援用多样的方法。
91.此外，驾驶负荷估计部f8也可以根据在高速公路的分岔/汇流地点、路口附近行驶中、为车道变更中，来判断为驾驶负荷较高。路口附近例如能够设为至路口的剩余距离为50m以内的区间等。另外，在路口附近中，也包含路口的内部。此外，也可以根据行驶于能见度较差的路口、行人的突然出现较多的道路、交通事故多发的区间，来判断为驾驶负荷较高。可从定位器29或者地图服务器获取能见度较差的路口、行人的突然出现较多的道路、交通事故多发的区间等信息作为地图数据。
92.此外，是否在高速公路的分岔/汇流地点、路口附近行驶中、是否在计划车道变更中等相当于行驶环境的安全等级的指标。上述的结构相当于基于行驶环境的安全等级，换言之基于根据行驶环境确定的潜在风险的大小，来评价驾驶员的驾驶负荷的结构。作为用于判断为驾驶负荷较高的判断材料/判断条件，能够采用多样的信息/条件。
93.通知控制部f9是控制关于说明信息获取部f7获取的关注对象物的信息所涉及的通知的结构。例如通知控制部f9根据驾驶负荷估计部f8的判定结果，综合控制设为通知对象的人物/座位、关注对象物所涉及的图像的显示定时、语音输出的定时、图像显示的情况的输出目的地等。对关注对象物所涉及的图像的显示、语音输出的定时进行调停的功能部相当于定时调停部f91。另外，调整关注对象物所涉及的图像的显示目的地、语音输出目的地对应于选定设为关注对象物所涉及的信息的通知对象的乘员。这是由于，作为关注对象物所涉及的图像的显示目的地而除去仪表显示器32、hud34等面向驾驶员的显示器，相当于从图像信息的提示对象中除去驾驶员。调整关注对象物所涉及的图像的显示目的地、语音输出目的地的功能部相当于对象控制部f92。作为一个控制方式，通知控制部f9也可以构成为在由兴趣反应检测部f5检测到儿童的兴趣反应的情况下，在hud352显示表示儿童表现出兴趣反应的图标图像。关于通知控制部f9的详细内容另外后述。
94.记录处理部fa将关于说明信息获取部f7获取的关注对象物的数据与表现出兴趣反应的时刻下的位置信息建立对应并保存于规定的存储介质。设为数据的保存目的地的设备(所谓的保存设备)也可以是驾驶员的智能手机4、服务器5等外部设备，也可以是储存器13等内部设备。此外，设为记录对象的数据亦即记录数据优选包含关注对象物的图像数据。记录数据中包含的图像数据也可以是静止图像也可以是视频。另外，在记录数据中也可以包含有分析该图像而确定的说明信息的文本数据。在记录数据中，也可以不是与检测到兴趣反应的时刻下的车辆的位置信息，而是与存在关注对象物的方向、关注对象物的位置信息、检测时刻信息建立对应并保存。另外，记录数据也可以包含观察关注对象物时的儿童的图像数据。此外，记录数据也可以包含以检测到兴趣反应的时刻为基准确定的规定时间以内的车内的语音数据。
95.此外，在将上述数据的保存目的地设为服务器5的情况下，优选构成为能够从驾驶员、祖父母等拥有的智能手机等参照保存于服务器5的数据。根据该结构，能够与分开居住
的家人也共享儿童感兴趣的事物。在产生将兴趣反应的检测作为触发的数据保存的情况下，hcu1或者服务器5也可以向预先登记的设备通知产生了记录数据的更新。上述的共享处理也可以通过与社交网络服务(sns：social networking service)的协作来实现。
96.如上述那样，通过记录处理部fa将关于关注对象物的数据与各种信息建立对应并保存，能够在之后参照记录对象物的数据。其结果是，监护人例如在驾驶的休息中、回到自己家后，容易参照关于关注对象物的记录数据并且与儿童针对儿童看到了什么进行交谈。另外，具有以下优点，即，通过在之后观察儿童所关注的事物，监护人也能够感受儿童的成长。
97.兴趣对象管理部fb是根据过去检测到的关注对象物的种类等信息，确定儿童感兴趣的事物的类别亦即兴趣对象类别的结构。作为兴趣对象类别，假定交通工具、动物、建筑物、招牌、植物、角色、时尚等。角色也可以通过动画的名称等更详细地区分。关于交通工具等，也可以通过是四轮车、两轮车、还是电车等来进行细分。关于时尚，也可以细分为衣服、发型等。动物也可以细分为狗、猫、鸟等。
98.在hcu1构成为能够确定儿童感兴趣的类别亦即兴趣对象类别的情况下，在属于兴趣对象类别的事物被车外相机28拍摄到的情况下，也可以调整用于检测儿童的兴趣反应的阈值。例如，在属于兴趣对象类别的事物被车外相机28拍摄到的情况下，也可以降低用于检测儿童的兴趣反应的阈值。
99.＜关于hcu1的工作例＞
100.此处，使用图4，对hcu1执行的交流辅助处理进行说明。此处作为一个例子，交流辅助处理具备步骤s101～s115。当然，构成交流辅助处理的步骤的数量、处理顺序能够适当地变更。
101.图4所示的交流辅助处理在产生规定的开始事件时开始。作为开始事件，例如能够采用车辆的点火开关接通、车辆的行驶开始、输入来自驾驶员的开始指示等。此外，交流辅助处理也可以将由兴趣反应检测部f5检测到就坐于儿童用座椅的儿童的兴趣反应作为触发而开始。在该情况下，步骤s101～s104可作为独立于交流辅助处理的处理来依次执行。
102.首先，在步骤s101中，hcu1从连接于hcu1的多样的设备取得处理上所需的信息，并移至步骤s102。例如儿童信息获取部f1从儿童传感器26等获取儿童的生物体信息。车外信息获取部f2从车外相机28等获取与车外的环境相关的信息。驾驶员信息获取部f3从dsm21、驾驶员传感器22等获取驾驶员的生物体信息。另外，车辆信息获取部f4从车辆内网络nw、定位器29等获取与车辆的当前位置、行驶速度等相关的信息。在步骤s101中获取的各种信息与表示获取时刻的信息一起保存于ram12等规定的存储器。这样的步骤s101能够称为信息获取步骤以及信息获取处理。此外，信息获取步骤可在步骤s102及以后例如以100毫秒、200毫秒、500毫秒等规定的周期依次执行。
103.在步骤s102中，驾驶负荷估计部f8根据驾驶员信息获取部f3获取的驾驶员的生物体信息，例如通过上述的算法判定是否为驾驶员的驾驶负荷较高的状态，移至步骤s103。此外，驾驶员的驾驶负荷所涉及的判定结果也可以通过多个阶段的等级值来表现。在该情况下，判定值为规定的阈值以上的状态对应于驾驶负荷较高的状态。另外，是否处于驾驶员的驾驶负荷较高的状态也可以通过标志来管理。例如可在驾驶负荷较高的情况下，驾驶负荷标志设定为1(on)，另一方面，在驾驶负荷不高的情况下，驾驶负荷标志设定为0(off)。若步
骤s102完成，则移至步骤s103。这样的步骤s102能够称为驾驶员状态估计步骤。
104.在步骤s103中，兴趣反应检测部f5根据儿童信息获取部f1获取的最近规定时间以内的儿童的生物体信息，来判定儿童是否表现出兴趣反应。在存在兴趣反应的情况下对步骤s104进行肯定判定并移至步骤s105移。另一方面，在没有兴趣反应的情况下，在步骤s115中判定是否满足规定的结束条件。步骤s103～s104的处理能够称为兴趣反应检测步骤。
105.在步骤s105中，对象物确定部f6根据儿童的视线方向以及儿童的眼睛的位置，估计从车辆观察而存在关注对象物的方向。然后，从车外相机28的图像数据中包含的被摄体中，提取存在于关注对象物的估计方向的事物作为关注对象物，并移至步骤s106。这样的步骤s105能够称为关注对象物确定步骤。
106.在步骤s106中，对象物确定部f6从车外相机28的拍摄图像提取拍摄有关注对象物的图像部分作为关注对象物图像，并移至步骤s107。这样的步骤s106能够称为关注对象物图像获取步骤。
107.在步骤s107中，说明信息获取部f7与通信装置31协作，通过访问服务器5等、互联网等来获取关于关注对象物的说明信息，并移至步骤s108。此外，说明信息是通过文本或者语音数据等将关注对象物的特征、职责、名称等语言化后的数据。这样的步骤s107能够称为说明信息获取步骤。
108.在步骤s108中，判定是否判定为是驾驶负荷较高的状态。在步骤s108中使用的驾驶负荷所涉及的信息能够挪用步骤s102中的判定结果。在驾驶负荷较高的情况下对步骤s108进行肯定判定，并移至步骤s109。另一方面，在不是驾驶负荷较高的状态的情况下对步骤s108进行否定判定，并移至步骤s111。此外，作为hcu1的动作模式，也可以具备代替驾驶员而系统自动回应的代理回应模式。hcu1也可以构成为在被驾驶员的操作设定为代理回应模式的情况下，与驾驶负荷的判定值无关地移至步骤s109。
109.在步骤s109中，通知控制部f9从关注对象物所涉及的信息的通知对象中除去驾驶员。例如，将关注对象物所涉及的信息的通知对象仅设定为儿童。在副驾驶座也乘坐有乘员的情况下，也可以将关注对象物所涉及的信息的通知对象设定为儿童和副驾驶座乘员。能够根据设置于副驾驶座的就坐传感器的检测信号来确定副驾驶座是否乘坐有人。
110.此处的关注对象物所涉及的信息是关注对象物的图像、说明信息。说明信息也可以如上述那样通过文本、图标等的图像输出，也可以作为语音消息输出。在关于关注对象物的图像中，除了关注对象物本身的图像以外，还包含说明信息的文本图像。关注对象物所涉及的信息可使用图像显示和语音输出的至少任意一方来实现。
111.此外，将儿童包含于通知对象相当于采用后座显示器35、车窗显示器36、以及扬声器38b的至少任意一个作为通知设备。此处的通知设备是指通过图像或者语音输出关注对象物所涉及的信息的设备。另外，将驾驶员包含于通知对象相当于采用仪表显示器32、中央显示器33、hud34、以及扬声器38a的至少任意一个作为通知设备。将副驾驶座乘员包含于通知对象相当于采用中央显示器33以及扬声器38a的至少任意一个作为通知设备。此外，在关注对象共享系统sys具备设置于副驾驶座的正面的显示器亦即副驾驶座用显示器的情况下，也能够采用副驾驶座用显示器作为副驾驶座乘员用的通知设备。副驾驶座用显示器也可以是从仪表盘的右端至左端连续设置的显示器的一部分。
112.当然，图像显示的通知对象和语音输出下的通知对象也可以分别设定。也可以控
制为对儿童通过图像和语音两方进行通知，另一方面，对驾驶员仅通过语音进行通知。若步骤s109中的通知对象的选择处理完成，则移至步骤s110。
113.在步骤s110中，通知控制部f9在后座显示器35以及车窗显示器36的至少任意一方显示关注对象物的图像以及其说明信息，并且使与该说明信息对应的语音从扬声器38b输出。假设在步骤s104中检测到的兴趣反应的内容是儿童向驾驶员针对关注对象物提问的类型的情况下，作为该步骤s110的系统回应相当于系统代替驾驶员进行回应的处理亦即代理回应处理。代理回应处理在一个方面也能够理解为控制对话装置37的动作的处理。
114.这样，在驾驶员的驾驶负荷较高的情况下，通过系统代替驾驶员迅速地进行回应，能够在儿童失去针对关注对象物的兴趣前提示关于关注对象物的说明信息。另外，作为驾驶员，由于立即回应儿童的询问等的必要性减少，因此能够集中于驾驶操作。
115.此外，在步骤s110中，也可以使对话装置37启动，构建能够针对儿童的追加的提问进行回应的系统状态。根据这样的结构，系统能够继续回应儿童对提示的说明信息的疑问等。对话装置37和儿童的交互可使用代理人图像来实施。若步骤s110完成，则移至步骤s114。
116.在步骤s111中，在面向驾驶座的显示器、面向儿童的显示器显示关于关注对象物的信息，并移至步骤s112。此外，在显示于各种显示器时，也可以使规定的效果音从各扬声器38输出，以便驾驶员、儿童容易注意到进行了图像显示。
117.在步骤s112中，判定在从步骤s111中的图像显示起规定的回应待机时间以内，驾驶员是否已说话。该步骤s112相当于判定驾驶员是否针对儿童的兴趣反应进行了某种回应的处理。回应待机时间例如能够设为4秒、6秒等。在回应待机时间内检测到驾驶员的说话的情况下，视作驾驶员针对儿童的兴趣反应进行了回应，省略语音输出并移至步骤s114。另一方面，在从步骤s111中的图像显示开始起经过回应待机时间也未检测到驾驶员的说话的情况下，视作驾驶员难以针对儿童的兴趣反应进行回应，移至步骤s113。在步骤s113中，对关于关注对象物的说明信息进行语音输出，并移至步骤s114。步骤s110、s111、s113由于向驾驶员以及儿童的至少任意一方提示针对关注对象语言化后的信息，因此能够称为通知处理步骤。
118.在步骤s114中，记录处理部fa将关于关注对象物的图像数据与位置信息、车室内的语音数据、时刻信息等建立对应并保存于规定的记录装置，并移至步骤s115。
119.在步骤s115中，判定是否满足规定的结束条件。作为结束条件，例如可举出车辆的行驶用电源断开、到达目的地、驾驶员发出了结束指示等。在满足结束条件的情况(s115“是”)下，本处理结束。
120.＜关于关注对象物的通知图像的显示例＞
121.此处，使用图5～图8，对表示关于关注对象物的信息的显示图像的一个例子进行说明。
122.此外，在向驾驶员提供的关于关注对象物的通知图像中，优选包含对象物确定部f6检测到关注对象物的方向、是否还能够通过车外相机28捕捉到关注对象物这样的表示关注对象的位置的对象位置信息图像pd。对象位置信息图像pd可由文本或者图标等构成。通过提示对象位置信息图像pd，驾驶员容易通过自己的眼睛观察来确认关注对象物。另外，通过提示表示是否还能够通过车外相机28拍摄的信息，能够抑制寻找伴随着车辆以及关注对
象物的至少任意一方的移动而已经不可见的事物的情况。
123.图5是模拟关注对象物例如是人行道上散步的狗的情况的通知图像px的图。如图5所示，关注对象物为狗的情况的通知图像px除了包含关注对象物本身的图像pi以外，还包含名称(犬种)、原产国、性格等的文本图像pt。另外，图6是模拟关注对象物是在相邻车道行驶的其他车辆的情况的通知图像px的图。如图6所示，关注对象物为车的情况的通知图像px除了包含关注对象物本身的图像pi以外，还包含名称(车型)、制造者(所谓的制造商)、特征等的文本图像pt。车辆的特征是指是电动汽车还是发动机车、尺寸、行驶性能等。
124.如图7所示，关注对象物例如为塔等建筑物的情况的通知图像px除了包含关注对象物本身的图像pi以外，还包含建筑物的名称、作用、建造年份、高度等的文本图像pt。建筑物的作用例如包含进行电视、收音机等的广播波的发送的电波塔、复合商业设施、政府机关、工厂、学校、住宅等。作用也能够称为提供服务、属性。此外，也可以通过能够触摸选择来自其它的角度的照片、例如夜间等与当前不同的时间段的外观照片pj的方式来显示作为地标的建筑物的通知图像px。
125.图8是模拟关注对象物为彩虹的情况的通知图像px的图。如图8所示，关注对象物为彩虹等自然现象的情况的通知图像px除了包含关注对象物本身的图像pi以外，还包含表示产生理由、特征等的文本图像pt。此外，彩虹的特征包含例如最外侧的颜色为红和紫等关于颜色的层次的信息。
126.此外，通知控制部f9也可以显示与关注对象物相关的视频内容或者视频内容的列表，作为通知图像px。例如在关注对象物是某动画的角色的情况下，也可以显示该动画的视频等内容。
127.＜效果＞
128.在上述的结构中，hcu1针对儿童表现出兴趣的关注对象物，不仅向驾驶员提示其图像，还向驾驶员提示将关注对象物的名称等语言化后的说明信息。根据这样的结构，驾驶员容易识别儿童关注了什么。其结果是，驾驶员容易针对儿童的兴趣反应，进行贴近儿童的反应的应对。
129.另外，在上述内容中作为一个例子，在判定为驾驶员的驾驶负荷较高的情况下，不等待驾驶员对儿童的兴趣反应的回应，而系统进行针对儿童的提问等的回应。根据该结构，驾驶员容易集中于驾驶。另外，儿童能够从系统获取想知道的信息。此外，对儿童而言，由于系统针对自己表现出兴趣的事物进行回应，因此能够减少对移动时间感到无聊的担忧。
130.另外，在上述结构中作为一个例子，即使在向驾驶员通过图像以及语音通知关于关注对象物的信息的情况下，根据从进行图像显示起经过了规定的回应待机时间，来进行说明信息的语音输出。这样，通过在图像显示与语音输出之间设置时间差，作为驾驶员的监护人自身容易对儿童的兴趣反应进行回应。由此，能够期待作为驾驶员的监护人与儿童的交流变得活跃的效果。另外，在上述结构中，在从在驾驶员用的显示器进行图像显示起经过规定的回应待机时间还未检测到驾驶员的说话的情况下，系统代理地进行回应。根据上述结构，由于监护人和系统的至少任意一方对自身的兴趣进行回应，因此儿童容易享受移动时间。
131.此外，在上述结构中，将儿童的表现出兴趣的事物与位置信息等建立对应并记录。由此，即使在驾驶员不能够在检测到兴趣反应的紧后确定儿童对什么表现出兴趣的情况
下，也能够在之后确定。例如，在经过关注对象物后，也能够通过观察该关注对象物的图像，来确定儿童感兴趣的事物。另外，例如在驾驶结束后、回家后等，也能够回看关注对象物的图像。此外，关注对象物的数据构成为与服务器5等协作而分开生活的家人也能够参照。因此，驾驶员以外的家人、亲属容易共享儿童感兴趣的事物。
132.在上述结构中作为一个例子，通过图像或者语音向驾驶员通知关注对象物的种类和其存在方向。根据该结构，驾驶员即使在驾驶中也容易在车室外视觉确认儿童关注的物体。另外，根据上述结构，驾驶员等监护人容易根据儿童的关注对象物的变化来注意到儿童的成长。因此，根据上述结构，也能够将移动时间利用为监护人了解儿童的成长的机会。
133.并且，检测为关注对象物的事物不限定于例如设施、地标等登记于地图数据的地图要素。行人、汽车、电车、动物、彩虹等多样的事物也被检测为关注对象物。然后，从互联网等获取关于该检测到的关注对象物的说明信息并提示给儿童以及驾驶员的至少任意一方。根据这样的结构，由于能够积极地获取关于自己感兴趣的多样的事物的信息，因此儿童在移动时间中也能够学习各种事物。
134.另外，根据上述结构，儿童能够将数据库上的知识与现实世界具体地结合并学习。实际通过自己的眼睛观察而获得的知识、其记忆与从教科书等获得的信息相比更容易记住。因此，根据上述的结构，能够使用到补习班、学校的移动时间来高效地获取知识。即，能够将移动时间利用为获取知识的机会。特别是，在儿童上多个补习班的情况下，有效活用移动时间对儿童、以及陪伴儿童的监护人而言可能很重要。针对这样的情况，根据本公开的结构，具有容易将移动时间活用为知识获取、亲子交流的机会这一优点。
135.此外，在上述的结构中作为一个例子，与关注对象物的图像一起保存表示车内的交谈的语音数据等。根据该结构，能够在日后播放关于关注对象物的车内的交谈。
136.根据上述结构，通过辅助驾驶期间的儿童与作为驾驶员的监护人的交流，能够使车辆中的移动时间更愉快。另外，较小的儿童有时可能会因未得到来自父母的反应而发出较大的声音或哭泣。若儿童发脾气，则作为结果，驾驶员的驾驶负荷可能增加。根据本公开的结构，通过使驾驶期间的儿童与监护人的交流顺畅，能够减少儿童发脾气的担忧，作为其结果，也能够期待抑制驾驶负荷增加的效果。
137.以上，对本公开的实施方式进行了说明，但本公开不限定于上述的实施方式，以下叙述的各种补充、变形例也包含于本公开的技术范围，并且在下述内容以外也能够在不脱离主旨的范围内进行各种变更并实施。例如，各种变形例能够在不产生技术矛盾的范围内适当地组合并实施。此外，对于在上述的实施方式中叙述的部件具有相同的功能的部件标记相同的附图标记，而省略其说明。另外，在仅提及结构的一部分的情况下，关于其它部分能够应用先前说明的实施方式的结构。
138.＜向儿童的通知内容的控制例＞
139.也可以根据儿童的年龄、知识水平、能力水平，来变更向儿童通知的信息的量、种类、表现方法等。例如，在儿童为还无法阅读母语的文字的年龄的情况下也可以将母语的文本与语音作为一组来输出。根据该结构，能够期待加快母语的文字的习得的效果。另外，在儿童为可在一定程度上阅读母语的文字的年龄的情况下，也可以将母语的文本与其它语言的译文作为一组来输出。根据该结构，能够确定学习母语以外的语言的效果。
140.另外，也可以根据乘车中的儿童的苏醒度、姿势、乘车时间等，来变更向儿童通知
的信息的量、种类、表现方法等。也可以在儿童困倦的状态下，与苏醒的状态相比减少信息量。或者，也可以减少文字量并增加图像。根据该结构，能够减少因过多的信息而烦扰儿童的担忧。另外，在儿童的乘车姿势不正的情况下，儿童疲惫的可能性较高。因此，也可以在儿童的乘车姿势不正的情况下，与儿童的乘车姿势并未不正的情况相比减少提示的信息量。此外，也可以构成为从乘车起的经过时间(即乘车时间)越长，则越减少信息量。此外，在假设向儿童提示关注对象物所涉及的视频内容的列表的结构中，也可以构成为限缩为播放时间比到达至目的地的剩余时间短的内容来向儿童提示。
141.也可以构成为驾驶员能够经由规定的设定画面设定后座显示器35等向儿童通知的信息的量、种类。此外，儿童的年龄等信息也可以由驾驶员经由设定画面等手动输入，也可以由hcu1根据儿童用相机25等的图像估计。
142.另外，也可以根据是否基于儿童说出了“那是什么？”这样的多个单词组合而成的短语亦即复合语短语而检测到兴趣反应，来变更向儿童的通知内容的信息量等。由于能够说出复合语短语意味着能够期待记得相应的词语，因此也可以通知更详细的说明信息。另一方面，在根据复合语短语以外的说话而检测到兴趣反应的情况下，也可以通知内容保持为相对简单的信息。这样，也可以根据作为兴趣反应的检测触发而使用的说话内容，来使向儿童通知的信息量增减。
143.另外，也可以根据是否使用儿童的说话语音检测到兴趣反应，来控制向儿童通知的信息。例如关于在儿童没有说话的状态下检测到的关注对象物的信息也可以保留为图像显示。这是由于，在不伴随儿童的说话的情况下，误检测的担忧相对较高，而存在若进行语音输出则烦扰包含儿童的用户的担忧。根据上述结构，在误检测的担忧相对较高的情况下，能够通过省略语音输出来减少烦扰用户的担忧。
144.此外，hcu1也可以构成为根据注视相同物的时间的长度、说话内容、心率等生物体信息所示的兴奋程度等，来评价关注程度，在关注程度为规定的阈值以下的情况下，省略关于关注对象物的语音输出。根据该结构，也能够减少对关于没有兴趣的事物或兴趣较弱的事物的信息进行语音输出的担忧。另外，作为其结果，能够减少烦扰用户的担忧。
145.＜向驾驶员的通知内容的控制例＞
146.hcu1也可以在未检测到兴趣反应的情况下，始终或者以规定的通知间隔在hud34等驾驶员用的显示器显示表示儿童的体温、睡意等的状态信息。根据这样的结构，例如容易识别儿童是否困倦、热不热等儿童的状态。另外，容易进行与儿童的状态对应的呼唤。
147.＜向驾驶员的通知控制的补充＞
148.在上述的实施方式中，公开了根据驾驶负荷是否较高的判定结果，来变更关于关注对象物的信息的向驾驶员的提示方式的控制例，但用于切换向驾驶员的信息的提示方式的参数不限定于驾驶负荷的高低。例如，hcu1也可以根据车辆是否在行驶中，来变更向驾驶员提示关于关注对象物的信息时的工作。例如也可以在停车时实施图像显示和语音输出两方，另一方面，在车辆为行驶中的情况下不进行图像显示而仅保留语音输出。
149.hcu1也可以根据是否为等级3以上的自动驾驶中，来变更向驾驶员提示关于关注对象物的信息时的工作。例如也可以在为等级3以上的自动驾驶中的情况下实施图像显示和语音输出两方，另一方面，在不为自动驾驶中的情况下不进行图像显示而仅保留语音输出。
150.此外，hcu1也可以除了车辆的行驶状态以外，还并用副驾驶座是否乘坐有其它乘员，来变更关于关注对象物的图像的显示目的地的组合。例如，也可以在副驾驶座也就坐有乘员的情况下，在自动驾驶中仅在副驾驶座用显示器和儿童用显示器显示关于关注对象物的信息，另一方面，在自动驾驶中也在驾驶员用显示器显示该信息图像。
151.此外，也可以构成为即使在判定为驾驶员的驾驶负荷不高的状态下，在从系统向驾驶员的权限转移的时刻接近的情况下，省略向驾驶员的关于关注对象物的信息提示。在至权限转移的剩余时间不足规定值的情况下避免向驾驶员的关注对象物的信息提示，驾驶员容易集中于恢复驾驶操作的准备。
152.另外，hcu1也可以根据驾驶员的驾驶状态，来变更显示关于关注对象物的信息的场所、通知方式。hcu1也可以构成为能够根据驾驶员的状况、驾驶员的指示，调整进行图像显示的定时。驾驶员的指示操作能够通过语音、触摸、姿态等来接收。作为显示定时的选择候选，能够采用立刻、5分钟后、临时停车时、停车时、驾驶负荷降低时、自动驾驶开始时等。
153.＜过去的检测结果的利用＞
154.hcu1也可以基于关注对象物所涉及的过去的检测结果，来调整用于检测儿童的兴趣反应的阈值。例如兴趣反应检测部f5也可以在行驶于过去表现出过兴趣反应的对象物的附近的情况下，降低用于检测儿童的兴趣反应的阈值。另外，兴趣对象管理部fb也可以将过去表现出多次兴趣反应的对象物登记为作为特别感兴趣的物体的中意对象物。此外，hcu1也可以在离中意对象物的剩余距离不足规定距离的情况、通过车外相机28拍摄到中意对象物的情况下，向儿童通知中意对象物的存在。hcu1也可以构成为基于过去的检测结果来学习儿童感兴趣的对象。
155.此外，在hcu1构成为能够管理兴趣对象类别的情况下，也可以在检测到儿童对属于现有的兴趣对象类别的对象物表现出兴趣的情况下，以与通常时不同的方式向驾驶员进行通知。此处的通常时是指儿童对属于现有的兴趣对象类别的对象物表现出兴趣的情况。根据该结构，驾驶员能够了解儿童开始对与此前不同的新的事物开始感兴趣，换言之，能够了解伴随成长的兴趣对象的转变。另外，根据上述的结构，在一个方面，驾驶员能够了解驾驶员自身未掌握的儿童的兴趣对象。换言之，基于上述hcu1的兴趣对象类别的管理可有助于解儿童的意外一面。
156.＜预设的儿童的关注对象物的利用＞
157.以上，提及了hcu1根据过去的检测结果来学习儿童感兴趣的事物的方式，但不限于此。也可以经由规定的设定画面在hcu1、服务器5预先登记儿童喜爱的事物、嗜好的信息。
158.在通过手动登记或者自动学习而登记有与儿童喜爱的事物相关的数据的情况下，对象物确定部f6也可以构成为根据该数据来检测关注对象物。即，也可以构成为从与儿童的视线方向对应的相机图像中，优先提取与儿童喜爱的事物相关的被摄体作为关注对象物。根据该结构，能够减少提取儿童没有兴趣/兴趣较弱的事物作为关注对象物的担忧。换言之，能够抑制系统的误工作。另外，hcu1也可以根据儿童的嗜好信息，来变更向儿童通知的信息的量、表现方法等。也可以在关注对象物是儿童喜爱的事物的情况下，显示比不是的情况更多的/更详细的信息。另外，也可以在关注对象物是儿童喜爱的事物的情况下发出通知音并且显示关注对象物所涉及的图像，另一方面，在关注对象物不是儿童喜爱的事物的情况下无通知音地显示关注对象物所涉及的图像。
159.＜交流方法的补充＞
160.也可以构成为驾驶员和儿童能够通过相机以及麦克风交谈。例如在交谈功能设定为接通的情况下，将儿童用相机25的图像显示于仪表显示器32并且从扬声器38a输出儿童用麦克风27获取的语音。另外，将dsm21的图像显示于后座显示器35并且从扬声器38b输出驾驶员用麦克风23获取的语音。根据该结构，例如在为三排以上的座椅结构，且儿童就坐于前起第三排及以后的情况等驾驶座和儿童用座椅远离的情况下，也容易取得交流。
161.＜关于儿童用相机的拍摄范围控制＞
162.hcu1也可以构成为能够根据经由驾驶员用麦克风23取得的驾驶员的语音指令，来变更儿童用相机25的拍摄方向、放大率。儿童用相机25的拍摄方向通过俯仰角、滚转角、偏航角等表现。变更儿童用相机25的拍摄方向相当于变更姿势角。可通过控制例如控制儿童用相机25的姿势的马达来实现儿童用相机25的拍摄方向。
163.根据上述结构，驾驶员能够通过语音调整儿童用相机25的拍摄范围，而容易确认儿童的表情等。此外，儿童用相机25的拍摄范围的控制不限于语音输入，也可以构成为能够经由触觉设备等操作部件等执行。
164.＜附言＞
165.本公开中记载的装置、系统、以及其方法可以通过专用计算机来实现，该专用计算机构成被编程用于执行由计算机程序具体化的一个或更多个功能的处理器。另外，本公开中记载的装置以及其方法也可以使用专用硬件逻辑电路来实现。并且，本公开中记载的装置以及其方法也可以由一个或更多个专用计算机来实现，该一个或更多个专用计算机由用于执行计算机程序的处理器和一个或更多个硬件逻辑电路的组合构成。另外，作为要由计算机执行的指令的计算机程序可以存储在计算机可读非暂态有形存储介质中。即，hcu1等提供的器件和/或功能可以由存储在有形存储装置和计算机中的用于执行它们的软件、仅软件、仅硬件或其组合来提供。例如，hcu1所具备的功能的一部分或者全部也可以实现为硬件。由硬件实现特定功能的方面包括使用一个或多个ic等实现该功能的方面。hcu1也可以通过使用mpu、gpu或dfp(data flow processor：数据流处理器)而不是cpu来实现。hcu1也可以将cpu、mpu、gpu等多个种类的运算处理装置组合来实现。hcu1也可以实现为片上系统(soc：system-on-chip)。并且，各种处理部也可以使用fpga(field-programmable gate array：现场可编程门阵列)、asic(application specific integrated circuit：专用集成电路)来实现。各种程序储存于非暂态实体记录介质(non-transitory tangible storage medium)即可。作为程序的保存介质，能够采用hdd(hard-disk drive：硬盘驱动器)、ssd(solid state drive：固态硬盘)、闪存、sd(secure digital：安全数字)卡等多样的存储介质。在非暂态实体记录介质中，也包含eprom(erasable programmable read only memory：可擦除可编程只读存储器)等rom。
166.也可以通过多个构成要素实现上述实施方式中的一个构成要素所具有的多个功能，或通过多个构成要素实现一个构成要素所具有的一个功能。另外，也可以通过一个构成要素实现多个构成要素所具有的多个功能，或通过一个构成要素实现由多个构成要素实现的一个功能。此外，也可以省略上述实施方式的结构的一部分。另外，也可以将上述实施方式的结构的至少一部分针对其它上述实施方式的结构进行附加或者置换。
167.将上述的关注对象共享装置设为构成要素的系统等各种方式也包含于本公开的
范围。例如，用于使计算机作为关注对象共享装置发挥功能的程序、记录了该程序的半导体存储器等非暂态实体记录介质等方式也包含于本公开的范围。