车内监视系统、车内监视装置以及车内监视程序的制作方法

车内监视系统、车内监视装置以及车内监视程序
1.相关申请的交叉引用
2.本技术基于2019年12月4日申请的日本技术号2019－219456号，并在此引用其记载内容。
技术领域
3.本公开涉及车内监视系统、车内监视装置以及车内监视程序。


背景技术：

4.在自动驾驶车辆中，为了车辆内的防止犯罪、事故防止，研究监视车内的车内监视。例如，在专利文献1中，为了防止许多人同乘的公共交通工具的车辆内的事故、犯罪，对相机影像等进行处理以掌握状况。
5.专利文献1：日本特开2016－062414号公报
6.但是，在自动驾驶车辆中，监视系统需要承担多种多样的监视，另一方面从成本、搭载条件、消耗能量的观点来看，存在监视系统中能够搭载的功能有限这样的问题。另外，即使在监视系统中搭载了所有的功能的情况下，由于消耗能量增大，所以自动驾驶车辆使用的能量也有可能不足。


技术实现要素：

7.本公开的目的在于提供即使在能量余量不足的情况下，也能够精度良好地进行车内监视的车内监视装置、车内监视系统以及车内监视程序。
8.本公开所涉及的车内监视系统构成为，包括搭载于车辆的车载器和车内监视支援装置，上述车载器包括：能量获取部、车载获取部、转移判断部、车载识别部、车载判断部、车载通信部以及车载控制部，上述车内监视支援装置包括：远程通信部、远程识别部以及远程判断部，上述能量获取部获取能量余量，上述能量余量是上述车载器使用的能量的余量，上述车载获取部获取与上述车辆内部的对象物相关的传感器信息，上述转移判断部基于上述能量余量判断是否进行远程处理，在上述转移判断部判断为不进行远程处理的情况下，上述车载识别部基于上述传感器信息识别上述车辆内部的对象物，上述车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，在上述转移判断部判断为进行远程处理的情况下，上述车载通信部将上述传感器信息发送至上述车内监视支援装置，上述远程通信部接收上述传感器信息，上述远程识别部基于上述远程通信部接收的上述传感器信息来识别上述车辆内部的对象物，上述远程判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况，上述远程通信部将上述远程判断部的判断结果发送至上述车载器，上述车载通信部接收上述远程判断部的判断结果，上述车载控制部基于上述车载判断部的判断结果或者上述远程判断部的判断结果来进行对上述车辆内部的控制。
9.另外，本公开所涉及的车内监视装置是搭载于车辆的车内监视装置，包括：能量获取部、车载获取部、转移判断部、车载识别部、车载判断部、车载通信部以及车载控制部，上
述能量获取部获取能量余量，上述能量余量是上述车内监视装置使用的能量的余量，上述车载获取部获取与上述车辆内部的对象物相关的传感器信息，上述转移判断部基于上述能量余量判断是否进行远程处理，在上述转移判断部判断为不进行远程处理的情况下，上述车载识别部基于上述传感器信息识别上述车辆内部的对象物，上述车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，在上述转移判断部判断为进行远程处理的情况下，上述车载通信部将上述传感器信息发送至进行与上述车载识别部的识别以及上述车载判断部的判断相同的处理的车内监视支援装置，上述车载通信部接收上述车内监视支援装置对上述车辆内部的状况的判断结果，上述车载控制部基于上述车载判断部的判断结果或者上述车内监视支援装置的判断结果来进行对上述车辆内部的控制。
10.另外，本公开所涉及的车内监视程序是用于使计算机执行处理的程序，处理包括：能量获取部获取能量余量，上述能量余量是计算机使用的能量的余量；车载获取部获取与上述车辆内部的对象物相关的传感器信息；转移判断部基于上述能量余量判断是否进行远程处理；在上述转移判断部判断为不进行远程处理的情况下，车载识别部基于上述传感器信息识别上述车辆内部的对象物；车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况；在上述转移判断部判断为进行远程处理的情况下，车载通信部将上述传感器信息发送至进行与上述车载识别部的识别以及上述车载判断部的判断相同的处理的车内监视支援装置；上述车载通信部接收上述车内监视支援装置对上述车辆内部的状况的判断结果；以及车载控制部基于上述车载判断部的判断结果或者上述车内监视支援装置的判断结果来进行对上述车辆内部的控制。
11.根据本公开所涉及的车内监视系统、车内监视装置以及车内监视程序，能量获取部获取计算机使用的能量的余量、亦即能量余量，车载获取部获取与车辆内部的对象物相关的传感器信息，转移判断部基于能量余量判断是否进行远程处理。
12.而且，在转移判断部判断为不进行远程处理的情况下，车载识别部基于传感器信息识别车辆内部的对象物，车载判断部基于车载识别部的识别结果来判断车辆内部的状况，在转移判断部判断为进行远程处理的情况下，车载通信部将传感器信息发送至进行与车载识别部的识别以及车载判断部的判断相同的处理的车内监视支援装置，车载通信部接收车内监视支援装置对车辆内部的状况的判断结果，车载控制部基于车载判断部的判断结果或者车内监视支援装置的判断结果来进行对车辆内部的控制。
13.这样，基于获取的能量余量判断是否进行远程处理，在判断为不进行远程处理的情况下，识别车辆内部的对象物，并基于识别结果判断车辆内部的状况，在判断为进行远程处理的情况下，将传感器信息发送至进行与车载识别部的识别以及车载判断部的判断相同的处理的车内监视支援装置，接收车内监视支援装置对车辆内部的状况的判断结果，并基于判断结果，进行对车辆内部的控制，从而即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
14.根据本公开的车内监视系统、车内监视装置以及车内监视程序，即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
附图说明
15.关于本公开的上述目的以及其它目的、特征及优点，参照附图并通过下述的详细
描述会变得更加明确。该附图如下述那样。
16.图1是表示车内监视系统的结构的框图。
17.图2是表示车载器的硬件结构的框图。
18.图3是表示车载器的功能结构的框图。
19.图4是表示车内监视支援装置的硬件结构的框图。
20.图5是表示车内监视支援装置的功能结构的框图。
21.图6是表示第一实施方式所涉及的车内监视处理例程的流程图。
22.图7是表示第一实施方式所涉及的车内监视支援处理例程的流程图。
23.图8是表示第二实施方式所涉及的车内监视处理例程的流程图。
24.图9是表示第二实施方式所涉及的车内监视支援处理例程的流程图。
具体实施方式
25.以下，使用附图对本公开的实施方式进行说明。
26.＜本公开的第一实施方式所涉及的车内监视系统的结构＞
27.参照图1，对本公开的实施方式所涉及的车内监视系统1进行说明。图1是表示本公开的第一实施方式所涉及的车内监视系统1的结构的框图。如图1所示，本公开的第一实施方式所涉及的车内监视系统1由搭载于车辆100的车载器10、车内监视支援装置20、基站60以及网络70构成。此外，车内监视系统1以搭载车载器10的车辆100实施自动驾驶的情况为例进行说明。车辆100是能够运输对象物的车辆，例如在对象物为人的情况下是公共汽车，在对象物为物(包括动物)的情况下是卡车。在本公开中，以对象物为人，车辆100为公共汽车的情况为例进行说明。
28.基站60是与网络70连接，并通过无线通信与车载器10进行通信的无线基站。网络70是因特网、广域以太网等公共网络。即，车载器10与车内监视支援装置20构成为能够经由基站60以及网络70进行通信。
29.另外，在车辆100中搭载有能够通过有线或者无线与车载器10连接的能量计测装置以及传感器(未图示)。能量计测装置是计测车载器10使用的能量的余量的装置。能量计测装置例如如日本专利6191349号公报所公开的那样，监视车载器10使用的能量。作为能量，例如是蓄电池内部的电力、汽油的量、氢等各种能量。传感器是获取车内的信息的装置。作为传感器，例如能够采用相机、温度计、振动传感器、激光雷达、超声波传感器、毫米波传感器等。在本公开中，以能量为电力，传感器是拍摄车辆100的内部的相机的情况为例进行说明。能量计测装置以及相机将能量余量以及拍摄到的图像传递给车载器10。
30.车载器10执行自动驾驶控制。参照图2以及图3，对车载器10的结构进行说明。
31.图2是表示本实施方式所涉及的车载器10的硬件结构的框图。如图2所示，车载器10具有：cpu(central processing unit：中央处理器)11、rom(read only memory：只读存储器)12、ram(random access memory：随机存取存储器)13、存储器14、输入部15、显示部16以及天线17。各结构经由总线19相互可通信地连接。
32.cpu11是中央运算处理单元，执行各种程序，或者控制各部。即，cpu11从rom12或者存储器14读出程序，将ram13作为工作区执行程序。cpu11按照存储于rom12或者存储器14的程序，进行上述各结构的控制以及各种运算处理。在本实施方式中，在rom12或者存储器14
real-time object detection with region proposal networks，"advances in neural information processing systems 28，may 2015，pp.91-99.
43.而且，车载识别部104在被转移判断部103命令传递给车载通信部106的情况下，将影像和识别结果传递给车载通信部106，在未被转移判断部103命令传递给车载通信部106的情况下，将影像和识别结果传递给车载判断部105。
44.在转移判断部103判断为不对判断处理进行远程处理的情况下，车载判断部105基于车载识别部104的识别结果和车辆100的当前的场景来判断车辆100内部的状况。
45.具体而言，车载判断部105首先从车载控制部107获取当前的场景。当前的场景是指车辆100当前所处的情景，例如等待中、运行中正常、运行中反常、停车中等情景。在本公开中，作为当前的场景，以运行中正常和运行中反常的情况为例进行说明。
46.在当前的场景为运行中正常的情况下，车载判断部105基于车载识别部104的识别结果来判断车辆100内部的状况是正常、需要注意以及反常中的哪一个。具体而言，针对车载识别部104的识别结果，车载判断部105例如通过人体姿势估计(参考文献2)等方法检测多个时刻的车辆100内部的人的姿势。
47.[参考文献2]a.toshev and c.szegedy,"deeppose:human pose estimation via deep neural networks，"proc.computer vision and pattern recognition 2014，columbus，usa，june 2014，pp.3476-3483.
[0048]
接下来，车载判断部105根据检测出的多个时刻的姿势来判定在车辆100内部被识别出的人是正常时的姿势还是不是正常时的姿势。正常时的姿势例如是指在公共汽车内“就座”、“抓住扶手或者吊环站立”等姿势。在检测出的姿势是正常时的姿势的情况下，车载判断部105判断为车辆100内部的状况是正常的。另外，在检测出的姿势不是正常时的姿势的情况下，车载判断部105判断为车辆100内部的状况是反常的。然后，车载判断部105将判断结果传递给车载控制部107。
[0049]
另外，在当前的场景为运行中反常的情况下，车载判断部105也同样地基于车载识别部104的识别结果来判定在车辆100内部被识别出的人是正常时的姿势还是不是正常时的姿势。若判断结果为反常，则车载判断部105将判断结果传递给车载控制部107。车载判断部105还将判断结果传递给车载通信部106。这是因为若运行中反常的情况下的判断结果为反常，则需要更详细地验证当前的状况。在本实施方式中，由于详细的验证较多地使用消耗能量，所以使车内监视支援装置20更详细地验证车辆100内部的状况。另外，若判断结果不是反常，则车载判断部105将判断结果传递给车载控制部107。
[0050]
车载通信部106将从各处理部传递来的数据发送至车内监视支援装置20。具体而言，车载通信部106将传感器信息、识别结果以及判断结果中的获取的数据发送至车内监视支援装置20。
[0051]
另外，车载通信部106在将传感器信息或者识别结果发送到车内监视支援装置20的情况下，从车内监视支援装置20接收远程判断部203的判断结果。然后，车载通信部106将接收的判断结果传递给车载控制部107。
[0052]
车载控制部107基于车载判断部105的判断结果或者远程判断部203的判断结果来进行对车辆100内部的控制。具体而言，车载控制部107基于车载判断部105或者远程判断部203的判断结果进行控制，以进行注意唤起或者对应指示。
[0053]
例如，在当前的场景为运行中正常的情况下，车载控制部107基于车载判断部105的判断结果或者远程判断部203的判断结果来判定是否需要对车辆100内部的控制。更具体而言，在判断结果为正常的情况下，车载控制部107判定为不需要对车辆100内部的控制。此外，该控制是与车内监视相关的特别的控制，与通常的车辆控制等其它控制不同。另外，在判断结果为反常的情况下，车载控制部107判定为需要对车辆100内部的控制。在需要控制的情况下，车载控制部107作为控制而根据检测出的姿势来决定与姿势相应的注意唤起的内容。车载控制部107的姿势与注意唤起建立对应例如能够通过预先创建对应表来实现。例如，在由车载判断部105检测到在运行中人在车辆100内步行的姿势的情况下，决定进行注意唤起以使得就坐。然后，将控制的内容传递给输出部108。
[0054]
另外，在当前的场景为运行中反常的情况下，车载控制部107基于车载判断部105的判断结果或者远程判断部203的判断结果来判定是否需要对车辆100内部的控制。更具体而言，在判断结果为正常的情况下，车载控制部107判定为不需要对车辆100内部的控制。另外，在判断结果为反常的情况下，车载控制部107判定为需要对车辆100内部的控制。在需要控制的情况下，车载控制部107作为控制而根据检测出的姿势来决定与姿势相应的对应内容。例如能够通过预先创建对应表来实现车载控制部107的姿势与对应的对应关系建立。例如，在由车载判断部105在运行中的车辆100内人持有刀具的情况下，决定进行显示的对应以使得收起刀具。然后，将控制的内容传递到输出部108。
[0055]
输出部108输出车载控制部107进行的车厢控制的内容。具体而言，若车厢控制的内容为注意唤起，则输出部108进行显示注意唤起以及再生注意唤起的声音数据中的至少任意一个。另外，在车厢控制的内容为对应的情况下，输出部108也同样地进行显示对应的指示以及再生对应的指示的声音数据中的至少任意一个。
[0056]
车内监视支援装置20进行本公开的实施方式所涉及的车内监视系统中的用于车辆进行自动驾驶的行驶支援。参照图4以及图5，对本公开的实施方式所涉及的车内监视支援装置20的结构进行说明。图4是表示本实施方式所涉及的车内监视支援装置20的硬件结构的框图。如图4所示，车内监视支援装置20具有：cpu11、rom12、ram13、存储器14、输入部15、显示部16以及通信接口(i/f)18。各结构经由总线19相互可通信地连接。此外，对于与车载器10相同的硬件省略说明。在车内监视支援装置20中，在rom12或者存储器14中存储有用于执行车内监视支援处理的车内监视支援程序。
[0057]
通信接口18是用于与其它设备进行通信的接口，例如使用以太网(注册商标)、fddi、wi－fi(注册商标)等标准。
[0058]
接下来，对车内监视支援装置20的功能结构进行说明。图5是表示车内监视支援装置20的功能结构的例子的框图。如图5所示，本实施方式所涉及的车内监视支援装置20构成为具备：远程通信部201、远程识别部202、远程判断部203、远程验证部204、支援控制部205以及输出部206。
[0059]
远程通信部201从车载器10接收数据。具体而言，远程通信部201接收从车载通信部106发送的包括传感器信息、识别结果以及判断结果中的至少任意一个的数据。远程通信部201在仅接收到传感器信息的情况下，将该传感器信息传递给远程识别部202以及支援控制部205。另外，远程通信部201在接收到传感器信息以及识别结果的情况下，将该传感器信息以及识别结果传递给远程判断部203。另外，远程通信部201在接收到传感器信息、识别结
果以及判断结果的情况下，将该传感器信息以及该识别结果传递给远程验证部204。
[0060]
另外，远程通信部201将远程判断部203的判断结果发送至车载器10。
[0061]
远程识别部202基于远程通信部201接收到的传感器信息来识别车辆100内部的对象物。具体而言，远程识别部202与车载识别部104同样地识别对象物。此时，远程识别部202能够使用精度比车载识别部104所使用的识别手段高的识别手段来识别对象物。例如，与车载识别部104相比提高影像内的各图像的分辨率来识别对象物即可。即，远程识别部202与车载识别部104相比能量消耗没有限制，所以通过使用更高性能的识别手段，能够适当地支援车载器10。除此之外，也可以通过更高的采样速率、更多的图像、更多种类的传感器信息、车载识别部104使用的更高质量的传感器信息进行识别。此外，并不限定于识别，也可以在下述的判断、验证中，也使用与车载器10中的判断、验证相比高性能的方法。然后，远程识别部202将识别结果传递给远程判断部203。
[0062]
远程判断部203基于车载识别部104的识别结果或者远程识别部202的识别结果来判断车辆100内部的状况。具体而言，远程判断部203基于远程通信部201接收到的识别结果或者远程识别部202的识别结果判断为车辆100内部的状况是正常或者反常。远程判断部203的判断与车载判断部105相同。而且，在判断结果为正常的情况下，远程判断部203将判断结果传递给远程通信部201以及支援控制部205。另外，在判断结果不是反常的情况下，远程判断部203将识别结果以及判断结果传递给远程验证部204。
[0063]
在远程判断部203的判断结果为反常的情况下，远程验证部204基于远程识别部202的识别结果来验证车辆100内部的状况的反常的程度。
[0064]
具体而言，远程验证部204基于传感器信息和识别结果来判断车辆100内部的状况是轻微以及重大中的哪一个。远程验证部204根据影像的各图像、和识别结果来估计车辆100内部的人的行动。验证方法例如能够通过上述参考文献2进行姿势识别，并通过使用参考文献3的方法进行估计。
[0065]
[参考文献3]铃木智之，青木义满，“使用了以行动迁移影像中的姿势特征为中心的学习的时间序列行动识别”，精密工学会志83卷12号，2017，pp.1156－1165。
[0066]
接下来，远程验证部204判断估计出的行动是轻微以及重大中的哪一个。远程验证部204例如能够预先将重大的行动列表化，并根据估计出的行动是否符合列表所包括的行动，判断是轻微还是重大。并不限定于该判断方法，远程验证部204能够使用其它判断方法。然后，远程验证部204将验证结果传递给支援控制部205。
[0067]
另外，在车载判断部105的判断结果为反常的情况下，远程验证部204也同样地基于车载识别部104的识别结果来验证车辆100内部的状况的反常的程度。然后，远程验证部204将验证结果传递给支援控制部205。
[0068]
支援控制部205根据远程验证部204的验证结果来生成用于进行对车辆100的支援的支援信息。具体而言，支援控制部205生成与验证结果和车辆100内部的人的行动相应的支援信息。例如，在验证结果为重大，并且人的行动为“跌倒”的情况下，生成“呼叫工作人员”这样的支援信息。另外，例如在验证结果为轻微的情况下，支援控制部205不生成支援信息。这是因为在轻微的情况下，委托给车载器10的车载控制部107的控制即可。然后，支援控制部205将生成的支援信息传递给输出部206。另外，支援控制部205将验证所使用的数据以及验证结果储存至状况管理数据库(未图示)。
[0069]
另外，支援控制部205将接收的传感器信息以及远程识别部202的识别结果，或者接收的识别结果和判断结果储存至状况管理数据库。储存于状况管理数据库的各种数据能够使用于解析精度的提高、人的确认。
[0070]
输出部206输出由支援控制部205生成的支援信息。例如，在“呼叫工作人员”这样的支援信息的情况下，将该支援信息传递给用于呼叫工作人员(通知工作人员)的装置(未图示)。
[0071]
＜本公开的第一实施方式所涉及的车内监视系统的作用＞
[0072]
图6是表示本公开的第一实施方式所涉及的车载器10的车内监视处理例程的流程图。处理的开始的定时既可以是定期也可以是任意的定时。
[0073]
在步骤s100中，能量获取部101从能量计测装置获取车载器10使用的能量的余量、亦即能量余量。
[0074]
在步骤s101中，车载获取部102获取与车辆100内部的对象物相关的传感器信息。
[0075]
在步骤s102中，转移判断部103判定能量余量是否低于第一阈值。
[0076]
在能量余量不低于第一阈值的情况下(上述步骤s102的否)，在步骤s103中，车载识别部104基于通过上述步骤s101获取的传感器信息来识别车辆100内部的对象物。
[0077]
在步骤s104中，转移判断部103判定能量余量是否低于第二阈值。
[0078]
在能量余量不低于第二阈值的情况下(上述步骤s104的否)，在步骤s105中，车载判断部105基于通过上述步骤s103得到的识别结果来判断车辆100内部的状况。
[0079]
在步骤s106中，车载控制部107判定通过上述步骤s105得到的判断结果是否是反常。
[0080]
判断结果不是反常的情况下(上述步骤s106的否)，结束处理。另一方面，在判断结果是反常的情况下(上述步骤s106的是)，在步骤s107中，车载通信部106将通过上述步骤s101获取的传感器信息、通过上述步骤s103得到的识别结果以及通过上述步骤s105得到的判断结果发送至车内监视支援装置20。
[0081]
在步骤s108中，车载控制部107基于通过上述步骤s105得到的判断结果来进行对车辆100内部的控制。
[0082]
在步骤s109中，输出部108输出基于上述步骤s108的车载控制部107进行的车厢控制的内容，并结束处理。
[0083]
另一方面，在能量余量低于第一阈值的情况下(上述步骤s102的是)，在步骤s110中，车载通信部106将通过上述步骤s101获取的传感器信息发送至车内监视支援装置20。
[0084]
另外，在能量余量低于第二阈值的情况下(上述步骤s104的是)，在步骤s111中，车载通信部106将通过上述步骤s101获取的传感器信息和通过上述步骤s103得到的识别结果发送至车内监视支援装置20。
[0085]
在步骤s112中，车载通信部106接收远程判断部203的判断结果。
[0086]
在步骤s113中，车载控制部107判定通过上述步骤s112接收的判断结果是否是反常。
[0087]
在判断结果是反常的情况下(上述步骤s113的是)，进入步骤s108。此时，在步骤s108中，车载控制部107基于通过上述步骤s113得到的判断结果来进行对车辆100内部的控制。另一方面，在判断结果不是反常的情况下(上述步骤s113的否)，结束处理。
[0088]
图7是表示本公开的第一实施方式所涉及的车内监视支援装置20的车内监视支援处理例程的流程图。每当远程通信部201从车载器10接收数据时，执行处理。
[0089]
在步骤s200中，远程通信部201从车载器10接收数据。
[0090]
在步骤s201中，远程通信部201判定接收的数据中是否包括判断结果。
[0091]
在包括判断结果的情况下(上述步骤s201的是)，进入步骤s206。
[0092]
另一方面，在不包括判断结果的情况下(上述步骤s201的否)，在步骤s202中，远程通信部201判定接收的数据是否仅是传感器信息。
[0093]
在不仅是传感器信息的情况下(上述步骤s202的否)，进入步骤s204。
[0094]
另一方面，在仅是传感器信息的情况下(上述步骤s202的是)，在步骤s203中，远程识别部202基于通过上述步骤s200接收的传感器信息来识别车辆100内部的对象物。
[0095]
在步骤s204中，远程判断部203基于通过上述步骤s200接收的识别结果或者通过上述步骤s203得到的识别结果来判断车辆100内部的状况。
[0096]
在步骤s205中，远程通信部201将通过上述步骤s204得到的判断结果发送至车载器10。
[0097]
在步骤s206中，远程验证部204判定判断结果是否是反常。
[0098]
在判断结果不是反常的情况下(上述步骤s206的否)，进入步骤s208。另一方面，在判断结果是反常的情况下(上述步骤s206的是)，在步骤s207中，远程验证部204基于通过上述步骤s200接收的识别结果或者通过上述步骤s203得到的识别结果来验证车辆100内部的状况的反常的程度。
[0099]
在步骤s208中，支援控制部205基于通过上述步骤s200～s207得到的数据来进行支援控制，并结束处理。
[0100]
如以上说明的那样，根据本公开的第一实施方式所涉及的车内监视系统，基于获取的能量余量来判断是否进行远程处理，在判断为不进行远程处理的情况下，识别车辆内部的对象物，并基于识别结果来判断车辆内部的状况，在判断为进行远程处理的情况下，将传感器信息发送至进行与车载识别部的识别以及车载判断部的判断相同的处理的车内监视支援装置，接收基于车内监视支援装置对车辆内部的状况的判断结果，并基于判断结果来进行对车辆内部的控制，从而即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
[0101]
另外，在能量余量低于第一阈值的情况下，将传感器信息发送至车内监视支援装置，在能量余量在第一阈值以上且在第二阈值以下的情况下，使识别结果发送至车内监视支援装置，从而能够抑制与能量余量相应的能量的消耗，并精度良好地进行车内监视。
[0102]
另外，车内监视支援装置使用精度比车载器10所使用的识别手段高的识别手段来识别对象物，从而在车载器10中，能够抑制能量消耗，并精度良好地进行车内监视。
[0103]
＜其它场景的例子＞
[0104]
在上述的实施方式中，以当前的场景为行中正常和运行中反常的情况为例进行了说明，但并不限定于此。既可以仅在任意一种情况下实现，也可以仅实现其它场景的情况，还可以组合其它场景来实现。作为其它场景的情况，对场景仅为停车中的情况进行说明。此外，由于是与上述车内监视系统1相同的结构，功能模块的处理的内容根据场景而不同，所以使用相同的附图标记进行说明。对于未特别提及的点，是与上述实施方式相同的结构。
[0105]
在场景为停车中的情况下，例如考虑人上下车辆100的情况。该情况下，将伞等遗忘物作为对象物。即，在识别中识别遗忘物，在判断中判断遗忘物的有无。
[0106]
具体而言，车载获取部102获取的传感器信息是图像。车载获取部102从相机获取停车紧前的图像和停车中的图像。然后，车载获取部102将停车紧前的图像和停车中的图像作为传感器信息，传递给转移判断部103。
[0107]
在能量余量的等级为high的情况下，转移判断部103将传感器信息传递给车载识别部104。另一方面，在能量余量的等级为low的情况下，转移判断部103将传感器信息传递给车载通信部106，使该传感器信息发送至车内监视支援装置20。另外，在能量余量的等级为mid的情况下，转移判断部103仅将车载判断部105的功能委托给车内监视支援装置20。该情况下，转移判断部103将传感器信息传递给车载识别部104，并且命令车载识别部104将传感器信息和识别结果传递给车载通信部106。即，转移判断部103使车载通信部106将传感器信息和识别结果发送至车内监视支援装置20。
[0108]
在转移判断部103判断为不进行远程处理的情况下，车载识别部104基于传感器信息识别车辆100内部的对象物。具体而言，车载识别部104通过求出停车紧前的图像与停车中的图像的背景差分等方法识别对象物。然后，车载识别部104在被转移判断部103命令传递给车载通信部106的情况下，将识别结果传递给车载通信部106，在未被转移判断部103命令传递给车载通信部106的情况下，将识别结果传递给车载判断部105。
[0109]
在转移判断部103判断为不对判断处理进行远程处理的情况下，车载判断部105基于车载识别部104的识别结果来判断车辆100内部的状况。具体而言，车载判断部105基于识别结果判断遗失物是否重要。例如，针对识别结果，对预先获取的重要的各遗失物计算与该遗失物的图像的相似度，若相似度在规定值以上，则判断为该遗失物为重要的遗失物。重要的遗失物例如是钱包、智能手机等。然后，车载判断部105将判断结果传递给车载通信部106。
[0110]
车载通信部106将获取的数据发送至车内监视支援装置20。
[0111]
远程通信部201从车载器10接收数据。远程通信部201在仅接收到传感器信息的情况下，将该传感器信息传递给远程识别部202。另外，远程通信部201在接收到传感器信息和识别结果的情况下，将传感器信息和识别结果传递给远程判断部203。另外，远程通信部201在接收到判断结果的情况下，将传感器信息、识别结果以及判断结果传递给支援控制部205。
[0112]
远程识别部202以及远程判断部203进行与车载识别部104以及车载判断部105相同的处理。车载判断部105将判断结果传递给支援控制部205。
[0113]
支援控制部205基于判断结果来生成用于进行对车辆100的支援的支援信息。具体而言，在判断结果为重大的情况下，支援控制部205生成“安排赶往车辆100的人员”这样的支援信息。能够期待通过该人员迅速地保管遗失物，提高返还的速度。另一方面，在判断结果不是重大的情况下，将该遗失物登记至遗失物数据库(未图示)。然后，支援控制部205将支援信息传递给输出部206。
[0114]
如以上说明的那样，能够应用于车辆100中各种场景下监视车辆的情况，即使在能量余量不足的情况下，也能够期待精度良好地进行车内监视。
[0115]
＜本公开的第二实施方式所涉及的车内监视系统的结构＞
[0116]
接下来，对第二实施方式所涉及的车内监视系统2的结构进行说明。此外，对与第一实施方式所涉及的车内监视系统1相同的结构附加相同的附图标记并省略详细的说明。在第一实施方式中，通过发送至车内监视支援装置20的数据决定委托给车内监视支援装置20的处理。在第二实施方式中，对在车载器30侧决定委托给车内监视支援装置40的处理的情况进行说明。
[0117]
如图3所示，第二实施方式所涉及的车载器30构成为具备：能量获取部101、车载获取部102、转移判断部103、车载识别部104、车载判断部105、车载通信部106、车载控制部107以及输出部108。
[0118]
在能量余量低于第一阈值的情况下，转移判断部103生成用于使车内监视支援装置20进行远程识别部202的识别以及远程判断部203的判断的支援请求信息。另外，在能量余量在第一阈值以上且在第二阈值以下的情况下，转移判断部103生成用于使车内监视支援装置20进行远程识别部202的识别的支援请求信息。然后，转移判断部103将支援请求信息传递给车载通信部106。
[0119]
车载通信部106将支援请求信息以及传感器信息发送至车内监视支援装置20。
[0120]
另外，车载通信部106接收远程识别部202的识别结果。然后，车载通信部106将接收的远程识别部202的识别结果传递给车载判断部105。
[0121]
在转移判断部103判断为进行远程处理的情况下，车载判断部105基于远程识别部202的识别结果来判断车辆100内部的状况。
[0122]
第二实施方式所涉及的车内监视支援装置20构成为具备：远程通信部201、远程识别部202、远程判断部203、远程验证部204、支援控制部205以及输出部206。
[0123]
远程通信部201接收从车载通信部106发送的传感器信息以及支援请求信息。然后，远程通信部201将接收的支援请求信息以及传感器信息传递给远程识别部202。
[0124]
在支援请求信息是用于进行远程识别部202的识别的信息的情况下，远程识别部202将识别结果传递给远程通信部201。另一方面，在支援请求信息是用于进行远程识别部202的识别以及远程判断部203的判断的信息的情况下，远程识别部202将识别结果传递给远程判断部203。
[0125]
远程通信部201将远程识别部202的识别结果发送至车载器10。
[0126]
＜本公开的第二实施方式所涉及的车内监视系统的作用＞
[0127]
图8是表示第二实施方式所涉及的车载器30的车内监视处理例程的流程图。此外，对与第一实施方式所涉及的车内监视支援处理例程相同的处理附加相同的附图标记并省略详细的说明。处理的开始的定时既可以是定期也可以是任意的定时。
[0128]
在步骤s300中，转移判断部103判定能量余量是否在第二阈值以下。
[0129]
当能量余量不在第二阈值以下的情况下(上述步骤s300的否)，进入步骤s103。另一方面，当能量余量在第二阈值以下的情况下(上述步骤s300的是)，在步骤s301中，在能量余量低于第一阈值的情况下，转移判断部103生成用于使车内监视支援装置20进行远程识别部202的识别以及远程判断部203的判断的支援请求信息。另外，当能量余量在第一阈值以上且在第二阈值以下的情况下，转移判断部103生成使车内监视支援装置20进行远程识别部202的识别的支援请求信息。
[0130]
在步骤s302中，车载通信部106将支援请求信息以及传感器信息发送至车内监视
支援装置20。
[0131]
在步骤s303中，车载通信部106接收远程识别部202的识别结果或者远程判断部203的判断结果。
[0132]
在步骤s304中，车载通信部106判定是否接收到识别结果。在接收到识别结果的情况下(上述步骤s304的是)，车载通信部106将接收的远程识别部202的识别结果传递给车载判断部105，并进入步骤s105。该情况下，在步骤s105中，车载判断部105基于远程识别部202的识别结果来判断车辆100内部的状况。
[0133]
另一方面，在未接收到识别结果的情况下(接收到判断结果的情况下)(上述步骤s304的否)，车载通信部106将接收的远程判断部203的判断结果传递给车载控制部107，并进入步骤s106。
[0134]
图9是表示第二实施方式所涉及的车内监视支援装置40的车内监视支援处理例程的流程图。此外，对与第一实施方式所涉及的车内监视支援处理例程相同的处理附加相同的附图标记并省略详细的说明。每当远程通信部201从车载器10接收数据时执行处理。
[0135]
在步骤s400中，远程通信部201接收从车载通信部106发送的传感器信息以及支援请求信息。
[0136]
在步骤s401中，远程识别部202判定支援请求信息是否是用于进行远程识别部202的识别的信息。
[0137]
在不是用于进行远程识别部202的识别的信息的情况下(上述步骤s401的否)，进入步骤s204。
[0138]
另一方面，在是用于进行远程识别部202的识别的信息的情况下(上述步骤s401的是)，在步骤s402中，远程通信部201将通过上述步骤s203得到的远程识别部202的识别结果发送至车载器10。
[0139]
如以上说明的那样，根据本公开的第二实施方式所涉及的车内监视系统，基于获取的能量余量来判断是否进行远程处理，在判断为进行远程处理的情况下，当能量余量低于第一阈值时，使车内监视支援装置进行远程识别部的识别以及远程判断部的判断，当能量余量在第一阈值以上且在第二阈值以下时，使车内监视支援装置进行远程识别部的识别，接收远程识别部的识别结果或者远程判断部的判断结果，在接收到远程识别部的识别结果的情况下，基于远程识别部的识别结果来判断车辆内部的状况，基于判断结果来进行对车辆内部的控制，从而即使在能量余量不足的情况下，也能够精度良好地进行车内监视。
[0140]
此外，本公开并不限定于上述的实施方式，能够在不脱离该发明的主旨的范围内进行各种变形、应用。
[0141]
例如，在上述实施方式中，转移判断部103仅使用能量余量判断是否进行远程处理，但并不限定于此。例如，能够也使用基于预先获取的运行计划的能量补给的预测来判断是否进行远程处理。具体而言，即使在当前的能量余量的等级为低的情况下，能够在附近的加油站、可充电的场所等补给能量的情况下，转移判断部103也判断为不进行远程处理。另外，能量补给也包括基于通过再生制动等得到的能量的补给。例如，在运行计划包括前半为上坡，后半为下坡的行驶路线的情况下，在下坡时预测到使用了再生制动的能量补给。该情况下，在下坡的紧前或者近前，即使能量余量较少(例如第一阈值以下)，转移判断部103也判断为不进行远程处理。另外，也可以根据车辆100的运行模式(返程中、上下车中、行驶中
等)进行判断。另外，也可以在产生反常事件(乘客在车辆100的行驶中移动、跌倒、有异常行动等)的情况下，进行远程处理。该情况下，通过将重要的运算委托给外部，能够进行更详细的状况判断，并且能够将状况数据记录至车内监视支援装置20，并应用于其它车辆的状况判断。
[0142]
另外，在上述的实施方式中，以仅车内监视支援装置20的远程验证部204进行车辆100内部的状况的验证的情况为例进行了说明，但并不限定于此。也可以将远程验证部204的功能搭载于车载器10。该情况下，构成为在有足够的能量余量的情况下，在车载器10进行验证，否则在车内监视支援装置20进行验证即可。
[0143]
另外，在上述的第二实施方式中，转移判断部103生成支援请求信息，但并不限定于此。例如，也可以构成为向车内监视支援装置20发送能量余量，并在车内监视支援装置20设置远程转移判断部。该情况下，远程转移判断部进行在能量余量低于第一阈值的情况下，进行远程识别部202的识别以及远程判断部203的判断，在能量余量在第一阈值以上且在第二阈值以下的情况下，进行远程识别部202的识别的判断即可。
[0144]
另外，也能够设为组合第一实施方式与第二实施方式所涉及的车内监视系统的结构。例如，转移判断部103构成为根据能量余量来决定在车载器进行处理的范围、和将处理委托给车内监视支援装置的范围即可。具体而言，构成为将能量余量的等级分为四个阶段，在能量余量最少的等级下，将识别和判断委托给车内监视支援装置，在其次的等级下，仅将判断委托给车内监视支援装置，在其次的等级下仅将识别委托给车内监视支援装置，在能量余量最多的等级下，由车载器进行识别以及判断即可。此外，在该例子中，也可以根据基于处理负荷的能量消耗量，使仅识别的情况和仅判断的情况相反。
[0145]
另外，在传感器为温度计的情况下，能够通过温度是否在规定范围内来判断正常、反常。该情况下，车载控制部107构成为若反常则控制温度变更，输出部108构成为对搭载于车辆100的空调(未图示)输出温度变更命令即可。不仅在车辆100运输人的情况下，在通过自动驾驶运输生鲜食品、冷冻食品、家畜等的卡车中也有用。
[0146]
另外，在上述的实施方式中，以传感器信息为图像的情况为例进行了说明，但并不限定于此。在使用声音的情况下，构成为通过下述参考文献4、参考文献5所记载的方法等进行基于声音的对象的识别、判断以及验证即可。
[0147]
[参考文献4]g.hinton，l.deng，y.dong，g.e.dahl，a.mohamed，n.jaitly，a.senior，v.vanhoucke，p.nguyen，t.n.sainath and b.kingsbury，"deep neural networks for acoustic modeling in speech recognition，"ieee signal processing magazine，vol.29，no.6，2012，pp.82-97.
[0148]
[参考文献5]proc.the detection and classification of acoustic scenes and events 2016workshop(dcase2016)，budapest，hungary，september 2016，pp.45-49.
[0149]
另外，在上述的实施方式中，转移判断部103根据能量余量判断是否进行远程处理，但并不限定于此。也可以构成为除了能量余量之外，还对基于预先获取的运行计划的能量补给的预测、乘客的属性、基于自动驾驶的运行的难易度等各种信息进行综合判断，来判断是否进行远程处理。能量补给的预测是指车辆100是否能够在运行计划中进行能量补给的信息。
[0150]
另外，进行远程处理的基准也能够不取决于能量余量。例如，能够构成为并不一直
在车载器10进行，而在任意的定时，通过车内监视支援装置20进行高性能的监视处理，在其它定时进行能量消耗较低的车载器10中的监视处理。
[0151]
另外，也可以构成为车载器10随时将传感器信息、识别结果以及判断结果发送至车内监视支援装置20，车内监视支援装置20将传感器信息、识别结果以及判断结果登记至状况管理数据库。
[0152]
此外，cpu以外的各种处理器也可以执行在上述实施方式中cpu读取软件(程序)并执行的程序。作为该情况下的处理器，例示fpga(field－programmable gate array：现场可编程门阵列)等在制造后能够变更电路构成的pld(programmable logic device：可编程逻辑器件)以及asic(application specific integrated circuit：专用集成电路)等具有为了使特定的处理执行而专用地设计的电路构成的处理器亦即专用电路等。另外，既可以利用这些各种处理器中的一个执行上述各程序，也可以利用同种或者不同种类的两个以上的处理器的组合(例如，多个fpga以及cpu与fpga的组合等)执行上述各程序。另外，更具体而言，这些各种处理器的硬件结构是组合半导体元件等电路元件而成的电气电路。
[0153]
另外，在上述各实施方式中，对程序预先存储(安装)于rom12或者存储器14的方式进行了说明，但并不限定于此。程序也可以以存储于cd－rom(compact disk read only memory：紧凑型光盘只读储存器)，dvd－rom(digital versatile disk read only memory：数字通用光盘只读存储器)以及usb(universal serial bus：通用串行总线)存储器等非暂时(non－transitory)存储介质的方式提供。另外，上述各程序也可以是经由网络从外部装置下载的方式。
[0154]
关于以上的实施方式，进一步公开以下的附记。
[0155]
(附记项1)
[0156]
一种车内监视装置，是搭载于车辆的车内监视装置，包括：
[0157]
存储器；以及
[0158]
至少一个处理器，与上述存储器连接，
[0159]
上述处理器构成为，
[0160]
获取能量余量，上述能量余量是上述车内监视装置使用的能量的余量；
[0161]
获取与车辆内部的对象物相关的传感器信息；
[0162]
基于上述能量余量判断是否进行远程处理；
[0163]
在判断为不进行远程处理的情况下，基于上述传感器信息识别上述车辆内部的对象物；
[0164]
基于识别结果判断上述车辆内部的状况；
[0165]
在判断为进行远程处理的情况下，将上述传感器信息发送至进行与上述识别以及上述判断相同的处理的车内监视支援装置；
[0166]
接收上述车内监视支援装置对上述车辆内部的状况的判断结果；以及
[0167]
基于上述判断结果来进行对上述车辆内部的控制。
[0168]
(附记项2)
[0169]
一种存储有车内监视程序的非暂时存储介质，上述车内监视程序使计算机执行：
[0170]
获取能量余量，上述能量余量是计算机使用的能量的余量；
[0171]
获取与车辆内部的对象物相关的传感器信息；
[0172]
基于上述能量余量判断是否进行远程处理；
[0173]
在判断为不进行远程处理的情况下，基于上述传感器信息识别上述车辆内部的对象物；
[0174]
基于识别结果判断上述车辆内部的状况；
[0175]
在判断为进行远程处理的情况下，将上述传感器信息发送至进行与上述识别以及上述判断相同的处理的车内监视支援装置；
[0176]
接收上述车内监视支援装置对上述车辆内部的状况的判断结果；以及
[0177]
基于上述判断结果来进行对上述车辆内部的控制。
[0178]
(附记项3)
[0179]
一种车内监视支援装置，
[0180]
包括远程通信部、远程识别部以及远程判断部，
[0181]
上述远程通信部从进行车辆内部的监视的车内监视装置接收与车辆内部的对象物相关的传感器信息，
[0182]
上述远程识别部基于上述远程通信部接收的上述传感器信息来识别上述车辆内部的对象物，
[0183]
上述远程判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况，
[0184]
上述远程通信部将上述远程判断部的判断结果发送至上述车内监视装置。
[0185]
(附记项4)
[0186]
一种车内监视方法，
[0187]
搭载于车辆的车载器的能量获取部获取能量余量，上述能量余量是上述车载器使用的能量的余量，
[0188]
上述车载器的车载获取部获取与上述车辆内部的对象物相关的传感器信息，
[0189]
上述车载器的转移判断部基于上述能量余量判断是否进行远程处理，
[0190]
在上述转移判断部判断为不进行远程处理的情况下，上述车载器的车载识别部基于上述传感器信息识别上述车辆内部的对象物，
[0191]
上述车载器的车载判断部基于上述车载识别部的识别结果来判断上述车辆内部的状况，
[0192]
在上述转移判断部判断为进行远程处理的情况下，上述车载器的车载通信部将上述传感器信息发送至车内监视支援装置，
[0193]
上述车内监视支援装置的远程通信部接收上述传感器信息，
[0194]
上述车内监视支援装置的远程识别部基于上述远程通信部接收的上述传感器信息来识别上述车辆内部的对象物，
[0195]
上述车内监视支援装置的远程判断部基于上述远程识别部的识别结果来判断上述车辆内部的状况，
[0196]
上述远程通信部将上述远程判断部的判断结果发送至上述车载器，
[0197]
上述车载通信部接收上述远程判断部的判断结果，
[0198]
上述车载器的车载控制部基于上述车载判断部的判断结果或者上述远程判断部的判断结果来进行对上述车辆内部的控制。
[0199]
依据实施方式对本公开进行了描述，但是应理解本公开不限定于该实施方式、构
造。本公开也包括各种变形例、均等范围内的变形。除此以外，各种组合、方式、进而在这些组合、方式中仅包含一个要素、更多或更少的其它组合、方式也落入本公开的范畴、思想范围中。