信息处理方法、信息处理终端、以及信息处理系统与流程

1.本公开涉及信息处理方法、信息处理终端、以及信息处理系统。


背景技术：

2.近几年讨论一种远程操作系统，该远程操作系统利用无线lan(local areanetwork)或者便携式电话线路等无线通信，由位于异处的远程操作者，针对能够自主地行驶的车辆，按照需要间接地进行操作。远程操作者，例如在成为车辆不能自主行驶的状况时，将与车辆的行驶有关的控制信号发送给车辆，从而能够在异处对车辆的行驶进行控制。
3.在远程操作者对车辆进行远程操作的情况下，希望使车辆安全地行驶。于是，在专利文献1中提出了在远程操作时限制车辆的速度的方案。
4.(现有技术文献)
5.(专利文献)
6.专利文献1：日本特开2017-126193号公报
7.然而在专利文献1的技术中，有可能降低远程操作者进行的远程操作的效率。例如在上述技术中，远程操作中的移动体的速度受到统一的限制。另一方面，针对发生的事件被要求的远程操作，按照发生的事件而不同。因此有时速度限制不适于远程操作。其结果有可能使远程操作的效率降低。


技术实现要素：

8.于是，本公开提供一种既能够确保进行远程操作的移动体的安全，又能够抑制远程操作的效率降低的信息处理方法、信息处理终端、以及信息处理系统。
9.本公开的一个方案涉及的信息处理方法是由计算机执行的信息处理方法，在该信息处理方法中，在接收到需要移动体的远程操作的事件的信息的情况下，确定与该事件对应的远程操作的任务，按照被确定的所述任务，决定远程操作中的所述移动体的行驶限制，被决定的所述行驶限制，在所述移动体执行与所述任务对应的行驶控制时被适用。
10.本公开的一个方案涉及的信息处理终端，被搭载于移动体，所述信息处理终端具备：判断部，判断是否发生了需要所述移动体的远程操作的事件；发送部，在发生了所述事件的情况下，发送该事件的信息；接收部，接收远程操作中的所述移动体的行驶限制以及远程操作的指示，该远程操作中的所述移动体的行驶限制以及远程操作的指示是基于发送的所述事件的信息的行驶限制以及指示；以及控制部，在接收的所述行驶限制下，使所述移动体执行与所述远程操作的指示对应的行驶控制。
11.本公开的一个方案涉及的信息处理系统，具备：判断部，判断是否发生了需要移动体的远程操作的事件；确定部，在判断为发生了所述事件的情况下，确定与该事件对应的远程操作的任务；决定部，按照被确定的所述任务，决定远程操作中的所述移动体的行驶限制；以及控制部，将所决定的所述行驶限制，在所述移动体执行与被确定的所述任务对应的
行驶控制时适用。
12.通过本公开的一个方案涉及的信息处理方法等，既能够确保被远程操作的移动体的安全，又能够抑制远程操作的效率的降低。
附图说明
13.图1是示出实施方式的车辆控制系统的功能结构的方框图。
14.图2是示出实施方式的车辆控制系统的动作的时序图。
15.图3是示出图2所示的判断是否需要切换的动作的流程图。
16.图4是示出实施方式的边缘系统获得的各种信息的图。
17.图5是示出实施方式的切换判断列表的一例的图。
18.图6是示出图2所示的判断操作事件的动作的流程图。
19.图7是示出实施方式的事件列表的一例的图。
20.图8是示出实施方式的显示部的显示内容的一例的图。
21.图9是示出实施方式的显示部的显示内容的其他一例的图。
22.图10是示出实施方式的远程操作状况履历信息的一例的图。
23.图11是示出实施方式的车辆的当前的状况的一例的图。
24.图12是示出实施方式的远程操作履历信息的一例的图。
25.图13是用于说明实施方式的限制值的算出的图。
26.图14是示出图2所示的适用限制值的动作的流程图。
27.图15是用于说明本公开的课题的第1图。
28.图16是用于说明本公开的课题的第2图。
具体实施方式
29.(达到本公开的经过)
30.在说明本公开的实施方式之前，参考图15以及图16来说明达到本公开的基础的经过。图15是用于说明本公开的课题的第1图。图16是用于说明本公开的课题的第2图。在图15以及图16中，车辆100原本以自动驾驶模式来行驶，但是成为不能以自动驾驶模式来行驶的状态(例如成为不能行驶)，在道路400上停止。
31.图15示出了车辆100避开道路施工而行驶的情况。图16示出了因为应急车辆通过而靠边停车(暂时靠边停车)的情况。在图15以及图16中，均为车辆100的当前的位置是远程操作开始位置，到目标位置进行远程操作。另外，通过远程操作避开道路施工、以及为了使应急车辆通过从而以远程操作靠边停车，这些是远程操作时的操作事件(任务)的一例。换句话说，在图15以及图16中示出在相互不同的操作事件时所需要的操作等。
32.在图15中进行车速“低”、舵角“大”、加速度“小”的远程操作。这是因为按照急转弯的行驶路径，远程操作者一边很大地转向，一边慢慢地使车辆100行驶。
33.在图16中进行车速“中”、舵角“小”、加速度“中”的远程操作。这是因为按照缓慢转弯的行驶路径，远程操作者一边很小地转向，一边以比较快的速度使车辆100行驶。
34.这样，在通过远程操作来行驶的情况下，很多时候根据进行远程操作的操作事件，需要的操作的内容不同。针对远程操作时的行驶限制，优选的是被设定为既提高安全性，又
提高行驶的效率。
35.然而，在专利文献1的技术中，行驶限制被一律地设定，并没有根据远程操作的操作事件而不同，所以在远程操作时有可能发生效率降低。此外，行驶限制不适合于远程操作，所以安全性也有可能降低。
36.于是，本发明者们认真研究了既能够确保被远程操作的移动体的安全又能够抑制远程操作的效率降低的信息处理方法等，提出了以下说明的信息处理方法等。
37.本公开的一个方案涉及的信息处理方法是由计算机执行的信息处理方法，在该信息处理方法中，在接收到需要移动体的远程操作的事件的信息的情况下，确定与该事件对应的远程操作的任务，按照被确定的所述任务，决定远程操作中的所述移动体的行驶限制，被决定的所述行驶限制，在所述移动体执行与所述任务对应的行驶控制时被适用。
38.从而，能够按照每个远程操作的任务，决定行驶限制。换言之，能够决定适合远程操作的任务的行驶限制。从而，能够抑制在远程操作时适用不需要的行驶限制，所以既能够确保被远程操作的移动体的安全，又能够抑制远程操作的效率的低下。换句话说，远程操作的任务按照移动体的状态而不同，所以能够适用与移动体的状态对应的行驶限制。此外，行驶限制被适当地适用在任务中，从而能够按照任务的内容或者远程操作进行的状况，来提高移动体的安全性。例如，在高速公路中靠边停车时，缓解行驶限制更能够降低被其他车辆追尾碰撞的风险。
39.此外可以是，例如获得所述任务的执行环境，在决定所述行驶限制时，按照所述任务和所述执行环境来决定。
40.从而，行驶限制，进一步利用任务的执行环境而被决定。从而，能够决定进一步适合远程操作的任务的行驶限制。
41.此外可以是，例如所述执行环境至少包括执行所述任务的远程操作者的属性、能力以及操作履历的其中之一。
42.从而，行驶限制，进一步利用远程操作者的属性、能力以及操作履历的至少其中之一而被决定。因而，能够决定与执行远程操作的任务的远程操作者对应的行驶限制。
43.此外可以是，例如所述执行环境至少包括通过所述任务的执行而被远程操作的所述移动体的属性、性能以及规格的其中之一。
44.从而，行驶限制，进一步利用被远程操作的所述移动体的属性、性能以及规格的至少其中之一而被决定。因而，能够决定与被远程操作的移动体对应的行驶限制。
45.此外可以是，例如所述执行环境至少包括通过所述任务的执行而被远程操作的所述移动体所处的地点的气候、路面状态以及交通的环境的其中之一。
46.从而，行驶限制，进一步利用被远程操作的移动体所处的地点的气候、路面状态以及交通的环境的至少其中之一而被决定。因而，能够决定与被远程操作的移动体的当前的地点(例如移动体成为不能行驶的地点)的环境对应的行驶限制。
47.此外可以是，例如在决定所述行驶限制时，利用根据过去的所述任务以及所述执行环境而被生成的模型来决定。
48.从而，例如不需要存储表示过去进行远程操作时的履历的远程操作履历信息等的用于决定行驶限制的数据，就能够决定行驶限制。
49.此外可以是，例如在确定所述任务时，确定候选任务，该候选任务是根据所述事件
的信息而被推定的所述任务，将被确定的所述候选任务提示给远程操作者，按照所述远程操作者的基于被提示的所述候选任务的输入，来确定所述任务。
50.从而，能够向远程操作者提示候选任务。并且，使远程操作者进行基于提示的候选任务的输入，从而使远程操作者意识到远程操作的目的。因而，能够期待降低远程操作时的远程操作者的多余的操作。此外，通过候选任务被提示，从而能够减少远程操作者对选择任务所花费的时间或者工夫。
51.此外可以是，例如将要提示的所述候选任务，利用模型而被确定，该模型是根据过去的时刻的所述事件的信息和所述远程操作者的基于所述过去的时刻的所述候选任务的输入来生成的模型。
52.从而，例如不需要准备事件列表等的用于决定提示的候选任务的数据，就能够决定提示的候选任务。
53.此外可以是，例如被决定的所述行驶限制，在所述移动体执行与所述远程操作的指示对应的所述行驶控制时被适用，所述远程操作的指示是与被确定的所述任务对应的指示。
54.从而，针对来自执行任务的远程操作者的远程操作的指示，适用行驶限制，所以能够抑制任务的执行效率的降低。
55.此外可以是，例如所述行驶限制至少包括速度、加速、制动以及掌舵的其中之一的限制。
56.从而，针对来自远程操作者的远程操作的指示，能够对速度、加速、制动或者掌舵的其中至少1个适用限制。
57.此外可以是，例如在所述信息处理方法中，进一步将被决定的所述行驶限制，发送给搭载于所述移动体的终端，在被发送来的所述行驶限制下，由所述移动体执行与所述远程操作的指示对应的行驶控制。
58.从而，在移动体中决定行驶控制的情况下，移动体能够在按照远程操作的指示而执行的行驶控制中适用行驶限制。
59.此外可以是，例如在所述信息处理方法中，进一步，在所述行驶限制下，决定与所述远程操作的指示对应的行驶控制，将所决定的所述行驶控制发送给搭载于所述移动体的终端，由所述移动体执行被发送来的所述行驶控制。
60.从而，在对移动体进行远程操作的装置侧决定行驶控制的情况下，能够以考虑行驶限制的方式来决定使移动体执行的行驶控制。
61.此外，本公开的一个方案涉及的信息处理终端，被搭载于移动体，所述信息处理终端具备：判断部，判断是否发生了需要所述移动体的远程操作的事件；发送部，在发生了所述事件的情况下，发送该事件的信息；接收部，接收远程操作中的所述移动体的行驶限制以及远程操作的指示，该远程操作中的所述移动体的行驶限制以及远程操作的指示是基于发送的所述事件的信息的行驶限制以及指示；以及控制部，在接收的所述行驶限制下，使所述移动体执行与所述远程操作的指示对应的行驶控制。
62.从而，信息处理终端能够在与需要移动体的远程操作的事件对应的行驶限制下，使移动体执行与远程操作的指示对应的行驶控制。因而，信息处理终端，能够抑制针对远程操作的指示适用不需要的行驶限制，所以既能够确保被远程操作的移动体的安全，又能够
抑制远程操作的效率降低。
63.此外，本公开的一个方案涉及的信息处理系统，具备：判断部，判断是否发生了需要移动体的远程操作的事件；确定部，在判断为发生了所述事件的情况下，确定与该事件对应的远程操作的任务；决定部，按照被确定的所述任务，决定远程操作中的所述移动体的行驶限制；以及控制部，将所决定的所述行驶限制，在所述移动体执行与被确定的所述任务对应的行驶控制时适用。
64.从而，能够起到与上述的信息处理方法同样的效果。
65.另外，这些概括或者具体的方案，可以通过系统、装置、方法、集成电路、计算机程序或者计算机可读取的cd-rom等非暂时的记录介质来实现，也可以任意组合系统、装置、方法、集成电路、计算机程序以及记录介质来实现。
66.接下来关于本公开的一个方式涉及的信息处理方法等具体例子，参考附图进行说明。这里示出的实施方式，都是示出本公开的一个具体例子。从而，以下的实施方式所示的数值、数值、构成要素、步骤、步骤的顺序等均为一个例子，其主旨并非是对本发明进行限定。并且，对于以下的实施方式的构成要素之中没有记载在示出最上位概念的独立技术方案的构成要素，作为任意的构成要素来说明。
67.此外，各图是示意图，并非是严谨的图示。因此，例如在各图中缩尺等也并非一致。此外，在各图中，对实质上相同的构成赋予相同的符号，省略或简化重复说明。
68.此外，在本说明书中，相同、一致等表示要素间的关系性的用语、以及数值和数值范围，不仅是表示严格意义上的表现，而且是表示具有实际上同等的范围，例如包括百分之几左右的差异的表现。
69.(实施方式)
70.下面关于本实施方式涉及的信息处理系统等，参考图1至图14来说明。
71.[1.信息处理系统的结构]
[0072]
首先关于本实施方式涉及的车辆控制系统10的功能结构，参考图1来说明。图1是示出本实施方式的车辆控制系统10的功能结构的方框图。
[0073]
如图1所示，车辆控制系统10具备：车辆100、服务器200、第2远程控制系统300。车辆100与服务器200、服务器200与第2远程控制系统300，分别以能够通信的方式连接。车辆控制系统10是用于针对车辆100的行驶，按照需要而由位于异处的远程操作者进行远程监视以及远程操作的系统。车辆控制系统10是用于控制车辆100的行驶的信息处理系统的一例。
[0074]
车辆100是人乘坐的移动体的一例，按照需要，由远程操作者进行远程监视或者远程操作。车辆100是能够在自动驾驶与远程操作的驾驶之间进行切换的自动驾驶车(自动驾驶车辆)。换言之，车辆100是能够在以自动驾驶来行驶的自动驾驶模式与通过远程操作来行驶的远程操作模式之间，有选择地进行切换的车辆。另外，自动驾驶车只要是人能够乘坐、并且能够自动驾驶就没有特别限定，可以是能够自动驾驶的巴士、能够自动驾驶的出租车、能够自动驾驶的私家汽车、能够自动驾驶的卡车、以及能够自动驾驶的建筑车辆(例如自卸货车)等。
[0075]
车辆100具有自动驾驶系统110、第1远程控制系统120、边缘系统130。在本说明书中，“车辆”是指搭载了自动驾驶系统110、第1远程控制系统120的车辆。
[0076]
自动驾驶系统110是搭载于车辆100的用于自动驾驶的控制系统。自动驾驶系统110，在车辆100以自动驾驶模式行驶时，对车辆100的行驶进行控制。自动驾驶系统110是例如能够以规定级别以上的自动驾驶级别来实现自动行驶的控制系统。规定级别例如是sae(society ofautomotive engineers：汽车工程师协会)的级别定义中的级别3，但是不限于此。
[0077]
自动驾驶系统110，根据被搭载在车辆100上的各种传感器(未图示)的感测信息，获得车辆100的车辆信息。自动驾驶系统110，例如在自动驾驶模式时，获得车辆100的车辆信息。车辆信息，至少包括与车辆100的行驶有关的信息。在本实施方式中，车辆信息包括与车辆100的行驶有关的信息、以及与车辆100的周围有关的信息。与车辆100的行驶有关的信息，至少是例如车辆100的当前的速度、舵角、以及加速度的其中之一。此外，与车辆100的周围有关的信息，例如至少包括与障碍物有关的信息(障碍物信息)以及影像的其中之一。与障碍物有关的信息，是示出车辆100的周围的障碍物的位置以及速度的信息。各种传感器是速度传感器、舵角传感器、lidar(light detection and ranging：光探测和测距)、雷达(例如毫米波雷达)、超声波传感器、以及摄像装置等，但是并不限于这些。
[0078]
自动驾驶系统110具有车辆控制部111、以及通知部112。
[0079]
车辆控制部111，根据自动驾驶的行驶计划，对车辆100的行驶进行控制。车辆控制部111，根据行驶计划，对车辆100的速度、舵角进行控制。行驶计划包括行驶路径、速度等。
[0080]
通知部112，根据在自动驾驶模式时获得的车辆信息，将车辆100的当前的状态通知给边缘系统130。通知部112，进一步将障碍物信息通知给边缘系统130。此外，通知部112，在车辆100成为不能行驶时，将表示不能行驶的信息，通知给边缘系统130。
[0081]
第1远程控制系统120是搭载于车辆100的用于远程操作的驾驶的控制系统。第1远程控制系统120，在车辆100以远程操作模式行驶时，根据从第2远程控制系统300获得的远程操作的远程操作指示(例如控制命令)，对车辆100的行驶进行控制。
[0082]
第1远程控制系统120，根据搭载于车辆100的各种传感器(未图示)的感测信息，获得车辆100的车辆信息。第1远程控制系统120，例如，在远程操作模式时，获得车辆100的车辆信息。车辆信息，至少包括影像。此外车辆信息，可以至少包括车辆100的当前的速度、舵角、加速度、障碍物信息的其中之一。
[0083]
第1远程控制系统120具有车辆控制部121、以及影像发送部122。
[0084]
车辆控制部121，根据远程操作指示，对车辆100的行驶进行控制。车辆控制部121，根据远程操作指示，对车辆100的速度、舵角等进行控制。远程操作指示，包括表示速度、舵角等的信息。
[0085]
影像发送部122，将在远程操作模式时从摄像装置获得的影像，发送给边缘系统130。影像发送部122，也可以将在远程操作模式时从各种传感器获得的其他的车辆信息(例如，当前的速度、舵角、加速度、与障碍物有关的信息)，发送给边缘系统130。
[0086]
边缘系统130，根据从自动驾驶系统110以及第1远程控制系统120获得的信息，生成用于发送给服务器200的信息并且发送。边缘系统130，例如，将事件判断用信息发送给服务器200，该事件判断用信息表示车辆100成为不能行驶的原因即事件。事件判断用信息是在服务器200中，判断是否需要切换到远程操作时使用的信息，至少根据来自车辆100的各种传感器的感测数据、车辆位置获得部134获得的车辆100的位置、以及异常检测部135的异
常检测结果的其中之一来生成。此外，边缘系统130，在获得来自第2远程控制系统300的信息时，将获得的信息输出到自动驾驶系统110以及第1远程控制系统120的至少一方。可以说是边缘系统130，对车辆100的构成要素与服务器200的通信进行中继。边缘系统130是搭载于车辆100的信息处理终端(终端)的一例。
[0087]
边缘系统130具有收发部131、切换判断部132、限制适用部133、车辆位置获得部134、以及异常检测部135。
[0088]
收发部131进行边缘系统130与车辆100的各个构成要素(例如，自动驾驶系统110以及第1远程控制系统120)之间的通信、以及边缘系统130与服务器200之间的通信。收发部131，例如以包括通信模块的方式来构成。收发部131是发送部以及接收部的一例。
[0089]
切换判断部132，对是否将以自动驾驶模式行驶的车辆100的行驶模式切换为远程操作模式进行判断。切换判断部132，例如在自动驾驶模式的行驶中进行该判断。切换判断部132是判断部的一例。
[0090]
限制适用部133，在以远程操作模式行驶中，对从第2远程控制系统300获得的远程操作指示是否满足服务器200生成的限制进行判断，在不满足的情况下，以满足限制的方式更新远程操作指示。限制适用部133是控制部的一例。
[0091]
车辆位置获得部134获得车辆100的当前位置。车辆位置获得部134，例如通过gps模块来实现，该gps模块获得gps(global positioning system)信号(换言之从卫星输出的电波)，根据获得的gps信号来计测车辆100的当前位置，从而获得该当前位置。
[0092]
异常检测部135检测自动驾驶系统110是否有异常。异常检测部135，可以根据自动驾驶系统110的反应性(例如自动驾驶系统110的反应迟等)来检测异常，也可以根据功耗等来检测异常。异常检测部135，也可以检测第1远程控制系统120是否有异常。异常检测部135，例如可以在以自动驾驶模式行驶中对自动驾驶系统110进行异常检测，在以远程操作模式行驶中对第1远程控制系统120进行异常检测。通过边缘系统130具有异常检测部135，从而能够检测例如自动驾驶系统110不能检测的异常。
[0093]
另外，边缘系统130至少具有收发部131、切换判断部132、限制适用部133就可以。换言之，边缘系统130，可以不具有车辆位置获得部134以及异常检测部135的至少一方。
[0094]
另外，自动驾驶系统110、第1远程控制系统120以及边缘系统130，可以分别作为控制装置即ecu(electronic control unit：电子控制单元)具有的功能之一来实现。ecu例如具有处理器、存储器，通过执行存储在存储器中的程序，从而实现自动驾驶系统110、第1远程控制系统120以及边缘系统130各自的功能。
[0095]
服务器200，根据从车辆100获得的信息，进行与车辆100的当前的状态所需要的远程操作的操作事件有关的处理、以及与该操作事件所对应的限制的生成有关的处理。服务器200具有操作事件判断部210、操作事件推测部220、限制生成部230、以及存储部240。远程操作的操作事件是远程操作的任务的一例。此外，远程操作的操作事件，有时可以记载为远程操作事件。
[0096]
操作事件判断部210，根据从车辆100获得的事件判断用信息，推测当前的车辆100在远程操作时被推荐的操作事件。操作事件判断部210，例如根据事件判断用信息、以及将事件判断用信息以及操作事件建立了对应的事件列表(参考后述图7)，来确定当前的车辆100在远程操作时被推荐的操作事件。另外由操作事件判断部210确定的操作事件的数量没
有特别限定，可以是1个，也可以是多个。操作事件判断部210是确定部的一例。
[0097]
操作事件判断部210，不限定为利用事件列表来推测操作事件，例如可以利用根据过去的时刻的事件判断用信息和远程操作者的基于那时成为候选的操作事件的输入而生成的模型，来推测与当前的事件判断用信息对应的操作事件。远程操作者的输入是指，从候选事件中由远程操作者选择的操作事件。该模型，例如可以是利用神经网络的机器学习模型。机器学习模型可以是以将事件判断用信息作为输入，将推荐给远程操作者的操作事件作为输出(确定)的方式进行了学习的已学习模型。机器学习模型，将过去的事件判断用信息作为输入数据，将那时的远程操作者的输入作为参考数据(正确答案信息)来学习。
[0098]
操作事件判断部210，将当前的事件判断用信息输入到模型而得到的该模型的输出，作为推荐的操作事件来确定。另外，模型可以是以事件判断用信息(参数)、以及操作事件(参数)来建模的任何模型。
[0099]
操作事件推测部220，在由操作事件判断部210判断出的操作事件有多个的情况下，在多个操作事件中，推测向远程操作者推荐的操作事件。操作事件推测部220，可以根据在过去的远程操作事件中的远程操作时的表示车辆100的周围的状况的远程操作状况履历信息(参考后述的图10)与当前的车辆100的状况(参考后述的图11)之间的相似度，来推测进行推荐的操作事件。操作事件推测部220，可以例如推测多个操作事件的各自的位次(被选择的可能性的位次)。另外，相似度，例如根据标准欧几里得距离来计算，但是不限于此。此外，操作事件推测部220，针对障碍物的识别结果这样的类别变数，可以作为相似度计算的预处理来进行one-hot编码。
[0100]
限制生成部230，按照远程操作者选择的操作事件，决定远程操作中的车辆100的行驶限制。限制生成部230，例如通过生成与操作事件对应的行驶限制，从而决定行驶限制。限制生成部230，例如根据远程操作者选择的操作事件、和表示过去进行远程操作时的履历的远程操作履历信息(参考后述的图12)，决定与当前的操作事件对应的行驶限制。限制生成部230，对操作事件的每一个，生成行驶限制。限制生成部230是决定部的一例。以下将行驶限制，说明为生成限制值，但是并不限于此。
[0101]
限制生成部230，不限定为利用远程操作履历信息来推测操作事件，也可以利用基于过去的操作事件和那时适用的行驶限制来生成的模型，来决定与当前的操作事件对应的行驶限制。该模型，例如可以是利用神经网络的机器学习模型。机器学习模型，可以是将操作事件作为输入，输出与该操作事件对应的行驶限制的方式进行了学习的已学习模型。机器学习模型，将过去的操作事件作为输入数据，并且将那时的行驶限制作为参考数据(正确答案信息)来进行学习。
[0102]
限制生成部230，可以将把当前的操作事件输入到模型而获得的该模型的输出，决定为与该操作事件对应的行驶限制。
[0103]
此外，限制生成部230，可以是根据过去的操作事件以及该操作事件的执行环境而生成的模型。限制生成部230，可以例如利用根据过去的操作事件以及执行环境、和那时适用的行驶限制而生成的模型，来决定与当前的操作事件对应的行驶限制。此外，模型可以是以操作事件(参数)、以及行驶限制(参数)建模的任何模型。另外，执行环境包括由远程操作者执行远程操作时的各种信息，例如至少包括稍后描述的与远程操作者有关的信息、与车辆有关的信息、以及与环境有关的信息的其中一个。
[0104]
存储部240，存储用于操作事件判断处理等的各种信息。存储部240，至少存储事件列表。在本实施方式中，存储部240，进一步存储履历信息(远程操作履历信息)、障碍物信息以及车辆位置信息。关于各种信息的内容，稍后描述。
[0105]
另外，服务器200可以不具有操作事件推测部220。换言之，服务器200不限定于根据上述的相似度提示操作事件。例如，可以预先设定多个操作事件的排列顺序、以及显示形态。
[0106]
第2远程控制系统300，在切换判断部132判断为需要从自动驾驶模式切换为远程操作模式的情况下，当接受来自远程操作者的远程操作指示时，将该远程操作指示经由服务器200发送给车辆100。第2远程控制系统300，具有操作信号处理部310、操作信号发送部320、显示部330、接受部340、影像接收部350。
[0107]
操作信号处理部310，经由操作输入装置(未图示)来获得远程操作者的针对远程控制的远程操作指示。操作输入装置，例如可以由方向盘，脚踏板(例如加速踏板、以及刹车踏板)、或者控制杆等来实现。
[0108]
操作信号发送部320，将由操作信号处理部310获得的远程操作指示，经由服务器200发送给车辆100。
[0109]
显示部330是显示第2远程控制系统300接收的各种信息的用户界面。显示部330，例如在远程操作模式时，显示影像接收部350接收的影像。此外，显示部330在从自动驾驶模式切换为远程操作模式时，显示由操作事件判断部210判断的操作事件。显示部330在显示多个操作事件的情况下，按照操作事件推测部220的推测结果，来变更操作事件的显示形态。显示部330，针对由操作事件推测部220推测为相似度高的操作事件，以比其他的操作事件更突出的方式显示。显示部330，例如针对操作事件推测部220推测为相似度高的操作事件，以比其他的操作事件更大的方式显示、或者改变颜色来显示、或者进行亮灭地显示。从而能够提高远程操作者选择操作事件时的效率。另外显示部330由液晶显示器来实现，但是不限于此。
[0110]
显示部330是提示部的一例。另外，提示部不限定为显示部330，也可以由扬声器等的出音部来实现。
[0111]
接受部340是接受远程操作者的选择的用户界面。接受部340由按钮、键盘、鼠标、触摸屏等来实现。此外，接受部340，也可以接受通过声音的选择。在本实施方式中，接受部340是触摸屏，与显示部330重叠地配置。
[0112]
影像接收部350，在以远程操作模式来行驶中，经由服务器200接收从车辆的影像发送部122发送来的车辆100的周围的影像。影像接收部350，使显示部330显示接收的影像。从而，远程操作者在远程操作模式的期间，能够通过显示部330来确认车辆100的周围的影像。
[0113]
如上所述，车辆控制系统10，例如具备：切换判断部132，判断是否发生了需要车辆100的远程操作的事件；操作事件判断部210，在判断为发生了事件的情况下，确定与该事件对应的远程操作的操作事件；限制生成部230，按照被确定的操作事件，决定在远程操作中的车辆100的行驶限制；以及限制适用部133，将所决定的行驶限制，在车辆100执行与被确定的操作事件对应的行驶控制时适用。
[0114]
[2.车辆控制系统的动作]
[0115]
接下来针对上述说明的车辆控制系统10的动作，参考图2～图14来说明。图2是示出本实施方式的车辆控制系统10的动作的时序图。图2示出了按照车辆100需要远程操作的情况下的操作事件，来设定进行远程操作时的限制时的时序图。另外设车辆100是以自动驾驶模式来行驶中。
[0116]
如图2所示，自动驾驶系统110，在以自动行驶模式的行驶中，将表示车辆100的当前的状态的状态通知，发送给边缘系统130(s11)。状态通知是表示车辆100的当前的状态的通知，由通知部112通知给边缘系统130。状态通知包括例如搭载于车辆100的传感器的状态(传感器的异常等)、以及自动驾驶系统110的状态等。状态通知，只要是表示状态的信息就可以，也可以是包括表示正常或异常的信息的通知，也可以是包括识别异常的识别信息(例如错误码)的通知。
[0117]
此外，状态通知也可以包括与当前的车辆100的行驶状态有关的信息。与行驶状态有关的信息，可以包括表示车辆100是否自动驾驶行驶的信息、表示是否停止(例如，自动驾驶系统110是否输出停止指示)的信息、以及表示在自动驾驶行驶的开始前、行驶中、结束后中的任一个的信息。
[0118]
自动驾驶系统110依次或者按照每个规定时间间隔，将状态通知发送给边缘系统130。
[0119]
服务器200向边缘系统130发送指示通知，该指示通知用于判断是否从自动驾驶模式切换为远程操作模式(s12)。是否切换的判断，还可以是例如车辆100是否处于需要从自动驾驶模式切换为远程操作模式的状态的判断，所以也可以记载为是否需要切换的判断。
[0120]
边缘系统130，在从自动驾驶系统110获得状态通知时，判断是否需要从自动驾驶模式切换为远程操作模式(s13)。在本实施方式中，边缘系统130，在从自动驾驶系统110获得状态通知，并且从服务器200获得指示通知时，判断是否需要切换。
[0121]
这里针对边缘系统130进行的是否需要切换的判断动作的一例，参考图3～图5进行说明。图3是示出图2所示的判断是否需要切换的动作(s13)的流程图。
[0122]
如图3所示，边缘系统130的切换判断部132，判断是否从服务器200获得了远程操作切换指示(s101)。远程操作切换指示是不管切换判断部132的是否需要切换的判断结果，从自动驾驶模式切换为远程操作模式的指示，也可以说是表示强制性地切换为远程操作模式的指示。远程操作切换指示，例如通过远程操作者进行用于切换为远程操作模式的操作，从而从服务器200发送到边缘系统130。
[0123]
切换判断部132，在经由收发部131从服务器200获得远程操作切换指示的情况下(s101中的“是”)，进入步骤s113，判断为需要远程操作切换。此外，切换判断部132，在没有从服务器200获得远程操作切换指示的情况下(s101中的“否”)，执行步骤s102之后的处理。换言之，切换判断部132，执行是否需要切换的判断处理。
[0124]
接下来切换判断部132，接收自动驾驶系统状态(s102)。切换判断部132，也可以通过接收来自自动驾驶系统110的状态通知(新的接收)，来获得自动驾驶系统状态，也可以通过读出在步骤s101之前接收并存储在存储部(未图示)的状态通知，从而获得自动驾驶系统状态。切换判断部132，例如将最新的状态通知作为自动驾驶系统状态来获得。
[0125]
接下来切换判断部132，从异常检测部135接收异常检测结果(s103)。切换判断部132，例如接收最新的异常检测结果。此外，切换判断部132，可以进一步从车辆位置获得部
134获得当前位置的获得结果。当前位置至少包括例如纬度、经度以及高度中的一个。另外下面的说明中以切换判断部132获得异常检测结果以及当前位置的获得结果为例子，但是可以不用获得异常检测结果以及当前位置的获得结果中的至少一方。例如可以不进行步骤s103。
[0126]
在此针对切换判断部132获得的各种信息，参考图4来说明。图4是示出本实施方式的边缘系统130获得的各种信息的图。
[0127]
如图4所示，边缘系统130的切换判断部132，通过来自自动驾驶系统110的状态通知来获得自动驾驶系统状态。状态通知包括例如自动驾驶系统110以及各种传感器等是否正常或异常、以及异常时的错误码。此外，边缘系统130，从边缘系统130的异常检测部135获得异常检测结果。异常检测结果，包括自动驾驶系统110以及各种传感器等是正常还是异常、以及异常时的错误码。此外，边缘系统130，通过来自自动驾驶系统110的状态通知，获得车辆行驶状态。车辆行驶信息表示车辆100的当前的行驶状况，例如是自动驾驶行驶(车速》0)、车辆停止(自动驾驶系统110进行停止指示)、自动驾驶行驶开始前、自动驾驶行驶结束等。
[0128]
再次参考图2，接下来切换判断部132，根据状态通知，判断自动驾驶系统110是否有异常(s104)。切换判断部132，例如在获得了错误码的情况下，判断为自动驾驶系统110有异常。
[0129]
接下来切换判断部132在自动驾驶系统110有异常的情况下(s104中的“是”)，在切换判断列表中检索异常内容(s105)。切换判断部132，利用切换判断列表来判断该异常内容是否为需要从自动驾驶模式切换到远程操作模式的异常内容。图5是示出本实施方式的切换判断列表的一例的图。
[0130]
如图5所示，切换判断列表是将事件判断用信息与是否需要切换为远程操作建立了对应的列表。事件判断用信息表示根据图4示出的各种信息而被确定的车辆100的当前的状态。在图5中作为一例记载了no.1～no.7的事件判断用信息。另外，事件判断用信息表示的各个事件是发生事件的一例。
[0131]“no.1从行驶路径脱离”例如表示从自动驾驶系统110进行的自动驾驶的行驶计划中脱离。切换判断部132，能够根据行驶计划和位置获得结果，来判断是否从行驶路径脱离。“no.2车辆速度控制错误”例如表示在自动驾驶系统110进行的自动驾驶的控制中，不能控制车辆100的速度。切换判断部132，能够根据状态通知或者异常检测结果，来判断是不是车辆速度控制错误。
[0132]“no.3车速信息异常”例如表示车辆100的速度为异常。速度的异常，例如表示当前的速度为行驶计划中包含的速度以外的速度、或者当前的速度超过规定速度(例如法定速度)。切换判断部132，根据车辆行驶状态，能够判断是不是车速信息异常。“no.4车辆自身位置获得失败”表示由车辆位置获得部134进行的当前的车辆100的位置的获得失败。切换判断部132，根据车辆位置获得部134获得当前的车辆100的位置的获得结果，能够判断获得车辆自身位置是否失败。
[0133]“no.5相机故障”例如表示在车辆100搭载的摄像装置的故障。切换判断部132，根据状态通知或者异常检测结果，判断相机是否故障。“no.6长时间停止”例如表示车辆100在规定时间以上继续停止。切换判断部132，能够根据车辆行驶状态，判断是否长时间停止。“no.7电动机故障”例如表示被搭载于车辆100的驱动用的电动机的故障。切换判断部132，能够根据状态通知或者异常检测结果，来判断是不是电动机故障。
[0134]
no.1～no.6的状态是能够由远程操作者进行远程操作的状态。因此，no.1～no.6的状态中的是否切换为远程操作，成为“需要”。此外，no.7的状态是车辆100不能进行行驶本身的状态，所以远程操作者不能进行远程操作的状态。因此，在no.7的状态中的是否需要切换为远程操作，成为“不需要”。此外虽然没有图示，成为“不需要”的其他的例子，可以举出虽然获得了错误码，但是自动驾驶系统110能够应对的情况等。
[0135]
另外，切换判断列表例如预先存储在边缘系统130的存储部(未图示)。
[0136]
再次参考图3，接下来切换判断部132，在异常内容存在于切换判断列表中时(s106中的“是”)，判断是否符合需要远程操作切换(s107)。切换判断部132，例如在当前的车辆的状态从行驶路径脱离的情况下，事件判断用信息包括该信息，所以在步骤s106中判断为“是”。此外，切换判断部132，例如在当前的车辆的状态从行驶路径脱离的情况下，需要切换为远程操作，所以在步骤s107中判断为“是”。
[0137]
接下来，切换判断部132在不符合需要远程操作切换的情况下(s107中的“否”)，判断为不需要远程操作切换(s108)。在这个情况下，不进行图2表示的步骤s16以后的处理。另外，在这之后判断为不需要远程操作切换的情况下，也同样不进行图2表示的步骤s16以后的处理。此外，切换判断部132，在符合需要远程操作切换的情况下(s107中的“是”)，进入步骤s113。
[0138]
此外，切换判断部132，在异常内容不存在于切换判断列表中时(s106中的“否”)，向服务器200通知异常(s109)。服务器200向第2远程控制系统300发送该异常，例如能够告知远程操作者发生了预先没有估计的异常。此外，切换判断部132，例如在当前的车辆的状态为电动机故障的情况下，将表示电动机故障的信息发送给服务器200。而且，切换判断部132判断为不需要远程操作切换(s110)。
[0139]
此外，切换判断部132，在自动驾驶系统110没有异常的情况下(s104中的“否”)，判断车辆100是否长时间停止(s111)。关于长时间，例如被预先设定，并存储在存储部(未图示)中。长时间，例如是几分，也可以是几十分。
[0140]
接下来，切换判断部132，在车辆100没有长时间停止的情况下(s111中的“否”)，判断为不需要远程操作切换(s112)。此外，切换判断部132，在车辆100长时间停止的情况下(s111中的“是”)，判断为需要远程操作切换(s113)。换言之，切换判断部132，判断为需要从自动驾驶模式切换到远程操作模式。接下来说明切换判断部132判断为需要远程操作切换的情况。
[0141]
另外，边缘系统130，不限定为将获得来自服务器200的指示通知作为触发来执行图3表示的处理，也可以按照每次获得状态通知、或者按照每个规定时间的间隔，来进行图3的步骤s102以后的处理。
[0142]
再次参考图2，切换判断部132，在需要切换到远程操作的情况下，使车辆100的自动驾驶停止的自动驾驶停止信号发送给自动驾驶系统110(s14)。自动驾驶系统110，在接收自动驾驶停止信号时，使车辆100停车到安全的位置之后，停止针对车辆100的行驶控制。而且，自动驾驶系统110，将表示结束了自动驾驶的停止的自动驾驶停止结束信号，发送给边缘系统130(s15)。
[0143]
边缘系统130的切换判断部132，在获得自动驾驶停止结束信号时，将表示远程操作开始的远程操作开始信号、以及事件判断用信息发送给服务器200(s16)。切换判断部132，例如在发送远程操作开始信号之后，发送事件判断用信息。切换判断部132，在判断为需要切换到远程操作的情况下，将事件判断用信息发送给服务器200。这里发送的事件判断用信息，只要是表示车辆100需要远程操作的原因的事件(发生事件)的信息就可以，也可以是错误码等。另外，远程操作开始信号以及事件判断用信息，可以在获得自动驾驶停止结束信号之前发送，也可以在判断为需要远程操作切换时发送。
[0144]
此外，在步骤s16中，切换判断部132，除了事件判断用信息之外，还可以将车辆信息发送给服务器200。
[0145]
服务器200，在接收远程操作开始信号以及事件判断用信息时，执行如下处理，该处理是对成为向远程操作者提示的候选的操作事件进行确定的处理(s17)。操作事件示出远程操作者对车辆100远程操作时进行的针对车辆100的操作内容，是任务的一例。任务可以说是与需要远程操作的车辆100的当前的状态(发生事件)对应的远程操作的操作内容。事件判断用信息是需要车辆100的远程操作的事件的信息的一例。此外，成为候选的操作事件是根据事件判断用信息而被推定的操作事件，是候选任务的一例。另外下面将成为候选的操作事件，也记载为候选事件。
[0146]
这里针对服务器200进行的确定操作事件的动作的一例，参考图6以及图7进行说明。图6是示出图2所示的确定操作事件的动作(s17)的流程图。
[0147]
如图6所示，服务器200的操作事件判断部210，判断是否从边缘系统130接收了远程操作开始信号(s201)。在图2的例子中，从边缘系统130发送远程操作开始信号，所以操作事件判断部210，在接收该远程操作开始信号时，判断为接收了远程操作开始信号。
[0148]
接下来，操作事件判断部210，在接收远程操作开始信号接收时(s201中的“是”)，从边缘系统130接收事件判断用信息(s202)。操作事件判断部210，例如从边缘系统130接收在远程操作开始信号之后发送的事件判断用信息。
[0149]
接下来，操作事件判断部210，在事件列表中检索事件判断用信息表示的异常内容(s203)。操作事件判断部210，判断事件判断用信息所示的异常内容是否与事件列表中的异常内容一致。
[0150]
在此针对事件列表，参考图7来说明。图7是示出本实施方式的事件列表的一例的图。另外图7示出的事件列表，例如预先存储在存储部240。
[0151]
如图7所示，事件列表是将事件判断用信息与远程操作的操作事件建立了对应的列表。事件列表中的事件判断用信息，例如由图5表示的切换判断列表中的事件判断用信息之中，远程操作切换为“需要”的项目来构成。在图7中，包括图5示出的no.1～no.7中的no.1～no.6的项目。此外，操作事件示出将车辆100切换为远程操作模式的情况下，远程操作者进行的远程操作的操作内容。
[0152]“no.1从行驶路径脱离”，例如与“no.1移动到原来的路径上”以及“no.2移动到目的地”建立了对应。这表示车辆100的当前的状态，换言之判断为需要远程操作的原因是“no.1从行驶路径脱离”的情况下，推荐远程操作者进行用于“no.1移动到原来的路径上”的远程操作、以及用于“no.2移动到目的地”的远程操作。
[0153]
事件判断用信息的no.2～no.6的项目，分别与操作事件建立了对应。另外，与1个
项目建立了对应的操作事件的数量，只要是1个以上就没有特别的限定。此外，与项目对应的操作事件，在预先决定了执行该操作事件(执行车辆100的远程操作)的远程操作者的情况下，也可以是与该远程操作者对应的内容。换言之，与项目对应的操作事件，可以按照每个远程操作者而设定。
[0154]
此外，事件列表，在从边缘系统130接收识别异常的识别信息(例如，错误码)的情况下，也可以是将识别信息与操作事件建立对应的列表。
[0155]
再次参考图6，接下来操作事件判断部210，在异常内容存在于事件列表中的情况下(s204中的“是”)，将符合的操作事件作为判断结果(s205)。换言之，操作事件判断部210将符合的操作事件确定为候选事件。也可以说操作事件判断部210，通过进行步骤s204的判断，从而将符合的操作事件确定为候选事件。
[0156]
此外，操作事件判断部210，在异常内容不存在于事件列表中的情况下(s204中的“否”)，将不存在符合的操作事件作为判断结果(无判断结果)(s206)。无判断结果是指异常内容不是预先设想的异常，针对该异常不存在操作事件的信息。因此，操作事件判断部210，不向远程操作者推荐针对远程操作的操作事件。
[0157]
再次参考图2，接下来服务器200将表示步骤s204的判断结果的操作事件信息，发送给第2远程控制系统300(s18)。操作事件信息包括被确定的候选事件。另外，在步骤s17与步骤s18之间，可以分配对车辆100进行远程操作的远程操作者。
[0158]
接下来，第2远程控制系统300的操作信号处理部310，在从服务器200接收操作事件信息时，将接收的操作事件信息包括的操作事件进行提示，并且接受来自远程操作者的针对操作事件的选择(s19)。在确定操作事件时，例如将候选事件提示给远程操作者，按照远程操作者的基于被提示的候选事件的输入，从而确定操作事件。
[0159]
在本实施方式中，操作信号处理部310，使操作事件信息，经由显示部330来显示。图8是示出本实施方式的显示部330的显示内容的一例的图。图9是示出本实施方式的显示部330的显示内容的其他一例的图。另外，在图8以及图9中示出了事件判断用信息为“no.6长时间停止”的情况下的操作事件信息的显示例子。
[0160]
如图8所示，操作信号处理部310，使显示部330显示与事件判断用信息“no.6长时间停止”对应的操作事件，即“避开行驶路径上的障碍物”、“靠边停车”以及“原样等待”、和标准显示的“不符合”，并且经由接受部340接受远程操作者做出的这次的远程操作符合哪个事件(操作事件)的判断结果。在图8的情况下，操作信号处理部310，通过远程操作者触碰显示有做出判断的操作事件的框内(触碰接受部340)，从而接受远程操作者的判断结果。“避开行驶路径上的障碍物”、“靠边停车”以及“原样等待”是候选事件的具体例。
[0161]
另外，操作信号处理部310，在与事件判断用信息一同获得包括车辆100的摄像装置拍摄的当前的影像的车辆信息的情况下，可以在使远程操作者判断这次的远程操作的操作事件时，使显示部330显示该影像。该影像与图8表示的选择图像，可以并排显示。
[0162]
另外，操作信号处理部310在远程操作者选择了“不符合”的情况下，使显示部330进一步显示图9示出的显示。图9示出的操作事件是与“no.6长时间停止”对应的操作事件以外的操作事件。例如可以是在“no.6长时间停止”时的过去进行的操作事件，并且是与“no.6长时间停止”对应的操作事件以外的任何操作事件，也可以是预先设定的操作事件。这样通过显示在事件列表中设定的操作事件，从而远程操作者能够选择与车辆100的当前的状态
对应的操作事件的可能性增加。在图9表示的操作事件中也没有符合的操作事件的情况下，远程操作者能够选择“其他”。“其他”例如是不管异常内容如何，在远程操作时一律施加的限制、或不施加限制的选择项。一律施加限制是指，例如施加在行驶安全上需要的最低限度的限制。
[0163]
另外，操作信号处理部310，在接收了表示没有符合的操作事件的操作事件信息的情况下(接收了s206的结果的情况下)，可以例如使显示部330显示至少包括“其他”的操作事件。操作信号处理部310，可以例如使显示部330显示“其他”、以及预先设定的操作事件的一部分或者全部。
[0164]
在此，针对显示部330中的操作事件的显示形态，参考图10以及图11来说明。图10是示出本实施方式的远程操作状况履历信息的一例的图。图11是示出本实施方式的车辆100的当前的状况的一例的图。图10示出的远程操作状况履历信息是针对“no.6长时间停止”的远程操作状况履历信息，由操作事件推测部220根据存储在存储部240的履历信息、障碍物信息以及车辆位置信息来生成。操作事件推测部220，例如根据远程操作履历信息(履历信息)、以及与该履历信息对应的障碍物信息以及车辆位置信息，生成远程操作状况履历信息。另外，在图10中图示了远程操作履历信息的一部分(“远程操作履历no.”、“符合的远程操作事件no.”等)。
[0165]
如图10所示，远程操作状况履历信息，包括“远程操作履历no.”、“符合的远程操作事件no.”、“远程操作开始位置、“障碍物的中心(车辆自身坐标系x，y)”、“障碍物的识别结果”、“障碍物的尺寸”。在图10中，作为障碍物的中心图示了障碍物1以及2的中心，作为障碍物的识别结果图示了障碍物1以及2的识别结果。另外，障碍物的数量、以及与障碍物有关的项目不限于这些。远程操作状况履历信息，作为与障碍物有关的信息，可以进一步包括障碍物的尺寸、移动速度等。此外，车辆自身坐标系的x，以车辆100的前方为正，车辆自身坐标系的y，以车辆100的右侧为正。
[0166]“远程操作履历no.”表示远程操作履历的识别编号。“符合的远程操作事件no.”是与预先设定的操作事件对应的识别编号。在图10中示出了“符合的远程操作事件no.”包括识别编号以及操作事件的例子。“远程操作开始位置”表示开始了远程操作的位置。“障碍物的中心”表示障碍物的位置，例如表示车辆自身坐标系中的位置(相对于车辆100的位置)。“障碍物的识别结果”表示通过图像识别等识别出障碍物的结果。“障碍物的尺寸”例如表示障碍物的三维尺寸(长度、宽度、高度)。
[0167]
例如，远程操作履历no.1001示出了车辆100的位置为(e135.323，n34.413)，在车辆100的前方5m，右侧12m的位置上有人的情况下，以no.2移动到目的地的操作事件来进行远程操作。
[0168]
如图11所示，当前的车辆100的状况(当前的位置、障碍物信息)包括“远程操作开始位置”、“障碍物的中心(车辆自身坐标系x，y)”、“障碍物的识别结果”、以及“障碍物的尺寸”。“远程操作开始位置”表示车辆100的当前的位置。“障碍物的中心”表示相对于车辆100的当前的位置的障碍物的位置。“障碍物的识别结果”表示通过图像识别等识别出障碍物的结果。
[0169]
操作事件推测部220，计算当前的车辆100的状况与远程操作状况履历信息中的每一个的相似度。在图10以及图11的情况下，远程操作履历no.1001被算出为相似度最高。而
且，操作事件判断部210，可以进一步向第2远程控制系统300发送如下的操作事件信息，在该操作事件信息中以与操作事件建立对应的方式包括相似度的计算成果。
[0170]
第2远程控制系统300的操作信号处理部310，在接收的操作事件信息中包括相似度的情况下，按照相似度来变更操作事件的显示形态。操作信号处理部310，例如以相似度从高到低的顺序，使显示部330显示操作事件。从而，优先地显示与当前的车辆100的状况一致或类似的过去的操作事件，所以提高远程操作者判断操作事件的效率。
[0171]
再次参考图2，第2远程控制系统300的操作信号处理部310，将表示从远程操作者接受的操作事件的选择信息，经由操作信号发送部320发送给服务器200(s20)。
[0172]
接下来，服务器200根据从第2远程控制系统300接收的选择信息，生成与远程操作者选择的操作事件对应的限制值(s21)。服务器200的限制生成部230，根据选择信息和远程操作履历信息，生成限制值。换言之，限制生成部230，利用过去的远程操作的履历，生成限制值。限制生成部230，例如通过对远程操作履历信息进行统计处理，从而生成限制值。也可以说是限制生成部230，按照被确定的操作事件(任务)，来决定远程操作中的车辆100的行驶限制。行驶限制至少包括速度(车速)、加速、制动、或掌舵的限制的其中之一。也可以说是限制值用于限制速度(车速)、加速、制动、或掌舵的限制的至少其中之一。此外，也可以说是限制生成部230，按照被确定的操作事件(任务)，来生成针对远程操作者进行的操作的操作限制。此外，限制生成部230通过如上所述生成限制值，从而决定限制值。
[0173]
在此参考图12来说明远程操作履历信息。图12是示出本实施方式的远程操作履历信息的一例的图。
[0174]
如图12所示，远程操作履历信息包括“远程操作履历no.”、“车种”，“远程操作者能力”、“符合的远程操作事件no.”、“当时的最大车速”、“当时的最大舵角”、以及“当时的最大舵角”。远程操作履历信息，也可以进一步包括当时的加速度等信息。
[0175]“车种”是汽车的种类，例如用途、型号、年式等。“远程操作者能力”表示远程操作者的远程操作的驾驶能力。“当时的最大车速”是远程操作者进行远程操作的期间的速度的最大值。“当时的最大舵角”是远程操作者进行远程操作的期间的舵角的最大值，分别算出右方向以及左方向的值。另外，速度以及舵角例如是过去(当时)的实测值。
[0176]
例如，远程操作履历no.1001示出了将“车种”为a的车辆，以能力为“中”的远程操作者从远程操作开始位置移动到no.2目的地的情况下的最大速度为6km/h，最大舵角(左)为25度，最大舵角(右)为21度的例子。
[0177]
限制生成部230，针对每一个符合的远程操作事件no.进行统计，计算最大车速、最大舵角(左)、以及最大舵角(右)各自的平均值以及标准偏差。图13是用于说明本实施方式的算出限制值的图。具体而言，图13示出了符合的远程操作事件no.的每一个的最大车速的平均值以及标准偏差。
[0178]
如图13所示，“no.1移动到原来的路径上”，操作时的最大车速(当时的最大车速)的平均值为6km/h，操作时的最大车速的标准偏差为1.3km/h。这是因为从图12示出的远程操作履历信息仅提取了“no.1移动到原来的路径上”的最大车速，根据提取的最大车速，算出了平均值以及标准偏差的结果。
[0179]
限制生成部230，根据平均值与标准偏差算出限制值。在限制值中的上限值以及下限值，将平均值设为x，标准偏差设为σ，参数设为n时，由以下的式1以及式2而被算出。
[0180]
上限值＝x nσ(式1)
[0181]
下限值＝x－nσ(式2)
[0182]
这样通过利用标准偏差，能够以包括基于过去的履历而推测的最有可能发生的值的方式来设定上下限值。另外，参数n以考虑行驶的安全性的方式而被预先设定。此外，限制值不限定为设定上限值以及下限值的双方，考虑行驶的安全至少设定1个就可以。在最大车速的情况下，限制值在上限值以及下限值中，只设定上限值就可以。此外，针对最大舵角(左)和最大舵角(右)的各自，与最大车速相同地提取数据，根据被提取的数据的统计值，算出限制值。例如，最大舵角(左)以及最大舵角(右)的限制值，也利用式1以及式2而被算出。
[0183]
另外，在上述中限制生成部230，根据符合的远程操作事件no.来算出了平均值等，但是也可以进一步根据与远程操作者有关的信息、与车辆有关的信息、以及与环境有关的信息等的至少其中之一来算出平均值等。另外在该情况下，限制生成部230获得当前的车辆100的上述至少一个的信息。
[0184]
与远程操作者有关的信息是操作事件(任务)的执行环境的一例，例如，至少包括执行操作事件的远程操作者的属性、能力以及操作履历的其中之一。属性包括远程操作者是车辆100的专职者还是兼职者、年龄、或者惯用的手等。能力包括驾驶能力等。操作履历包括远程操作的驾驶经历等。限制生成部230，例如从第2远程控制系统300或者管理与远程操作者有关的信息的服务器，获得与远程操作者有关的信息。
[0185]
与车辆有关的信息是操作事件的执行环境的一例，至少包括例如通过执行操作事件而被远程操作的车辆100的属性、能力以及规格的其中之一。属性包括例如车种、年式、方向盘位置、驱动方式(两驱，四驱)等。性能包括加速性能、减速性能、旋转性能等。规格包括车辆100的重量、轴距、轮胎直径等。限制生成部230，例如从车辆100或管理车辆100的目录等的服务器获得与车辆有关的信息。
[0186]
与环境有关的信息是操作事件的执行环境的一例，至少包括例如通过执行操作事件而被远程操作的车辆100所处的地点的气候、路面(路面状态)以及交通的环境的其中之一。交通的环境包括道路的宽度、道路的堵塞程度等。限制生成部230，例如从车辆100的摄像装置拍摄的图像的图像分析结果、或者管理气候及交通信息的服务器获得与环境有关的信息。
[0187]
这些信息的至少1个，可以包括在远程操作履历信息中。
[0188]
限制生成部230，可以按照操作事件和上述的执行环境，来决定限制值。限制生成部230，例如可以从远程操作履历信息中，提取至少同与远程操作事件no.以及远程操作者有关的信息、与车辆有关的信息，与环境有关的信息等其中1个一致时的最大车速，并且根据提取的最大速度算出平均值等。从而能够生成更加对应于当前的车辆100的状况的限制值。
[0189]
再次参考图2，服务器200将生成的限制值以及远程操作开始信号，发送给搭载于车辆100的边缘系统130(s22)。边缘系统130，在接收限制值以及远程操作开始信号时，存储限制值，将远程操作开始信号输出给第1远程控制系统120(s23)。边缘系统130接收的限制值是基于步骤s16中发送的事件判断用信息的限制值、并且是远程操作中的车辆100的限制值。
[0190]
第1远程控制系统120，在获得远程操作开始信号时，使车辆100进入到能够动作的
状态，将准备结束信号输出给边缘系统130(s24)。边缘系统130，将从第1远程控制系统120获得的准备结束信号，发送给服务器200(s25)。而且，服务器200，将从边缘系统130获得的准备结束信号，发送给第2远程控制系统300(s26)。
[0191]
第2远程控制系统300，可以在从服务器200接收准备结束信号时，使显示部330显示接收了准备结束信号，从而通知远程操作者。而且，第2远程控制系统300，开始车辆100的远程操作。换言之，操作信号处理部310，接受远程操作者的远程操作指示(s27)。操作信号处理部310，例如接受针对操作输入装置的操作。而且，操作信号处理部310，将接受的远程操作指示发送给服务器200(s28)。操作信号处理部310，例如将接受的远程操作指示，经由操作信号发送部320发送给服务器200。另外，例如发送给服务器200的远程操作指示中，不适用限制值。
[0192]
接下来，服务器200将从第2远程控制系统300接收的远程操作指示，发送给边缘系统130(s29)。服务器200，将与操作事件对应的远程操作指示，发送给边缘系统130。另外，例如在服务器200中，限制值也不适用于远程操作指示。换句话说，服务器200，将从第2远程控制系统300接收的远程操作指示，发送给边缘系统130。
[0193]
边缘系统130的限制适用部133，在接收远程操作指示时，在该远程操作指示中适用限制值(s30)。限制适用部133在接收的限制值下，使车辆100执行与远程操作指示对应的行驶控制。这样限制值，在车辆100执行与来自远程操作者的远程操作的指示对应的行驶控制时被适用。换言之，限制值在接收了来自远程操作者的远程操作的指示时被适用。
[0194]
限制适用部133，判断远程操作指示是否满足限制值，在不满足的情况下适用限制值，以满足限制值的方式更新远程操作指示。这样将被决定的限制值，在车辆100执行与操作事件对应的行驶控制时适用。换言之，通过远程操作者的远程操作进行行驶控制时，适用被决定的限制值。
[0195]
在此，针对边缘系统130的限制适用部133适用限制值的动作，参考图14来说明。图14是示出图2所示的适用限制值的动作的流程图。另外，接下来对远程操作指示包括的速度进行说明，但是限制适用部133，可以对速度、舵角(左右)，分别执行图14表示的判断。
[0196]
如图14所示，限制适用部133，在接收远程操作指示时(s301)，判断远程操作指示是否高于限制值的上限值(s302)。限制适用部133，例如判断包括在远程操作指示中的速度是否高于最大车速的上限值。
[0197]
接下来，限制适用部133，在远程操作指示高于上限值的情况下(s302中的“是”)，将适用限制后的远程操作指示设定为上限值(s303)。限制适用部133，例如将远程操作指示包括的速度，更新为最大车速的上限值。而且，结束适用限制值的动作，进入步骤s31。
[0198]
此外，限制适用部133，在远程操作指示低于上限值的情况下(s302中的“否”)，进一步判断远程操作指示是否低于下限值(s304)。限制适用部133，例如判断包括在远程操作指示中的速度，是否低于最大车速的下限值。
[0199]
接下来，限制适用部133，在远程操作指示低于下限值的情况下(s304中的“是”)，将适用限制后的远程操作指示设定为下限值(s305)。限制适用部133，例如将远程操作指示包括的速度，更新为最大车速的下限值。而且，结束适用限制值的动作，进入步骤s31。
[0200]
此外，限制适用部133，在远程操作指示高于下限值的情况下(s304中的“否”)，换言之远程操作指示在上下限值内的情况下，将适用限制后的远程操作指示，设定为远程操
作指示(s306)。限制适用部133，不更新已接收的远程操作指示。而且，结束适用限制值的动作，进入步骤s31。
[0201]
再次参考图2，接下来限制适用部133，将适用限制后的远程操作指示，发送给第1远程控制系统120(s31)。
[0202]
接下来，第1远程控制系统120，根据适用限制后的远程操作指示，对车辆100的行驶进行控制(s32)。
[0203]
从而车辆100，即使远程操作者的远程操作指示在与操作事件对应的限制值以外的情况下，通过边缘系统130针对该远程操作指示适用限制值，所以能够进行满足该限制值的行驶。此外，限制值，针对操作事件的每一个而被生成，所以与一律设定行驶限制的情况相比，能够抑制施加无用的行驶限制。因而，能够抑制远程操作者的远程操作的效率降低。此外，服务器200，能够适用专门针对每个操作事件的行驶限制，所以期待能够进一步提高远程操作时的安全性。此外，因为操作事件被提示，所以远程操作者能够认识到远程操作的目的。因而能够期待减少远程操作者的多余的操作。
[0204]
如上所述，边缘系统130是例如搭载于车辆100的终端，被构成为如下，判断是否发生了需要车辆100的远程操作的事件(发生事件)(s13)，发送被判断的事件判断用信息(s16)，接收远程操作中的车辆100的限制值，接收远程操作指示，在接收的限制值下，使车辆100执行与远程操作指示对应的行驶控制。边缘系统130是例如搭载于车辆100的终端，具备：切换判断部132，判断是否发生了需要车辆100的远程操作的事件(发生事件)；收发部131，发送被判断的事件判断用信息；收发部131，接收远程操作中的车辆100的限制值以及远程操作指示；以及限制适用部133，在接收的限制值下，使车辆100执行与远程操作指示对应的行驶控制。
[0205]
另外，步骤s13的处理可以由服务器200进行。换言之，可以由服务器200具有切换判断部132的功能，但是在这个情况下，需要从车辆100向服务器200以无线通信来发送对切换的判断处理所需要的信息。因此，比起边缘系统130进行判断的情况，获得判断结果的时间还要加上发送需要的时间。此外，车辆100与服务器200的通信发生延迟的情况下等，获得判断结果更加需要时间。因此，以实时地进行切换判断的观点上，优选的是边缘系统130(即车辆100)具有切换判断部132。
[0206]
另外，步骤s30的处理可以由服务器200来进行。换言之，能够由服务器200来具有限制适用部133的功能。在这个情况下，可以不用向边缘系统130发送限制值。从而，能够减少边缘系统130的处理量。
[0207]
另外，在上述实施方式中说明了限制生成部230作为生成限制，而生成限制值的例子，但是不限于此。限制生成部230，也可以代替生成限制值或者与生成限制值一同，设定项目(速度、加速度、舵角等)，上述项目是被设定限制值的项目。换言之，可以在每一个操作事件中设定项目，该项目是被设定限制值的项目。通过在远程操作履历信息中包含适用了限制的项目的列表，从而限制生成部230，能够设定项目，该项目是被设定限制值的项目。设定项目是决定行驶限制的一例。
[0208]
另外，当前的远程操作的履历也可以追加到图12表示的远程操作履历信息中。换言之，远程操作履历信息被更新。从而，随着远程操作履历信息的蓄积量增加，能够期待被决定的限制值更加正确。
[0209]
(其他实施方式)
[0210]
以上根据实施方式对本公开进行了说明，不过本公开并非受上述的实施方式的限制。在不脱离本公开的主旨的范围内，将本领域人员所能够想到的各种变形执行于本实施方式而得到的形态、对不同的实施方式中的构成要素进行组合而构成的形态也包括在本公开的一个或多个形态的范围内。
[0211]
例如，在上述实施方式中说明了移动体是车辆的例子，但是不限定于此。移动体只要是能够在自动驾驶与远程操作之间进行驾驶切换，就没有特别限定，可以是能够自主行驶的机器人、无人飞行器(例如drone)等。
[0212]
此外，在上述实施方式中说明了车辆在自动驾驶模式与远程操作模式之间有选择地进行切换的例子，但是车辆具有的行驶模式不限定于这些。车辆例如还具有司机的手动驾驶来行驶的手动驾驶模式，可以在3个行驶模式中有选择地进行切换。另外，车辆以手动驾驶模式行驶的情况下，自动驾驶模式以及远程操作模式成为停止。在具有手动驾驶模式的情况下，乘坐在移动体上的人包括司机。
[0213]
此外，在上述实施方式中说明了服务器使远程操作者选择操作事件的例子，但是不限于由远程操作者选择操作事件。也可以由服务器决定远程操作中的操作事件。服务器，例如在事件列表中，只有一个与事件判断用信息(发生事件)对应的操作事件的情况下，将该操作事件决定为执行的操作事件。在这个情况下，服务器可以将表示被决定的操作事件的信息，发送给远程操作系统。在操作事件信息中包括表示被决定的操作事件的信息。
[0214]
此外，在上述实施方式中边缘系统进行的处理的一部分，可以由服务器来进行。例如，切换判断部的处理、以及限制适用部的处理的至少1个，可以由服务器来执行。服务器，也可以具有切换判断部的功能、以及限制适用部的功能。
[0215]
此外，在上述实施方式中说明了限制生成部，根据最大车速等的平均值以及标准偏差来算出限制值的例子，但是只要使用最大车速等的过去的履历的统计值，就不受此限定。限制生成部，可以例如以平均值和规定的系数进行运算，从而算出限制值。
[0216]
此外，在上述实施方式中的车辆与服务器，服务器与第2远程控制系统的各自的通信，例如通过无线通信来进行，但是也可以通过有线通信来进行。例如，服务器与远程控制系统的通信，可以是有线通信。
[0217]
此外，在上述实施方式中说明了机器学习模型是使用神经网络的机器学习模型的例子，但是也可以是其他的机器学习模型。例如，机器学习模型可以是使用random forest、或genetic programming等的机器学习模型，也可以是除此之外的模型。
[0218]
此外，在上述实施方式中说明了行驶限制被发送到移动体，移动体在所接收的行驶限制下，执行与远程操作的指示对应的行驶控制的例子。但是也可以在服务器中，在行驶限制下，决定与远程操作的指示对应的行驶控制，将所决定的行驶控制发送给移动体，由移动体执行被发送来的行驶控制。
[0219]
例如，在移动体与服务器之间的通信使用5g(generation)通信这样的高速且高可靠性的通信方式的情况下，可以设想服务器还决定行驶控制，并且由移动体执行被决定的行驶控制的形式。在这个情况下，在服务器侧决定行驶控制时，在行驶限制下进行，从而移动体执行适用了行驶限制的行驶控制。
[0220]
这样，即使在对移动体进行远程操作的装置侧决定行驶控制的情况下，也能够以
考虑行驶限制的方式来决定移动体执行的行驶控制。
[0221]
此外，在上述实施方式等中说明的多个处理的顺序是一例。该多个处理的顺序可以变更，多个处理也可以并行地执行。此外，多个处理的一部分也可以不执行。
[0222]
此外，上述实施方式等说明的各个构成要素，可以作为软件来实现，典型的是作为集成电路即lsi来实现。这些可以分别单片化，或者包括一部分或者全部的方式单片化。在这里设为lsi，但是根据集成度的不同也可以称为ic、系统lsi、超大lsi、特大lsi。此外，集成电路化的方法不限于lsi，可以用专用电路或者通用处理器来实现。也可以使用在lsi制造后可编程的fpga(field programmable gate array：现场可编程门阵列)、或者可重构lsi内部的电路单元的连接以及设定的可重构处理器。进而，随着半导体技术的进步或者派生出的别的技术，出现能够替代lsi的集成电路化的技术时，当然可以使用该技术进行构成要素的集成化。
[0223]
此外，方框图中的功能块的分割是一例，可以将多个功能块作为一个功能块来实现，或者将一个功能块分割为多个，或者将一部分功能转移到其他功能块。此外，具有类似的功能的多个功能块的功能，可以由单一硬件或者软件并行或者分时地处理。
[0224]
此外，服务器可以作为单一的装置来实现，也可以通过多个装置来实现。在服务器由多个装置实现的情况下，服务器具备的构成要素，可以以任何方式分配在多个装置中。此外，关于多个装置之间的通信方法，没有特别限定。
[0225]
进而本公开的技术可以是所述的程序，也可以是记录了所述的程序的非暂时的计算机能够读取的记录介质。此外上述程序当然可以经由因特网等传输介质来流通。例如所述的程序以及由所述程序构成的数字信号，可以经由电通信线路、无线或有线通信线路、以因特网为代表的网络、数据广播等传输。此外，通过将程序以及由所述程序构成的数字信号记录在记录介质并移送，或者经由网络等移送，从而可以由独立的其他计算机系统来执行。
[0226]
此外，在各个实施方式中，各个构成要素可以由专用的硬件来构成，或者由执行适合各个构成要素的软件程序来实现。各个构成要素，可以由cpu或者处理器等的程序执行部，读出并执行在硬盘或者半导体存储器等记录介质中记录的软件程序来实现。
[0227]
本公开能够广泛利用于对能够进行远程操作的移动体进行运用的系统。
[0228]
符号说明
[0229]
10 车辆控制系统(信息处理系统)
[0230]
100 车辆
[0231]
110 自动驾驶系统
[0232]
111，121 车辆控制部
[0233]
112 通知部
[0234]
120 第1远程控制系统
[0235]
122 影像发送部
[0236]
130 边缘系统(信息处理终端)
[0237]
131 收发部(发送部，接收部)
[0238]
132 切换判断部(判断部)
[0239]
133 限制适用部(控制部)
[0240]
134 车辆位置获得部
[0241]
135 异常检测部
[0242]
200 服务器
[0243]
210 操作事件判断部(确定部)
[0244]
220 操作事件推测部
[0245]
230 限制生成部(决定部)
[0246]
240 存储部
[0247]
300 第2远程控制系统
[0248]
310 操作信号处理部
[0249]
320 操作信号发送部
[0250]
330 显示部
[0251]
340 接受部
[0252]
350 影像接收部
[0253]
400 道路。