作业辅助服务器、作业辅助方法以及作业辅助系统与流程

1.本发明涉及用于基于与客户端的通信来辅助操作员提高对作业机械的操作技术的作业辅助服务器。


背景技术：

2.已被提出有以下一种工程机械的显示装置(例如，参照专利文献1)：对不熟练的操作员提示促使其进行高效的挖掘作业的最佳操作。具体而言，对比地显示出与第一操作部以及第二操作部的各自的操作量建立对应地预先被设定的挖掘作业中的“目标牵引力值”、“相对于目标牵引力值的实际的挖掘作业的牵引力值”以及“提升力值”，其中，上述第一操作部操作车体的牵引力；上述第二操作部对车体前部的作业机进行指令以及操作。由此，对操作员提示促使其在各阶段的作业(车辆的行驶、作业机的提升)中进行改善了燃料效率以及高作业效率的操作。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2015-040422号公报


技术实现要素：

6.发明要解决的课题
7.然而，从提高操作技术的观点出发，对于作业机械的操作经验尚浅的操作员而言，优选的是，在参考经验丰富的操作员等操作作业机械时的情形的同时来积累基于模拟操作的经验。
8.因此，本发明的目的在于提供一种能够在参考本人或者其他操作员对作业机械的操作的情形的同时来累积基于模拟操作的经验的服务器等。
9.用于解决课题的手段
10.本发明涉及用于基于与客户端的通信来辅助操作员提高对作业机械的操作技术的作业辅助服务器。
11.本发明的作业辅助服务器具备：第一辅助处理元件，其基于与为了操作第一作业机械而由第一操作员所使用的第一客户端的通信，识别通过与所述第一作业机械协作的摄像装置取得的表示所述第一作业机械的动作方式和环境变化方式的摄像图像的时间序列，并将与所述摄像图像对应的作业环境图像的时间序列累积地存储保持在数据库中；以及，第二辅助处理元件，其基于与第二客户端的通信，使存储保持在所述数据库中的所述作业环境图像的时间序列中的、通过所述第二客户端的输入接口指定的指定作业环境图像的时间序列输出到所述第二客户端的输出接口，基于所述指定作业环境图像的时间序列中的通过所述第二客户端的输入接口而指定的一个指定时间点的指定作业环境图像，使与第二操作员通过所述第二客户端的输入接口输入的模拟操作对应的、表示虚拟作业现场中的第二作业机械的动作方式和环境变化方式的模拟图像的时间序列输出到所述第二客户端的输
出接口。
12.本发明的作业辅助系统具备本发明的作业辅助服务器、所述第一客户端和所述第二客户端。
13.根据本发明的作业辅助服务器及作业辅助系统(以下，适当地称之为“作业辅助服务器等”)，第二操作员能够通过第二客户端的输入接口从被登记在数据库中的与表示第一操作员所进行的第一作业机械的操作方式、动作方式及表示环境变化方式的拍摄图像对应的作业环境图像的时间序列或动态图像的存档中指定一个作业环境图像的时间序列。作业环境图像的时间序列例如也可以通过下述方式被定义：第一作业机械从指定任务的执行开始时间点到执行结束时间点为止的期间内的作业环境图像的时间序列构成存档的单位。第二操作员能够通过第二客户端的输出接口阅览该指定作业环境图像的时间序列。第一操作员除了是与第二操作员不同的其他操作员之外，也可以是与第二操作员相同的操作员、即本人。
14.第二操作员能够通过第二客户端的输入接口对指定作业环境图像的时间序列中的一个指定时间点的指定作业环境图像进行指定，并且能够在基于该指定时间点的指定作业环境图像而形成的虚拟作业现场中进行第二作业机械的模拟操作。第二操作员能够根据该模拟操作方式，使第二客户端的输出接口输出表示第二作业机械的虚拟作业现场的动作方式及环境变化方式的模拟图像的时间序列。
15.这样，第二操作员能够阅览可供参考的指定作业环境图像的时间序列，而且，可从该指定作业环境图像的时间序列中指定进一步可供参考的指定作业环境图像，进行基于该指定作业环境图像而再现的虚拟作业现场的第二作业机械的模拟操作，由此，能够实现提高对作业机械的操作技术。
16.附图的简单说明
17.图1是关于作为本发明的一实施方式的作业辅助系统的构成的说明图。
18.图2是关于远程操作装置的构成的说明图。
19.图3是关于作业机械的结构的说明图。
20.图4是关于作业辅助系统的第一功能的说明图。
21.图5是关于作业辅助系统的第二功能的说明图。
22.图6是关于作业环境图像的时间序列的说明图。
23.图7是关于模拟图像的时间序列的说明图。
具体实施方式
24.(作业辅助系统的构成)
25.图1所示的作为本发明的一实施方式的作业辅助系统由作业辅助服务器10和用于对多个作业机械40进行远程操作的多个远程操作装置20构成。作业辅助服务器10、远程操作装置20以及作业机械40构成为能够相互进行网络通信。
26.(作业辅助服务器的结构)
27.作业辅助服务器10具备数据库102、第一辅助处理元件121和第二辅助处理元件122。数据库102除了存储多个作业机械40各自的位置和轨道之外，还存储保持拍摄图像、作业环境图像以及路径引导图像等。数据库102也可以由与作业辅助服务器10不同的数据库
服务器构成。各辅助处理元件由运算处理装置(单核处理器或多核处理器、或者构成这些处理器的处理器内核)构成，并从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的后述的运算处理。
28.(远程操作装置的构成)
29.构成客户端的远程操作装置20具备远程控制装置200、远程输入接口210、远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器、或者构成这些处理器的处理器内核)构成，并从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221和远程无线通信设备222。
30.该客户端也可以通过与远程操作装置20协作的或者具有相互通信功能的移动终端构成。该移动终端可以具有与作业辅助服务器10进行通信的通信功能。
31.在远程操作机构211中包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体41动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置固定于行驶杆的基部或者下端部的行驶踏板。为了使构成作业机械40的回转机构43的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
32.如图2所示，构成远程操作机构211的各操作杆例如配置在用于供操作员就座的座椅st的周围。座椅st是带扶手的高背椅那样的形式，也可以是没有头枕的低背椅那样的形式、或者没有靠背的椅子那样的方式等操作员能够就座的任意的形式。
33.在座椅st的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多种操作杆。例如，可以在对图3所示的座椅st的右侧框体的前方的右侧操作杆2111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，可以在对图2所示的设置于座椅st的左侧框体的前方的左侧操作杆2112沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。可以根据操作员的操作指示而任意地变更杆模式。
34.例如，如图2所示，图像输出装置221由分别配置在座椅st的右斜前方、前方以及左斜前方的右斜前方图像输出装置2211、前方图像输出装置2212以及左斜前方图像输出装置2213构成。该图像输出装置2211～2213可以进一步具备扬声器(声音输出装置)。
35.(作业机械的构成)
36.作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420和工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器、或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依照该软件的运算处理。
37.作业机械40例如是履带式挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体41、和经由回转机构43可回转地搭载于下部行驶体41的上部回转体42。在上部回转体42
的前方左侧部设置有驾驶室(司机室)424。在上部回转体220的前方中央部设置有作业附件44。
38.实机输入接口410具备实机操作机构411和实机拍摄装置412。实机操作机构411具备与远程操作机构211同样地配置在驾驶室424的内部所配置的座椅的周围的多个操作杆。在驾驶室424中设置有驱动机构或机器人，该驱动机构或机器人接收与远程操作杆的操作方式对应的信号，并基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置于驾驶室424的内部，透过驾驶室424的前窗对包含至少一部分工作机构440的环境进行拍摄。
39.实机输出接口420具备实机无线通信设备422。
40.作为工作机构的作业附件44具备：动臂441，可起落地安装于上部回转体42；斗杆443，可转动地连结于动臂441的顶端；铲斗445，可转动地连结于斗杆443的顶端。在作业附件44上安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。
41.动臂油缸442介于该动臂441与上部回转体42之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
42.(功能)
43.使用图4及图5所示的流程图对所述构成的作业辅助系统的功能进行说明。在该流程图中，为了记载的简略而使用“c
●”
这样的框，该框是指数据的发送以及/或者接收，是指以该数据的发送以及/或者接收作为条件执行分支方向的处理的条件分支。
44.本发明的各构成元件(运算处理资源或者硬件资源)“识别”信息的概念包含：接收该信息；从存储装置等读取或者检索该信息；向存储装置等写入(将其存储保持)或者登记该信息；通过依据规定的算法对来自传感器的输出信号以及/或者经过接收或者检索等的基础信息执行运算处理从而用于在对该信息进行推定、判定、鉴定、测量、预测等后续的处理中以可以利用的所有方式准备该信息。
45.(第一功能(作业环境图像的登记))
46.在作为第一客户端的远程操作装置20中，判定操作员是否通过远程输入接口210进行了指定操作(图4/步骤(step)200)。“指定操作”是选择与远程操作装置20协作的作业机械40的操作，例如是在构成远程输入接口210的触摸面板上的轻拍、滑动、轻拂或捏拉放大/捏拉缩小等触摸操作。该触摸面板例如显示可成为远程操作的对象的作业机械40的实机图像，并被判定是否对触摸面板中的该实机图像的显示位置进行了操作。在指定操作被中断等、该判定结果为否定的情况下(图4/步骤(step)200
…
否(no))，结束一系列的处理。另一方面，在该判定结果为肯定的情况下(图4/步骤200
…
是(yes))，通过远程无线通信设备222向作业辅助服务器10发送作业环境图像请求(图4/步骤(step)202)，该作业环境图像请求用于请求与远程操作装置20协作的作业机械40的操作所需的拍摄图像。在作业环境图像请求中包含远程操作装置20的识别符以及操作员的识别符中的至少一方的识别符。
47.在作业辅助服务器10中，在接收到作业环境图像请求的情况下，通过第一辅助处理元件121对该作业环境图像请求所对应的作业机械40发送该作业环境图像请求(图4/c10)。
48.在作业机械40中，在由实机无线通信设备422接收到作业环境图像请求的情况下(图4/c41)，实机控制装置400通过实机拍摄装置412取得拍摄图像(图4/步骤(step)402)。实机控制装置400通过实机无线通信设备422对远程操作装置10发送表示该拍摄图像的拍摄图像数据(图4/步骤(step)404)。
49.在作业辅助服务器10中，在接收到拍摄图像数据的情况下(图4/c11)，对远程操作装置20发送与拍摄图像数据对应的作业环境图像数据(表示拍摄图像本身的全部图像或一部分图像、或者基于该全部图像或一部分图像而生成的模拟的作业环境图像的数据)(图4/步骤(step)112)。另外，作业环境图像数据的时间序列被登记或存储保持在数据库102中(图4/步骤(step)114)。
50.在远程操作装置20中，在通过远程无线通信设备222接收到作业环境图像数据的情况下(图4/c20)，将与作业环境图像数据对应的作业环境图像输出到图像输出装置221(图4/步骤(step)204)。由此，例如如图6所示，由搭载于与远程操作装置20协作的作业机械40的实机拍摄装置412拍摄到的作业环境图像被显示于图像输出装置221，其中，作业环境图像包含作为工作机构的作业附件44的一部分附件、即动臂441、斗杆443、铲斗445以及斗杆油缸444。
51.在远程操作装置20中，通过远程控制装置200识别远程操作机构211的操作方式(图4/步骤(step)206)，并且，通过远程无线通信设备222对作业辅助服务器10发送与该操作方式对应的远程操作指令(图4/步骤(step)208)。
52.在作业辅助服务器10中，在接收到该远程操作指令的情况下，通过第一辅助处理元件121对作业机械40发送该远程操作指令(图4/c12)。
53.在作业机械40中，在通过实机控制装置400经由实机无线通信设备422接收到操作指令的情况下(图4/c42)，控制作业附件44等的动作(图4/步骤(step)406)。例如，执行由铲斗445将作业机械40的前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业(参照图6)。如图6所示，在执行该作业时，例如时间点t＝tk(k＝1、2、3、4、5、6)时的作业环境图像(动态图像或断续的静态图像)显示于图像输出装置221。t＝t1时的作业环境图像表示刚使铲斗445移动至挖掘开始位置之后的、使作业附件44向前方延伸并将铲斗445按压到地面的情形。t＝t2时的作业环境图像表示执行使斗杆443接近驾驶室424跟前的操作的情形。t＝t3时的作业环境图像表示在砂土充分进入铲斗445后让铲斗445成为把持土的保持姿势的情形。t＝t4时的作业环境图像表示一边执行提升动臂441的操作一边执行向左回转的情形。t＝t5时的作业环境图像表示在向左回转后执行使斗杆443远离驾驶室424的操作并使铲斗445位于排土位置的正上方的情形。t＝t6时的作业环境图像表示铲斗成排土姿势并从铲斗445倒落土的情形。
54.(第二功能(模拟图像的输出))
55.在作为第二客户端的远程操作装置20中，判定操作员有无通过远程输入接口210进行了再现操作(图5/步骤(step)210)。在“再现操作”中，例如包括下述触摸操作：用于从登记于数据库102中的作业环境图像的库(library)中指定一个作业环境图像的触摸操作，其中，该数据库102显示于构成远程输入接口210和远程输出接口220的触摸面板。通过远程输入接口222，能够进行作业环境图像的开始再现、停止再现、暂停再现、快进以及倒回。
56.在该判定结果为否定的情况下(图/步骤210
…
否)，结束一系列的处理。另一方面，
在该判定结果为肯定的情况下(图/步骤210
…
是)，通过远程无线通信设备222对作业辅助服务器10发送再现请求(图5/步骤(step)212)。伴随再现操作的再现请求中包含用于识别操作员所指定的作业环境图像的图像识别符。
57.在作业辅助服务器10中，在接收到了再现请求的情况下(图5/c13)，第二辅助处理元件122基于该再现请求中包含的图像识别符，在数据库102中检索成为再现对象的作业环境图像的时间序列作为指定作业环境的时间序列(图5/步骤120)。
58.通过第二辅助处理元件122对远程操作装置20发送表示指定作业环境图像的时间序列的数据(图5/步骤(step)121)。
59.在远程操作装置20中，在通过远程无线通信设备222接收到作业环境图像数据的情况下(图5/c21)，在图像输出装置221中再现或输出与该作业环境图像数据对应的作业环境图像(图5/步骤(step)214)。由此，例如如图6所示，包含作为工作机构的作业附件44的一部分附件、即动臂441、斗杆443、铲斗445以及斗杆油缸444的不同时间点t＝t1、t2、t3、t4、t5以及t6时的各自的作业环境图像(动态图像或者断续的静态图像)按时间序列的顺序显示于图像输出装置221。
60.通过远程控制装置200，判定有无通过对远程输入接口210的操作来进行再现停止操作(图5/步骤(step)216)。
61.在该判定结果为否定的情况下(图5/步骤216
…
否)，通过远程无线通信设备222对作业辅助服务器10发送不伴随再现操作的再现请求。其结果，在图像输出装置221中持续地输出作业环境图像的时间序列(参照图5/步骤212
→→
c13
→
步骤120
→
步骤121
→
c21
→
步骤214)。
62.另一方面，在该判定结果为肯定的情况下(图5/步骤(step)216
…
是)，由远程控制装置200通过构成远程输出接口220的远程无线通信设备222对作业辅助服务器10发送再现停止请求(图5/步骤(step)218)。在该情况下，不再对作业辅助服务器10发送不伴随再现操作的再现请求，因此，其结果，在图像输出装置221中停止作业环境图像的时间序列的再现。在再现停止请求中，作为指定时间点而包含作业环境图像的时间序列的再现停止时间点。
63.在作业辅助服务器10中，在接收到再现停止请求的情况下(图5/c14)，第二辅助处理元件122基于该再现停止请求中包含的指定时间点的作业环境图像，识别模拟状况(图5/步骤122)。例如，将图6所示的与作业环境图像的时间序列中的指定时间点t＝tk时的作业环境图像对应的虚拟作业现场中的作业机械(第二作业机械)的动作方式以及环境变化方式识别为模拟状况。
64.而且，由第二辅助处理元件122对远程操作装置20发送表示模拟状况的模拟图像数据(图5/步骤123(step123))。
65.在远程操作装置20中，在由构成远程输出接口220的远程无线通信设备222接收到模拟图像数据的情况下(图5/c22)，在构成远程输出接口220的图像输出装置221中输出模拟图像(图5/步骤(step)220)。由此，在图像输出装置221中输出例如图7所示的时间点t＝τj(j＝1，2，
…
)时的表示虚拟作业现场中的作业机械(第二作业机械)的动作方式以及环境变化方式的模拟图像。此时，在图像输出装置221中，可以输出模拟图像来代替处于停止状态的作业环境图像，也可以在模拟图像的一角落输出处于停止状态的作业环境图像。
66.通过远程控制装置20判定有无通过远程输入接口进行了模拟停止操作(图5/步骤
(step)222)。
67.在该判定结果为肯定的情况下(图5/步骤222
…
是)，由远程控制装置200经由无线通信设备222对作业辅助服务器10发送模拟停止请求(图5/步骤(step)228)。
68.另一方面，在该判定结果为否定的情况下(图5/步骤222
…
否)，通过远程控制装置200识别远程操作机构211的操作方式(图5/步骤224)，并且，通过远程无线通信设备222对作业辅助服务器10发送与该操作方式对应的模拟操作指令(图5/步骤226)。
69.在作业辅助服务器10中，在接收到模拟操作指令的情况下(图4/c14)，通过第二辅助处理元件122识别与该模拟操作指令对应的模拟状况(图5/step122)。例如，在远程操作机构211的操作方式是通过使动臂441相对于上部回转体42提升而实现使作业附件44整体提升的状况的情况下，在模拟中，作业附件44将通过这种方式工作的状况识别为模拟状况。
70.由第二辅助处理元件122对远程操作装置20发送表示模拟图像的数据(图5/步骤(step)123)。然后，由第二辅助处理元件122判定有无模拟停止请求(图5/步骤(step)124)。在该判定结果为肯定的情况下(图5/步骤124
…
是)，结束一系列的处理。在该判定结果为否定的情况下(图5/步骤124
…
否)，反复执行模拟操作指令的接收之后的处理(参照图5/c14
→
step122
→
step123)。
71.在远程操作装置20中，在通过构成远程输出接口220的远程无线通信设备222接收到模拟图像数据的情况下(图5/c22)，在构成远程输出接口220的图像输出装置221上输出模拟图像(图5/步骤(step)220)。由此，例如在图像输出装置221上输出例如图7所示的时间点t＝τj(j＝1，2，
…
)时的模拟图像。
72.t＝τ1时的作业环境图像以模拟图像的方式示出了刚使铲斗445移动到挖掘开始位置之后的、执行使作业附件44向前方延伸并将铲斗445按压到地面的情形。t＝τ2时的作业环境图像以模拟图像的方式示出了执行使斗杆443接近驾驶室跟前的操作的情形。t＝τ3时的作业环境图像以模拟图像的方式示出了在砂土充分进入铲斗445后让铲斗445成为把持土的保持姿势的情形。t＝τ4时的作业环境图像以模拟图像的方式示出了一边执行提升动臂441的操作一边执行向左回转的情形。t＝τ5时的作业环境图像以模拟图像的方式示出了在向左回转后执行使斗杆443远离驾驶室的操作并使铲斗445位于排土位置的正上方的情形。t＝τ6时的作业环境图像以模拟图像的方式示出了铲斗成为排土姿势并从铲斗445倒落土的情形。
73.(效果)
74.根据具有上述构成的作业辅助系统以及构成该作业辅助系统的作业辅助服务器10，将表示第一作业机械的动作方式以及环境变化方式的作业环境图像的时间序列登记到数据库102中(参照图4/步骤(step)114)，其中，第一操作员通过构成第一客户端的远程操作装置20远程操作上述第一作业机械。由此，各种作业环境图像的时间序列的存档(archive)被累积地保存在数据库102中。“第一作业机械”是指供第一操作员远程操作并在实际的作业现场执行作业的作业机械40。
75.构成第二客户端的远程操作装置20的第二操作员能够通过远程输入接口210从登记于数据库102中的存档中指定一个作业环境图像的时间序列(参照图5/步骤210)。由此，第二操作员能够在远程输出接口220中阅览该指定作业环境图像的时间序列(参照图5/步骤220以及图7)。
76.第二操作员能够通过构成远程输入接口210的远程操作机构211，在基于指定作业环境图像的虚拟作业现场中进行第二作业机械的模拟操作(参照图3)。“第二作业机械”是指供第二操作员进行模拟操作并在虚拟作业现场进行动作的作业机械。第二操作员能够根据该模拟操作方式，在远程输出接口220中输出表示作业机械的虚拟作业现场的动作方式以及环境变化方式的模拟图像的时间序列(参照图5/step224
→
step226
→
c14
→
step122
→
step123
→
step124
→
c22
→
step220以及图7)。
77.这样，第二操作员通过进行下述操作，能够实现提高对作业机械的操作技术：阅览可供参考的作业环境图像的时间序列，并且，从该作业环境图像的时间序列中进一步指定可供参考的一个作业环境图像，并执行基于该指定作业环境图像而被再现的虚拟作业现场中的作业机械的模拟操作。
78.(本发明的其他实施方式)
79.在上述实施方式中，作业辅助服务器10由相对于远程操作装置20及作业机械40为独立的一个或多个服务器构成(参照图1)。但是作为其他实施方式，作业辅助服务器10也可以是远程操作装置20或作业机械40的构成元件。作业辅助服务器10的各构成元件121及122分别也可以是远程操作装置20以及作业机械40中的能够相互通信的两个以上的各个设备的构成元件。
80.第二辅助处理元件122也可以基于与构成第二客户端的远程操作装置20的通信，使模拟图像的时间序列与指定作业环境图像的时间序列中的指定时间点以后的指定时间序列重叠，并将其输出到构成该远程操作装置20的远程输出接口220上。第二操作员能够根据通过远程操作机构211的模拟操作方式，使表示第二作业机械的虚拟作业现场的动作方式及环境变化方式的模拟图像与指定时间点以后的该作业环境图像的指定时间序列重叠并将其输出到远程输出接口220。
81.因此，能够使第二操作员识别应作参考的第一作业机械的动作方式或第一操作员的操作方式及环境变化方式与第二作业机械的动作方式或第二操作员的模拟操作方式及虚拟作业现场的环境变化方式的差分，从而实现进一步提高该操作技术。
82.第二辅助处理元件122也可以评价由指定作业环境图像的指定时间序列表示的第一作业机械的动作方式与由模拟图像的时间序列表示的第二作业机械的动作方式的差分。例如，也可以将第一作业机械和第二作业机械各自的作业附件44的指定部位(例如，铲斗445)的间隔换算成实际空间距离，并将该换算结果的累积值或时间平均值作为该差分进行评价。
83.并且，第二辅助处理元件122也可以在该差分超过了阈值的情况下，在远程输出接口220输出确认是否需要重新进行第二作业机械的模拟操作的信息。
84.由此，在第一作业机械的动作方式或第一操作员的操作方式及环境变化方式与第二作业机械的动作方式或第二操作员的模拟操作方式及虚拟作业现场的环境变化方式的差分超过阈值的情况下，通过远程输入接口210确认到需要重新进行该操作，因此，能够实现进一步提高第二操作员的操作技术。另外，在确认到了需要重新进行操作的情况下，也可以在远程输出接口220上输出指定作业环境图像的指定时间序列的再现。由此，能够让第二操作员重新进行模拟操作，因此，能够实现进一步提高操作技术。
85.第二辅助处理元件122也可以基于与构成第二客户端的远程操作装置20的通信，
使第二作业机械的模拟操作开始时间点的构成该第二客户端的远程操作机构211的操作状态(例如，各杆2110、2111、2112的倾斜角度或者位置)与构成第一客户端的远程操作装置20的指定时间点的远程操作机构211的操作状态相匹配。
86.由此，第二操作员能够以下述操作状态为起点开始第二作业机械的模拟操作，其中，该操作状态是指，与第一操作员对构成第一客户端的远程操作装置20的远程操作机构211的操作状态相匹配的、对构成第二客户端的远程操作装置20的远程操作机构211的操作状态。因此，提高了第二操作员掌握第一操作员的操作技术的学习容易度，实现了进一步提高第二操作员的操作技术。
87.符号说明
88.10
…
作业辅助服务器、20
…
远程操作装置(第一客户端、第二客户端)、40
…
作业机械、102
…
数据库、121
…
第一辅助处理元件、122
…
第二辅助处理元件、210
…
远程输入接口、220
…
远程输出接口、410
…
实机输入接口、412
…
实机拍摄装置、420
…
实机输出接口、440
…
作业附件(工作机构)。