作业支援服务器、作业支援方法以及作业支援系统与流程

1.本发明涉及一种作业支援服务器，用于通过与对多个作业员分别分配的多个客户端的通信从而支援所述多个作业员之间的与作业现场相关的信息的共享。


背景技术：

2.提出有一种远程监视支援系统用终端装置，用于在正在工厂内巡回维护中的作业员工与在该作业现场外待机的人之间以足够的精度实现信息的共享化(例如，参照专利文献1)。该终端装置具备：影像输入单元，输入现场的影像数据；输入操作选择单元，为笔或者鼠标类型；检测单元，检测有无获取新的影像；通信控制单元，通过无线与外部进行数据收发；输入输出画面显示单元，显示输入规定的数据的输入画面。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开第2005-242830号公报


技术实现要素：

6.发明要解决的技术问题
7.但是，优选为能够在多个作业相关人员之间共享该多个作业相关人员所参与的作业区域中与需要注意的物体相关的信息。
8.因此，本发明的目的在于提供一种服务器以及系统，能够对多个作业相关人员共享作业区域中与需要注意的物体相关的信息。
9.用于解决上述技术问题的方案
10.本发明涉及一种作业支援服务器，用于通过与对多个作业员分别分配的多个客户端的通信，支援在所述多个作业员之间与作业现场相关的信息的共享。
11.本发明的作业支援服务器具备：第1支援处理元件，基于与所述多个客户端中的第1客户端的通信，识别通过拍摄装置获取的拍摄图像的一部分即对象物体图像区域中对象物体的存在以及与该对象物体相关的对象物体关联信息、和所述拍摄装置的实际空间位置以及实际空间姿势，基于所述拍摄装置的实际空间位置以及实际空间姿势，推定所述对象物体的实际空间中的延伸形态；第2支援处理元件，基于与所述多个客户端中的所述第2客户端的通信，使所述第2客户端的输出接口输出作业环境图像，该作业环境图像示出通过所述第1支援处理元件推定的所述对象物体的延伸形态以及对象物体关联信息。
12.本发明的作业支援系统由本发明的作业支援服务器和所述多个客户端构成。
13.根据本发明的作业支援服务器以及作业支援系统(以下，适当地称为“作业支援服务器等”)，向第2客户端的输出接口输出作业环境图像，该作业环境图像示出通过第1客户端的拍摄装置获取的拍摄图像的一部分即对象物体图像区域中对象物体的实际空间中的延伸形态以及对象物体关联信息。
14.因此，例如，各作业员在识别出其周围存在对象物体时，能够使用客户端作为第1
客户端而迅速地获取该对象物体的拍摄图像。然后，其他的作业员能够使用客户端作为第2客户端，通过在该输出接口输出的作业环境图像迅速地识别该对象物体的实际空间中的延伸形态以及对象物体关联信息。进而，例如，由于位于共同的现场的多个作业员各自使用客户端作为第1客户端，能够在该多个作业员之间共享与各种对象物体相关的信息量丰富的地图。由此，例如，作业员在使用作业机械进行作业时，能够在意识到对象物体的延伸形态的同时顺利地执行作业。
附图说明
15.图1是关于作为本发明的一实施方式的作业支援系统的构成的说明图。
16.图2是关于远程操作装置的构成的说明图。
17.图3是关于作业机械的构成的说明图。
18.图4是关于作业支援系统的第1功能的说明图。
19.图5是关于作业支援系统的第2功能的说明图。
20.图6是关于拍摄图像以及对象物体图像区域的说明图。
21.图7是关于第1环境图像的说明图。
22.图8是关于作业环境图像的说明图。
23.图9是关于第2环境图像的说明图。
具体实施方式
24.(作业支援系统的构成)
25.图1所示的作为本发明的一实施方式的作业支援系统由作业支援服务器10、用于远程操作作业机械40的远程操作装置20和作业员终端60构成。“多个客户端”可以由一个或者多个远程操作装置20以及一个或者多个作业员终端60构成，也可以由多个远程操作装置20或者多个作业员终端60构成。作业支援服务器10、远程操作装置20、作业机械40和作业员终端60构成为可以相互网络通信。
26.(作业支援服务器的构成)
27.作业支援服务器10具备数据库102、第1支援处理元件121和第2支援处理元件122。数据库102存储保持有“拍摄图像”、“拍摄装置612的实际空间位置以及实际空间姿势”、“该拍摄图像中对象物体图像区域的延伸形态”以及“与存在于该对象物体图像区域的对象物体相关的对象物体关联信息”等。数据库102可以由独立于作业支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行根据该软件的后述的运算处理。
28.(远程操作装置的构成)
29.构成一个客户端的远程操作装置20具备远程控制装置200、远程输入接口210和远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依据该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221和远程无线通信机器222。
30.该一个客户端可以由与远程操作装置20协作的或者具有相互通信功能的移动终端构成。该移动终端具有与后述的作业员终端60同样的构成。
31.在远程操作机构211包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成作业机械40的回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
32.构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作员就座的座椅st的周围。座椅st是带扶手的高背椅那样的方式，也可以是没有头枕的低背椅那样的方式、或者是没有靠背的椅子那样的方式等远程操作员op2能够就座的任意的方式。
33.在座椅st的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多种操作杆。例如，在对图3所示的设置于座椅st的右侧框体的前方的右侧操作杆2111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，在对图2所示的设置于座椅st的左侧框体的前方的左侧操作杆2112沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。杆模式可以根据操作员的操作指示任意地变更。
34.例如，如图2所示，图像输出装置221由分别配置在座椅st的右斜前方、前方以及左斜前方的右斜前方图像输出装置2211、前方图像输出装置2212以及左斜前方图像输出装置2213构成。该图像输出装置2211～2213可以进一步具备扬声器(声音输出装置)。
35.(作业机械的构成)
36.作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420和工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依据该软件的运算处理。
37.作业机械40例如是履带式挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)424。在上部回转体220的前方中央部设有作业附件440。
38.实机输入接口410具备实机操作机构411和实机拍摄装置412。实机操作机构411具备与远程操作机构211同样地配置在驾驶室424的内部所配置的座椅的周围的多个操作杆。在驾驶室424设置有驱动机构或者机器人，接收与远程操作杆的操作形态对应的信号，基于该接收信号使实机操作杆动作。实机拍摄装置412例如设置在驾驶室424的内部，透过驾驶室424的前窗对包含至少一部分工作机构440的环境进行拍摄。
39.实机输出接口420具备实机无线通信机器422。
40.作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗
杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。
41.动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
42.(作业员终端的构成)
43.构成其他的客户端的作业员终端60是智能手机或者平板终端等终端装置，具备控制装置600、输入接口610和输出接口620。控制装置600由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行依据该软件的运算处理。
44.输入接口610具备拍摄装置612。输入接口610由触摸屏方式的按钮以及开关等构成。输出接口620具备图像输出装置621(以及必要情况下为声音输出装置)和无线通信机器622。
45.(功能)
46.(第1功能(作业环境图像的输出))
47.使用图4以及图5所示的流程图对所述构成的作业支援系统的功能进行说明。在该流程图中，为了记载的简略而使用“c
·”这样的框，是指数据的发送以及/或者接收，是指以该数据的发送以及/或者接收作为条件执行分支方向的处理的条件分支。在图4中示出作业员终端60构成“第1客户端”、远程操作装置20构成“第2客户端”的情况的流程图，反之，也可以为作业员终端60构成“第2客户端”，远程操作装置20构成“第1客户端”。
48.本发明的各构成元件(运算处理资源或者硬件资源)“识别”信息的概念包含：接收该信息；从存储装置等读取或者检索该信息；向存储装置等写入(将其存储保持)或者登记该信息；通过依据规定的算法对来自传感器的输出信号以及/或者经过接收或者检索等的基础信息执行运算处理从而进行用于在对该信息进行推定、判定、鉴定、测量、预测等后续的处理中以可以利用的所有方式准备该信息。
49.4在远程操作装置20中，由操作员op判定有无通过了远程输入接口210的第1指定操作(图4/步骤202)。例如，第1指定操作是远程输入接口210中规定部位的点击(tap)等操作。在该判定结果为肯定的情况下(图/步骤202
‥
是)，通过远程无线通信机器222对作业支援服务器10发送第1环境确认请求(图4/步骤204)。
50.在作业支援服务器10中，在接收到第1环境确认请求的情况下(图4/c10)，通过第1支援处理元件121对该远程操作装置20发送表示作业现场的全局情况的第1环境图像数据(图4/步骤102)。
51.在远程操作装置20中，在通过远程无线通信机器222接收到第1环境图像数据的情况下(图4/c20)，向图像输出装置221输出与第1环境图像数据对应的第1环境图像(图5/步骤212)。由此，例如如图7所示，在构成输出接口620的图像输出装置221中输出示出作业现场的全局情况的俯瞰地图或者俯瞰拍摄图像。俯瞰地图中的位置能够通过纬度以及经度来确定。在俯瞰拍摄图像中包含有示出第1作业机械40的所在的图像或者图标q1以及示出第2
作业机械40的所在的图像或者图标q2、及示出第1作业员的所在的图像op1。俯瞰拍摄图像例如可以通过搭载于无人飞行机的拍摄装置或者设置于作业现场的杆等结构物的拍摄装置来获取。可以分别任意变更作为第1环境图像的拍摄图像的拍摄部位以及视角。也可以以俯瞰拍摄图像为基础生成俯瞰地图。
52.在作业员终端60中，由第1作业员通过输入接口610而有拍摄操作，与此对应地，通过拍摄装置612获取拍摄图像(图4/步骤602)。此外，向构成输出接口620的图像输出装置621中输出该拍摄图像(图4/步骤604)。由此，例如，如图6所示，向图像输出装置621输出拍摄图像，该拍摄图像示出作业机械40通过的痕迹已变为洼地的作业现场的情况。在远程操作装置20相当于“第1客户端”的情况下，在构成远程输出接口220的图像输出装置221中输出通过搭载于作业机械40的实机拍摄装置412获取的、示出该作业机械40的周围的情况的拍摄图像(第2拍摄图像)(参照图9)。
53.通过控制装置600测量获取拍摄图像时的拍摄装置612的实际空间位置以及实际空间姿势(图4/步骤606)。基于gps等测位传感器的输出信号测量拍摄装置612的实际空间位置(纬度以及经度)。基于三轴方位传感器或者加速度传感器的输出信号测量拍摄装置612的实际空间姿势。
54.由控制装置600通过输入接口610中的操作，判定是否指定了对象物体图像区域r(图4/步骤606)。例如，在作业员终端60中，可以通过在构成输入接口610以及输出接口620这双方的触摸屏中识别第1作业员的指尖或者笔的轨迹，从而识别对象物体图像区域的延伸形态或者轮廓。由此，例如如图6所示，能够由第1作业员在拍摄图像中指定大致台形状的对象物体图像区域r。在远程操作装置20相当于“第1客户端”的情况下，在输出接口620中输出的、作为通过搭载于作业机械40的实机拍摄装置412获取的拍摄图像的第2环境图像(参照图9)中，通过输入接口610中的操作可以指定对象物体图像区域r以及输入对象物体关联信息(参照图4/步骤606)。
55.在该判定结果为肯定的情况下(图4/步骤606
‥
是)，由控制装置600通过输入接口610中的第1作业员的操作，判定是否输入了对象物体关联信息(图4/步骤612)。例如，可以通过在构成输入接口610以及输出接口620这双方的触摸式键盘中识别第1作业员的指尖或者笔的接触形态，来识别对象物体关联信息。由此，能够识别示出例如“沙砾”、“瓦砾”、“建材”、“沙地”、“洞”、“洼地”、“水坑”或者“岩石”等对象物体的种类或者性质等信息作为对象物体关联信息。
56.在该判定结果为肯定的情况下(图4/步骤612
‥
是)，通过构成输出接口602的无线通信机器622，对作业支援服务器10发送分别表示“拍摄图像”、“拍摄装置612的实际空间位置以及实际空间姿势”、“该拍摄图像中的对象物体图像区域r的延伸形态”以及“与存在于该对象物体图像区域的对象物体相关的对象物体关联信息”的数据。在远程操作装置20相当于“第1客户端”的情况下，通过构成远程输出接口220的远程无线通信机器222，对作业支援服务器10发送分别表示“拍摄图像”、“实机拍摄装置412的实际空间位置以及实际空间姿势”、“该拍摄图像中的对象物体图像区域r的延伸形态”以及“与存在于该对象物体图像区域的对象物体相关的对象物体关联信息”的数据。
57.在作业支援服务器10中，在接收到分别表示“拍摄图像数据”、“拍摄装置612的实际空间位置以及实际空间姿势”、“对象物体图像区域r的延伸形态”以及“对象物体关联信
息”的数据的情况下(图4/c13)，通过第1支援处理元件121推定对象物体的实际空间中的延伸形态(图4/步骤108)。例如，假设以作业员所接触的地面为基准的拍摄装置612的高度位于从站在或者坐在该地面的人的标准腰部位置到头部位置的范围的规定的高度。此外，假设对象物体存在于与该地面为相同高度的水平面(二维空间)。即，在拍摄图像中指定的对象物体图像区域r被假设为对象物体具有与拍摄装置612的视角相应的广度并在投影于该水平面的区域中二维地延伸。
58.在这些假设的基础之上，除了拍摄图像坐标系中对象物体图像区域r的延伸形态以外，还基于拍摄装置612的实际空间位置以及实际空间姿势、及视角或者焦点距离，来推定对象物体的延伸形态(分别向纬度方向以及经度方向的扩展方式。)在对象物体为位于比地面更靠高的位置的结构物或者比地面凹陷的洼地等的情况下，虽然基于该过程的推定精度变低，但可以掌握对象物体的实际空间中的大致的延伸形态。
59.可以从该作业员终端60对作业支援服务器10发送以由搭载于作业员终端60的测距传感器(或者作为拍摄装置612的测距传感器)测量的到对象物体的距离作为像素值而分配的拍摄图像(或者作为拍摄图像的距离图像)。在该情况下，能够以更高精度推定以拍摄装置612的实际空间位置为基准的对象物体或者其表面的实际空间中的延伸形态。
60.接着，通过第2支援处理元件122，将第1环境图像作为基础生成作业环境图像，该作业环境图像示出通过第1支援处理元件121进行的对象物体的实际空间中的延伸形态的推定结果以及对象物体关联信息(图4/步骤110)。在此基础上，通过第2支援处理元件122，对远程操作装置20发送作业环境图像数据(图4/步骤112)。
61.在远程操作装置20中，在通过构成远程输出接口220的远程无线通信机器222接收到作业环境图像数据的情况下(图4/c21)，在构成远程输出接口220的图像输出装置221中输出作业环境图像(图4/步骤208)。由此，例如，如图8所示，向构成输出接口220的图像输出装置输出第1作业环境图像(参照图7)中表示对象物体的实际空间中对象物体r的延伸形态的图像以及与该对象物体r关联的“存在洼地”这样的对象物体关联信息。
62.在作业员终端60中，由控制装置600通过输入接口610中的第1作业员的操作，判定未输入对象物体关联信息的情况下(图4/步骤612
‥
否)，通过构成输出接口620的无线通信机器622，对作业支援服务器10发送分别表示“拍摄图像”、“拍摄装置612的实际空间位置以及实际空间姿势”以及“该拍摄图像中对象物体图像区域r的延伸形态”的数据(图4/步骤614)。
63.在作业支援服务器10中，在接收到分别表示“拍摄图像数据”、“拍摄装置612的实际空间位置以及实际空间姿势”以及“对象物体图像区域r的延伸形态”的数据的情况下(图4/c12)，通过第1支援处理元件121判定是否可以识别对象物体关联信息(图4/步骤106)。例如，能够通过对象物体图像区域r的纹理解析处理，识别存在于该对象物体图像区域r的物体的种类或者性质作为对象物体关联信息。在该判定结果为肯定的情况下(图4/步骤106
‥
是)，执行所述对象物体的实际空间中延伸形态的推定(图4/步骤108)以后的处理。在该判定结果为否定的情况下(图4/步骤106
‥
否)，不对远程操作装置20发送作业环境图像数据，进而不在远程操作装置20中输出作业环境图像(参照图8)，而结束图4所示的一系列处理。
64.在作业员终端60中，由控制装置600通过输入接口610中的第1作业员的操作，判定为未指定对象物体图像区域r的情况下(图4/步骤606
‥
否)，通过构成输出接口620的无线
通信机器622，对作业支援服务器10发送分别表示“拍摄图像”以及“拍摄装置612的实际空间位置以及实际空间姿势”的数据(图4/步骤610)。
65.在作业支援服务器10中接收到分别表示“拍摄图像”以及“拍摄装置612的实际空间位置以及实际空间姿势”的数据的情况下(图4/c11)，通过第1支援处理元件121，判定是否可以识别对象物体图像区域(图4/步骤104)。例如，能够通过以拍摄图像为对象的图案匹配等的图像解析处理，识别该拍摄图像的一部分作为对象物体图像区域。在该判定结果为肯定的情况下(图4/步骤104
‥
是)，执行判定是否可以识别所述对象物体关联信息(图4/步骤106)以后的处理。在该判定结果为否定的情况下(图4/步骤104
‥
否)，不对远程操作装置20发送作业环境图像数据，进而不在远程操作装置20中输出作业环境图像(参照图8)，而结束图4所示的一系列处理。
66.(第2功能(作业机械的远程操作))
67.在远程操作装置20中，由操作员op判定有无通过了远程输入接口210的第2指定操作(图5/步骤220)。例如，在作业环境图像(参照图7)中，“第2指定操作”是操作员用于指定想要远程操作的作业机械40的远程输入接口210的图像q1或者q2的点击(tap)等操作。第2指定操作与第1指定操作可以是不同形态的操作，也可以是相同形态的操作。在该判定结果为否定的情况下(图5/步骤220
‥
否)，结束一系列处理。另一方面，在该判定结果为肯定的情况下(图5/步骤220
‥
是)，通过远程无线通信机器222对作业支援服务器10发送第2环境确认请求(图4/步骤222)。
68.在作业支援服务器10中，在接收到第2环境确认请求的情况下，通过第1支援处理元件121对该作业机械40发送该第2环境确认请求(图5/c14)。
69.在作业机械40中，在通过实机无线通信机器422接收到环境确认请求的情况下(图5/c41)，实机控制装置400通过实机拍摄装置412获取拍摄图像(图5/步骤402)。由实机控制装置400通过实机无线通信机器422对远程操作装置10发送表示该拍摄图像的拍摄图像数据(图5/步骤404)。
70.在作业支援服务器10中，在接收到拍摄图像数据的情况下(图5/c15)，对远程操作装置20发送与拍摄图像数据对应的第2环境图像数据(表示拍摄图像本身的全部或一部分或者基于此生成的模拟环境图像的数据)(图5/步骤112)。
71.在远程操作装置20中，在通过远程无线通信机器222接收到第2环境图像数据的情况下(图5/c22)，向图像输出装置221输出与第2环境图像数据对应的第2环境图像(图5/步骤224)。由此，例如，如图9所示，将包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的环境图像显示于图像输出装置221。
72.在远程操作装置20中，由远程控制装置200识别远程操作机构211的操作形态(图5/步骤226)，并且通过远程无线通信机器222对作业支援服务器10发送与该操作形态对应的远程操作指令(图5/步骤228)。
73.在作业支援服务器10中，在接收到该远程操作指令的情况下，通过第1支援处理元件121对作业机械40发送该远程操作指令(图5/c16)。
74.在作业机械40中，在通过实机无线通信机器422接收到操作指令的情况下(图5/c42)，由实机控制装置400控制作业附件440等的动作(图5/步骤406)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。
75.(效果)
76.根据该构成的作业支援系统以及构成其的作业支援服务器10，向第2客户端(例如，远程操作装置20)的输出接口(例如，远程输出接口220)输出作业环境图像，该作业环境图像示出通过第1客户端(例如，作业员终端60)的拍摄装置(例如，拍摄装置612)获取的拍摄图像的一部分即对象物体图像区域r中对象物体的实际空间中的延伸形态以及对象物体关联信息(参照图4/步骤602
‥
是
→
步骤610、步骤614、步骤616
→‥→
步骤112
→
步骤208、图8)。
77.因此，例如，各作业员在识别出其周围存在对象物体时，能够使用客户端作为第1客户端迅速地获取该对象物体的拍摄图像(参照图4/步骤602以及图6)。并且，其他的作业员能够使用客户端作为第2客户端，通过在该输出接口输出的作业环境图像迅速地识别该对象物体的实际空间中的延伸形态以及对象物体关联信息(参照图4/步骤208以及图8)。此外，例如，由于位于共同的现场的多个作业员分别使用客户端作为第1客户端，能够在该多个作业员之间共享与各种对象物体相关的信息量丰富的地图。由此，例如，在作业员使用作业机械进行作业时，能够在意识到对象物体的延伸形态的同时顺利地执行作业。
78.(本发明的其他的实施方式)
79.在所述实施方式中，作业支援服务器10由与远程操作装置20、作业机械40以及作业员终端60各自独立的一个或者多个服务器构成(参照图1)，作为其他的实施方式，作业支援服务器10也可以是远程操作装置20、作业机械40或者作业员终端60的构成元件。作业支援服务器10的各构成元件110、121以及122分别可以是远程操作装置20、作业机械40作业员终端60中可以相互通信的2个以上的各自的构成元件。
80.在所述实施方式中，设为可以在第1客户端(例如，作业员终端60或者远程操作装置20)中指定对象物体图像区域r以及输入对象物体关联信息，作为其他的实施方式，以未在第1客户端中指定对象物体图像区域r以及输入对象物体关联信息为前提，可以将通过拍摄装置获取的拍摄图像与表示该拍摄装置的实际空间位置以及实际空间姿势的数据一起发送至作业支援服务器10(参照图4/步骤610)。
81.此外，以未在第1客户端中输入对象物体关联信息为前提，也可以将通过拍摄装置获取的拍摄图像与对象物体图像区域r及表示该拍摄装置的实际空间位置以及实际空间姿势的数据一起发送至作业支援服务器10(参照图4/步骤614)。进而，以未在第1客户端中指定对象物体图像区域r为前提，还可以将通过拍摄装置获取的拍摄图像与对象物体关联信息及表示该拍摄装置的实际空间位置以及实际空间姿势的数据一起发送至作业支援服务器10。
82.第1支援处理元件121基于与第1客户端(例如，作业员终端60或者远程操作装置20)的通信，在第1客户端的输出接口(220、620)输出的拍摄图像中识别通过第1客户端的输入接口(210、610)指定的对象物体图像区域中对象物体的延伸形态以及与该对象物体相关的对象物体关联信息。
83.由此，例如，如前述那样，各作业员在识别出其周围存在对象物体时，能够使用客户端作为第1客户端迅速地获取该对象物体的拍摄图像。此外，各作业员能够通过输入接口将在第1客户端的输出接口输出的该对象物体的拍摄图像中存在对象物体的一部分图像区域指定为对象物体图像区域，并且输入对象物体关联信息。因此，能够通过其他的作业员以
更高的精度传递各作业员注意到的对象物体的存在以及对象物体关联信息。
84.第1支援处理元件121基于与用于远程操作作业机械40的、作为第1客户端的远程操作装置20的通信，识别通过搭载于作业机械40的实机拍摄装置412获取的拍摄图像的一部分即对象物体图像区域中对象物体的存在以及与该对象物体相关的对象物体关联信息、和实机拍摄装置412的实际空间位置以及实际空间姿势。
85.由此，能够基于通过搭载于作业机械40的实机拍摄装置412获取的拍摄图像，使多个作业员共享该作业机械40的周边的对象物体的延伸形态以及对象物体关联信息。
86.附图标记说明
87.10 作业支援服务器
88.20 远程操作装置
89.40 作业机械
90.60 作业员终端
91.102 数据库
92.121 第1支援处理元件
93.122 第2支援处理元件
94.210 远程输入接口
95.220 远程输出接口
96.410 实机输入接口
97.412 实机拍摄装置
98.420 实机输出接口
99.440 作业附件(工作机构)
100.610 输入接口
101.612 拍摄装置
102.620 输出接口。