作业支援服务器、作业支援方法以及作业支援系统与流程

1.本发明涉及一种作业支援服务器，用于通过与对作业机械的作业员分配的客户端进行通信，支援由所述作业员使用所述作业机械进行的作业。


背景技术：

2.提出有以下技术：掌握工程作业现场的三维形状，并将定位桩与目前完成地形的关系、可行驶范围、危险范围等准确地通知给工程机械操作员(例如，参照专利文献1)。具体而言，将获取自分别配置在不同场所的各立体摄像头的距离图像整合，生成工程作业现场的三维模型数据。然后，基于该三维模型数据描绘出从工程机械的操作员所指定的假想视点观察工程作业现场的图像，并将其显示于工程机械的驾驶座。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2003-333590号公报


技术实现要素：

6.发明要解决的技术问题
7.但是，在作业员使用一个或者多个作业机械在各自相互远离的多个作业地点并且在各自不同的时间段执行作业的情况下，为了顺利地执行作业，优选为能够掌握应该执行的作业内容等。
8.因此，本发明的目的在于提供一种服务器以及系统，能够使作业机械的作业员直观地识别出使用在多个作业地点处的作业机械而分别应该执行的作业内容等。
9.用于解决上述技术问题的方案
10.本发明涉及一种作业支援服务器，用于通过与对作业机械的作业员分配的客户端的通信，支援由所述作业员使用所述作业机械进行的作业。
11.本发明的作业支援服务器的特征在于，具备：数据库，存储保持作业地点、作业期间以及作业内容的多个组合作为作业信息；第1支援处理元件，基于与所述客户端的通信，识别与通过所述客户端的输入接口的指定操作对应的指定位置，从所述数据库中检索与所述指定位置相匹配的所述作业信息作为指定作业信息；第2支援处理元件，基于与所述客户端的通信，使所述客户端的输出接口输出示出通过所述第1支援处理元件检索的所述指定作业信息中包含的指定作业地点的位置的作业环境图像、以及所述指定作业信息中包含的关于指定作业期间及指定作业内容中的至少一方的信息。
12.本发明的作业支援系统由作业支援服务器和客户端构成。
13.根据本发明的作业支援服务器以及作业支援系统(以下，适当地称为“作业支援服务器等”)，通过客户端的输入接口而具有指定操作，根据该情况向该客户端的输出接口输出示出指定作业地点的位置的作业环境图像、以及关于指定作业期间及指定作业内容中的至少一方的信息。指定作业地点、指定作业期间以及指定作业内容被包含在数据库中登记
的多个作业信息中的、与该指定操作所对应的指定位置相匹配的作业信息即指定作业信息中。因此，能够使该作业机械的作业员根据作业环境图像、以及关于指定作业期间及指定作业内容中的至少一方的信息，识别出与指定位置相匹配的、应该使用作业机械执行的作业的概要。
14.由此，作业员例如易于使作业机械在指定作业期间的开始时间之前移动至指定作业地点、或者易于实现使存在于指定作业地点的作业机械可操作的状态。并且，作业员能够在指定作业期间，使用该作业机械顺利地执行与指定作业内容对应的作业。
附图说明
15.图1是关于作为本发明的一实施方式的作业支援系统的构成的说明图。
16.图2是关于远程操作装置的构成的说明图。
17.图3是关于作业机械的构成的说明图。
18.图4是关于作业支援系统的第1功能的说明图。
19.图5是关于作业支援系统的第2功能的说明图。
20.图6是关于作业信息的说明图。
21.图7a是关于远程操作装置中的输出图像的第1例的说明图。
22.图7b是关于远程操作装置中的输出图像的第2例的说明图。
具体实施方式
23.(作业支援系统的构成)
24.图1所示的作为本发明的一实施方式的作业支援系统由作业支援服务器10、和用于远程操作作业机械40的远程操作装置20构成。作业支援服务器10、远程操作装置20、作业机械40和管理用客户端60构成为可相互进行网络通信。
25.(作业支援服务器的构成)
26.作业支援服务器10具备数据库102、第1支援处理元件121和第2支援处理元件122。数据库102存储保持作业地点、作业期间以及作业内容的多个组合作为作业信息。数据库102可以由独立于作业支援服务器10的数据库服务器构成。各支援处理元件由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行根据该软件的后述的运算处理。
27.(远程操作装置的构成)
28.构成客户端(第1客户端)的远程操作装置20具备远程控制装置200、远程输入接口210和远程输出接口220。远程控制装置200由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行根据该软件的运算处理。远程输入接口210具备远程操作机构211。远程输出接口220具备图像输出装置221和远程无线通信机器222。
29.在远程操作机构211包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使作业机械40的下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成
作业机械40的回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使作业机械40的动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使作业机械40的斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm l ever))。为了使作业机械40的铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
30.构成远程操作机构211的各操作杆例如如图2所示，配置在用于供操作员就座的座椅st的周围。座椅st是带扶手的高背椅那样的方式，也可以是没有头枕的低背椅那样的方式、或者是没有靠背的椅子那样的方式等远程操作员op2能够就座的任意的方式。
31.在座椅s的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆2110。一个操作杆可以兼作多种操作杆。例如，可以在对图3所示的设置于座椅st的右侧框体的前方的右侧操作杆2111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，可以在对图2所示的设置于座椅st的左侧框体的前方的左侧操作杆2112沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。可以根据操作员的操作指示任意地变更杆模式。
32.例如，如图2所示，图像输出装置221由分别配置在座椅st的右斜前方、前方以及左斜前方的右斜前方图像输出装置2211、前方图像输出装置2212以及左斜前方图像输出装置2213构成。该图像输出装置2211～2213可以进一步具备扬声器(语音输出装置)。
33.(作业机械的构成)
34.作业机械40具备实机控制装置400、实机输入接口410、实机输出接口420和工作机构440。实机控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行根据该软件的运算处理。
35.作业机械40例如是履带式挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)424。在上部回转体220的前方中央部设有作业附件440。
36.实机输入接口410具备实机操作机构411和拍摄装置412。实机操作机构411具备与远程操作机构211同样地配置在驾驶室424的内部所配置的座椅的周围的多个操作杆。在驾驶室424设置有驱动机构或者机器人，接收与远程操作杆的操作状态对应的信号，基于该接收信号使实机操作杆动作。拍摄装置414例如设置在驾驶室424的内部，透过驾驶室424的前窗对包含至少一部分工作机构440的环境进行拍摄。
37.实机输出接口420具备实机无线通信机器422。
38.作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444以及铲斗油缸446。
39.动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
40.(管理用客户端的构成)
41.管理用客户端60是智能手机或者平板终端等终端装置，具备控制装置600、管理用输入接口610和管理用输出接口620。控制装置600由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据以及软件，以该数据为对象执行根据该软件的运算处理。
42.管理用输入接口610由触摸面板方式的按钮以及开关等构成。管理用输出接口620具备图像输出装置和无线通信机器。
43.(功能)
44.(作业信息的登记以及登记内容变更)
45.使用图4所示的流程图，对所述构成的作业支援系统的功能进行说明。在该流程图中，为了记载的简略而使用“c
●”
这样的模块，表示数据的发送以及/或者接收，表示以该数据的发送以及/或者接收为条件，执行分支方向的处理的条件分支。
46.本发明的各构成元件(运算处理资源或者硬件资源)“识别”信息是指包含如下等用于以可在后续的处理中利用的所有方式准备该信息的处理的概念：即，接收该信息；从存储装置等读取或者检索该信息；向存储装置等写入(存储保持)或者登记该信息；通过根据规定的算法对传感器的输出信号以及/或者基础信息执行运算处理从而对该信息进行推定、判定、鉴定、测量、预测等。
47.首先，在管理用客户端60(第2客户端)中，由管理者通过管理用输入接口610向数据库102中输入新登记的作业信息或者已登记的作业信息的变更内容(图4/步骤610)。
48.在作业信息中包含有作业地点、作业期间以及作业内容的多个组合。“作业地点”可以通过划分为多阶层的区域来指定。例如，如图6所示，“作业地点”可以通过大致作业地点(东作业场、南作业场、
‥
等)以及详细作业地点(沙砾区域、粗沙区域、
‥
等)来指定。如图6所示，“作业期间”可以通过该作业期间的开始时刻(9：00、9：15、
‥
等)以及结束时刻(9：15、9：35、
‥
等)来指定。如图6所示，“作业内容”可以通过该作业的种类(装土、聚堆、
‥
等)以及作业目标(
△△
m3、何时为止、
‥
等)来指定。
49.在管理用客户端60中，通过构成管理用输出接口620的无线通信机器，对作业支援服务器10发送新的作业信息或者现有的作业信息的变更内容(图4/步骤620)。
50.在作业支援服务器10中，在基于与管理用客户端60的通信识别出新的作业信息或者现有的作业信息的变更内容的情况下(图4/c10)，向数据库102中登记该新的作业信息、或者变更登记在数据库102中的作业信息的内容(图4/步骤102)。
51.(作业信息的提供)
52.在远程操作装置20中，由操作员op判定有无通过了远程输入接口210的第1指定操作(图4/步骤202)。“第1指定操作”例如是构成远程输入接口210或者远程操作机构211的按钮或操作杆的操作。在该判定结果为否定的情况下(图4/步骤202
‥“
否”)，重复判定有无第1指定操作以后的处理。另一方面，在该判定结果为肯定的情况下(图4/步骤202
‥“
是”)，通过远程无线通信机器222对作业支援服务器10发送指定作业信息要求(图4/步骤204)。
53.在该要求中包含有可确定与第1指定操作对应的指定位置的信息。例如，可以将由远程输入接口210中的第1指定操作指定的区域的代表位置确定为指定位置。此外，也可以将该作业机械40的第1指定操作的时间点的位置确定为指定位置，该位置通过使用由远程
操作装置20操作的或者预计操作的作业机械40的gps等的定位功能而测量。进而，在第1客户端不是由远程操作装置20而是由位于现场的作业员所携带的便携终端构成的情况下，可以将该便携终端的第1操作的时间点的位置确定为指定位置，该位置通过使用了gps等的定位功能而测量。
54.在作业支援服务器10中，在接收到该作业信息要求的情况下(图4/c11)，通过第1支援处理元件121识别指定位置(图4/步骤104)。
55.通过第1支援处理元件121，从数据库102中检索与指定位置匹配的作业信息作为指定作业信息(图4/步骤106)。例如，在识别出由操作员指定的区域的代表位置作为指定位置的情况下，可以检索关于该区域所包含的作业地点中在当前时刻或者指定时刻以后预计实施的作业的作业信息作为指定作业信息。“指定时刻”可以由操作员op通过远程输入接口210来设定。
56.此外，在识别出作业机械40的当前位置作为指定位置的情况下，检索关于在距作业机械40的当前位置的距离为指定距离以下的作业地点中实施的作业的作业信息作为指定作业信息。“指定距离”可以是恒定的，也可以像作业机械40从当前时刻到作业期间的开始时刻为止可移动的距离那样发生变化。在识别出作为第1客户端的便携终端的当前位置作为指定位置的情况下，指定距离可以是携带该便携终端的操作员op可移动至作业机械40的当前位置为止的距离。
57.在可实施的作业根据工作机构440的规格等作业机械40的规格而不同的情况下，可以鉴于被远程操作的或者被实机操作的作业机械40的规格来检索关于可实施的作业的作业信息作为指定作业信息。
58.通过第2支援处理元件，对远程操作装置20(第1客户端)发送指定作业信息(图4/步骤108)。
59.在远程操作装置20中，在通过远程无线通信机器222接收到指定作业信息的情况下(图4/c22)，通过远程控制装置200向图像输出装置221输出示出指定作业地点的位置的作业环境图像、以及该指定作业信息中包含的关于指定作业期间及指定作业内容的信息(图4/步骤206)。
60.由此，例如，如图7a所示，除了正在使用作业机械40实施作业的本次作业地点q1的位置以外，还向图像输出装置221输出示出下次作业地点q2的位置的作业现场的俯视图像或者二维地图。这是从数据库102检索了按时间序列连续的多个指定作业信息的结果。此外，输出“请在剩余的5分钟内进行聚堆”这样的消息作为关于本次作业期间的剩余时间以及本次作业内容的信息。此外，输出“请在9：50前移动至南作业场沙砾区域”这样的消息作为关于下次作业地点以及下次作业期间的开始时刻的信息。该消息可作为至少一部分作业信息在管理用客户端60中通过管理用输入接口610的操作来进行追加以及更新。此时，可以向构成管理用输出接口620的图像输出装置输出作业环境图像，并且按时地通过构成管理用输入接口610的触摸面板以及触摸键盘来登记或者更新作业信息。
61.此外，如图7b所示，除了作业现场中示出作业机械40的前方的情形的环境图像、除了该作业现场中的局部的作业地点q0的位置以外，还可以向图像输出装置221输出关于作业内容的“也请将此处的土聚堆”这样的消息。该消息可作为至少一部分作业信息在管理用客户端60中通过管理用输入接口610的操作来进行追加以及更新。
62.(作业机械的远程操作)
63.在远程操作装置20中，由操作员op判定有无通过了远程输入接口210的第2指定操作(图5/步骤208)。例如，在俯视作业环境图像(参照图7a)中，“第2指定操作”是用于指定操作员op意图远程操作的作业机械40的远程输入接口210中的点击(tap)等操作。在该判定结果为否定的情况下(图5/步骤208
‥“
否”)，重复判定有无第1指定操作以后的处理。另一方面，在该判定结果为肯定的情况下(图5/步骤208
‥“
是”)，通过远程无线通信机器222对作业支援服务器10发送环境确认要求(图4/步骤210)。
64.在作业支援服务器10中，在接收到环境确认要求的情况下，通过第1支援处理元件121对相应的作业机械40发送该环境确认要求(图5/c12)。
65.在作业机械40中，在通过实机无线通信机器422接收到环境确认要求的情况下(图5/c41)，实机控制装置400通过拍摄装置412获取拍摄图像(图5/步骤402)。由实机控制装置400通过实机无线通信机器422对远程操作装置10发送表示该拍摄图像的拍摄图像数据(图5/步骤404)。
66.在作业支援服务器10中，在接收到拍摄图像数据的情况下(图5/c13)，对远程操作装置20发送与拍摄图像数据对应的环境图像数据(拍摄图像本身的全部或一部分或者基于此生成的表示模拟环境图像的数据)(图5/步骤110)。
67.在远程操作装置20中，在通过远程无线通信机器222接收到环境图像数据的情况下(图5/c23)，向图像输出装置221输出与环境图像数据对应的环境图像(图5/步骤212)。由此，例如，将包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445以及斗杆油缸444的环境图像分别显示于图像输出装置221以及第2图像输出装置221(参照图7b)。
68.在远程操作装置20中，由远程控制装置200识别远程操作机构211的操作状态(图5/步骤214)，并且通过远程无线通信机器222对作业支援服务器10发送与该操作状态对应的远程操作指令(图5/步骤216)。
69.在作业支援服务器10中，在接收到该远程操作指令的情况下，通过第1支援处理元件121对作业机械40发送该远程操作指令(图5/c14)。
70.在作业机械40中，在通过实机无线通信机器422接收到操作指令的情况下(图5/c42)，由实机控制装置400控制作业附件440等的动作(图5/步骤406)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。
71.(效果)
72.根据该构成的作业支援系统以及构成该作业支援系统的作业支援服务器10，通过远程操作装置20(第1客户端)的远程输入接口210而具有第1指定操作，根据该情况向该远程操作装置20的远程输出接口220输出示出指定作业地点q1以及q2的位置的作业环境图像、以及关于指定作业期间及指定作业内容中的至少一方的信息(参照图4/步骤202
‥“
是
”→‥
步骤206、图7a以及图7b)。指定作业地点、指定作业期间以及指定作业内容被包含在数据库102中登记的多个作业信息中的、与该第1指定操作所对应的指定位置相匹配的作业信息即指定作业信息中。因此，能够使该作业机械的操作员op(作业员)根据作业环境图像、以及关于指定作业期间及指定作业内容中的至少一方的信息，识别出与指定位置相匹配的、应该使用作业机械40执行的作业的概要。
73.由此，作业员例如易于使作业机械40在指定作业期间的开始时间之前移动至指定作业地点、或者易于实现通过第2指定操作(参照图5/步骤208)等使存在于指定作业地点的作业机械40可远程操作的状态。并且，作业员能够在指定作业期间，通过远程操作装置20来远程操作该作业机械40，从而顺利地执行与指定作业内容对应的作业。
74.向远程输出接口220输出示出按时间序列连续的多个指定作业信息中分别包含的多个指定作业地点q1以及q2的位置的作业环境图像、以及多个指定作业信息中的至少一个指定作业信息中包含的关于指定作业期间以及指定作业内容中的至少一方的信息(参照图7a)。在该情况下，能够使操作员op(作业员)通过作业环境图像识别出该作业员应该远程操作或者实机操作共通的或者不同的作业机械40并按时间序列连续执行的多个作业各自的作业地点(指定作业地点)的位置。此外，能够使该作业员识别关于该多个作业中的至少一个作业的与作业期间(指定作业期间)以及作业内容(指定作业内容)相关的信息。
75.由此，作业员例如易于使作业机械40在从一个指定作业期间的结束时间直至其后的另一指定作业期间的开始时间之前从本次作业地点q1移动至下次作业地点q2、或者易于实现通过第2指定操作使存在于下一个指定作业地点q2的作业机械40可操作的状态。并且，作业员能够在多个指定作业期间分别使用该作业机械40，顺利地执行与指定作业内容对应的作业。
76.第1支援处理元件121基于与远程操作装置20等客户端的通信、或者与该客户端联动的作业机械40的通信，识别该作业机械40的当前位置作为指定位置，并从数据库102中检索作业地点的位置与指定位置一致的作业信息作为多个指定作业信息中的一个指定作业信息。因此，作业员除了能够识别使用作业机械40当前执行中的本次作业以外，还能够识别该作业员应该使用相同的或者不同的作业机械40执行的下次以后的作业的概要。
77.第1支援处理元件121基于与远程操作装置20等客户端的通信，识别通过该客户端的输入接口而具有指定操作时的时刻或者通过指定操作设定的时刻作为指定时刻，并从数据库102中除了检索指定位置以外，还检索与指定时刻相匹配的作业信息作为指定作业信息。由此，能够使该作业机械的作业员根据作业环境图像、以及关于指定作业期间及指定作业内容中的至少一方的信息，除了识别指定位置以外，还识别出与指定位置相匹配的、应该使用作业机械40执行的作业的概要。
78.第1支援处理元件121基于与管理用客户端60的通信，识别通过该管理用客户端60的管理用输入接口610输入的新的作业信息以及数据库102中存储保持的作业信息的变更内容中的至少一方，并使该新的作业信息以及反映了该变更内容的该作业信息中的至少一方存储保持在数据库102中。
79.在该情况下，作业管理者能够将使用管理用客户端60输入的新的作业信息以及已登记在数据库102中的作业信息的内容的至少一部分被变更后的作业信息登记在数据库102中。由此，能够使该作业机械40的作业员根据被输出到远程操作装置20等客户端的输出接口的作业环境图像、以及关于指定作业期间及指定作业内容中的至少一方的信息，识别出作业管理者计划或者意图的、应该使用作业机械40执行的作业的概要。
80.(本发明的另一实施方式)
81.在所述实施方式中，作业支援服务器10由分别独立于远程操作装置20、作业机械40以及管理用客户端60的一个或者多个服务器构成(参照图1)，作为另一实施方式，作业支
援服务器10也可以是远程操作装置20、作业机械40或者管理用客户端60的构成元件。作业支援服务器10的各构成元件110、121以及122可以分别是远程操作装置20、作业机械40以及管理用客户端60中的可相互通信的2个以上各自的构成元件。
82.附图标记说明
83.10 作业支援服务器
84.20 远程操作装置
85.40 作业机械
86.60 管理用客户端
87.102 数据库
88.121 第1支援处理元件
89.122 第2支援处理元件
90.210 远程输入接口
91.220 远程输出接口
92.410 实机输入接口
93.420 实机输出接口
94.440 作业附件(工作机构)
95.610 管理用输入接口
96.620 管理用输出接口。