远程操作系统的制作方法

1.本发明涉及用于远程操作作业机械等的系统。


背景技术：

2.已提出有远程操作作业机械的技术(例如，参照专利文献1)。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2016
‑
076801号公报


技术实现要素：

6.发明要解决的技术问题
7.然而，从使作业机械的远程操作技能较差的一位操作员提高其技能的观点来看，优选使其掌握技能优秀的另一位操作员对作业机械的远程操作状态。
8.于是，从使一位操作员掌握另一位操作员对作业机械的远程操作状态的观点来看，本发明的目的在于提供一种系统，能够对该一位操作员提供适当的信息。
9.用于解决上述技术问题的方案
10.本发明的远程操作系统具备：作业机械，具有工作机构及对包含该工作机构的至少一部分的环境进行拍摄的拍摄装置；第1远程操作装置及第2远程装置，具有用于远程操作所述作业机械的操作机构、及显示与通过所述作业机械的所述拍摄装置获取到的拍摄图像数据对应的环境图像的图像显示装置，该远程操作系统的特征在于，所述第1远程操作装置具备：被动状态检测器，检测所述操作机构的被动状态；第1客户控制装置，发送与由所述被动状态检测器检测到的该操作机构的被动状态对应的操作状态数据，所述第2远程操作装置具备：致动器，用于使所述操作机构主动地进行动作；第2客户控制装置，接收所述操作状态数据，根据与该操作状态数据对应的所述第1远程操作装置中的所述操作机构的被动状态，控制所述致动器的动作。
11.本发明的远程操作服务器具有与第1远程操作装置及第2远程装置分别相互通信的功能，所述第1远程操作装置及第2远程装置具有：操作机构，用于远程操作具有工作机构及对包含该工作机构的至少一部分的环境进行拍摄的拍摄装置的作业机械；图像显示装置，显示与通过所述作业机械的所述拍摄装置获取到的拍摄图像数据对应的环境图像，该远程操作服务器的特征在于，具备第1服务器控制元件，从该第1远程操作装置接收与在所述第1远程操作装置中检测到的所述操作机构的被动状态对应的操作状态数据，还具备第2服务器控制元件，通过对所述第2远程操作装置发送所述操作状态数据，在所述第2远程操作装置中，根据与该操作状态数据对应的所述操作机构的被动状态，来控制用于使所述操作机构主动地进行动作的致动器的动作。
附图说明
12.图1是关于作为本发明的一实施方式的远程操作系统的构成的说明图。
13.图2是关于作业机械的构成的说明图。
14.图3是关于第1远程操作装置的构成的说明图。
15.图4是关于作为本发明的一实施方式的远程操作系统的功能的说明图。
16.图5a是关于第1图像输出装置中的图像输出状态的说明图。
17.图5b是关于第2图像输出装置中的图像输出状态的说明图。
18.图6a是关于操作状态图像的第1例的说明图。
19.图6b是关于操作状态图像的第2例的说明图。
20.图7是关于作为本发明的另一实施方式的远程操作系统的说明图。
具体实施方式
21.(构成)
22.作为图1所示的本发明的一实施方式的远程操作系统具备第1远程操作装置10、第2远程操作装置20、作业机械40。共通的作业机械40的远程操作主体可在第1远程操作装置10及第2远程操作装置20之间切换。
23.(作业机械的构成)
24.作业机械40具备作业机械控制装置400、拍摄装置401(外侧拍摄装置)、无线通信机器402、工作机构440。作业机械控制装置400由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。
25.作业机械40例如是履带式挖掘机(工程机械)，如图2所示，具备履带式的下部行驶体410、和经由回转机构430可回转地搭载于下部行驶体410的上部回转体420。在上部回转体420的前方左侧部设有驾驶室(司机室)422。在上部回转体220的前方中央部设有作业附件440。
26.作为工作机构的作业附件440具备：动臂441，可起落地安装于上部回转体420；斗杆443，可转动地连结于动臂441的前端；铲斗445，可转动地连结于斗杆443的前端。在作业附件440安装有由可伸缩的液压油缸构成的动臂油缸442、斗杆油缸444及铲斗油缸446。
27.动臂油缸442介于该动臂441与上部回转体420之间，使得其通过接受工作油的供给而伸缩，从而使动臂441在起落方向转动。斗杆油缸444介于该斗杆443与该动臂441之间，使得其通过接受工作油的供给而伸缩，从而使斗杆443相对于动臂441绕水平轴转动。铲斗油缸446介于该铲斗445与该斗杆443之间，使得其通过接受工作油的供给而伸缩，从而使铲斗445相对于斗杆443绕水平轴转动。
28.拍摄装置401例如设置在驾驶室422的内部，透过驾驶室422的前窗对包含至少一部分工作机构440的环境进行拍摄。
29.在驾驶室422设有：实机侧操作杆，与构成第1远程操作装置10的操作杆(后述)相对应；驱动机构或机器人，从远程操作室接收与各操作杆的操作状态对应的信号，并基于该接收信号使实机操作杆动作。
30.(第1远程操作装置的构成)
31.第1远程装置10具备第1客户控制装置100、第1输入接口110、第1输出接口120。第1客户控制装置100由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取需要的数据及软件，以该数据为对象执行根据该软件的运算处理。第1输入接口110具备第1操作机构111、被动状态检测器112。第1输出接口120具备第1图像输出装置121、第1无线通信机器122。
32.在第1操作机构111包含有行驶用操作装置、回转用操作装置、动臂用操作装置、斗杆用操作装置和铲斗用操作装置。各操作装置具有接受转动操作的操作杆。为了使下部行驶体410动作而操作行驶用操作装置的操作杆(行驶杆)。行驶杆也可以兼作行驶踏板。例如，也可以设置有固定于行驶杆的基部或者下端部的行驶踏板。为了使构成回转机构430的液压式的回转电机动作而操作回转用操作装置的操作杆(回转杆)。为了使动臂油缸442动作而操作动臂用操作装置的操作杆(动臂杆)。为了使斗杆油缸444动作而操作斗杆用操作装置的操作杆(斗杆杆(arm lever))。为了使铲斗油缸446动作而操作铲斗用操作装置的操作杆(铲斗杆)。
33.构成第1操作机构111的各操作杆例如如图3所示，配置在用于供操作员就座的座椅1100的周围。座椅1100是带扶手的高背椅那样的方式，也可以是没有头枕的低背椅那样的方式、或者是没有靠背的椅子那样的方式等操作员能够就座的任意的方式。
34.在座椅1100的前方左右并排地配置有与左右的履带对应的左右一对的行驶杆1110。一个操作杆可以兼作多种操作杆。例如，在对图3所示的设置于座椅1100的右侧框体的前方的右侧操作杆1111沿前后方向操作的情况下作为动臂杆发挥功能，并且在沿左右方向操作的情况下作为铲斗杆发挥功能。同样地，在对图3所示的设置于座椅1100的左侧框体的前方的左侧操作杆1112沿前后方向操作的情况下作为斗杆杆发挥功能，并且在沿左右方向操作的情况下作为回转杆发挥功能。可以根据操作员的操作指示任意地变更杆模式。
35.例如，如图3所示，第1图像输出装置121由分别配置在座椅1100的右斜前方、前方及左斜前方的右斜前方图像输出装置1211、前方图像输出装置1212及左斜前方图像输出装置1213构成。该图像输出装置1211～1213可以进一步具备扬声器(语音输出装置)。
36.被动状态检测器112例如由设置在驾驶室422的内部的一个或多个拍摄装置1121(内侧拍摄装置)构成，从而将一对行驶杆1110、右侧操作杆1111及左侧操作杆1112分别作为拍摄范围。
37.被动状态检测器112也可以由传感器与运算处理装置构成，所述传感器输出与由弹簧或弹性部件构成的弹压机构的变形量或位移量对应的信号，所述弹簧或弹性部件以使操作杆复原至与操作量为0相对应的原位置及姿势的方式起作用；所述运算处理装置基于该传感器的输出信号，除了对为了使上部回转体420从上方观察沿逆时针以某个速度回转而操作了回转杆的情况进行推定外，还对操作了动臂、斗杆及铲斗等的情况进行推定。
38.被动状态检测器112也可以由先导压力传感器与运算处理装置构成，所述先导压力传感器输出与先导压力对应的信号，该先导压力与实机侧操作杆的操作量对应；所述运算处理装置基于该先导压力传感器的输出信号，除了对为了使上部回转体420从上方观察沿逆时针以某个速度回转而操作了回转杆的情况进行推定外，还对操作了动臂、斗杆及铲斗等的情况进行推定。
39.(第2远程操作装置的构成)
40.第2远程操作装置20具备第2客户控制装置200、第2输入接口210、第2输出接口220。第2客户控制装置200由运算处理装置(单核处理器或多核处理器或者构成该处理器的处理器内核)构成，从存储器等存储装置读取必要的数据及软件，以该数据为对象执行根据该软件的运算处理。第2输入接口210具备第2操作机构211、致动器212。第2输出接口220具备第2图像输出装置221、第2无线通信机器222。
41.致动器212是用于主动地驱动第2操作机构211的致动器，由电动式、液压式或气压式的致动器构成。除了被动状态检测器112被省略、以及后文叙述的第2客户控制装置200的功能以外，第2远程操作装置20的其他的构成与第1远程操作装置10的构成几乎相同，因此省略其说明(参照图3)。
42.(功能)
43.在第1远程操作装置10中，由第1操作员进行规定的操作(图4/步骤102)。规定的操作例如是构成第1输入接口110或第1操作机构111的按钮或操作杆的操作。与此对应地，由第1客户控制装置100通过第1无线通信机器122从第1远程操作装置10对作业机械40发送操作开始指令(图4/步骤104)。
44.同样地，在第2远程操作装置20中，由第2操作员进行规定的操作(图4/步骤202)。规定的操作例如是构成第2输入接口210或第2操作机构211的按钮或操作杆的操作。与此对应地，由第2客户控制装置200通过第2无线通信机器222从第2远程操作装置20对作业机械40发送操作开始指令(图4/步骤204)。
45.在作业机械40中，由作业机械控制装置400通过无线通信机器402接收操作开始指令(图4/步骤402)。与此对应地，作业机械控制装置400对拍摄装置401输出指令，由拍摄装置401根据该指令获取拍摄图像数据(图4/步骤404)。由作业机械控制装置400通过无线通信机器402对第1远程操作装置10及第2远程操作装置20发送表示该拍摄图像的拍摄图像数据(图4/步骤406)。
46.在第1远程操作装置10中，由第1客户控制装置100通过第1无线通信机器122接收拍摄图像数据(图4/步骤106)。由第1客户控制装置100将与拍摄图像数据对应的环境图像(拍摄图像本身的全部或一部分或者基于此生成的模拟环境图像)显示在第1图像输出装置121(图4/步骤108)。同样地，在第2远程操作装置20中，由第2客户控制装置200通过第2无线通信机器122接收拍摄图像数据(图4/步骤206)。由第2客户控制装置200将与拍摄图像数据对应的环境图像显示在第2图像输出装置221(图4/步骤208)。由此，例如如图5a所示，将包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的环境图像分别显示于第1图像输出装置121及第2图像输出装置221。
47.在第1远程操作装置10中，由第1操作员操作第1操作机构111(图4/步骤110)，与此对应地，由第1客户控制装置100通过第1无线通信机器122对作业机械40发送与该操作状态对应的操作指令(图4/步骤112)。
48.在作业机械40中，由作业机械控制装置400通过无线通信机器402接收操作指令(图4/步骤408)。与此对应地，由作业机械控制装置400控制作业附件440等的动作(图4/步骤410)。例如，执行由铲斗445将作业机械40前方的土铲起、在使上部回转体410回转后从铲斗445将土倒落的作业。
49.在第1远程操作装置10中，由被动状态检测器112检测由第1操作员操作的第1操作
机构111的被动状态(图4/步骤114)。由第1客户控制装置100通过第1无线通信机器122对第2远程操作装置20发送与该被动状态检测结果对应的操作状态数据(图4/步骤116)。
50.在第2远程操作装置20中，由第2客户控制装置200通过第2无线通信机器222接收操作状态数据(图4/步骤210)。由第2客户控制装置200根据该操作状态数据控制致动器212的动作，主动地驱动第2操作机构211(图4/步骤212)。由此，第1远程操作装置10中的第1操作员操作的第1操作机构111的操作状态或被动状态在第2远程操作装置20中被再现为第2操作机构211的主动状态。
51.进一步地，由第2客户控制装置200将与操作状态数据对应的操作状态图像显示在第2图像输出装置221(图4/步骤214)。由此，例如如图5b所示，将操作状态图像s重叠在包含有作为工作机构的作业附件440的一部分即动臂441、斗杆443、铲斗445及斗杆油缸444的环境图像上来显示于第2图像输出装置221。
52.也可以在偏离环境图像的位置显示操作状态图像。也可以是，将环境图像图像显示在前方图像输出装置1212、将操作状态图像显示在右斜前方图像输出装置1211或左斜前方图像输出装置1213等(参照图3)，将环境图像及操作状态图像分别显示在独立的图像输出装置。
53.例如，如图6a所示，操作状态图像中包含有从上方观察右侧操作杆1111及使其进行动作的第1操作员的右手rh的图像、以及从上方观察左侧操作杆1112及使其进行动作的第1操作员的左手lh的图像。该图像可以通过截取由构成被动状态检测器112的拍摄装置获取到的拍摄图像的一部分来生成，也可以是基于拍摄图像或被动状态检测结果而生成的模拟图像。此外，操作状态图像中包含有表示右侧操作杆1111的从基准状态向前后的倾动角度θ
x1
及向左右的倾动角度θ
y1
、以及左侧操作杆1112的从基准状态向前后的倾动角度θ
x2
及向左右的倾动角度θ
y2
各自的数值的操作状态图像。可以在操作状态图像中省略表现操作量。
54.如图6b所示，操作状态图像中包含有分别从左方及后方观察左侧操作杆1112的图像。该图像可以通过截取与由构成被动状态检测器112的拍摄装置获取到的拍摄图像数据对应的拍摄图像的一部分来生成，也可以是基于拍摄图像或被动状态检测结果而生成的模拟图像。此外，操作状态图像中包含有表示左侧操作杆1112的从基准状态向前后的倾动角度θ
x2
及向左右的倾动角度θ
y2
各自的数值的操作状态图像。同样地，也可以在操作状态图像中包含有分别从右方及后方观察右侧操作杆1111的图像。可以在操作状态图像中省略表现操作量。
55.(效果)
56.根据该构成的远程操作系统，对第2操作员提供第2远程操作装置20中的第2操作机构211的主动动作状态，作为从使通过第2远程操作装置20操作作业机械40的该第2操作员通过触觉掌握通过第1远程操作装置10操作作业机械40的第1操作员对作业机械40的远程操作状态即第1操作机构111的操作状态的观点来看为适当的信息(参照图4/步骤212)。与第1操作员以左右手握住构成第1操作机构111的操作杆同样地，通过使第2操作员以左右手握住构成第2操作机构211的操作杆，从而第2操作员能够通过其手来掌握操作杆的移动，了解第1操作员对操作杆的移动方式或操作状态。
57.进一步地，对第2操作员提供表示该第1操作员对第1操作机构111的操作状态及操
作量的操作状态图像，作为从使该第2操作员通过视觉掌握第1操作员对第1操作机构111的操作状态的观点来看为适当的信息(参照图4/步骤214及图6a～图6b)。第2操作员能够通过视觉辨认第2图像输出装置221中显示的操作状态图像，了解第1操作员对操作杆的移动方式或操作状态。
58.(本发明的另一实施方式)
59.在所述实施方式中，第1远程操作装置10、第2远程操作装置20及作业机械40根据无线通信方式直接进行相互通信，但作为另一实施方式，第1远程操作装置10、第2远程操作装置20及作业机械40也可以经由图7所示的远程操作服务器30间接进行相互通信。
60.远程操作服务器30具备第1服务器运算处理元件31、第2服务器运算处理元件32。第1服务器运算处理元件31从第1远程操作装置10接收与在第1远程操作装置10中检测到的第1操作机构111的被动状态对应的操作状态数据。第2服务器运算处理元件32通过对第2远程操作装置20发送操作状态数据，使第2图像输出装置221显示操作状态图像(参照图6a～图6b)。
61.附图标记说明
62.10 第1远程操作装置
63.20 第2远程操作装置
64.30 远程操作服务器
65.31 第1服务器运算处理元件
66.32 第2服务器运算处理元件
67.40 作业机械
68.100 第1客户控制装置
69.110 第1输入接口
70.111 第1操作机构
71.112 被动状态检测器
72.120 第1输出接口
73.121 第1图像输出装置
74.122 第1无线通信机器
75.200 第2客户控制装置
76.210 第2输入接口
77.211 第2操作机构
78.212 致动器
79.220 第2输出接口
80.221 第2图像输出装置
81.222 第2无线通信机器
82.401 拍摄装置(外侧拍摄装置)
83.402 无线通信机器
84.440 作业附件(工作机构)
85.1121 拍摄装置(内侧拍摄装置)。