基于执行末端控制的作业设备的远程驾驶操控方法与系统与流程

1.本发明涉及远程操控技术领域，具体地说，涉及一种基于执行末端控制的作业设备的远程驾驶操控方法及系统。


背景技术：

2.远程操控方法常用于操控设备在人难以达到或不愿到达的区域工作，例如cn111675257a的专利文献中公开了一种污水处理厂的远程集控方法，其是基于远程操控的技术，而实现对疫情期间难以及时到场进行现场操作的污水处理厂进行管理，从而能有效地确保污水处理厂的工作安全。
3.而对于部分需要进行行走的作业设备而言，例如陆上轮式行走设备或水中行走设备，通常需要操控人员进行现场操控，以能够对现场环境的变化做出适应性控制操作；但是，在作业过程中存在作业环境恶劣和/或机上操控仓的空间有限等问题，例如用于水下清洗、探测、检测等作业的机器人，会存在水下作业危机操控人员人身安全的问题；此时，常用解决方案主要是基于远程操控技术对这些作业设备的作业过程进行操控；例如，公开号为cn111241940a的专利文献中公开了一种机器人的远程控制方法，该远程控制方法基于预先训练好的人体姿态估计网络模型，获取操控人员的当前帧图像中人体关节坐标数据，并依据该关节坐标数据生成机器人控制指令，从而能够有效的简化整个操控过程，尤其是对水下机器人的行走过程的驾驶操作，其可广泛应用于机器人远程控制等领域。
4.对于需要，上述作业场景基于远程操控而实现许多方便，但是远程操控仍存在现场操控所存在的共有问题；例如：(1)新手不易上手，需要大量的实践时间才能进行作业操控，导致整个行业需求难以得到满足；(2)长时间的操控作业容易使操控人员出现疲劳等，及存在操控人员作业不规范等，而存在安全风险问题；(3)多设备作业时存在空间与时间上的干涉而导致整体作业效率偏低。


技术实现要素：

5.本发明的主要目的是提供一种基于执行末端控制的作业设备的远程驾驶操控方法，以能够有效地降低对操控人员的要求的同时，以提高设备远程驾驶作业的操作舒适性；
6.本发明的另一目的是提供一种基于执行末端控制的作业设备的远程驾驶操控系统，以能够有效地降低对操控人员的要求的同时，提高设备远程驾驶作业的舒适性。
7.为了实现上述主要目的，本发明提供的作业设备的远程操控方法，该远程驾驶操控方法基于操控手柄与触控屏对作业设备的远程驾驶操控进行控制；远程驾驶操控方法包括作业场景呈现步骤、操控动作接收步骤、控制指令生成步骤及控制指令发出步骤；在作业场景呈现步骤中，通过通信线路接收远程作业场景的图像，并至少将部分作业场景图像显示于触控屏上，部分场景图像包括执行末端及该执行末端的当前作业区域；在操控动作接收步骤中，接收操作人员对触控屏与操控手柄的操作动作；在控制指令生成步骤中，基于操作动作与控制指令之间的映射关系，将在操控动作接收步骤中所接收到的操作动作译成与
之匹配的操控指令；在控制指令发出步骤中，通过通信线路，将控制指令发送给作业设备；操控手柄的安装端部的固定位置可移动地布设于触控屏上；在操控动作接收步骤中，若接收到对固定位置相对触控屏的移动操作时，则控制指令包括平移控制指令，平移控制指令用于控制执行末端在作业场景中进行平移动作，而使在作业场景呈现步骤中，使执行末端在部分作业场景图像上的呈现位置位于移动之后的固定位置处；在操控动作接收步骤中，若接收到对固定位置相对触控屏的转动操作时，则控制指令包括转动控制指令，转动控制指令用于控制执行末端在作业场景中进行转动动作，而使在作业场景呈现步骤中，使执行末端在部分作业场景图像上的角度位置与操控手柄的当前姿态角度相同。
8.在上述技术方案中，基于将操控手柄集成在显示屏上，且该集成位置可沿显示屏的平面进行二维位移移动操控，及操控手柄能进行多角度的俯仰操作，从而控制执行末端进行俯仰动作与平移动作，从而能够有效便于操作，且可减少对操作人员的要求；且能将执行末端在触控屏上的显示位置随操控手柄的位置移动而进行移动，改变操控人员的视角，而能够有效地降低对操控人员的要求的同时，以提高设备远程驾驶作业的操作舒适性。
9.具体的方案为部分作业场景图像为沿竖向朝下拍摄作业场景所获取的图像；固定位置在触控屏幕上的前后移动的操控动作所对应的操控指令为用于控制执行末端在作业场景上的前后移动；固定位置在触控屏幕上的左右移动的操控动作所对应的操控指令为用于控制执行末端在作业场景上的左右移动；在操控手柄前后俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿左右延伸布置的轴线进行俯仰操作；在操控手柄左右俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿前后延伸布置的轴线进行俯仰操作。在上述技术方案中，基于俯拍视角而简化槽座人员视角变换，能会更好的进行操控。
10.优选的方案为在操控屏的显示屏上，通过连杆机构而可移动地布设有移动安装座，操控手柄安装在移动安装座上，操控手柄的固定端通过万向节结构而进行任意方向的俯仰角度操控；在操控手柄沿第一方向的俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿第二方向延伸布置的轴线进行俯仰操作，且第一方向与第二方向相正交。该技术方案中，设备结构简单，且便于操作。
11.更优选的方案为在移动安装座上安装有可绕沿触控屏的屏面法向布置的轴线转动的旋转安装座，操控手柄的固定端通万向节而安装在旋转安装座上；执行末端为具有启闭盖的铲斗，操控手柄绕轴线转动的转动动作所对应的控制指令为，用于改变启闭盖当前对铲斗的装卸口的封闭状态。
12.为了实现上述另一目的，本发明提供的基于执行末端控制的作业设备的远程驾驶操控系统基于操控手柄与触控屏对作业设备的远程驾驶操控进行控制，该系统包括处理器与存储器；存储器存储有计算机程序，计算机程序被处理器执行时，能实现作业场景呈现步骤、操控动作接收步骤、控制指令生成步骤及控制指令发出步骤；在作业场景呈现步骤中，通过通信线路接收远程作业场景的图像，并至少将部分作业场景图像显示于触控屏上，部分场景图像包括执行末端及该执行末端的当前作业区域；在操控动作接收步骤中，接收操作人员对触控屏与操控手柄的操作动作；在控制指令生成步骤中，基于操作动作与控制指令之间的映射关系，将在操控动作接收步骤中所接收到的操作动作译成与之匹配的操控指令；在控制指令发出步骤中，通过通信线路，将控制指令发送给作业设备；操控手柄的安装
端部的固定位置可移动地布设于触控屏上；在操控动作接收步骤中，若接收到对固定位置相对触控屏的移动操作时，则控制指令包括平移控制指令，平移控制指令用于控制执行末端在作业场景中进行平移动作，而使在作业场景呈现步骤中，使执行末端在部分作业场景图像上的呈现位置位于移动之后的固定位置处；在操控动作接收步骤中，若接收到对固定位置相对触控屏的转动操作时，则控制指令包括转动控制指令，转动控制指令用于控制执行末端在作业场景中进行转动动作，而使在作业场景呈现步骤中，使执行末端在部分作业场景图像上的角度位置与操控手柄的当前姿态角度相同。
13.在上述技术方案中，基于将操控手柄集成在显示屏上，且该集成位置可沿显示屏的平面进行二维位移移动操控，及操控手柄能进行多角度的俯仰操作，从而控制执行末端进行俯仰动作与平移动作，从而能够有效便于操作，且可减少对操作人员的要求；且能将执行末端在触控屏上的显示位置随操控手柄的位置移动而进行移动，改变操控人员的视角，而能够有效地降低对操控人员的要求的同时，以提高设备远程驾驶作业的操作舒适性。
14.具体的方案为部分作业场景图像为沿竖向朝下拍摄作业场景所获取的图像；固定位置在触控屏幕上的前后移动的操控动作所对应的操控指令为用于控制执行末端在作业场景上的前后移动；固定位置在触控屏幕上的左右移动的操控动作所对应的操控指令为用于控制执行末端在作业场景上的左右移动；在操控手柄前后俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿左右延伸布置的轴线进行俯仰操作；在操控手柄左右俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿前后延伸布置的轴线进行俯仰操作。
15.优选的方案为在操控屏的显示屏上，通过连杆机构而可移动地布设有移动安装座，操控手柄安装在移动安装座上，操控手柄的固定端通过万向节结构而进行任意方向的俯仰角度操控；在操控手柄沿第一方向的俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿第二方向延伸布置的轴线进行俯仰操作，且第一方向与第二方向相正交。
16.更优选的方案为在移动安装座上安装有可绕沿触控屏的屏面法向布置的轴线转动的旋转安装座，操控手柄的固定端通万向节而安装在旋转安装座上；执行末端为具有启闭盖的铲斗，操控手柄绕轴线转动的转动动作所对应的控制指令为，用于改变启闭盖当前对铲斗的装卸口的封闭状态。
附图说明
17.图1为本发明实施例的工作流程图；
18.图2为本发明实施例的系统图。
具体实施方式
19.以下结合实施例及其附图对本发明作进一步说明。
20.实施例1
21.参见图1，本发明作业设备的远程操控方法包括作业场景呈现步骤s1、操控动作接收步骤s2、控制指令生成步骤s3及控制指令发出步骤s 4，这些步骤的具体过程如下，且在下述描述中以铲斗的作业为例进行示例性说明，且该铲斗为具有启闭盖的铲斗：
22.作业场景呈现步骤s1，通过通信线路接收远程作业场景的图像，并至少将部分作业场景图像显示于触控屏上，部分场景图像包括执行末端及该执行末端的当前作业区域。
23.在本实施例中，由于基于操控手柄与触控屏对作业设备的远程驾驶操控进行控制，从而在操控室内布设对应的触控屏与槽座手柄而作为操控界面。
24.通过摄像头移俯拍方式获取整个作业场景图，并根据需要而将整个作业场景显示于操控界面上，或者将执行末端铲斗所在当前作业区域显示在触控屏上，即至少将部分作业场景图像显示于触控屏上，且部分场景图像包括执行末端及该执行末端的当前作业区域。
25.操控动作接收步骤s2，接收操作人员对触控屏与操控手柄的操作动作。
26.对于操控手柄，其动作包括平移及俯仰动作。在本实施例中，在操控屏的显示屏上，通过连杆机构而可移动地布设有移动安装座，操控手柄安装在移动安装座上，操控手柄的固定端通过万向节结构而进行任意方向的俯仰角度操控。
27.控制指令生成步骤s3，基于操作动作与控制指令之间的映射关系，将在操控动作接收步骤中所接收到的操作动作译成与之匹配的操控指令。
28.在该步骤中，在操控动作接收步骤中，若接收到对固定位置相对触控屏的移动操作时，则控制指令包括平移控制指令，平移控制指令用于控制执行末端在作业场景中进行平移动作，而使在作业场景呈现步骤中，使执行末端在部分作业场景图像上的呈现位置位于移动之后的固定位置处。
29.具体地有，固定位置在触控屏幕上的前后移动的操控动作所对应的操控指令为用于控制执行末端在作业场景上的前后移动；固定位置在触控屏幕上的左右移动的操控动作所对应的操控指令为用于控制执行末端在作业场景上的左右移动。对于该量部分，其可以进行独立操控控制，也可以基于分解成该两个相正交轴的两个方向动作进行耦合控制。
30.在操控动作接收步骤中，若接收到对固定位置相对触控屏的转动操作时，则控制指令包括转动控制指令，转动控制指令用于控制执行末端在作业场景中进行转动动作，而使在作业场景呈现步骤中，使执行末端在部分作业场景图像上的角度位置与操控手柄的当前姿态角度相同。
31.该移动控制基于结构为在操控屏的显示屏上，通过连杆机构而可移动地布设有移动安装座，操控手柄安装在移动安装座上，操控手柄的固定端通过万向节结构而进行任意方向的俯仰角度操控。
32.具体地有，在操控手柄前后俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿左右延伸布置的轴线进行俯仰操作；在操控手柄左右俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿前后延伸布置的轴线进行俯仰操作。
33.此外，能为了对铲斗进行全方位的俯仰控制，在本实施例中，在操控手柄沿第一方向的俯仰角度的操作动作所对应的操控指令为用于控制执行末端在作业场景上，绕沿第二方向延伸布置的轴线进行俯仰操作，且第一方向与第二方向相正交；基于该控制指令的对应关系，而实现对任意俯仰角度的控制。
34.控制指令发出步骤s4，通过通信线路，将控制指令发送给作业设备。
35.实施例2
36.作为对本发明实施例的说明，以下仅对与上述实施例1的不同之处进行说明。
37.在本实施例中，对于操控手柄而言，其动作不仅包括平移及俯仰动作，也可以进一步地包括旋转动作。
38.具体为在移动安装座上安装有可绕沿触控屏的屏面法向布置的轴线转动的旋转安装座，操控手柄的固定端通万向节而安装在旋转安装座上。
39.而在执行指令生成步骤中，操控手柄绕轴线转动的转动动作所对应的控制指令为，用于改变启闭盖当前对铲斗的装卸口的封闭状态。
40.实施例3
41.作为对本发明实施例的说明，以下仅对与上述实施例1的不同之处进行说明，在本实施例中，具体为对作业设备的控制指令进行修改，具体为在指令执行步骤中，控制程序包括共同模式部分与定制模式部分，共同模式部分为基于同类设备的共同动作而进行编制的操作方法，并基于型号差异而进行适应性处理之后的操控方法；定制模式部分包括基于该设备独有的动作而进行编制的操作方法。
42.其中，执行步骤包括运动控制与作业控制；运动控制包括运动共同模式部分与运动定制操作部分；作业控制包括作业共同模式部分与作业定制操作部分。
43.更具体的是执行步骤包括运动控制与作业控制；运动控制包括运动共同模式部分与运动定制操作部分；作业控制包括作业共同模式部分与作业定制操作部分。
44.此外，对于作业设备而言，其还包括显示信息发送步骤，向远程操作端发送现场作业视频信息或操作动作模拟信息。
45.此外，如图2所示，本技术的系统包括处理器与存储器；且该存储器存储有计算机程序，该计算机程序被处理器执行时，能实现上述作业场景呈现步骤、操控动作接收步骤、控制指令生成步骤及控制指令发出步骤。具体过程参照上述方法步骤，在此不再赘述。