遥操作系统、遥操作方法及芯片与流程

1.本技术属于遥操作技术领域，尤其涉及一种遥操作系统、遥操作方法及芯片。


背景技术：

2.遥操作即远程遥控操作，是一种通过近端的操作设备控制远端的操作设备，实现远端作业的方式。遥操作系统是用以实现该方式的系统。
3.相关技术中，遥操作系统由主操作机械臂、从操作机械臂和视觉系统组成。其中，视觉系统包括显示设备、摄像设备和视觉遥控设备。主操作机械臂控制从操作机械臂，以实现主从同构操作运动，在某些情况下，摄像设备的视野需要进行调整以方便操作者更好地观察操作对象，此时，操作者需要操控视觉遥控设备实现对摄像设备的移动控制，以调整摄像设备的视野。


技术实现要素：

4.本技术实施例提供一种遥操作系统、遥操作方法及芯片，可减少遥操作系统的设备数量。
5.本技术实施例第一方面提供一种遥操作系统，包括：主操作设备、从操作设备、显示设备和摄像设备，所述主操作设备、所述从操作设备和所述摄像设备均设有末端工具；所述显示设备用于显示所述摄像设备实时采集的图像；所述主操作设备至少配置有如下工作状态：作业操控状态和摄像操控状态；所述主操作设备用于：在所述作业操控状态下操控所述从操作设备，以及，在所述摄像操控状态下操控所述摄像设备。
6.基于上述第一方面的实现方式，在本技术的第一种可能的实现方式中，所述主操作设备设置有状态切换控件，所述状态切换控件用于切换所述主操作设备的工作状态。
7.基于上述第一方面的第一种可能的实现方式，在本技术的第二种可能的实现方式中，所述状态切换控件的操作端以踏板形态或按键形态呈现。
8.基于上述第一方面，上述第一方面的第一种可能的实现方式，以及上述第一方面的第二种可能的实现方式，在本技术的第三种可能的实现方式中，所述主操作设备、所述从操作设备和所述摄像设备均为机械臂形态。
9.基于上述第一方面的第三种可能的实现方式，在本技术的第四种可能的实现方式中，所述主操作设备、所述从操作设备以及所述摄像设备三者的末端工具在相应机械臂的驱动下支持多个自由度方向移动。
10.基于上述第一方面的第四种可能的实现方式，在本技术的第五种可能的实现方式中，所述主操作设备还设置有：位姿自动调整控件，所述位姿自动调整控件用于复位所述主操作设备、所述从操作设备和所述摄像设备中至少一个的位置和姿态。
11.基于上述第一方面的第四种可能的实现方式，在本技术的第六种可能的实现方式
中，所述主操作设备还设置有：位姿手动调整控件，所述位姿手动控件用于触发所述主操作设备、所述从操作设备和所述摄像设备中至少一个进入位姿手动调整状态；在所述位姿手动调整状态下，相应设备的位置和姿态允许被手动调整。
12.本技术第二方面提供一种遥操作方法，应用于如上述第一方面或上述第一方面的任一可能的实现方式记载的遥操作系统中，上述遥操作方法包括：所述主操作设备接收摄像操控指令；响应于所述摄像操控指令，获取期望姿态，所述期望姿态与当前所述显示设备的显示屏朝向相关；基于所述期望姿态，调整主末端姿态，所述主末端姿态为所述主操作设备的末端工具的姿态；当所述主末端姿态与所述期望姿态的偏差不大于预设的第一偏差阈值时，所述主操作设备进入所述摄像操控状态。
13.基于本技术第二方面，在本技术的第一种可能的实现方式中，上述遥操作方法还包括：所述主操作设备在所述摄像操控状态下，将实时的主位置和主末端姿态分别变换为摄像设备基坐标系下的摄像位置和摄像姿态，所述主位置为所述主操作设备的末端工具所处位置；向所述摄像设备发送摄像移动指令，所述摄像移动指令用于触发所述摄像设备对末端工具进行相应的移动，其中，所述摄像移动指令中携带所述摄像位置和所述摄像姿态。
14.基于本技术第二方面的第一种可能的实现方式，在本技术的第二种可能的实现方式中，所述将实时的主位置和主末端姿态分别变换为摄像设备基坐标系下的摄像位置和摄像姿态，包括：基于所述主操作设备与所述显示设备的坐标转换关系，将实时的主位置和主末端姿态分别变换为显示设备坐标系下的显示位置和显示姿态；基于所述显示设备与所述摄像设备的显示映射关系，将所述显示设备坐标系下的显示位置变换为所述摄像设备基坐标系下的摄像位置；基于所述显示设备与所述摄像设备的显示映射关系，以及旋转变换矩阵，将所述显示设备坐标系下的显示姿态变换为所述摄像设备基坐标系下的摄像姿态，所述旋转变换矩阵基于所述主操作设备与所述显示设备的相对关系确定得到。
15.基于本技术第二方面的第一种可能的实现方式，在本技术的第三种可能的实现方式中，所述遥操作方法还包括：所述主操作设备在所述摄像操控状态下，将实时的主末端移动速度变换为摄像设备基坐标系下的摄像移动速度；所述主末端移动速度为所述主操作设备的末端工具的移动速度，所述摄像移动指令中还携带所述摄像移动速度。
16.基于本技术第二方面的第三种可能的实现方式，在本技术第四种可能的实现方式中，所述主末端移动速度包含：所述主操作设备的末端工具的线速度和角速度；相应，所述摄像移动速度包括：变换得到的线速度和角速度；所述将实时的主末端移动速度变换为摄像设备基坐标系下的摄像移动速度包括：
基于所述主操作设备与所述显示设备的坐标转换关系，分别将所述主操作设备的末端工具的线速度和角速度变换为显示设备坐标系下的线速度和角速度；基于所述显示设备与所述摄像设备的显示映射关系，将所述显示设备坐标系下的线速度变换为所述摄像设备基坐标系下的线速度；基于所述显示设备与所述摄像设备的显示映射关系，以及旋转变换矩阵，将所述显示设备坐标系下的角速度变换为所述摄像设备基坐标系下的角速度，所述旋转变换矩阵基于所述主操作设备与所述显示设备的相对关系确定得到。
17.基于本技术第二方面，或者本技术第二方面的第一种可能的实现方式，或者本技术第二方面的第二种可能的实现方式，或者本技术第二方面的第三种可能的实现方式，或者本技术第二方面的第四种可能的实现方式，在本技术第五种可能的实现方式中，所述期望姿态为所述主操作设备的末端工具指向目标方向时的姿态，所述目标方向与所述显示屏朝向相反。
18.本技术第三方面提供一种遥操作方法，应用于如上述第一方面或上述第一方面的任一可能的实现方式记载的遥操作系统中，上述遥操作方法包括：所述主操作设备接收从操控指令；响应于所述从操控指令，获取从末端姿态，所述从末端姿态为所述从操作设备的末端工具的姿态；基于所述从末端姿态，调整主末端姿态，所述主末端姿态为所述主操作设备的末端工具的姿态；当所述主末端姿态与所述从末端姿态的偏差不大于预设的第二偏差阈值时，所述主操作设备进入所述作业操控状态。
19.基于本技术上述第三方面，在本技术的第一种实现方式中，上述遥操作方法还包括：所述主操作设备在所述作业操控状态下，将实时的主位置和主末端姿态分别变换为所述从操作设备基坐标系下的从位置和从姿态，所述主位置为所述主操作设备的末端工具所处位置；向所述从操作设备发送作业移动指令，所述作业移动指令用于触发所述从操作设备对末端工具进行相应的移动，其中，所述作业移动指令中携带所述从位置和所述从姿态。
20.基于本技术第三方面的第一种可能的实现方式，在第二种可能的实现方式中，所述将实时的主位置和主末端姿态分别变换为所述从操作设备基坐标系下的从位置和从姿态，包括：基于所述主操作设备与所述显示设备的坐标转换关系，将实时的主位置和主末端姿态分别变换为显示设备坐标系下的显示位置和显示姿态；基于所述显示设备与所述摄像设备的显示映射关系，以及所述摄像设备与所述从操作设备的坐标转换关系，将所述显示设备坐标系下的显示位置和显示姿态分别变换为从操作设备基坐标系下的从位置和从姿态。
21.基于本技术第三方面的第一种可能的实现方式，在第三种可能的实现方式中，所述主操作设备在所述从操控状态下，将实时的主末端移动速度变换为从操作设备基坐标系下的从移动速度；
所述主末端移动速度为所述主操作设备的末端工具的移动速度，所述作业移动指令中还携带所述从移动速度。
22.基于本技术第三方面的第三种可能的实现方式，在第四种可能的实现方式中，所述主末端移动速度包含：所述主操作设备的末端工具的线速度和角速度；相应，所述从移动速度包括：变换得到的线速度和角速度；所述将实时的主末端移动速度变换为从操作设备基坐标系下的从移动速度包括：基于所述主操作设备与所述显示设备的坐标转换关系，将所述主操作设备的末端工具的线速度和角速度分别变换为显示设备坐标系下的线速度和角速度；基于所述显示设备与所述摄像设备的显示映射关系，以及所述摄像设备与所述从操作设备的坐标转换关系，将所述显示设备坐标系下的线速度和角速度分别变换为从操作设备基坐标系下的线速度和角速度。
23.本技术实施例第四方面提供一种芯片，包括处理器，所述处理器用于读取并执行存储器中存储的计算机程序，以实现上述第二方面和/或上述第三方面所述的方法的步骤。
24.经发明人研究调查发现，相关技术中，从操作机械臂和摄像设备需要通过不同的设备进行操控（如从操作机械臂通过主操作机械臂进行操控，摄像设备通过视觉遥控设备进行操控），遥操作系统的设备数量多。为了减少遥操作系统的设备数量，本技术为主操作设备配置作业操控状态和摄像操控状态，并使主操作设备在作业操控状态作为从操作设备的操控设备，在摄像操控状态下作为摄像设备的操控设备，实现了单个主操作设备对从操作设备和摄像设备实现运动控制的效果。在实际应用中，作业人员只需切换主操作设备的工作状态，即可通过主操作设备对从操作设备或摄像设备进行操控，在一定程度上也提高了遥操作的便利性。
附图说明
25.为了更清楚地说明本技术实施例的方法方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
26.图1a是本技术实施例提供的一种遥操作系统架构示意图；图1b是本技术实施例提供的一种遥操作系统坐标系示意图；图2是本技术实施例提供的另一种遥操作系统架构示意图；图3是本技术实施例提供的再一种遥操作系统架构示意图；图4是本技术实施例提供的再一种遥操作系统架构示意图；图5是本技术实施例提供的一种有限状态机的配置示意图；图6a是本技术实施例提供的一种遥操作方法流程示意图；图6b是本技术实施例提供的主操作设备跟随期望姿态移动的流程示意图；图7a是本技术实施例提供的一种主操作设备操控摄像设备的流程示意图；图7b是本技术实施例提供的一种主操作设备操控摄像设备的整体流程示意图；图8a是本技术实施例提供的另一种遥操作方法流程示意图；图8b为本技术实施例提供的主操作设备跟随从末端姿态移动的流程示意图；
图9a为本技术实施例提供的一种主操作设备操控从操作设备的流程示意图；图9b是本技术实施例提供的一种主操作设备操控从操作设备的整体流程示意图。
具体实施方式
27.为了使本技术的目的、方法方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
28.本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在本技术实施例的描述中，除非另有说明，“多个”是指两个或多于两个（即两个以上），“至少一个”、“一个或多个”是指一个、两个或两个以上。
29.在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其它方式另外特别强调。
30.图1a示出了一个实施例中的遥操作系统，包括：主操作设备101、从操作设备102、显示设备103和摄像设备104。其中，主操作设备101、从操作设备102和摄像设备104均设有末端工具。主操作设备101至少配置有如下工作状态：作业操控状态和摄像操控状态；主操作设备101用于：在上述作业操控状态下操控从操作设备102，以及，在上述摄像操控状态下操控摄像设备104。
31.本技术实施例中，主操作设备101分别与从操作设备102和摄像设备104通讯连接，显示设备103摄像设备104通讯连接（图1a中虚线箭头表示连接关系），具体的，上述通讯连接的方式可以是有线连接，也可以是无线连接（如5g通讯方式连接），此处不做限定。
32.显示设备103用于显示摄像设备104实时采集的图像，以便作业人员通过显示设备103观察到摄像设备104视野下的场景。在实际应用中，可将主操作设备101和显示设备103部署在主操作空间，而将从操作设备102和摄像设备104部署在从操作空间（如图1a所示）。主操作空间是指作业人员进行操作的空间，而从操作空间是指根据作业人员在主操作空间中的操作，执行对目标对象的操作动作的空间。在执行对目标对象的操作时，从操作设备的末端工具可暴露于摄像设备104的视野下，以便作业人员通过显示设备103观察到从操作设备的末端工具并对其进行直观地操控。进一步，在需要调整摄像设备104的视野时，可以将主操作设备101切换至摄像操作状态，以在摄像操作状态下移动摄像设备104，达到调整摄像设备104视野的目的。
33.本技术的遥操作系统可应用于医疗环境中，在此场景下，从操作设备102的末端工具对应可以是诸如手术刀、彩超探头或其它医疗工具，医护人员可通过主操作设备101操控从操作设备102实现远程医疗操作。当然，本技术的遥操作系统也可应用于其它操作环境中，相应的，从操作设备102的末端工具可为相应操作环境中所需要的操作工具，此处不做限定。
34.本技术实施例中，主操作设备101、从操作设备102、显示设备103和摄像设备104都有各自的坐标系，通过设定各设备之间的坐标转换关系，即可实现将一设备在自身坐标系下的描述变换为在另一设备的坐标系下的描述。具体的，由于显示设备103是联通主操作设
备101和远程设备（如从操作设备101和摄像设备104）的一个重要中介，显示设备103是用于显示摄像设备104实时采集的图像，其与摄像设备104之间存在显示映射关系（该显示映射关系使得显示设备所显示的图像与摄像设备所采集的图像在呈现方向上一致），故在实际应用中，可以分别建立主操作设备101与显示设备之间的坐标转换关系、建立摄像设备与从操作设备之间的坐标转换关系，结合显示设备与摄像设备之间的显示映射关系，可以实现将主操作设备101在自身坐标系下的描述变换为在摄像设备或从操作设备的坐标系下的描述。
35.下面以主操作设备、从操作设备和摄像设备均为机械臂形态为例，对遥操作系统中存在的坐标系进行描述，如图1b所示，遥操作系统中包括如下坐标系：主操作机械臂基坐标系（即主操作设备基坐标系）、主操作机械臂末端坐标系（即主操作设备末端的坐标系）、显示器坐标系（即显示设备的显示屏坐标系）、摄像机械臂基坐标系（即摄像设备基坐标系）、摄像头坐标系、从操作机械臂基坐标系（即从操作设备基坐标系）、从操作机械臂末端坐标系（即从操作设备末端的坐标系）。在实际应用中，主操作机械臂基坐标系与主操作机械臂末端坐标系之间、摄像机械臂基坐标系与摄像头坐标系之间、从操作机械臂基坐标系与从操作机械臂末端坐标系之间存在坐标转换关系。
36.可选的，主操作设备101、从操作设备102和摄像设备104可以均为机械臂形态，进一步，主操作设备101、从操作设备102以及摄像设备104三者的末端工具还可以在相应机械臂的驱动下支持多个自由度方向移动，以便可更灵活地进行操控。在实际应用中，主操作设备101和从操作设备102的末端工具安装在相应设备的末端，优选地，主操作设备101和从操作设备102的末端工具可拆卸式地安装在相应设备的末端，以便于根据实际操作场景替换末端工具。摄像设备104的末端工具可以是可承载摄像头的支架，或者，也可以是集成摄像头的支架组件。同样的，摄像设备104的末端工具设置在摄像设备104的末端，摄像设备104通过设置在末端的摄像头可进行图像的采集。
37.可选的，如图2所示，主操作设备101设置有状态切换控件1011，上述状态切换控件用于切换主操作设备101的工作状态。在实际应用中，作业人员可以通过触发该状态切换控件，以切换主操作设备101的工作状态（如从待机状态切换至上述作业操控状态、或从待机状态切换至上述摄像操控状态、或从上述作业操控状态切换至上述摄像操控状态、或从上述摄像操控状态切换至上述作业操控状态、或进行其它工作状态的切换）。在本技术实施例中，状态切换控件1011可以根据主操作设备101所配置的工作状态设置相应数量个，比如，主操作设备101有待机状态、作业操控状态和摄像操控状态，则可分配设置3个状态切换控件，当对应的状态切换控件被触发时，主操作设备101进入相应的工作状态。或者，状态切换控件1011的数量也可以少于工作状态的配置数或为一个，在此场景下，可以通过设置状态切换控件1011的不同触发方法以触发主操作设备101切换至不同的工作状态。例如，主操作设备101有待机状态、作业操控状态和摄像操控状态时，可以只设置一个状态切换控件1011只有一个，并配置为：状态切换控件1011被触发一次时触发主操作设备101进入待机状态，状态切换控件1011被连续触发两次时触发主操作设备101进入作业操控状态，状态切换控件1011被连续触发三次时触发主操作设备101进入摄像操控状态。当主操作设备101有待机状态、作业操控状态和摄像操控状态时，也可以设置两个状态切换控件1011，其中一个状态切换控件1011用于触发主操作设备101进入待机状态，另一个状态切换控件1011配置为：状
态切换控件1011被触发一次时触发主操作设备101进入作业操控状态，状态切换控件1011被连续触发两次时触发主操作设备101进入摄像操控状态。
38.上述状态切换控件1011是以设置在主操作设备101上为例进行说明，在其它实施例中，上述状态切换控件1011也可以部署在其它设备上。比如，可以设备在于与主操作设备101具备通讯连接的控制机上，在此应用场景中，如图3所示，遥操作系统还包括控制机104。具体地，控制机104可以为便携式设备，其与主操作设备101之间可以通过zigbee或wifi或其它无线方式连接，或者，也可以通过主操作设备101所提供的控制接口，通过线缆方式与主操作设备101有线连接，此处不做限定。在此应用场景下，可替换地，控制机104分别与从操作设备102和摄像设备104通讯连接，主操作设备101也可以通过控制机104与从操作设备102和摄像设备104通讯连接（由图4所示）。
39.具体的，状态切换控件1011的操作端以踏板形态或按键形态呈现。对于踏板形态的状态切换控件1011，作业人员可以通过踩踏的方式触发状态切换控件1011，对于按键形态的状态切换控件1011，作业人员可以通过踩踏的方式触摸、滑动、单机或多击等方式触发状态切换控件1011。
40.可选的，主操作设备101还设置有：位姿自动调整控件（图中未示出），上述位姿自动调整控件用于复位主操作设备101、从操作设备102和摄像设备104中至少一个的位置和姿态。本技术实施例中，可以通过触发上述位姿自动调整控件，以复位主操作设备101、从操作设备102和摄像设备104中至少一个的位置和姿态，即，使得主操作设备101、从操作设备102和摄像设备104复位到初始位置和形态。
41.可选的，主操作设备101还设置有：位姿手动调整控件（图中未示出），上述位姿手动控件用于触发主操作设备101、从操作设备102和摄像设备104中至少一个进入位姿手动调整状态。在上述位姿手动调整状态下，相应设备的位置和姿态允许被手动调整。手动调整是指作业人员可以通过手扶相应设备的方式，调整相应设备的位置和姿态。
42.由前述可见，本技术实施例中的主操作设备101配置有多种工作状态，为便于处理复杂的状态转换，将复杂的逻辑判断简单化，本技术实施例可以通过有限状态机配置主操作设备101的工作状态。如图5为一种有限状态机的配置示意图。在遥操作系统初始化完成后，进入待机状态，此时可以根据前述的状态切换控件1011触发主操作设备101切换至相应工作状态、或者根据前述的位姿自动调整控件触发主操作设备101、从操作设备102和摄像设备104中至少一个进入位姿手动调整状态。
43.由上可见，本技术实施例为主操作设备配置作业操控状态和摄像操控状态，并使主操作设备在作业操控状态作为从操作设备的操控设备，在摄像操控状态下作为摄像设备的操控设备，实现了单个主操作设备对从操作设备和摄像设备实现运动控制的效果，减少了遥操作系统的设备数量。在实际应用中，作业人员只需切换主操作设备的工作状态，即可通过主操作设备对从操作设备或摄像设备进行操控，在一定程度上也提高了遥操作的便利性。
44.本技术另一实施例还提供一种可应用于前述遥操作系统的遥操作方法，如图6a所示，该遥操作方法包括：步骤601、主操作设备接收摄像操控指令；本技术实施例中，作业人员可以通过前述实施例所提及的状态切换控件输入上述
摄像操控指令，该摄像操控指令用以触发主操作设备执行图6a所示后续步骤。
45.步骤602、响应于上述摄像操控指令，获取期望姿态；本技术实施例中，上述期望姿态与当前遥操作系统中的显示设备的显示屏朝向相关。通常情况下，显示屏是固定在某一位置，因此，显示屏朝向也为已知量，故在实际应用中，上述期望姿态可以是预先根据显示屏朝向设定的一固定姿态，当然，也可以是基于根据显示屏朝向实时确定出的姿态。
46.为避免操作时主操作设备很快接近关节角活动限值而限制对摄像设备的操作，一般选择各个关节位于其活动范围内中间位置时的末端工具的姿态作为上述期望姿态。具体的，上述期望姿态可以设为上述主操作设备的末端工具指向目标方向时的姿态，上述目标方向与上述显示屏朝向相反。该期望姿态的设定，一方面可以使得作业人员可以更直观地对遥控设备进行操作，另一方面，当主操作设备为机械臂形态的场景下，也可以在受限于其d
‑
h参数设计和关节角范围的前提下，在更大角度范围内对摄像头设备进行操控。
47.步骤603、基于上述期望姿态，调整主末端姿态；上述主末端姿态为上述主操作设备的末端工具的姿态。
48.本技术实施例中，在获取到上述期望姿态后，主操作设备可以控制该主末端姿态跟随该期望姿态移动，以主操作设备为机械臂形态为例，其跟随期望姿态移动的流程可以如图6b所示，包括：将期望姿态变换至主操作机械臂基坐标系下，得到相应的笛卡尔空间姿态，将该笛卡尔空间姿态进行逆运动学处理，获得关节角度，之后将关节角度输入主操作设备的关节控制器，主操作设备的关节控制器根据输入的关节角度调整主操作设备各关节的角度，以实现对该期望姿态的跟随。上述逆运动学是决定要达成所需要的姿态所要设置的关节可活动对象的参数的过程。
49.步骤604、当上述主末端姿态与上述期望姿态的偏差不大于预设的第一偏差阈值时，上述主操作设备进入摄像操控状态。
50.本技术实施例中，可以在步骤603所提及的跟随过程中，判断上述主末端姿态与上述期望姿态的偏差是否不大于预设的第一偏差阈值，当判定上述主末端姿态与上述期望姿态的偏差不大于该第一偏差阈值时，上述主操作设备进入摄像操控状态。具体的，判断上述主末端姿态与上述期望姿态的偏差是否不大于该第一偏差阈值可采用多种方法，例如欧拉角法，相应的，可将主操作设备各关节的第一偏差阈值设定为0.002rad，或者，也可以采用四元数法、轴角法等判断上述主末端姿态与上述期望姿态的偏差是否不大于预设的第一偏差阈值，此处不做限定。
51.在该摄像操控状态下，作业人员可以通过主操作设备开始操控摄像设备。
52.下面结合图7a，对在摄像操控状态下，通过主操作设备操控摄像设备的过程进行描述，如图7a所示，主操作设备操控摄像设备的步骤包括：步骤701、主操作设备在摄像操控状态下，将实时的主位置和主末端姿态分别变换为摄像设备基坐标系下的摄像位置和摄像姿态；其中，上述主位置表示主操作设备的末端工具所处位置，上述主末端姿态同前述，表示上述主操作设备的末端工具的姿态。在实际应用中，作业人员通过操控主操作设备对应操控摄像设备，因此，主操作设备在作业人员的操控下，主位置和主末端姿态会相应发生改变。在步骤701中，可将实时的主位置和主末端姿态变换为摄像设备基坐标系下的摄像位
置和摄像姿态。
53.在一种实现方式中，可以基于主操作设备和摄像设备的坐标变换关系，将实时的主位置和主末端姿态变换为摄像设备基坐标系下的摄像位置和摄像姿态。
54.考虑到显示设备的坐标系相对固定，而实际应用中，摄像设备的末端并不会出现在显示设备所显示的画面中，为了方便作业人员更直观地操控摄像设备，在另一种实现方式中，可先将主末端姿态在显示设备坐标系下的描述再进行一个特殊旋转变换。在此实现方式下，上述将实时的主位置和主末端姿态分别变换为摄像设备基坐标系下的摄像位置和摄像姿态，包括：基于上述主操作设备与上述显示设备的坐标转换关系，将实时的主位置和主末端姿态分别变换为显示设备坐标系下的显示位置和显示姿态；基于上述显示设备与上述摄像设备的显示映射关系，将上述显示设备坐标系下的显示位置变换为上述摄像设备基坐标系下的摄像位置；基于上述显示设备与上述摄像设备的显示映射关系，以及旋转变换矩阵，将上述显示设备坐标系下的显示姿态变换为上述摄像设备基坐标系下的摄像姿态。
55.其中，上述旋转变换矩阵基于上述主操作设备与上述显示设备的相对关系确定得到。在一种具体的实现方式中，上述旋转变换矩阵可以通过如下公式确定得到：r
fix
=（r
md
）
‑1；其中，r
fix
表示上述旋转变换矩阵，r
md
表示上述期望位姿。
56.例如，当r
md
表征为，则r
fix
表征为。
57.基于上述显示设备与上述摄像设备的显示映射关系，以及旋转变换矩阵，即可将上述显示设备坐标系下的显示姿态变换为上述摄像设备基坐标系下的摄像姿态。
58.步骤702、向上述摄像设备发送摄像移动指令；本技术实施例中，上述摄像移动指令用于触发上述摄像设备对末端工具进行相应的移动。当上述摄像设备接收到上述摄像移动指令时，基于该摄像移动指令所携带的移动参数（如上述摄像位置和上述摄像姿态），可通过逆运动学处理得到摄像设备各关节的关节角度，之后基于各关节的关节角度调整摄像设备各关节的角度。
59.进一步，在主操作设备操控摄像设备的过程中还包括移动速度的跟随，以实现摄像设备与主操作设备的运动同步。在此实现方式中，上述遥操作方法还包括：上述主操作设备在上述摄像操控状态下，将实时的主末端移动速度变换为摄像设备基坐标系下的摄像移动速度，其中，上述主末端移动速度为上述主操作设备的末端工具的移动速度，相应地，步骤702所发送的摄像移动指令还包含该摄像移动速度。进一步，可将上述移动速度分解为线速度和角速度，也即，上述主末端移动速度包含：上述主操作设备的末端工具的线速度和角速度，上述摄像移动速度包括：变换得到的线速度和角速度。
60.上述将实时的主末端移动速度变换为摄像设备基坐标系下的摄像移动速度包括：基于上述主操作设备与上述显示设备的坐标转换关系，分别将上述主操作设备的末端工具的线速度和角速度变换为显示设备坐标系下的线速度和角速度；基于上述显示设备与上述摄像设备的显示映射关系，将上述显示设备坐标系下的线速度变换为上述摄像设备基坐标系下的线速度；
基于上述显示设备与上述摄像设备的显示映射关系，以及旋转变换矩阵，将上述显示设备坐标系下的角速度变换为上述摄像设备基坐标系下的角速度，其中，上述旋转变换矩阵可参照前述的旋转变换矩阵r
fix
。
61.下面以主操作设备和摄像设备为机械臂形态为例，对主操作设备操控摄像设备的整体流程进行说明，如图7b所示，主操作机械臂的关节编码器获取各个关节的实时角度，在一处理分支中对各个关节的实时角度进行正运动学处理，得到主操作机械臂笛卡尔空间下的位姿（为简化描述，将位置和姿态简称为“位姿”），将该位姿变换至显示设备坐标系下，得到显示设备坐标系下的显示位置和显示姿态，将上述显示位置变换为上述摄像设备基坐标系下的摄像位置，并将上述显示姿态先经旋转变化矩阵处理，之后变换为上述摄像设备基坐标系下的摄像姿态。在另一处理分支中，对各个关节的实时角度依次进行差分运算及微分运动学处理，得到主操作机械臂笛卡尔空间下的线速度和角速度，将主操作机械臂笛卡尔空间下的线速度和角速度分别变换为显示设备坐标系下的线速度和角速度，将上述显示设备坐标系下的线速度变换为上述摄像设备基坐标系下的线速度，并将上述显示设备坐标系下的角速度先经旋转变化矩阵处理，之后变换为上述摄像设备基坐标系下的角速度。将上述摄像设备基坐标系下的摄像位置、摄像姿态、线速度和角速度通过摄像移动指令发送给摄像设备，摄像设备对接收到的摄像位置、摄像姿态、线速度和角速度进行逆运动学处理，得到相应的关节控制参数，之后即可触发摄像设备的关节控制器基于该关节控制参数调整摄像设备的相应关节。
62.图7a和图7b所示实施例对主操作设备操控摄像设备进行的说明，下面以另一实施例对该主操作设备进入作业操控状态进行说明，如图8a所示，该遥操作方法包括：步骤801、主操作设备接收从操控指令；本技术实施例中，作业人员可以通过前述实施例所提及的状态切换控件输入上述从操控指令，该从操控指令用以触发主操作设备执行图8a所示后续步骤。
63.步骤802、响应于上述从操控指令，获取从末端姿态；上述从末端姿态为上述从操作设备的末端工具的姿态。
64.步骤803、基于上述从末端姿态，调整主末端姿态；上述主末端姿态为上述主操作设备的末端工具的姿态。
65.本技术实施例中，在获取到上述从末端姿态后，主操作设备可以控制该主末端姿态跟随该从末端姿态移动，以主操作设备和从操作设备为机械臂形态为例，主末端姿态跟随从末端姿态移动的流程可以如图8b所示，包括：将从末端姿态变换至主操作机械臂基坐标系下，得到相应的笛卡尔空间姿态，将该笛卡尔空间姿态进行逆运动学处理，获得关节角度，之后将关节角度输入主操作设备的关节控制器，主操作设备的关节控制器根据输入的关节角度调整主操作设备各关节的角度，以实现对该从末端姿态的跟随。
66.步骤804、当上述主末端姿态与上述从末端姿态的偏差不大于预设的第二偏差阈值时，上述主操作设备进入上述作业操控状态。
67.本技术实施例中，可以在步骤803所提及的跟随过程中，判断上述主末端姿态与上述从末端姿态的偏差是否不大于预设的第二偏差阈值，当判定上述主末端姿态与上述从末端姿态的偏差不大于该第二偏差阈值时，上述主操作设备进入作业操控状态。具体的，判断上述主末端姿态与上述从末端姿态的偏差是否不大于第二偏差阈值可采用多种方法，例如
欧拉角法，相应的，可将主操作设备各关节的第二偏差阈值设定为0.002rad，或者，也可以采用四元数法、轴角法等判断上述主末端姿态与上述期望姿态的偏差是否不大于第二偏差阈值，此处不做限定。
68.在该作业操控状态下，作业人员可以通过主操作设备开始操控从操作设备。
69.下面结合图9a，对在作业操控状态下，通过主操作设备操控从操作设备的过程进行描述，如图9a所示，主操作设备操控从操作设备的步骤包括：步骤901、主操作设备在作业操控状态下，将实时的主位置和主末端姿态分别变换为从操作设备基坐标系下的从位置和从姿态；在实际应用中，作业人员通过操控主操作设备对应操控从操作设备，因此，主操作设备在作业人员的操控下，主位置和主末端姿态会相应发生改变。在步骤901中，可将实时的主位置和主末端姿态变换为从操作设备基坐标系下的从位置和从姿态。
70.具体地，上述将实时的主位置和主末端姿态分别变换为上述从操作设备基坐标系下的从位置和从姿态，包括：基于上述主操作设备与上述显示设备的坐标转换关系，将实时的主位置和主末端姿态分别变换为显示设备坐标系下的显示位置和显示姿态；基于上述显示设备与上述摄像设备的显示映射关系，以及上述摄像设备与上述从操作设备的坐标转换关系，将上述显示设备坐标系下的显示位置和显示姿态分别变换为从操作设备基坐标系下的从位置和从姿态。
71.步骤902、向上述从操作设备发送作业移动指令；上述作业移动指令用于触发上述从操作设备对末端工具进行相应的移动。当上述从操作设备接收到上述作业移动指令时，基于该作业移动指令所携带的移动参数（如上述从位置和上述从姿态），可通过逆运动学处理得到从操作设备各关节的关节角度，之后基于各关节的关节角度调整从操作设备各关节的角度。
72.进一步，在主操作设备操控从操作设备的过程中还包括移动速度的跟随，以实现从操作设备与主操作设备的运动同步。在此实现方式中，上述遥操作方法还包括：上述主操作设备在上述从操控状态下，将实时的主末端移动速度变换为从操作设备基坐标系下的从移动速度。其中，上述主末端移动速度为所述主操作设备的末端工具的移动速度，相应地，步骤902所发送的作业移动指令还包含上述从移动速度。进一步，可将上述移动速度分解为线速度和角速度，也即，上述主末端移动速度包含：所述主操作设备的末端工具的线速度和角速度，上述从移动速度包括：变换得到的线速度和角速度。
73.上述将实时的主末端移动速度变换为从操作设备基坐标系下的从移动速度包括：基于上述主操作设备与上述显示设备的坐标转换关系，将上述主操作设备的末端工具的线速度和角速度分别变换为显示设备坐标系下的线速度和角速度；基于上述显示设备与所述摄像设备的显示映射关系，以及上述摄像设备与上述从操作设备的坐标转换关系，将上述显示设备坐标系下的线速度和角速度分别变换为从操作设备基坐标系下的线速度和角速度。
74.下面以主操作设备和从操作设备为机械臂形态为例，对主操作设备操控摄像设备的整体流程进行说明，如图9b所示，主操作机械臂的关节编码器获取各个关节的实时角度，在一处理分支中对各个关节的实时角度进行正运动学处理，得到主操作机械臂笛卡尔空间下的位姿（为简化描述，将位置和姿态简称为“位姿”），将该位姿变换至显示设备坐标系下，
得到显示设备坐标系下的显示位置和显示姿态，将上述显示位置和显示姿态分别变换为上述从操作设备基坐标系下的从位置和从姿态。在另一处理分支中，对各个关节的实时角度依次进行差分运算及微分运动学处理，得到主操作机械臂笛卡尔空间下的线速度和角速度，将主操作机械臂笛卡尔空间下的线速度和角速度分别变换为显示设备坐标系下的线速度和角速度，将上述显示设备坐标系下的线速度和角速度分别变换为上述从操作设备基坐标系下的线速度和角速度。将上述从操作设备基坐标系下的从位置、从姿态、线速度和角速度通过作业移动指令发送给从操作设备，从操作设备对接收到的从位置、从姿态、线速度和角速度进行逆运动学处理，得到相应的关节控制参数，之后即可触发从操作设备的关节控制器基于该关节控制参数调整从操作设备的相应关节。
75.需要说明的是，前述各方法实施例所提及的方案可以相互并存，比如，图7a所示实施例和图9a所示实施例均可应用于同一遥操作系统中。
76.由上可见，本技术实施例为主操作设备配置作业操控状态和摄像操控状态，并使主操作设备在作业操控状态作为从操作设备的操控设备，在摄像操控状态下作为摄像设备的操控设备，实现了单个主操作设备对从操作设备和摄像设备实现运动控制的效果，减少了遥操作系统的设备数量。在实际应用中，作业人员只需切换主操作设备的工作状态，即可通过主操作设备对从操作设备或摄像设备进行操控，在一定程度上也提高了遥操作的便利性。
77.示例性的，本技术实施例还提供一种芯片，包括处理器，处理器用于读取并执行存储器中存储的计算机程序，以实现上述遥操作方法的步骤。
78.示例性的，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述遥操作方法的步骤。
79.示例性的，本技术实施例还提供了一种计算机产品，该计算机产品存储有计算机指令，当计算机指令被执行时，实现上述遥操作方法的步骤。
80.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
81.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于方法方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
82.在本技术所提供的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。另外，集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（read
‑
only memory，rom）、随机存取存储器（random access memory，ram）、
电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
83.以上实施例仅用以说明本技术的系统和方法，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的方法方案进行修改，或者对其中部分方法特征进行等同替换；而这些修改或者替换，并不使相应方法方案的本质脱离本技术各实施例方法方案的精神和范围，均应包含在本技术的保护范围之内。