一种双臂履带式移动操作机器人控制方法及控制系统

1.本发明涉及移动操作机器人领域，尤其是涉及一种双臂履带式移动操作机器人控制方法及控制系统。


背景技术：

2.移动操作机器人结合了移动机器人和机械臂的优势，它具有几乎无限的工作空间，也具有灵活的操纵能力，非常适合大范围移动操作的场景。目前，移动操作机器人已经广泛应用在工厂巡检，抢险救灾等环境复杂，操作危险系数高的场景，成为机器人领域所研究的重点对象。带有摆臂的履带式移动操作机器人更是大大增强了其跨越障碍物的能力。移动操作机器人主要分为移动底盘与操作臂两部分。在移动底盘方面：轮式机器人虽然移动速度快，但是面对非结构化地形与障碍时候通过性能不高，足式机器人虽然面对复杂的地形通过性强，灵活度高，但是控制起来复杂且负载能力有限。带有摆臂的履带式机器人控制难度适中，可以跨越多种障碍物与复杂路况，负载能力强，在探险，救灾，巡检，排爆等方面有很好的应用前景。在操作臂方面：目前主要存在的是单臂和仿人双臂两种模式，大臂的工作空间广，但是无法实现近距离精细操作，小臂可执行精细任务但是活动范围有限，仿人双臂操作精度高，但是操作空间有限，大小异构双臂结合了大臂和小臂的优势，既可以大范围实现抓取，也可以进行小范围的精细操作，并且可以实现协同任务，有很好的应用价值。
3.但是大小异构双臂的移动操作机器人在遥操作过程中存在安全隐患：对带有大小异构双臂的移动操作机器人的控制较为困难，遥操作中无法看到机器人自身和摆臂姿态。现有的技术仅依靠设定程序，两个臂可能协作不好无法流畅的同时运动，控制效率不够高，在不同控制模式中无法灵活切换，容易发生碰撞，增加开发成本，且存在安全性能上的隐患。现有技术操控双臂机器人的时候对两个臂分开控制，可能需要更多的控制器或者更多的控制方式，不容易很好的协同；机器人控制模式单一，比如只有笛卡尔空间控制模式，或者只有关节空间控制模式，导致有的任务难以完成，需要添加额外的传感器或者装备；同时在开发上现有技术基于机器人实体的开发调试方法不仅开发效率低、成本高、迁移性差，而且容易损坏机器人，目前移动操作机器人的开发设计方法主要是直接对实体机器人平台进行编程，建立控制框架，对机械臂实现简单的单关节控制或者笛卡尔空间的控制，通过软件仿真后直接将程序迁移到机器人上，控制系统配置和修改比较困难，导入模型复杂，后期不好调整。现有技术中的移动操作机器人控制算法开发不够高效，程序的封装性比较高，在面对具体的特定任务时，操作人员不方便做针对性的调整来适应工作任务，但是面对复杂多变的工作环境，已编写的控制算法可能不能满足要求，需要不断完善程序并增加相应的功能，然而更改封装好的程序工序会很繁琐还存在仿真界面模型与ui用户控制界面不好修改与调整的问题，影响开发。
4.需要说明的是，在上述背景技术部分公开的信息仅用于对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本发明的目的在于克服上述背景技术对带有大小异构双臂的移动操作机器人的控制较为困难，遥操作中无法看到机器人自身和摆臂姿态，两个机械臂可能造成互相干涉，有安全事故隐患的缺点，提供一种双臂履带式移动操作机器人控制方法及控制系统。
6.为实现上述目的，本发明采用以下技术方案：
7.一种双臂履带式移动操作机器人控制方法，包括如下步骤：
8.s1、在机器人仿真模块中，建立实体机器人的虚拟模型；
9.s2、同步：控制在机器人仿真模块中虚拟模型的运动，通过无线模块传输数据给机器人机载工控机，工控机控制实体机器人与虚拟模型的同步运动；
10.s3、根据操纵杆的输出指令，机器人仿真模块的控制系统同时控制两个机械臂的运动；
11.s4、通过虚拟模型向实体机器人发送用户命令和关节角度信息。
12.在一些实施例中，还包括步骤：s5、获取周围环境的信息：将图像获取装置获取的图像，通过路由器，传输到机器人仿真模块中，在机器人仿真模块中呈现图像。
13.在一些实施例中，还包括步骤：s6、远程检查和操作工控机。
14.在一些实施例中，机器人与机械臂一起控制或分开控制；实体机器人在接收到指令后开始运动同时反馈回传感器的数据，包括力的大小，机身的倾角、图像信息。
15.在一些实施例中，机器人手臂有两种基本的操作模式：笛卡尔空间模式和关节空间模式。
16.在一些实施例中，在笛卡尔空间模式中，末端效应器可以沿参考系中的三个轴移动或旋转。
17.在一些实施例中，在关节空间模式中，机器人的机械臂包括两个构型，一种是折叠构型，方便机器人移动，一种是展开构型，方便机械臂执行任务，以便两臂可以方便地切换到不同的配置。
18.在一些实施例中，在明确世界坐标系的前提下，使用基础坐标系进行操作；在进行遥操作的时候，使用末端效应器坐标进行操作。
19.在一些实施例中，在机械臂局部调试的时候使用单关节运动进行调试。
20.在一些实施例中，还包括：关节角度约束机制，当关节角度在容易发生自碰撞的范围内时机器人停止运动；在折叠状态下禁止笛卡尔空间操作。
21.在一些实施例中，还包括：位置和力量保护机制。如果力超过预定限制(0.7nm)或臂达到目标位置所需角度大于预定角度(第二个关节大于90度且第三个关节小于10度，此时机械臂末端接近工作空间边界)，则臂将自动禁用。
22.在一些实施例中，还包括：机器人的虚拟模型在没有检测到人工操作指令的情况下变成同步模式，机器人的虚拟模型从真实机器人接收关节角度信息，并相应地重置关节角度。
23.本发明还公开了一种双臂履带式移动操作机器人控制系统，包括机器人仿真模块、无线通讯模块、控制手柄与设置在所述实体机器人上的工控机、图像获取装置。还包括有计算机软件，所述计算机软件可以被执行以实现如上任一所述的方法。
24.本发明具有如下有益效果：
25.双臂履带式移动操作机器人在履带车跨越障碍物的时候自身姿态很容易发生变化，在运动过程中机身并不是水平的，无法看到实时状态，本发明通过建立虚拟模型，同步实体机器人与虚拟模型的动作，在操作中显示实物机器人的倾角与摆臂的状态，来方便进行遥操作，保证机器人的安全。在本发明实施例中提供了一种双臂履带式移动操作机器人控制方法与控制系统，可以在操控双臂履带式移动操作机器人的时候，通过操纵杆控制机器人的虚拟模型，通过无线模块与工控机实现同步控制实体机器人，相较于现有技术，在操作时能够更好的了解移动操作机器人的实时运动状态，使遥操作更加简单，保证了移动操作机器人的安全。
26.进一步地，在仿真模块中，可以方便的修改模型的配置与程序，使开发效率大大提高，在仿真控制平台中试验调试后再应用到实体机器人中的方式，降低了开发成本，增强迁移性，另外两个机械臂可以在单臂控制模式与协同控制模式(协同模式是指设定大臂末端相对于小臂末端的相对位置与姿态，大臂可以跟随小臂运动，通过大臂的相机可以更好的观察小臂相对于抓取物体的位置)，以及多种控制模式(笛卡尔空间控制模式、关节空间控制模式，协同控制模式)中自由切换，增强安全性。
附图说明
27.图1是本发明实施例中双臂履带式移动操作机器人控制方法流程图；
28.图2是本发明实施例中双臂履带式移动操作机器人控制模式示意图；
29.图3a是本发明实施例中双臂履带式移动操作机器人大臂展开示意图；
30.图3b是本发明实施例中双臂履带式移动操作机器人大臂折叠示意图；
31.图3c是本发明实施例中双臂履带式移动操作机器人小臂折叠示意图；
32.图3d是本发明实施例中双臂履带式移动操作机器人小臂展开示意图；
33.图4a是本发明实施例中同步模式与控制模式切换示意图；
34.图4b是本发明实施例中模拟机器人与实体机器人同步模式与控制模式示意图；
35.图5是本发明实施例中双臂履带式移动操作机器人单臂控制模式与双臂控制模式切换方式示意图；
36.图6a是本发明实施例中基于v-rep仿真软件建立的控制系统界面图；
37.图6b是本发明实施例中ui用户控制界面中通用界面示意图；
38.图6c是本发明实施例中ui用户控制界面中通用界面的按键示意图；
39.图6d是本发明实施例中ui用户控制界面中大臂界面示意图；
40.图6e是本发明实施例中ui用户控制界面中大臂界面的按键示意图；
41.图6f是本发明实施例中ui用户控制界面中小臂界面示意图；
42.图6g是本发明实施例中ui用户控制界面中小臂界面的按键示意图；
43.图7是本发明实施例中从imu可视化界面获取的全面的机器人姿态信息图；
44.图8是本发明实施例中双臂履带式移动操作机器人的通讯模块框架示意图；
45.图9a是本发明实施例的双臂履带式移动操作机器人控制模块中工控机示意图；
46.图9b是本发明实施例的双臂履带式移动操作机器人控制模块中rf模块示意图；
47.图9c是本发明实施例的双臂履带式移动操作机器人控制模块中机械臂控制手柄示意图；
48.图9d是本发明实施例的双臂履带式移动操作机器人控制模块中履带车控制手柄示意图；
49.图9e是本发明实施例的双臂履带式移动操作机器人控制模块中安装在大臂末端和小臂末端的相机；
50.图9f是本发明实施例的双臂履带式移动操作机器人控制模块中安装在机器人大臂一轴上的云台相机；
51.图10是本发明实施例中双臂履带式移动操作机器人控制系统的软件构架示意图。
52.附图标记说明如下：41-模拟机器人，42-实体机器人，61-云台相机图像，62-大臂相机图像，63-小臂相机图像，64-ui用户控制界面,601-界面切换按键-通用界面，602-串口开关：开/关,603-操作手柄：控制车/控制机械臂/关闭按键，604-机械臂电机使能按键，605-剪刀使能按键，606-末端执行器通电按键，607-末端执行器断电按键，608-小臂末端手爪张开按键，609-小臂末端手爪闭合按键，610-手爪夹角增加按键，611-手爪夹角减小按键，612-手爪夹角大小按键，613-可重构模块上锁按键，614-可重构末端解锁按键，615-剪刀执行剪的操作按键，616-机械臂电机掉使能按键，617-界面切换按键-大臂界面，618-协同模式：开/关按键，619-坐标系：基础坐标系/末端效应器坐标系按键，620-大臂单关节控制区与单关节关节角度显示按键，621-界面切换按键-小臂界面，622-坐标系：基础坐标系/末端效应器坐标系按键，623-小臂单关节控制区与单关节关节角度显示按键，71-摆臂状态观察窗口，72-机身倾角观察窗口，73-模拟机器人总览窗口，911-无线传图模块，912-电源，91-笛卡尔空间控制区，92-履带车移动控制区，93-特殊功能控制区，94-关节空间控制区，95-特殊方向控制区，96-控制前摆臂控制区，97-控制后摆臂控制区，98-履带车前进/后退控制区，99-履带车转向控制区101-用户端软件，102-实体机器人端软件。
具体实施方式
53.以下对本发明的实施方式做详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
54.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于耦合或连通作用。
55.需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
56.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
57.对于带有大小异构双臂的移动操作机器人控制较为复杂，要考虑两个机械臂互相干涉与可能存在的安全问题。因为在控制的时候大多是依靠遥操作，获取的图像角度有限，
无法看到自身和摆臂的状态，容易导致在工作状态中影响机器人的工作效率甚至损坏机器人，为了使双臂履带式移动操作机器人的安全性能提高，需要设计一套良好的控制系统才能胜任以上要求，如图1所示，本实施例通过以下方法实现对双臂履带式移动操作机器人的安全控制：
58.s1、在windows系统下的v-rep仿真软件(机器人3d集成开发环境)中，即机器人仿真模块中，建立模拟机器人41，即实体机器人42的虚拟模型；
59.s2、同步：控制v-rep仿真软件中模拟机器人41的运动，通过无线模块传输数据给机器人机载工控机，工控机控制实体机器人42与模拟机器人41的同步运动；
60.s3、根据机械臂控制手柄和履带车控制手柄的操纵杆或者v-rep仿真软件中ui用户控制界面的输出指令，v-rep仿真软件的控制系统同时控制两个机械臂的运动；
61.s4、通过模拟机器人41向实体机器人42发送用户命令和关节角度信息；
62.还进行了以下步骤：
63.s5、获取周围环境的信息：将云台相机图像61，大臂相机图像62，小臂相机图像63，即图像获取装置获取的图像，通过路由器，传输到v-rep仿真软件中，在v-rep仿真软件中呈现图像；
64.s6、远程检查和操作工控机。
65.在本实施例中的控制系统是在笔记本电脑windows系统下的v-rep仿真软件中开发的(除了windows系统也可以使用其他系统比如ubuntu)，在v-rep中建立模型与运动学，动力学建模。并编写控制算法。
66.本实施例的v-rep遥操作框架如下：如图2所示，v-rep控制端可以实现对履带车的控制，可以控制主履带使履带车完成前进后退转弯的操作，也可以控制摆臂运动完成跨越障碍物任务。机器人手臂有两种基本的控制模式，包括笛卡尔空间控制模式和关节空间控制模式。在笛卡尔空间控制模式中，末端效应器可以沿参考系中的三个轴移动或旋转。可以通过在v-rep中使用逆运动学模块实现，以确保稳定性和准确性，导入机器人本体以及机械臂1：1对应的模型，保证虚拟与实物是一一对应的，v-rep中有逆运动学模块，将机械臂末端的逆运动学方式设置好后可以直接调用。本发明实施例在逆运动学模块设置逆运动学方式的时候，在参数设置框中选择dls模式，并把阻尼设置为0.01(通过试验不同模式及参数对机械臂的运动速度及稳定性，验证设置这种模式和参数，机械臂的运动性能更好)。如图3a、图3b、图3c、图3d所示，图3a表示机器人大臂展开状态，方便大臂操作；图3b表示机器人大臂折叠状态，方便履带车运动；图3c表示机器人小臂折叠状态，方便履带车运动；图3d表示机器人小臂展开状态，方便小臂操作。在关节空间控制模式中，为两臂预定义了精心设计的配置(即构型)，设置了两个构型，一种是折叠构型，方便机器人移动，一种是展开构型，方便机械臂执行任务关节空间控制模式中。关节角算法表示为：
67.cq[i]＝cq[i] 0.1tanh[2(cf[i]-cq[i])]
[0068]
cq[i]是第i个关节的关节角，cf[i]是第i个关节的期望的关节角，通过以上的算法，可以控制机械臂从当前构型移动到期望构型，以便两臂可以方便地切换到不同的配置。这两种模式在不同的情况下发挥着很重要的作用，比如在抓取物体的时候微调，这时候通过笛卡尔空间控制模式会比较方便，但是在不同的构型间切换的时候，关节空间控制模式会很方便。该公式可以不断减少当前关节角与目标关节角的差值，来完成从当前构型到目
标构型的切换。
[0069]
为了便于操作，在本实施例中提供了两个参考框架。一个是基础坐标框架，另一个是末端效应器坐标框架。可以通过v-rep界面中的按钮(在本实施例中开发了一个ui用户控制界面，可以在界面中点击坐标系的按钮实现坐标系功能)在它们之间切换。在基础坐标框架中，适合在明确世界坐标系的前提下使用，(此时机械臂末端的移动方向是根据世界坐标系移动的，当可以确定世界坐标系方向且没有在执行抓取任务的时候建议用这种坐标系)。当进行遥操作的时候，只通过观察机械臂上的相机进行操作，大臂相机及小臂相机安装在机械臂末端和手爪中间的位置，此时通过末端效应器坐标框架操作效率更高，也更加安全。此外，还添加了按钮，以实现单关节运动：在ui用户控制界面设置了：关节1 ，关节2 ，关节3 ，关节4 ，关节5 ，关节6 ，关节1-，关节2-，关节3-，关节4-，关节5-，关节6-这几个按钮来控制单关节的运动，当点击其中一个按键时候，仿真的单关节开始旋转，通过无线模块传送关节数据给工控机，工控机控制实体机器人42的单关节运动。单关节运动方便在机械臂局部调试的时候使用。
[0070]
在远程操作过程中，安全是最重要的要求。为确保安全，采取如下办法：首先，v-rep计划中包含了几种避免自碰撞的方法。第一，关节角度约束机制。当关节角度达到容易的发生自碰撞范围内停止运动；在折叠状态下禁止笛卡尔空间操作，因为这种状态很容易发生自碰撞。第二，位置和力量保护机制。如果力超过预定限制(0.7nm)或臂达到目标位置所需角度大于预定角度(第二个关节大于90度且第三个关节小于10度，此时机械臂末端接近工作空间边界)，则臂将自动禁用。第三，同步机制。同步是指控制v-rep中的模拟机器人运动，通过无线模块传输给机器人机载工控机，工控机控制实体机器人42与模拟机器人41同步运动。远程操作中无线传输可能在操作期间中断，例如，当距离太远或其间存在太多障碍物时。在这种情况下，实体机器人无法接收数据，将停止移动。然而，v-rep中的模拟机器人将继续移动，这导致实体机器人和模拟机器人之间存在显著偏差。此外，在一开始，实体机器人和模拟机器人的状态也可能有很大的偏差。如图4a，图4b所示，为了解决这个问题，采用让模拟机器人在没有检测到人工操作指令的情况下变成同步模式的方案(其中led灯是在虚拟模块中设定的一个指示灯)。在该模式下，模拟机器人41从实体机器人42接收关节角度信息即指令信息，并相应地重置关节角度，通过v-rep系统中的led指示灯来监测数据是否传入。第四，按键释放停止机制。对于笛卡尔空间和关节空间操作，操作员需要按住按键以保持移动。一旦操作员松开按键，机器人将停止，这在紧急情况下提供了一种停止机制。
[0071]
如图5所示，由于机器人有两个机械臂，可以通过手柄的按键或者ui用户控制界面控制机械臂在单臂控制模式和双臂协同模式之间进行灵活的切换。在单臂模式下，可以控制单独的机械臂在笛卡尔空间或者关节空间模式下运动。当切换到双臂协同模式的时候，可以根据自己的双臂协同算法使机械臂完成协同工作的任务。单臂与双臂的切换，双臂协同算法：设定大臂末端相对于小臂末端的相对位置与姿态，大臂可以跟随小臂运动，通过大臂的相机可以更好的观察小臂相对于抓取物体的位置，垂直按下图9c机械臂控制手柄的笛卡尔空间控制区91即可进入协同模式，大臂末端相对于小臂末端的相对位置与姿态公式为：
[0072]
(x2,y2,z2)＝(x
1-0.25,y1 0.25,z1 0.25)
[0073]
(α，β，γ)＝(160，30,-30)
[0074]
(x1,y1,z1)是小臂的末端空间坐标，(x2,y2,z2)是大臂的末端空间坐标，(α，β，γ)＝(160，30,-30)是大臂的末端姿态角。
[0075]
基于v-rep建立的控制系统界面如图6a所示，界面左侧是模拟机器人41，按照机器人实物模型1：1在基于v-rep的仿真控制平台中搭建模型，修改完善模型方便，并实现模拟与实物的同步，同时该界面中模拟机器人41的姿态与摆臂的状态做到了imu(imu全称inertial measurement unit，惯性测量单元，主要用来检测和测量加速度与旋转运动的传感器。可以测量物体的倾角)的可视化，与实物的状态一致。中间是可以供用户灵活调节各个关节与模块的ui用户控制界面64，如图6b、图6c、图6d、图6e、图6f、图6g所示，分别有以下按键：界面切换按键-通用界面601，串口开关按键：开/关602,操作手柄：控制车/控制机械臂/关闭按键603，机械臂电机使能按键604，剪刀使能按键605，末端执行器通电按键606，末端执行器断电按键607，小臂末端手爪张开按键608，小臂末端手爪闭合按键609，手爪夹角增加按键610，手爪夹角减小按键611，手爪夹角大小按键612，可重构模块上锁按键613，可重构末端解锁按键614，剪刀执行剪的操作按键615，机械臂电机掉使能按键616，界面切换按键-大臂界面617，协同模式：开/关按键618，坐标系：基础坐标系/末端效应器坐标系按键619，大臂单关节控制区与单关节关节角度显示按键620，界面切换按键-小臂界面621，坐标系：基础坐标系/末端效应器坐标系按键622，小臂单关节控制区与单关节关节角度显示按键623；用户可以通过这个界面进行机械臂的单关节控制，或者执行单个模块的命令，通过这个界面，可以完成机械臂的单个关节的控制、机械臂手爪开合的控制、机械臂末端坐标系的设置：包括世界坐标系和自身坐标系。右侧三个窗口是相机返回的图像，分别是云台相机图像61，大臂相机图像62，小臂相机图像63，通过大臂的相机可以看到大臂手爪抓取信息与周围的图像，通过小臂相机可以看到小臂抓取信息与履带车前进方向信息，通过云台相机可以方便观察机器人周围的环境。
[0076]
如图7所示，在机器人imu可视化的界面中，可以获取全面的机器人姿态信息。在摆臂状态观察窗口71中可以看到前后摆臂的状态，方便在遥操作机器人跨越障碍物的时候了解摆臂应当调整的方向。在自身倾角观察窗口72中可以看到机身此时是处于水平状态还是处于倾斜状态，避免在跨越障碍物的时候由于未知姿态误操作导致翻车等安全事故。模拟机器人总览窗口73可以整体把握机器人状态方便执行任务遥操作。机身姿态可视化，根据反馈回的实物机器人姿态数据，在机器人imu可视化的界面中的机器人模型中直观可见，方便在遥操作中获得机器人姿态，保证操作的安全。
[0077]
在开发与迁移模式中，把模拟机器人41与实体机器人42建立关系：用户在v-rep中发送指令，利用v-rep仿真环境建立移动操作机器人实体模型，使得模拟机器人41与实体机器人42保持一致。由于v-rep端方便调试与修改模型与算法，可以快速的实验并对算法进行改进、迭代(实验包括机械臂工作空间保护，机械臂构型切换的控制与运动规划，履带车控制等。对以上实验进行控制的安全性和效率的改进，在仿真中可以多次试验，找到合适的参数与机械臂构型以及符合安全性能的条件。其中用到了ompl库中(一个基于采样方法的开源机器人运动规划库)运动规划算法以及v-rep最小距离计算模块。设置双臂可以在单臂控制与双臂控制之间自由切换。
[0078]
本发明实施例中的控制系统包括：在windows系统下的v-rep仿真软件，即机器人
仿真模块、无线通讯模块、控制手柄、设置在实体机器人上的工控机、相机，即图像获取装置以及计算机软件。
[0079]
如图8所示，heterbot(heterbot是本发明实施例中的机器人的名字)的整体通信架构：通讯模块中机械臂通过ethercat(以太网控制自动化技术)进行控制(也可以通过其他现场总线控制)；摄像机通过tcp/ip进行传输，其他大部分设备通过can总线进行控制(也可以使用其他网络协议)。此外，机械臂、履带车分开控制。控制工具即控制手柄通过usb连接到笔记本电脑(控制工具可以是任何可以输出信号到笔记本电脑的工具，可以通过无线或者有限方式与控制系统相连)，发送控制指令，笔记本上开发的控制系统通过串口和tcp/ip连接到rf模块，通过无线通信控制工控机来完成对机械臂以及手爪、功能模块的控制，其中手爪与功能模块是通过can总线控制，大小双臂是通过ethercat控制。履带车是由stm32接收到无线指令后通过can总线控制。相机的图像是通过路由器回传。(除了stm32也可以使用其他单片机；图像除了路由器也可以使用其他办法回传。控制模块装置包括图像获取装置即图9e安装在大臂末端和小臂末端的相机相机，图9f安装在机器人大臂一轴(大臂的第一个关节j1)上的云台相机相机，图9a工控机，图9brf模块(内部包括无线传图模块911，电源912)，两个控制手柄,分别是图9c机械臂控制手柄，图9d履带车控制手柄。工控机实时地运行ubuntu系统(一种操作系统，也可以采用其他系统)，控制实体机器人42的控制相关的设备，包括大小两个机械臂，主履带与摆臂，相机，激光装置。本实施例通过机器人仿真模块与机器人实体上的工控机通信遥操作控制机器人并获取传感器数据。
[0080]
如图9c所示，机械臂控制手柄分为以下区域：笛卡尔空间控制区91，履带车移动控制区92，特殊功能控制区(控制爪子的开合，以及控制特殊末端执行器模块激光装置的开关)93，关节空间控制区94，特殊方向控制区(控制大小臂上下运动)95。其中，笛卡尔空间控制区91控制大小臂的前后左右运动，履带车移动控制区92控制履带车的前进后退与转向，特殊功能控制区93控制激光装置的开关与大臂手爪开合，关节空间控制区94控制机械臂不同构性的切换，特殊方向控制区95控制大小臂的上下移动。如图9d所示，履带车控制手柄分为以下区域：控制前摆臂控制区96，控制后摆臂控制区97，履带车前进/后退控制区98，履带车转向控制区99。
[0081]
计算机软件架构如图10所示。在用户端，有一台笔记本电脑和输入设备即图9c中的机械臂控制手柄，图9d中的履带车控制手柄。在本实施例中的笔记本电脑运行的系统是windows，用户端软件101包括三个软件，分别的应用是：1.v-rep在v-rep中建立机器人的虚拟模型：
[0082]
1.v-rep中的模拟机器人负责向实体机器人发送指令，即所有用户命令和关节角度信息，实体机器人端软件102接收命令，并向客户端传输传感数据。具体过程是通过无线通讯模块，把用户指令发送给机器人机载工控机，然后工控机控制机械臂的运动。周围环境的信息即相机图像，通过路由器，传输到笔记本电脑，其中相机使用有传出图像接口的相机。
[0083]
2.通过qt(跨平台软件开发框架，也可使用其他软件开发框架)中的程序来显示来自摄像机的实时图像流(qt中使用的是开源的包gstreamer，安装后可直接调用)，有助于用户获取机器人和周围环境的信息。
[0084]
3.vnc(远程控制工具软件，也可以使用其他远程控制框架)用于允许用户远程检
查和操作ipc(通过rf连接，ipc指的是工控机)。通过控制手柄来输入控制指令，车与机械臂可以一起控制也可以分开控制。实物在接收到指令后开始运动同时反馈回传感器的数据，包括力的大小，机身的倾角，图像等信息在客户端处理。
[0085]
以下通过具体场景讲解使用本实施例中的控制方法及系统操控双臂履带式移动操作机器人的过程：首先按照上述方法设置双臂履带式移动操作机器人控制系统，在机器人执行排爆场景中，启动工控机，无线通讯模块，笔记本电脑。笔记本通过无线通信模块连接工控机，控制手柄连接到笔记本电脑发送控制指令，在笔记本上可以看到三个相机返回的图像。可以先通过控制手柄的十字键控制机器人移动到要执行任务的工作地点，然后控制控制手柄的两个操纵杆或者ui用户控制界面的单关节控制按钮来控制两个机械臂完成排除爆炸物的任务，之后控制控制手柄的十字键，使得机器人离开工作地点。
[0086]
本实施例通过v-rep仿真软件建立机器人虚拟模型，与机器人实物1：1搭建，在v-rep仿真软件界面中的机器人的姿态与摆臂的状态做到了imu的可视化，与实体机器人一致，可实时获取周围环境信息，看到自身和摆臂的状态，容易提高机器人的工作效率以及安全性能。
[0087]
本实施例利用强大的机器人仿真软件v-rep简化软件开发过程，大大简化了软件开发过程，因此，可以分享v-rep提供的物理引擎、渲染引擎和运动规划算法的优点，这是对用户友好的，可以很大程度上模拟现实。此外，它很容易使用，方便操作，用户可以通过连接rf模块(无线图传模块，可以用来远程控制机器人)使用自己的电脑运行v-rep程序。并且在基于v-rep的控制系统中，可以方便的修改模型的配置与程序，开发效率大大提高。
[0088]
两个机械臂可以在单臂控制模式与协同控制模式以及多种控制模式中自由切换，提高控制效率，增强安全性。
[0089]
当前移动操作机器人的控制算法开发不够高效，基于机器人实体的开发调试方法不仅开发效率低、成本高、迁移性差，而且容易损坏机器人：基于实体的机器人开发调试方法使用机器人实体来验证控制算法，一旦算法不合适，要重新调整算法或者改变实体结构，机器人的实体多次启动与更换需要成本，如果换做其他的机器人实体，迁移起来困难；但是本发明实施例中使用模拟机器人来验证，不会增加实体机器人的成本，也不会造成实体机器人实体损坏，模拟成功后可以直接应用到实体机器人上。面对复杂多变的工作环境，已编写的控制算法可能不能满足要求，需要不断完善程序并增加相应的功能，然而更改封装好的程序工序会很繁琐。本实施例中的算法开发迁移效率更高，可以在仿真控制平台中试验调试后再应用到实体机器人中，减小了开发成本，迁移性好。在v-rep仿真环境中机器人通过遥操作控制，用户端发送指令，通过无线通讯对实体机器人进行控制，检验算法开发的可行性，完成算法开发以后将控制指令通过rf模块发送到实体机器人，使得实体机器人与模拟机器人同步，完成迁移。可以根据实体机器人反馈回来的姿态数据来使得模拟机器人的自身和摆臂的状态与实物一致，方便在遥操作的时候了解机器人自身状态，避免意外和危险。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产
品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。