机械臂控制方法、系统和存储介质与流程

1.本技术涉及机器人控制技术领域，特别是涉及一种机械臂控制方法、系统和存储介质。


背景技术：

2.现有的远程手术机器人系统中的控制台往往通过硬件连线或者机械固定的方式连接在一起，在关键零部件出现故障时，会导致整个机器人系统停止运行，系统容错率低，维护难度大，同时，控制台一体化硬件设计，物理结构耦合度高、设计复杂，难于调试和维护，存在机械臂控制效率低的问题。


技术实现要素：

3.基于此，有必要针对上述机械臂控制效率低的问题，提供一种能够提高机械臂控制效率的机械臂控制方法、装置、系统、计算机可读存储介质和计算机程序产品。
4.第一方面，本技术提供了一种机械臂控制方法。应用于控制终端，至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂通过即插即用接口连接，方法包括：
5.获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置；
6.将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。
7.在其中一个实施例中，机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制，包括：
8.对脚踏网络指令进行解析，确定脚踏设备的编号和脚踏网络指令的类型，脚踏网络指令的类型包括机械臂切换类型、能量切换类型或者复位类型中的任一种；
9.在脚踏网络指令的类型为机械臂切换类型的情况下，根据机械臂切换类型、脚踏设备的编号和主操作网络指令，确定待控制机械臂；根据主操作网络指令和机械臂信息控制待控制机械臂运动；
10.在脚踏网络指令的类型为能量切换类型的情况下，确定当前控制机械臂；根据能量切换类型，确定当前控制机械臂的执行温度；根据执行温度控制当前控制机械臂末端连接的执行器械的温度；
11.在脚踏网络指令的类型为复位类型的情况下，确定当前控制机械臂，并控制当前控制机械臂复位。
12.在其中一个实施例中，根据机械臂切换类型、脚踏设备的编号和主操作网络指令，
确定待控制机械臂，包括：
13.接收机械臂选择指令；
14.对机械臂选择指令进行解析，得到待选择机械臂编号；
15.根据待选择机械臂编号，在至少一个机械臂中确定待选择机械臂；
16.对主操作网络指令进行解析，确定主操作设备的编号和主操作网络指令的类型；
17.根据机械臂切换类型、脚踏设备的编号、主操作设备的编号以及主操作网络指令的类型，在待选择机械臂中确定待控制机械臂。
18.在其中一个实施例中，根据机械臂切换类型、脚踏设备的编号、主操作设备的编号以及主操作网络指令的类型，在待选择机械臂中确定待控制机械臂，包括：
19.根据脚踏设备的编号和主操作设备的编号，确定相应的脚踏设备和相应的主操作设备是否属于同一控制组；
20.在属于同一控制组的情况下，根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂；
21.在不属于同一控制组的情况下，确定脚踏网络指令是否包括切换标识；在包括的情况下，根据脚踏设备的编号，确定脚踏设备所在的第一控制组；根据第一控制组，在待选择机械臂中确定第一待控制机械臂集合；根据机械臂切换类型和和主操作网络指令的类型，在第一待控制机械臂集合中确定待控制机械臂；
22.在不包括的情况下，根据主操作设备的编号，确定主操作设备所在的第二控制组；根据第二控制组，在待选择机械臂中确定第二待控制机械臂集合；根据机械臂切换类型和主操作网络指令的类型，在第二待控制机械臂集合中确定待控制机械臂。
23.在其中一个实施例中，主操作网络指令的类型包括第一主操作类型或者第二主操作类型中的任一种；根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂，包括：
24.在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第一机械臂；
25.在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第二机械臂；
26.在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为第三机械臂；
27.在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为当前控制机械臂。
28.在其中一个实施例中，机械臂控制方法还包括：
29.接收机械臂执行终端在控制机械臂运动过程中，基于机械臂的作用力确定反馈指令；
30.对反馈指令进行解析，得到反馈作用力；
31.根据反馈作用力，反馈给响应的主操作设备，和/或更新主操作网络指令。
32.在其中一个实施例中，机械臂控制方法还包括：
33.在检测到新设备的接入信号时，获取新设备的序列号；
34.确定设备白名单中是否包括序列号；
35.在包括的情况下，接入新设备，并根据新设备的设备类型，对新设备进行控制；
36.在不包括的情况下，移除新设备。
37.在其中一个实施例中，机械臂执行终端还通过即插即用接口连接至少一个图像采集设备；控制终端还通过即插即用接口连接至少一个图像显示设备；机械臂控制方法还包括：
38.获取机械臂执行终端发送的至少一个图像采集设备的视频网络数据；
39.对各图像采集设备的视频网络数据分别进行解析，得到各图像采集设备各自对应的解析后的图像数据；
40.控制至少一个图像显示设备显示解析后的图像数据，解析后的图像数据用于确定主操作网络指令。
41.第二方面，本技术还提供了一种机械臂控制装置，应用于控制终端，至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂通过即插即用接口连接，装置包括：
42.获取模块，用于获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置；
43.控制模块，用于将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。
44.第三方面，本技术还提供了一种机械臂控制系统，系统包括：控制终端、机械臂执行终端、至少一个主操作设备、至少一个脚踏设备、至少一个机械臂、至少一个图像采集设备和至少一个图像显示设备；至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂通过即插即用接口连接；机械臂执行终端还通过即插即用接口连接至少一个图像采集设备；控制终端还通过即插即用接口连接至少一个图像显示设备；控制终端包括计算机设备，计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
45.获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置；
46.将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。
47.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
48.获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包
括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置；
49.将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。
50.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
51.获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置；
52.将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。
53.上述机械臂控制方法、装置、系统、存储介质和计算机程序产品，至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端，提高了机械臂控制系统的灵活性；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂连接，能够实现控制终端对至少一个机械臂的远程控制；通过将至少一个主操作设备的主操作运动信息和主操作设备的编号转化为主操作网络指令，将至少一个脚踏设备的脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制，能够保证在控制终端本地操作至少一个主操作设备和至少一个脚踏设备，实现对远程至少一个机械臂的控制，提高了机械臂的控制效率。
附图说明
54.图1为一个实施例中机械臂控制方法的应用环境图；
55.图2为一个实施例中机械臂控制方法的流程示意图；
56.图3为一个实施例中s204的子流程示意图；
57.图4为一个实施例中机械臂控制系统的场景示意图；
58.图5为一个实施例中机械臂控制系统的连接方式示意图；
59.图6为一个实施例中机械臂控制方法的总体流程示意图；
60.图7为一个实施例中脚踏设备业务的流程示意图；
61.图8为一个实施例中机械臂控制系统的场景示意图；
62.图9为一个实施例中循环冗余发送网络指令的流程示意图；
63.图10为一个实施例中循环冗余接收网络指令的流程示意图；
64.图11为一个实施例中反馈指令处理的流程示意图；
65.图12为一个实施例中控制路由表的示意图；
66.图13为一个实施例中控制路由表的指令格式示意图；
67.图14为一个实施例中设备注册的流程示意图；
68.图15为一个实施例中设备加载的流程示意图；
69.图16为一个实施例中设备白名单权限设置流程示意图；
70.图17为一个实施例中设备访问控制流程示意图；
71.图18为一个实施例中机械臂控制系统的组成结构示意图；
72.图19为一个实施例中对视频网络数据进行解析的方法示意图；
73.图20为一个实施例中机械臂控制装置的结构框图；
74.图21为一个实施例中计算机设备的内部结构图。
具体实施方式
75.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
76.本技术实施例提供的机械臂控制方法，可以应用于如图1所示的应用环境中。其中，机械臂控制方法应用于机械臂控制系统，机械臂控制系统包括控制终端101、机械臂执行终端102、至少一个主操作设备103、至少一个脚踏设备104和至少一个机械臂105，至少一个主操作设备103和至少一个脚踏设备104分别通过即插即用接口连接至控制终端101；控制终端101与机械臂执行终端102网络连接，机械臂执行终端102与至少一个机械臂105通过即插即用接口连接，控制终端101中包括计算机设备，本技术实施例提供的机械臂控制方法，由控制终端101中的计算机设备执行：获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置；将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。其中，计算机设备可以为终端或者服务器。本技术实施例提供的械臂控制方法，可由终端或者服务器单独执行，也可由终端和服务器协作执行。终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
77.在一个实施例中，如图2所示，提供了一种机械臂控制方法，以该方法应用于图1中控制终端101为例进行说明，包括以下步骤：
78.s202，获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置。
79.其中，主操作设备是机械臂控制系统中用于控制机械臂的设备。主操作设备通过设备的相对位移形成空间位置移动信息，进而转化为机械臂控制信息。主操作运动信息指的是主操作设备运动时的信息，包括位移、速度以及坐标等。在一些实施例中，操作设备可以为摇杆或者推杆。机械臂控制系统包括至少一个主操作设备，每个主操作设备具有各自
对应的编号。脚踏设备是机械臂控制系统中采用脚踏的形式进行运动控制的设备，用于确定待控制机械臂。脚踏设备中包括脚踏面板，操作对象通过操作脚踏设备的脚踏面板，从而实现对机械臂的控制。脚踏运动信息指的是操作脚踏面板的信息，包括脚踏力度、速度等。机械臂控制系统包括至少一个脚踏设备，每个脚踏设备具有各自对应的编号。
80.每个机械臂具有各自对应的机械臂信息。机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置。其中，挂载的末端执行器类型包括器械类型或者图像采集设备类型等。机械臂不动点位置指的是机械臂上不动点机构的位置。控制终端的计算机设备获取主操作设备的主操作运动信息、主操作设备的编号、脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息。
81.s204，将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。
82.其中，控制终端的计算机设备获取控制终端与机械臂执行终端之间的网络通讯协议，根据网络通讯协议，将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令。控制终端能够将主操作网络指令、脚踏网络指令和机械臂信息，通过网络发送至机械臂执行终端。机械臂执行终端接收到主操作网络指令和脚踏网络指令之后，通过主操作网络指令、脚踏网络指令和机械臂信息对机械臂进行控制。
83.上述机械臂控制方法中，至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端，提高了机械臂控制系统的灵活性；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂连接，能够实现控制终端对至少一个机械臂的远程控制；通过将至少一个主操作设备的主操作运动信息和主操作设备的编号转化为主操作网络指令，将至少一个脚踏设备的脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制，能够保证在控制终端本地操作至少一个主操作设备和至少一个脚踏设备，实现对远程至少一个机械臂的控制，提高了机械臂的控制效率。
84.在一个实施例中，如图3所示，机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对机械臂进行控制，包括：
85.s302，对脚踏网络指令进行解析，确定脚踏设备的编号和脚踏网络指令的类型，脚踏网络指令的类型包括机械臂切换类型、能量切换类型或者复位类型中的任一种。
86.其中，脚踏设备包括至少一个脚踏面板，操作不同的脚踏面板对应不同的脚踏运动信息，由于脚踏网络指令是由脚踏运动信息转化得到，操作不同的脚踏面板对应生成不同的脚踏网络指令。对脚踏网络指令进行解析，得到脚踏设备的编号和脚踏网络指令的类型。脚踏网络指令的类型包括机械臂切换类型、能量切换类型或者复位类型中的任一种。机械臂切换类型用于机械臂的切换，能量切换类型用于指示机械臂的执行温度，复位类型用于复位机械臂，即中断主操作设备对机械臂的控制。
87.s304，在脚踏网络指令的类型为机械臂切换类型的情况下，根据机械臂切换类型、
脚踏设备的编号和主操作网络指令，确定待控制机械臂；根据主操作网络指令和机械臂信息控制待控制机械臂运动。
88.其中，在脚踏网络指令的类型为机械臂切换类型的情况下，根据机械臂切换类型、脚踏设备的编号和主操作网络指令，确定待控制机械臂。由于脚踏设备、主操作设备以及机械臂均具有多个，因此，操作不同脚踏设备的脚踏面板或者主操作设备，能够确定不同的待控制机械臂。主操作网络指令中携带机械臂的控制信息，根据机械臂信息，控制待控制机械臂按照机械臂的控制信息进行运动。这种根据机械臂切换类型、脚踏设备的编号和主操作网络指令确定待控制机械臂，并根据主操作网络指令和机械臂信息控制待控制机械臂运动的方法，提高了对待控制机械臂控制的灵活性和效率。
89.s306，在脚踏网络指令的类型为能量切换类型的情况下，确定当前控制机械臂；根据能量切换类型，确定当前控制机械臂的执行温度；根据执行温度控制当前控制机械臂末端连接的执行器械的温度。
90.其中，在脚踏网络指令的类型为能量切换类型的情况下，机械臂执行终端确定当前控制机械臂。当前控制机械臂为机械臂执行终端当前控制的机械臂。机械臂执行终端预设了能量切换类型和执行温度的映射关系，不同的能量切换类型对应不同的执行温度。根据能量切换类型，确定对应的执行温度即为当前控制机械臂的执行温度。控制当前控制机械臂末端连接的执行器械的温度为能量切换类型对应的执行温度。这种在脚踏网络指令为能量切换类型的情况下，机械臂可以切换不同的执行温度，进一步提高了机械臂控制的灵活性和效率。
91.s308，在脚踏网络指令的类型为复位类型的情况下，确定当前控制机械臂，并控制当前控制机械臂复位。
92.其中，在脚踏网络指令的类型为复位类型的情况下，机械臂执行终端确定当前控制机械臂。当前控制机械臂为机械臂执行终端当前控制的机械臂。机械臂执行终端控制当前控制机械臂复位。具体地，机械臂执行终端可以控制当前控制机械臂回到预设初始位置，还可以控制当前机械臂停止运动，并停止执行主操作网络指令。
93.本实施例中，通过在脚踏网络指令的不同类型下，对机械臂采用不同的控制方法，有利于提高机械臂的控制效率。
94.在其中一个实施例中，根据机械臂切换类型、脚踏设备的编号和主操作网络指令，确定待控制机械臂，包括：接收机械臂选择指令；对机械臂选择指令进行解析，得到待选择机械臂编号；根据待选择机械臂编号，在至少一个机械臂中确定待选择机械臂；对主操作网络指令进行解析，确定主操作设备的编号和主操作网络指令的类型；根据机械臂切换类型、脚踏设备的编号、主操作设备的编号以及主操作网络指令的类型，在待选择机械臂中确定待控制机械臂。
95.其中，机械臂控制系统中还包括触控面板，触控面板上包括多个选择区域，响应于任一选择区域的点击操作，生成选择指令。在接收到的选择指令的类型为机械臂选择指令的情况下，对机械臂选择指令进行解析，得到待选择机械臂编号。待选择机械臂编号可以包括一个或者多个机械臂的编号。
96.在至少一个机械臂对应的编号中，确定出与待选择机械臂编号一致的目标编号，将目标编号对应的机械臂作为待选择机械臂。
97.对主操作网络指令进行解析，得到主操作设备的编号和主操作网络指令的类型。机械臂控制系统中包括至少一个主操作设备，主操作设备的编号用于指示所操作的主操作设备。每个主操作设备中包括至少两个操作端子。主操作网络指令的类型用于指示所操作的主操作设备的操作端子。根据机械臂切换类型、脚踏设备的编号、主操作设备的编号以及主操作网络指令的类型，在待选择机械臂中进一步确定出待控制机械臂。
98.本实施例中，通过解析机械臂选择指令，得到待选择机械臂编号，从而在至少一个机械臂中确定待选择机械臂；解析主操作网络指令，得到主操作设备的编号和主操作网络指令的类型，从而在待选择机械臂中确定待控制机械臂，有利于根据所操作的主操作设备和脚踏设备，确定出待控制机械臂，提高机械臂的控制效率。
99.在其中一个实施例中，根据机械臂切换类型、脚踏设备的编号、主操作设备的编号以及主操作网络指令的类型，在待选择机械臂中确定待控制机械臂，包括：根据脚踏设备的编号和主操作设备的编号，确定相应的脚踏设备和相应的主操作设备是否属于同一控制组；在属于同一控制组的情况下，根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂；在不属于同一控制组的情况下，确定脚踏网络指令是否包括切换标识；在包括的情况下，根据脚踏设备的编号，确定脚踏设备所在的第一控制组；根据第一控制组，在待选择机械臂中确定第一待控制机械臂集合；根据机械臂切换类型和和主操作网络指令的类型，在第一待控制机械臂集合中确定待控制机械臂；在不包括的情况下，根据主操作设备的编号，确定主操作设备所在的第二控制组；根据第二控制组，在待选择机械臂中确定第二待控制机械臂集合；根据机械臂切换类型和主操作网络指令的类型，在第二待控制机械臂集合中确定待控制机械臂。
100.其中，脚踏网络指令不包括切换标识时，表明切换踏板未被踩踏，根据主操作设备的编号，确定主操作设备所在的第二控制组。在待选择机械臂中确定第二控制组对应的机械臂集合，并作为第二待控制机械臂集合。机械臂切换类型用于指示是否切换主操作设备所控制的机械臂。根据机械臂切换类型和主操作网络指令的类型，在第二待控制机械臂集合中确定待控制机械臂。
101.在脚踏设备的编号对应的脚踏设备和主操作设备的编号对应的主操作设备不属于同一控制组的情况下，首先根据脚踏设备，或者主操作设备，从待选择机械臂中筛选出部分机械臂，再在筛选出的机械臂中确定待控制机械臂。
102.响应于脚踏设备中切换踏板的踩踏动作，生成脚踏运动信息，将脚踏运动信息转化为脚踏网络指令后，脚踏网络指令中包括切换标识。脚踏网络指令包括切换标识时，表明切换踏板被踩踏，根据脚踏设备的编号，确定脚踏设备所在的第一控制组。每个控制组对应一组机械臂，在待选择机械臂中确定第一控制组对应的机械臂集合，并作为第一待控制机械臂集合。机械臂切换类型用于指示是否切换主操作设备所控制的机械臂。根据机械臂切换类型和主操作网络指令的类型，在第一待控制机械臂集合中确定待控制机械臂。
103.每个控制组中包括一个脚踏设备和一个主操作设备。根据脚踏设备的编号和主操作设备的编号，确定相应的脚踏设备和相应的主操作设备是否属于同一控制组。在脚踏设备的编号对应的脚踏设备和主操作设备的编号对应的主操作设备属于同一控制组的情况下，机械臂切换类型用于指示是否切换主操作设备所控制的机械臂。根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂。
104.本实施例中，通过首先确定相应的脚踏设备和相应的主操作设备是否属于同一控制组，在属于同一控制组的情况下，根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂。在不属于同一控制组的情况下，根据脚踏网络指令是否包括切换标识，根据脚踏设备或者主操作设备所在的控制组，确定第一待控制机械臂集合或者第二待控制机械臂集合，再在相应的机械臂集合中确定待控制机械臂。这种根据脚踏设备的编号和主操作设备的编号，以及所在的控制组，能够自动确定出待控制机械臂，有利于提高机械臂控制的灵活性，提高控制效率。
105.在其中一个实施例中，主操作网络指令的类型包括第一主操作类型或者第二主操作类型中的任一种；根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂，包括：在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第一机械臂；在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第二机械臂；在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为第三机械臂；在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为当前控制机械臂。
106.其中，在机械臂切换类型包括切换类型和不切换类型，在机械臂切换类型为不切换类型的情况下，指示不切换机械臂。主操作网络指令的类型包括第一主操作类型和第二主操作类型。示例性地，主操作设备包括左操作端子和右操作端子。在操作主操作设备的左操作端子的情况下，主操作网络指令的类型为第一主操作类型，在操作主操作设备的右操作端子的情况下，主操作网络指令的类型为第二主操作类型。
107.在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，待控制机械臂默认为第一机械臂。主操作端子不变，机械臂切换类型指示切换机械臂，即机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，待控制机械臂由第一机械臂切换为第二机械臂。
108.在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为当前控制机械臂。主操作端子不变，机械臂切换类型指示切换机械臂，即机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，待控制机械臂由当前机械臂切换为第三机械臂。
109.本实施例中，通过机械臂切换类型和主操作网络指令的类型，确定对当前机械臂或者主操作设备指示的机械臂进行切换或者不切换，从而确定出待控制机械臂，实现了对多个机械臂的灵活选择，提高了机械臂控制效率。
110.在其中一个实施例中，机械臂控制方法还包括：接收机械臂执行终端在控制机械臂运动过程中，基于机械臂的作用力确定反馈指令；对反馈指令进行解析，得到反馈作用力；根据反馈作用力，反馈给响应的主操作设备，和/或更新主操作网络指令。
111.其中，机械臂末端安装有末端执行器械，机械臂在运动过程中，末端执行器械对目标对象进行切割等操作，末端执行器械受到目标对象的作用力。机械臂执行终端中还包括力传感器，力传感器与末端执行器械连接，用于采集机械臂的末端执行器械受到的作用力。机械臂执行终端获取力传感器的作用力信号，将作用力信号转化为对应的反馈信号。并通过网络协议，将反馈信号转化为反馈指令。反馈指令为能够在机械臂执行终端和机械臂控
制终端之间传输的网络指令。机械臂控制终端接收机械臂执行终端发送的反馈指令。
112.控制终端中的计算机设备对反馈指令进行解析，得到反馈作用力，根据反馈作用力，反馈给响应的主操作设备，和/或更新主操作网络指令。反馈作用力用于表征机械臂末端连接的执行器械在对目标对象进行操作时，受到的作用力。
113.本实施例中，通过对反馈指令解析出的反馈作用更新主操作网络指令，有利于提高对机械臂的控制灵活性和效率。
114.在其中一个实施例中，机械臂控制方法还包括：在检测到新设备的接入信号时，获取新设备的序列号；确定设备白名单中是否包括序列号；在包括的情况下，接入新设备，并根据新设备的设备类型，对新设备进行控制；在不包括的情况下，移除新设备。
115.其中，序列号指的是设备的标识编号。每个设备具有唯一的序列号。设备白名单指的是能够接入控制终端的设备序列号表单。
116.控制终端的计算机设备在检测到新设备的接入信号时，获取新设备的序列号，遍历设备白名单中的序列号，确定设备白名单中是否包括该新设备的序列号。在设备白名单中包括该新设备的序列号的情况下，将该新设备接入控制终端。设备类型包括主操作设备类型、脚踏设备类型、图像显示设备类型等。计算机设备根据新设备的设备类型，对该新设备进行控制。例如，可以对该新设备设置控制编号、获取该新设备的运动信息等。
117.在设备白名单中不包括该新设备的序列号的情况下，将该新设备从控制终端的控制设备中移除。
118.本实施例中，通过在检测到新设备的接入信号时，判断设备白名单是否包括该新设备的序列号，有利于将设备白名单中包括的新设备接入控制终端，而设备白名单未包括的新设备移出控制终端，能够保证新接入设备的安全合法性，有利于提高机械臂的控制效率。
119.在其中一个实施例中，机械臂执行终端还通过即插即用接口连接至少一个图像采集设备；控制终端还通过即插即用接口连接至少一个图像显示设备；机械臂控制方法还包括：获取机械臂执行终端发送的至少一个图像采集设备的视频网络数据；对各图像采集设备的视频网络数据分别进行解析，得到各图像采集设备各自对应的解析后的图像数据；控制至少一个图像显示设备显示解析后的图像数据，解析后的图像数据用于确定主操作网络指令。
120.其中，控制终端中的计算机设备获取机械臂执行终端发送的图像采集设备的视频网络数据。图像采集设备采集的视频网络数据，通过机械臂执行终端发送至控制终端。由于机械臂执行终端和控制终端通过网络连接，因此，机械臂执行终端根据网络协议，对视频网络数据进行转化，从而保证转化后的视频网络数据能够通过网络传输。控制终端获取到转化后的视频网络数据后，将转化后的视频网络数据进行解析，得到解析后的视频网络数据，再对解析后的视频网络数据进行视频解码，得到解析后的图像数据。
121.图像显示设备通过即插即用接口连接至控制终端。计算机设备控制图像显示设备显示解析后的图像数据。解析后的图像数据用于确定主操作网络指令。计算机设备根据解析后的图像数据更新主操作网络指令，从而提高机械臂控制的灵活性和效率。
122.本实施例中，通过获取机械臂执行终端发送的图像采集设备的视频网络数据，并解析，得到解析后的图像数据，控制图像显示设备显示解析后的图像数据，有利于根据机械
臂执行终端发送的视频网络数据，更新主操作网络指令，提高机械臂控制的灵活性和效率。
123.为详细说明本方案中机械臂控制方法及效果，下面以一个最详细实施例进行说明：
124.机械臂控制方法应用于机械臂控制系统，如图4所示为机械臂控制系统的场景示意图。系统包括：控制终端、机械臂执行终端、至少一个主操作设备、至少一个脚踏设备、至少一个机械臂、至少一个图像采集设备和至少一个图像显示设备。图像采集设备挂载在机械臂末端。如图5所示为机械臂控制系统的连接方式示意图。至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端。在一些实施例中，即插即用接口可以采用usb(universal serial bus，通用串行总线)接口。控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂通过即插即用接口连接；机械臂执行终端还通过即插即用接口连接至少一个图像采集设备；控制终端还通过即插即用接口连接至少一个图像显示设备；控制终端还通过即插即用接口连接至少一个音频设备以及显示设备；控制终端包括计算机设备，控制终端中的计算机设备执行机械臂控制方法。计算机设备是控制终端的核心控制模块，建立控制路由表，实现指令在对应业务模块的处理关联，并将业务模块的处理结果进行网络发送。脚踏业务模块：根据外设类型和业务形式，接收并处理脚踏设备的控制指令。主控制业务模块：根据外设类型和业务形式，接收主控制设备的控制指令，和计算机设备的反馈指令。实时接收发送模块：使用udp(user datagram protocol，用户数据报协议)协议和循环冗余编码技术实现机械臂控制系统之间的指令传输。图像处理模块：对视频h264解码后，3d和2d显示处理输出。图像接收模块：基于流媒体传输控制协议，接收h264图像帧。视频会议模块：视频会议功能，包括创建和加入会议等功能。视频通讯模块：基于流媒体传输控制协议(质量可降低的、可丢弃帧的)，接收h264视频会议编码帧。
125.如图6所示为机械臂控制方法的总体流程示意图。控制终端通过配置文件逐项加载业务模块，形成控制路由表，指令报文处理模块根据控制路由表决定指令相关业务模块处理。控制终端完成加载业务模块之后，按照接收业务模块指令、发送网络数据、接收网络数据、指令报文处理、系统是否退出流程循环处理运行。控制终端接收到脚踏业务模块、主操作业务模块生成的业务指令后，通过发送网络数据子流程，发送业务指令到机械臂执行终端。机械臂执行终端接收到业务指令，操控机械臂做出相关动作，机械臂反馈动作信号，机械臂执行终端生成反馈指令数据，通过网络发送到控制终端，控制终端通过接收网络数据子流程接收到反馈指令数据。控制终端接收到反馈数据后，系统解析数据，获取指令，根据控制路由表转发指令到相关业务模块进行处理。监测系统是否退出，如果系统退出，关闭系统；否则循环处理流程。
126.计算机设备获取至少一个主操作设备的主操作运动信息和主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置。如图7所示为脚踏设备业务的流程示意图。.当脚踏设备和系统建立通信会话后，脚踏业务模块轮询获取脚踏设备运动信息。当接收到脚踏设备运动信息和脚踏设备的编号后，业务模块将脚踏设备运动信息和脚踏设备的编号转化成符合网络协议标准的网络指令，将网络指令发送到机械臂执行终端进行下一步处理。监测系统是否退出，如果系统退出，结束脚踏业务模块处理，否则轮询获取脚踏设备运动信息。如图8所示为主操作设备业务的流程示意
图。当主控制设备和系统建立通信会话后，轮询获取主设备运动信息，将接收到的主设备运动信息和主操作设备的编号转化成符合网络协议标准的网络指令，将网络指令发送到机械臂执行终端进行下一步处理。监测系统是否退出，如果系统退出，结束主操作设备业务控制指令处理，否则轮询获取主设备运动信息。
127.计算机设备将主操作运动信息和主操作设备的编号转化为主操作网络指令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。具体地，机械臂执行终端对脚踏网络指令进行解析，确定脚踏设备的编号和脚踏网络指令的类型。脚踏网络指令的类型包括机械臂切换类型、能量切换类型或者复位类型中的任一种。根据机械臂切换类型、脚踏设备的编号和主操作网络指令，确定待控制机械臂；根据主操作网络指令和机械臂信息控制待控制机械臂运动；在脚踏网络指令的类型为能量切换类型的情况下，确定当前控制机械臂；根据能量切换类型，确定当前控制机械臂的执行温度，根据执行温度控制当前控制机械臂末端连接的执行器械的温度；在脚踏网络指令的类型为复位类型的情况下，确定当前控制机械臂，并控制当前控制机械臂复位。网络指令通过循环冗余方法发送和接收，如图9所示为循环冗余发送网络指令的流程示意图。采用udp网络协议，采用循环编码和冗余发送方式发送数据包；每发送一个数据包发送计数器n加1(无符号整数)，当有指令数据要发送时，封装计数器内容和指令数据，初始化冗余发送次数m为0，使用循环冗余发送，尝试发送固定次数(阈值为max)，当没有指令数据要发送时，封装计数器内容和空指令，初始化冗余发送次数m为max 1，作为心跳探测数据仅发送一次。如图10所示为循环冗余接收网络指令的流程示意图。采用轮询机制接收数据，每当有数据包到来时，从数据包中获取指令id，与接收数器作比较，当指令id大于接收计数器时，说明指令数据有效，更新接收计数器，并将数据包转发到总控系统处理，当指令id小于接收计数器时，说明是过时指令，不予处理。当在指定时间内，没有数据包达到时，接收失败计数器大于一定阈值max2，系统报警网络异常，阈值max1指示成功接收数据时，指令id和接收计数器差值是否在一定期望值内，max2指示没有接收到数据时，报警阈值。
128.其中，根据机械臂切换类型、脚踏设备的编号和主操作网络指令，确定待控制机械臂，包括：接收机械臂选择指令，对机械臂选择指令进行解析，得到待选择机械臂编号。根据待选择机械臂编号，在至少一个机械臂中确定待选择机械臂，对主操作网络指令进行解析，确定主操作设备的编号和主操作网络指令的类型。根据脚踏设备的编号和主操作设备的编号，确定相应的脚踏设备和相应的主操作设备是否属于同一控制组。在属于同一控制组的情况下，根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂。具体地，在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第一机械臂。在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第二机械臂。在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为第三机械臂。在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为当前控制机械臂。在不属于同一控制组的情况下，确定脚踏网络指令是否包括切换标识；在包括的情况下，根据脚踏设备
time messaging protocol，实时消息传输协议)协议进行控制。图像处理模块接收到网络数据封包，使用h264对数据进行解封装，获取视频数据。将解析出的视频数据，交给视频解码器进行解码，解析出图像帧，将图像帧发送到图形处理器，加速渲染之后发送到显示设备。检查系统是否退出，如果是，结束内窥镜图像解析处理流程，否则继续流程处理。
132.在一些实施例中，控制终端还连接有音视频设备和音视频播放设备。控制终端获取音视频设备采集到的音视频数据，对音视频数据进行解析，并在音视频播放设备进行播放。采集音视频数据，使用h264编码数据，并封装数据包，使用rtmp(real time messaging protocol，实时消息传输协议)协议发送数据包到对端。接收对端数据包，解封装数据包，解码数据包，根据解码后的数据类型，发送到音视频播放设备进行播放。检查系统是否退出，如果是，结束会议视频处理流程；否则继续流程处理。
133.上述机械臂控制方法，至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端，提高了机械臂控制系统的灵活性；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂连接，能够实现控制终端对至少一个机械臂的远程控制；通过将至少一个主操作设备的主操作运动信息和主操作设备的编号转化为主操作网络指令，将至少一个脚踏设备的脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制，能够保证在控制终端本地操作至少一个主操作设备和至少一个脚踏设备，实现对远程至少一个机械臂的控制，提高了机械臂的控制效率。
134.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
135.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的机械臂控制方法的机械臂控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个机械臂控制装置实施例中的具体限定可以参见上文中对于机械臂控制方法的限定，在此不再赘述。
136.在一个实施例中，如图20所示，提供了一种机械臂控制装置100，应用于控制终端，至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂通过即插即用接口连接，包括：获取模块120和控制模块140，其中：
137.获取模块120，用于获取至少一个主操作设备的主操作运动信息、主操作设备的编号、至少一个脚踏设备的脚踏运动信息、脚踏设备的编号以及至少一个机械臂的机械臂信息；机械臂信息包括机械臂编号、机械臂位姿、挂载的末端执行器类型以及机械臂不动点位置；
138.控制模块140，用于将主操作运动信息和主操作设备的编号转化为主操作网络指
令，将脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制。
139.上述机械臂控制装置，至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端，提高了机械臂控制系统的灵活性；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂连接，能够实现控制终端对至少一个机械臂的远程控制；通过将至少一个主操作设备的主操作运动信息和主操作设备的编号转化为主操作网络指令，将至少一个脚踏设备的脚踏运动信息和脚踏设备的编号转化为脚踏网络指令，并将主操作网络指令、脚踏网络指令以及机械臂信息发送至机械臂执行终端，以使得机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制，能够保证在控制终端本地操作至少一个主操作设备和至少一个脚踏设备，实现对远程至少一个机械臂的控制，提高了机械臂的控制效率。
140.在其中一个实施例中，机械臂执行终端根据主操作网络指令、脚踏网络指令和机械臂信息，对相应的机械臂进行控制，控制模块140还用于：对脚踏网络指令进行解析，确定脚踏设备的编号和脚踏网络指令的类型，脚踏网络指令的类型包括机械臂切换类型、能量切换类型或者复位类型中的任一种；在脚踏网络指令的类型为机械臂切换类型的情况下，根据机械臂切换类型、脚踏设备的编号和主操作网络指令，确定待控制机械臂；根据主操作网络指令和机械臂信息控制待控制机械臂运动；在脚踏网络指令的类型为能量切换类型的情况下，确定当前控制机械臂；根据能量切换类型，确定当前控制机械臂的执行温度；根据执行温度控制当前控制机械臂末端连接的执行器械的温度；在脚踏网络指令的类型为复位类型的情况下，确定当前控制机械臂，并控制当前控制机械臂复位。
141.在其中一个实施例中，根据机械臂切换类型、脚踏设备的编号和主操作网络指令，确定待控制机械臂，控制模块140还用于：接收机械臂选择指令；对机械臂选择指令进行解析，得到待选择机械臂编号；根据待选择机械臂编号，在至少一个机械臂中确定待选择机械臂；对主操作网络指令进行解析，确定主操作设备的编号和主操作网络指令的类型；根据机械臂切换类型、脚踏设备的编号、主操作设备的编号以及主操作网络指令的类型，在待选择机械臂中确定待控制机械臂。
142.在其中一个实施例中，根据机械臂切换类型、脚踏设备的编号、主操作设备的编号以及主操作网络指令的类型，在待选择机械臂中确定待控制机械臂，控制模块140还用于：根据脚踏设备的编号和主操作设备的编号，确定相应的脚踏设备和相应的主操作设备是否属于同一控制组；在属于同一控制组的情况下，根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂；在不属于同一控制组的情况下，确定脚踏网络指令是否包括切换标识；在包括的情况下，根据脚踏设备的编号，确定脚踏设备所在的第一控制组；根据第一控制组，在待选择机械臂中确定第一待控制机械臂集合；根据机械臂切换类型和和主操作网络指令的类型，在第一待控制机械臂集合中确定待控制机械臂；在不包括的情况下，根据主操作设备的编号，确定主操作设备所在的第二控制组；根据第二控制组，在待选择机械臂中确定第二待控制机械臂集合；根据机械臂切换类型和主操作网络指令的类型，在第二待控制机械臂集合中确定待控制机械臂。
143.在其中一个实施例中，主操作网络指令的类型包括第一主操作类型或者第二主操
作类型中的任一种；根据机械臂切换类型和主操作网络指令的类型，在待选择机械臂中确定待控制机械臂，控制模块140还用于：在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第一机械臂；在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第一主操作类型的情况下，确定待控制机械臂为第二机械臂；在机械臂切换类型指示切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为第三机械臂；在机械臂切换类型指示不切换机械臂，且主操作网络指令的类型为第二主操作类型的情况下，确定待控制机械臂为当前控制机械臂。
144.在其中一个实施例中，机械臂控制装置还包括反馈模块，反馈模块还用于：接收机械臂执行终端在控制机械臂运动过程中，基于机械臂的作用力确定反馈指令；对反馈指令进行解析，得到反馈作用力；根据反馈作用力，反馈给响应的主操作设备，和/或更新主操作网络指令。
145.在其中一个实施例中，机械臂控制装置100还包括检测模块，检测模块还用于：在检测到新设备的接入信号时，获取新设备的序列号；确定设备白名单中是否包括序列号；在包括的情况下，接入新设备，并根据新设备的设备类型，对新设备进行控制；在不包括的情况下，移除新设备。
146.在其中一个实施例中，机械臂执行终端还通过即插即用接口连接至少一个图像采集设备；控制终端还通过即插即用接口连接至少一个图像显示设备；机械臂控制装置100还包括显示模块，显示模块还用于：获取机械臂执行终端发送的至少一个图像采集设备的视频网络数据；对各图像采集设备的视频网络数据分别进行解析，得到各图像采集设备各自对应的解析后的图像数据；控制至少一个图像显示设备显示解析后的图像数据，解析后的图像数据用于确定主操作网络指令。
147.上述机械臂控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
148.在一个实施例中，提供了一种机械臂控制系统，系统包括：控制终端、机械臂执行终端、至少一个主操作设备、至少一个脚踏设备、至少一个机械臂、至少一个图像采集设备和至少一个图像显示设备；至少一个主操作设备和至少一个脚踏设备分别通过即插即用接口连接至控制终端；控制终端与机械臂执行终端网络连接，机械臂执行终端与至少一个机械臂通过即插即用接口连接；机械臂执行终端还通过即插即用接口连接至少一个图像采集设备；控制终端还通过即插即用接口连接至少一个图像显示设备；控制终端包括计算机设备，其内部结构图可以如图21所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算
机程序被处理器执行时以实现一种机械臂控制方法。
149.本领域技术人员可以理解，图21中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
150.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
151.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
152.在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
153.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
154.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory，mram)、铁电存储器(ferroelectric random access memory，fram)、相变存储器(phase change memory，pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
155.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
156.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。