一种控制机器人的系统及方法与流程

技术特征：
1.一种控制机器人的系统，其特征在于，所述系统包括：混合现实设备、手术机器人，所述手术机器人设置在手术室中；所述混合现实设备，用于通过预设的传感器，捕捉用户在所述混合现实设备构建出的虚拟手术环境内对所述手术机器人对应的虚拟手术机器人的操作行为，根据所述操作行为，生成针对所述手术机器人的控制指令，并通过预设的数据传输协议对所述控制指令进行数据封装，得到封装后的数据包，将所述数据包发送给所述手术机器人；所述手术机器人，用于接收所述混合现实设备发送的数据包，并对所述数据包进行解析，得到所述控制指令，根据所述控制指令，控制所述手术机器人进行手术。2.如权利要求1所述的系统，其特征在于，所述系统还包括：环境采集设备，所述混合现实设备包括：虚拟手术环境构建装置；所述环境采集设备，用于采集所述手术机器人所处的手术室的环境信息，并将采集到的环境信息发送给所述混合现实设备，其中，所述环境信息包括：所述手术室内各物体的位姿信息；所述虚拟手术环境构建装置，用于根据所述混合现实设备接收到的所述环境信息以及预先建立的手术室的室内三维模型，构建所述虚拟手术环境。3.如权利要求2所述的系统，其特征在于，所述室内三维模型包括：手术机器人模型、手术台模型、患者模型。4.如权利要求2所述的系统，其特征在于，所述环境采集设备，还用于响应于所述手术机器人基于所述控制指令进行手术，采集所述手术机器人基于所述控制指令进行手术时的位姿信息，并将所述手术机器人基于所述控制指令进行手术时的位姿信息发送给所述混合现实设备；所述手术机器人，还用于将所述手术机器人基于所述控制指令进行手术时所监测到的运动信息发送给所述混合现实设备；所述虚拟手术环境构建装置，还用于根据所述混合现实设备接收到的所述手术机器人基于所述控制指令进行手术时的位姿信息以及所述运动信息，对所述虚拟手术环境进行更新。5.如权利要求4所述的系统，其特征在于，所述手术机器人安装有定位光源标记物，所述定位光源标记物用于向所述环境采集设备反射或发射光线；所述环境采集设备通过支架或通过吊装的方式固定在指定位置上；所述环境采集设备，还用于基于所述手术机器人上的定位光源标记物反射或发射的光线，实时采集所述手术机器人的位姿信息。6.如权利要求1所述的系统，其特征在于，所述混合现实设备，还用于响应于用户基于各调整方式对所述虚拟手术环境的调整操作行为，向所述用户展示调整后的虚拟手术环境，其中，所述各调整方式包括：语音、手势和注视中的至少一种，所述调整操作行为包括：移动、旋转和缩放中的至少一种。7.如权利要求1所述的系统，其特征在于，所述混合现实设备包括：第一通信装置；所述手术机器人包括：机械臂、控制装置、第二通信装置；所述第一通信装置，用于将所述数据包发送给所述第二通信装置；所述第二通信装置，用于接收所述数据包，对所述数据包进行解析，得到所述混合现实
设备发送的控制指令，并将所述控制指令发送给所述控制装置；所述控制装置，用于接收所述控制指令，对所述控制指令中携带的操作数据按照所述机械臂所在的坐标系进行转换，得到用于控制所述机械臂的实际操作数据，并根据所述实际操作数据，规划出所述机械臂的运动轨迹，以使所述机械臂基于所述运动轨迹进行运动。8.一种控制机器人的方法，其特征在于，所述方法应用于混合现实设备，所述方法包括：所述混合现实设备通过预设的传感器，捕捉用户在所述混合现实设备构建出的虚拟手术环境内对所述手术机器人对应的虚拟手术机器人的操作行为；根据所述操作行为，生成针对所述手术机器人的控制指令；通过预设的数据传输协议对所述控制指令进行数据封装，得到封装后的数据包，并将所述数据包发送给所述手术机器人，以使所述手术机器人接收所述混合现实设备发送的数据包，并对所述数据包进行解析，得到所述控制指令，以根据所述控制指令，控制所述手术机器人进行手术。9.如权利要求8所述的方法，其特征在于，构建虚拟手术环境，具体包括：接收环境信息，并根据所述环境信息以及预先建立的手术室的室内三维模型，构建虚拟手术环境，其中，所述环境信息是由环境采集设备采集到手术机器人所处的手术室的环境信息后发送给所述混合现实设备的，所述环境信息包括：所述手术室内各物体的位姿信息。10.如权利要求9所述的方法，其特征在于，所述方法还包括：根据接收到的所述手术机器人基于所述控制指令进行手术时的位姿信息以及运动信息，对所述虚拟手术环境进行更新，其中，所述手术机器人基于所述控制指令进行手术时的位姿信息是所述环境采集设备采集的，所述运动信息是所述手术机器人基于所述控制指令进行手术时所监测到的。11.如权利要求8所述的方法，其特征在于，所述方法还包括：响应于用户基于各调整方式对所述虚拟手术环境的调整操作行为，向所述用户展示调整后的虚拟手术环境，其中，所述各调整方式包括：语音、手势和注视中的至少一种，所述调整操作行为包括：移动、旋转和缩放中的至少一种。12.一种控制机器人的方法，其特征在于，所述方法应用于手术机器人，所述方法包括：所述手术机器人接收混合现实设备发送的数据包，并对所述数据包进行解析，得到所述控制指令，其中，所述数据包是所述混合现实设备通过预设的传感器，捕捉用户在所述混合现实设备构建出的虚拟手术环境内对所述手术机器人对应的虚拟手术机器人的操作行为后，根据所述操作行为，生成针对所述手术机器人的控制指令，并通过预设的数据传输协议对所述控制指令进行数据封装所得到并发送给所述手术机器人的；根据所述控制指令，控制所述手术机器人进行手术。13.如权利要求12所述的方法，其特征在于，所述手术机器人包括：机械臂；根据所述控制指令，控制所述手术机器人进行手术，具体包括：对所述控制指令中携带的操作数据按照所述机械臂所在的坐标系进行转换，得到用于控制所述机械臂的实际操作数据；根据所述实际操作数据，规划出所述机械臂的运动轨迹；
基于所述运动轨迹，控制所述机械臂进行运动，以使所述手术机器人进行手术。

技术总结
本说明书公开了一种控制机器人的系统及方法，本说明书实施例可以通过混合现实设备构建出虚拟手术环境，然后，用户可以对虚拟手术环境中的虚拟手术机器人进行操作。混合现实设备根据用户对虚拟手术机器人的操作行为生成控制指令，并发送给手术机器人，手术机器人根据控制指令控制手术机器人进行手术。在此方法中，由于混合现实设备构建的虚拟手术环境是可以随意切换观测角度的，所以，用户通过对虚拟手术环境中的虚拟手术机器人的控制间接控制手术机器人，不再受限于视角，这样，可以提高用户控制手术机器人的精度。户控制手术机器人的精度。户控制手术机器人的精度。


技术研发人员：眭菁
受保护的技术使用者：北京歌锐科技有限公司
技术研发日：2022.01.13
技术公布日：2022/3/15