一种灵巧手遥操方法、装置、系统及电子设备与流程

本申请涉及机器人，特别是涉及一种灵巧手遥操方法、装置、系统及电子设备。

背景技术：

1、灵巧手遥操技术是机器人人机交互领域的研究热点，在精密零部件装配、高危无人作业场景具备重要工程价值。并且，在具身智能机器人模型训练的场景下，灵巧手遥操技术可以复刻人类精细化手控操作，为模型提供高质量真实交互样本，具备较好的科研落地潜力。

2、鉴于上述情况，本申请实施例提供了一种灵巧手遥操方案，以实现灵巧手的精准操控。

技术实现思路

1、本申请实施例的目的在于提供一种灵巧手遥操方法、装置、系统及电子设备，以实现灵巧手的精准操控。具体技术方案如下：

2、第一方面，本申请实施例提供了一种灵巧手遥操方法，应用于外骨骼手套，所述方法包括：

3、接收所述外骨骼手套手部关节配置的角度信息采集单元采集的角度信息，基于所述角度信息，确定所述外骨骼手套的佩戴者手部关节的第一关节位姿；

4、采用动作重定向算法，将所述第一关节位姿映射为待操控灵巧手手部关节的第二关节位姿，向所述灵巧手发送所述第二关节位姿，以操控所述灵巧手达到所述第二关节位姿；

5、接收所述灵巧手反馈的触觉信息，基于所述触觉信息，确定所述外骨骼手套的接触区域轮廓信息；

6、基于所述接触区域轮廓信息，驱动所述外骨骼手套对应指节上设置的触觉反馈单元产生凸起形变。

7、第二方面，本申请实施例提供了一种灵巧手遥操方法，应用于灵巧手，所述方法包括：

8、接收外骨骼手套发送的第二关节位姿，所述第二关节位姿是基于所述外骨骼手套的佩戴者手部关节的第一关节位姿得到的；

9、控制所述灵巧手的手部关节达到所述第二关节位姿；

10、接收各指节设置的接触力传感器采集的触觉信息，向所述外骨骼手套发送所述触觉信息。

11、第三方面，本申请实施例提供了一种灵巧手遥操装置，应用于外骨骼手套，所述装置包括：

12、第一位姿确定模块，用于接收所述外骨骼手套手部关节配置的角度信息采集单元采集的角度信息，基于所述角度信息，确定佩戴所述外骨骼手套的佩戴者手部关节的第一关节位姿；

13、第二位姿确定模块，用于采用动作重定向算法，将所述第一关节位姿映射为待操控灵巧手手部关节的第二关节位姿，向所述灵巧手发送所述第二关节位姿，以操控所述灵巧手达到所述第二关节位姿；

14、轮廓信息确定模块，用于接收所述灵巧手反馈的触觉信息，基于所述触觉信息，确定所述外骨骼手套的接触区域轮廓信息；

15、轮廓复现模块，用于基于所述接触区域轮廓信息，驱动所述外骨骼手套对应指节上设置的触觉反馈单元产生凸起形变。

16、第四方面，本申请实施例提供了一种灵巧手遥操装置，应用于灵巧手，所述装置包括：

17、位姿接收模块，接收外骨骼手套发送的第二关节位姿，所述第二关节位姿是基于所述外骨骼手套的佩戴者手部关节的第一关节位姿得到的；

18、位姿控制模块，用于控制所述灵巧手的手部关节达到所述第二关节位姿；

19、信息反馈模块，用于接收各指节设置的接触力传感器采集的触觉信息，向所述外骨骼手套发送所述触觉信息。

20、第五方面，本申请实施例提供了一种灵巧手遥操系统，包括外骨骼手套和灵巧手，其中，

21、所述外骨骼手套，用于接收所述外骨骼手套手部关节配置的角度信息采集单元采集的角度信息，基于所述角度信息，确定佩戴所述外骨骼手套的佩戴者手部关节的第一关节位姿；采用动作重定向算法，将所述第一关节位姿映射为待操控灵巧手手部关节的第二关节位姿，向所述灵巧手发送所述第二关节位姿；

22、所述灵巧手，用于接收外骨骼手套发送的第二关节位姿；控制所述灵巧手的手部关节达到所述第二关节位姿；接收各指节设置的接触力传感器采集的触觉信息，向所述外骨骼手套发送所述触觉信息；

23、所述外骨骼手套，还用于接收所述灵巧手反馈的触觉信息，基于所述触觉信息，确定所述外骨骼手套的接触区域轮廓信息；基于所述接触区域轮廓信息，驱动所述外骨骼手套对应指节上设置的触觉反馈单元产生凸起形变。

24、第六方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

25、存储器，用于存放计算机程序；

26、处理器，用于执行存储器上所存放的程序时，实现第一方面或第二方面所述的方法步骤。

27、第七方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现第一方面或第二方面所述的方法步骤。

28、第八方面，本发明实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行第一方面或第二方面所述的方法步骤。

29、本申请实施例有益效果：

30、由以上可见，本申请实施例提供的方案中，灵巧手接收到外骨骼手套下发的第二关节位姿后，不仅控制自身关节达到第二关节位姿，还向外骨骼手套反馈了自身感知的触觉信息，从而，外骨骼手套可以根据反馈的触觉信息复现物体接触形态。可见，本方案将人手运动采集、跨形态动作映射、灵巧手触觉回传、外骨骼手套轮廓触觉复现整合为完整闭环，佩戴者无需仅依靠视觉判断接触状态，且可以通过外骨骼手套复现的物体轮廓实时、直观地感知物体接触情况，还原了真实操作触感，这样可以使佩戴者根据接触情况执行更加准确、精细化的操作，并将这一操作传导至灵巧手，从而提高灵巧手操控的精确度。

31、当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

1.一种灵巧手遥操方法，其特征在于，应用于外骨骼手套，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述外骨骼手套手部关节设置有弹性驱动单元，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述弹性驱动单元与外置的驱动电机电连接，所述基于所述力觉信息，驱动所述外骨骼手套对应关节的弹性驱动单元运动，包括：

4.根据权利要求1至3中任一项所述的方法，其特征在于，

5.一种灵巧手遥操方法，其特征在于，应用于灵巧手，所述方法包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.一种灵巧手遥操系统，其特征在于，包括外骨骼手套和灵巧手，其中，

8.一种灵巧手遥操装置，其特征在于，应用于外骨骼手套，所述装置包括：

9.一种灵巧手遥操装置，其特征在于，应用于灵巧手，所述装置包括：

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器、通信总线和图像采集设备，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；