具身数据获取方法、系统及计算机可读存储介质与流程

本申请涉及数据采集，尤其涉及一种具身数据获取方法、系统及计算机可读存储介质。

背景技术：

1、具身智能是当前机器人领域的重要发展方向，其核心在于让智能体通过与物理环境的交互获得操作能力。具身数据作为训练具身模型的基础资源，其采集方式直接影响模型对真实操作行为的理解。因此如何高效获取高质量的具身数据，成为该领域的关键问题。

2、现有具身数据获取方式主要包括两类：一是基于机器人遥操作，由操作员远程控制机器人并记录状态数据；二是依赖手部穿戴设备，要求操作者佩戴数据手套、外骨骼或手持专用夹爪等，通过内嵌传感器捕捉手部与交互信息。

3、然而，上述方式均存在明显不足：遥操作受限于特定机器人平台，数据迁移性差；手部穿戴设备会改变自然触觉与操作习惯，标定复杂且通用性低。因此，如何在不改变操作者自然裸手操作状态的前提下实现高质量具身数据的采集，已成为目前亟待解决的技术问题。

技术实现思路

1、本申请的主要目的在于提供一种具身数据获取方法、系统及计算机可读存储介质，旨在解决如何在不改变操作者自然裸手操作状态的前提下实现高质量具身数据的采集的技术问题。

2、为实现上述目的，本申请提供一种具身数据获取方法，应用于具身数据获取系统，具身数据获取系统包括佩戴式设备与头戴式设备，头戴式设备的图像采集方向与佩戴者的视线方向一致，具身数据获取方法包括以下步骤：

3、获取佩戴式设备采集到的生物电阻抗信号以及头戴式设备采集到的图像数据；

4、基于生物电阻抗信号和/或图像数据确定手指关节角度，并基于手指关节角度与生物电阻抗信号确定手部操作力度；

5、基于图像数据、手指关节角度以及手部操作力度，获得具身数据集。

6、在一实施例中，基于手指关节角度与生物电阻抗信号确定手部操作力度的步骤，包括：

7、基于手指关节角度识别手势操作类型；

8、基于手势操作类型匹配对应的力度回归模型，其中，不同的手势操作类型对应不同的力度回归模型；

9、将生物电阻抗信号输入至匹配的力度回归模型中，输出得到手部操作力度。

10、在一实施例中，基于手指关节角度识别手势操作类型的步骤之前，方法还包括：

11、监测预设时长内手指关节角度的变化量；

12、若变化量小于或等于预设阈值，则执行基于手指关节角度识别手势操作类型的步骤；

13、若变化量大于预设阈值，则返回执行获取佩戴式设备采集到的生物电阻抗信号以及头戴式设备采集到的图像数据的步骤。

14、在一实施例中，基于手指关节角度识别手势操作类型的步骤之后，方法还包括：

15、若手势操作类型属于预设操作类型，则执行基于手势操作类型匹配对应的力度回归模型的步骤，其中，预设操作类型包括按压、捏取、抓握与拧动中的一种或多种；

16、若手势操作类型不属于预设操作类型，则返回执行获取佩戴式设备采集到的生物电阻抗信号以及头戴式设备采集到的图像数据的步骤。

17、在一实施例中，基于生物电阻抗信号和/或图像数据确定手指关节角度的步骤，包括：

18、对生物电阻抗信号进行特征提取得到电阻抗信号特征，将电阻抗信号特征输入是预先训练完成的第一角度回归模型中，输出得到手指关节角度；或者，

19、对图像数据进行特征提取得到视觉特征，将视觉特征输入至预先训练完成的第二角度回归模型中，输出得到手指关节角度；或者，

20、分别对图像数据与生物电阻抗信号进行特征提取得到视觉特征与电阻抗信号特征，融合视觉特征与电阻抗信号特征得到融合特征，将融合特征输入是预先训练完成的第三角度回归模型中，输出得到手指关节角度。

21、在一实施例中，对生物电阻抗信号进行特征提取得到电阻抗信号特征的步骤，包括：

22、对生物电阻抗信号依次执行带通滤波与陷波滤波处理，得到预处理后的生物电阻抗信号；

23、对预处理后的生物电阻抗信号进行特征提取得到电阻抗信号特征。

24、在一实施例中，对图像数据进行特征提取得到视觉特征的步骤，包括：

25、对图像数据依次执行去噪、手部区域分割与归一化处理，得到预处理后的图像数据；

26、对预处理后的图像数据进行特征提取得到视觉特征。

27、在一实施例中，基于图像数据、手指关节角度以及手部操作力度，获得具身数据集的步骤，包括：

28、对图像数据、手指关节角度以及手部操作力度进行时序对齐处理，格式封装时序对齐的图像数据、手指关节角度以及手部操作力度得到具身数据集；或者，

29、基于手指关节角度确定手部姿态与手势操作类型，对图像数据、手指关节角度、手部操作力度、手部姿态以及手势操作类型进行时序对齐处理，格式封装时序对齐的图像数据、手指关节角度、手部操作力度、手部姿态以及手势操作类型得到具身数据集。

30、此外，为实现上述目的，本申请还提供一种具身数据获取系统，具身数据获取系统包括：

31、佩戴式设备，用于采集生物电阻抗信号；

32、头戴式设备，用于采集图像数据，且头戴式设备的图像采集方向与佩戴者的视线方向一致；

33、处理单元，用于执行如上述的具身数据获取方法的步骤。

34、此外，为实现上述目的，本申请还提供一种可读存储介质，可读存储介质为计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行以实现如上具身数据获取方法的步骤。

35、本申请还提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如上述的具身数据获取方法的步骤。

36、本申请提出的一个或多个技术方案，至少具有以下技术效果：

37、本申请实施例利用佩戴式设备（可合理佩戴于操作者身体，如手臂、腕部）采集的生物电阻抗信号，以及头戴式设备采集的与视线方向一致的图像数据，进而确定出手指关节角度和手部操作力度，最终获得具身数据集。无需操作者佩戴手部穿戴装置，也无需依赖特定机器人平台进行遥操作，佩戴式设备仅采集生物电阻抗信号而不接触手部，手部得以始终保持自然裸手状态，原有的触觉感知与操作习惯完全不受干扰。在确定手指关节角度的过程中，生物电阻抗信号反映控制手指运动的肌肉活动，而图像数据提供了与操作者视线对齐的手部视觉信息，两者可根据实际情况选择使用或相互补充，从而准确重建关节角度；进一步利用已确定的关节角度与生物电阻抗信号之间的内在关联推算出操作力度，完整记录下自然操作过程中的精细姿态与力学特征。整个采集过程不对手部施加任何附加装置或约束，避免了因外部接触带来的运动失真与标定误差，所获得的具身数据集在动作真实性和信息丰富度上得到根本保障，从而在不改变操作者自然裸手操作状态的前提下实现了高质量具身数据的采集。

1.一种具身数据获取方法，其特征在于，应用于具身数据获取系统，所述具身数据获取系统包括佩戴式设备与头戴式设备，所述头戴式设备的图像采集方向与佩戴者的视线方向一致，所述具身数据获取方法包括以下步骤：

2.如权利要求1所述的具身数据获取方法，其特征在于，所述基于所述手指关节角度与所述生物电阻抗信号确定手部操作力度的步骤，包括：

3.如权利要求2所述的具身数据获取方法，其特征在于，所述基于所述手指关节角度识别手势操作类型的步骤之前，所述方法还包括：

4.如权利要求2所述的具身数据获取方法，其特征在于，所述基于所述手指关节角度识别手势操作类型的步骤之后，所述方法还包括：

5.如权利要求1所述的具身数据获取方法，其特征在于，所述基于所述生物电阻抗信号和/或所述图像数据确定手指关节角度的步骤，包括：

6.如权利要求5所述的具身数据获取方法，其特征在于，所述对所述生物电阻抗信号进行特征提取得到电阻抗信号特征的步骤，包括：

7.如权利要求5所述的具身数据获取方法，其特征在于，所述对所述图像数据进行特征提取得到视觉特征的步骤，包括：

8.如权利要求1至7中任一项所述的具身数据获取方法，其特征在于，所述基于所述图像数据、所述手指关节角度以及所述手部操作力度，获得具身数据集的步骤，包括：

9.一种具身数据获取系统，其特征在于，所述具身数据获取系统包括：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有具身数据获取程序，所述具身数据获取程序被处理器执行时实现如权利要求1至8中任一项所述的具身数据获取方法的步骤。