用于灵巧操作的人机腕手工具操作技能迁移方法和系统

本发明涉及人机腕手工具操作技能迁移，具体地，涉及一种用于灵巧操作的人机腕手工具操作技能迁移方法和系统。

背景技术：

1、目前，机器人灵巧手由于自由度较多、结构复杂，传统编程方式难以直接实现复杂动作示教，因此现有技术中出现了利用数据手套采集人体手部运动状态，并将人体动作映射至机器人灵巧手的方法。专利申请文献cn105328700a公开了一种机器人灵巧手示教编程的数据手套，该方法通过融合多种传感器获取人体手部运动姿态，并将采集的人体手部运动信息映射至机器人灵巧手，实现机器人灵巧手姿态控制、操作力控制以及示教编程。但是，该方法主要关注人体手部运动姿态信息的采集以及人体动作向机器人灵巧手运动状态的映射，其虽然能够实现机器人灵巧手的动作示教，但无法获取人体在工具操作过程中手指触觉、手部关节姿态以及腕部运动之间形成的协同动力学关系，无法根据人体触觉信息推断工具末端六维力/力矩信息，因此无法满足擦拭、拧动、切割等需要连续接触力控制的复杂工具操作任务。

2、目前，工业机器人示教过程中通常需要专业人员通过示教器进行轨迹规划和动作编程，操作过程复杂，因此现有技术中提出利用数据手套采集人体动作信息，实现机器人主从式示教控制的方法。专利申请文献cn106896796a公开了一种基于数据手套的工业机器人主从式示教编程方法，该方法通过数据手套采集使用者手势以及手掌运动信息，并将手掌的位置和姿态变化转换为工业机器人末端运动，实现机器人示教点记录以及轨迹复现。但是，该方法主要实现人体运动学信息到机器人运动轨迹的转换，其关注点在于降低机器人示教编程难度，未考虑人体执行工具操作过程中产生的接触力、摩擦力以及腕部操作力矩信息。同时，该方法无法利用人体触觉信息学习人类腕手协同操作规律，也无法解决人体手部与机器人灵巧手、人体腕臂与机械臂之间存在的结构差异和动力学差异导致的技能迁移效果下降问题。

3、专利申请文献cn120755885a公开了一种机器人控制策略迁移方法，该方法通过采集机器人在真实运行环境中由预训练策略模型生成的状态-动作序列，进行预处理得到结构化训练数据；基于运行状态判断是否满足预设更新条件，在满足时利用所述训练数据对策略模型进行微调生成更新策略模型；将更新策略模型热部署至机器人真实运行环境，使机器人在不中断任务执行的情况下基于更新策略模型运行并产生新的运行数据；循环执行数据采集、预处理、策略微调与模型部署三个阶段，并通过消息队列实现阶段间的数据交互与流程解耦，实现基于真实运行反馈的持续优化。然而该专利无法完全解决目前存在的技术问题，也无法满足本发明的需求。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种用于灵巧操作的人机腕手工具操作技能迁移方法和系统。

2、根据本发明提供的用于灵巧操作的人机腕手工具操作技能迁移方法，包括：

3、步骤1：采集人类腕手工具操作过程中的多模态操作数据；

4、步骤2：基于多模态操作数据训练人类腕手技能预训练模型；

5、步骤3：将人类腕手操作数据映射至机器人仿真环境；

6、步骤4：利用机器人仿真环境微调人类预训练编码器；

7、步骤5：将优化后的模型应用于真实机器人系统，实现人机腕手技能迁移；

8、所述步骤1中，在人体执行借助手指摩擦力完成工具操作任务时，通过触觉手套、动作捕捉设备以及工具末端力传感设备采集人类操作过程中的多模态数据；所述多模态数据包括：手指及手掌区域的触觉压力信息、手部关节角度信息、腕部运动信息和工具末端六维力/力矩信息；所述工具操作任务包括擦抹、拧动、扫除、切割工具操作任务；所述操作对象为具有规则几何形状的刚性物体；通过上述数据采集过程，获得包含人类操作运动信息和动力学信息的人类腕手操作数据集；

9、所述步骤2中，利用步骤1中获得的人类腕手操作数据集，对包含触觉信息、手部关节信息以及工具末端六维力/力矩信息的数据进行特征学习，获得具有人类操作经验的预训练模型；

10、所述步骤3中，将步骤1采集的人类腕手操作数据映射至机器人仿真平台，建立人类操作数据与机器人执行状态之间的对应关系；

11、所述步骤4中，利用步骤3建立的人类操作数据与机器人状态对应关系，对步骤2获得的人类腕手技能预训练模型进行机器人适应性微调；

12、所述步骤5中，将经过强化学习优化后的预训练模型部署至真实机器人系统，在机器人执行模仿学习、遥操作或者自主操作任务时，获取机器人灵巧手的关节角度信息、关节运动信息和触觉反馈信息，将上述信息输入优化后的预训练模型，输出机械臂执行工具操作所需的三维力控制量、三维力矩控制量和腕部辅助运动信息。

13、优选地，所述步骤2包括：

14、步骤2.1：将采集得到的触觉压力信息、手部关节姿态信息、腕部运动信息以及工具末端力/力矩信息分别进行特征编码；其中，将触觉压力信息转换为触觉特征；将手部关节角度信息转换为运动状态特征；将腕部运动信息转换为姿态变化特征；将工具末端六维力/力矩信息转换为动力学特征；将不同模态的特征映射至统一特征空间，获得能够表示人类腕手协同操作状态的多模态特征表示；

15、步骤2.2：在模型训练过程中，对输入数据中的部分信息进行随机隐藏；其中，至少将工具末端六维力/力矩信息进行掩码处理，使模型无法直接获取真实工具末端受力信息；同时，对部分触觉信息、手部关节姿态信息或者腕部运动信息进行随机掩码，使模型学习不同模态数据之间的关联关系；

16、步骤2.3：利用经过编码后的触觉信息、手部关节姿态信息以及腕部运动信息，对被隐藏的工具末端六维力/力矩信息进行预测；

17、通过上述训练方式，使模型学习手指接触压力变化、手部运动状态变化和腕部运动变化与工具末端力/力矩变化之间的映射关系，从而获得具有人类操作经验的腕手动力学预训练模型。

18、优选地，所述步骤3包括：

19、步骤3.1：根据实际机器人系统的机械结构、几何尺寸、关节连接关系及动力学参数，建立包含机械臂模型、灵巧手模型、操作工具模型和被操作物体模型的机器人仿真环境；

20、根据实际机械臂和灵巧手的结构参数，建立对应的机器人多刚体模型；获取机器人各连杆的几何模型、关节连接关系、关节类型、关节运动范围、质量、惯量以及驱动参数，并采用机器人描述文件对机器人结构进行定义，再转换为仿真平台可识别的模型格式，导入机器人仿真平台中；

21、机器人模型包括：

22、机械臂模型，用于描述机械臂各连杆之间的连接关系、关节运动范围以及末端运动状态；

23、灵巧手模型，用于描述各手指关节结构、运动范围以及手指末端运动状态；

24、操作工具模型，用于描述实际操作过程中使用的工具几何形状、质量、惯量以及接触区域；

25、被操作物体模型，用于描述操作对象的几何结构、质量、惯量以及与工具之间的接触关系；

26、根据真实操作环境设置机器人与操作对象之间的物理交互参数，包括碰撞属性、摩擦系数、接触刚度以及阻尼参数，使仿真环境能够模拟真实工具操作过程中的接触和受力状态；

27、步骤3.2：根据人体手部关节姿态、腕部运动轨迹以及工具末端运动状态，将采集的人体腕手工具操作数据映射至机器人仿真空间，使人体操作过程转换为机器人机械臂和灵巧手可执行的运动状态；包括：

28、步骤3.2.1：人体手部运动向机器人灵巧手关节空间映射；

29、根据触觉手套或动作采集设备获取的人体手部关节姿态信息，提取人体手部关键点位置、指尖位置以及各手指关节运动状态；

30、采用基于关键点约束的灵巧手运动重定向方法，建立人体手部关键点与机器人灵巧手对应关键点之间的映射关系；

31、通过优化人体关键点位置与机器人灵巧手关键点位置之间的误差，同时考虑机器人关节范围约束和运动连续性，求解机器人灵巧手目标关节状态：

32、

33、其中，表示机器人灵巧手目标关节状态；表示人体与机器人手部关键点匹配误差；表示关节轨迹连续性约束；表示机器人关节范围约束；为求使括号内目标函数达到最小值的自变量的数学运算符；

34、步骤3.2.2：人体腕部运动向机器人机械臂末端运动空间映射；

35、根据人体腕部运动信息，获取人体腕部位置和姿态变化，并将人体腕部运动轨迹转换至机器人机械臂末端坐标系；

36、根据人体腕部坐标系与机器人机械臂末端坐标系之间的映射关系：

37、

38、其中：表示人体腕部坐标系w相对于人体参考坐标系h的位姿变换矩阵；表示人体腕部坐标系到机器人机械臂末端坐标系之间的空间映射矩阵，用于描述人体尺寸、坐标方向以及安装位置差异；表示机器人机械臂末端目标位姿；

39、得到机器人机械臂末端目标位姿，并通过机器人逆运动学求解机械臂目标关节状态：

40、

41、其中：表示机器人机械臂逆运动学求解函数；表示机器人机械臂目标关节角度；

42、使机器人机械臂末端运动轨迹与人体腕部运动保持一致；

43、步骤3.2.3：人体工具操作状态向机器人任务目标轨迹映射；

44、在人体执行工具操作过程中，同步采集工具末端位姿变化，包括工具位置、姿态以及运动轨迹；

45、根据人体工具坐标系与机器人仿真工具坐标系之间的空间变换关系，将人体工具运动状态映射至机器人仿真环境：

46、

47、其中，表示人体操作过程中工具末端位姿，表示机器人仿真环境中的工具目标位姿；

48、根据映射后的工具运动轨迹，生成机器人执行任务时的目标状态，包括工具末端目标位置、工具末端目标姿态、工具运动方向以及工具操作过程中的接触状态；

49、步骤3.2.4：生成完整机器人腕手协同运动轨迹；

50、将获得的灵巧手目标关节轨迹、机械臂目标关节轨迹以及工具末端目标轨迹进行时间同步，形成机器人腕手协同操作轨迹：

51、

52、其中，为轨迹的总时间步数，为当前时刻的时间步索引；

53、所述轨迹作为机器人仿真环境中的参考操作数据，用于后续人类操作技能迁移、力信息监督学习以及机器人策略优化；

54、步骤3.3：利用步骤1采集的人类工具末端六维力/力矩信息，根据人体工具操作过程中的运动状态，将其转换至机器人仿真坐标系；得到机器人执行任务过程中的工具末端真实三维力和工具末端真实三维力矩，作为机器人仿真环境中的力监督标签；同时，将映射后的人类手部触觉信息以及机器人灵巧手本体状态作为模型输入。

55、优选地，所述步骤4包括：

56、步骤4.1：构建机器人力预测微调任务；

57、将机器人仿真环境中的灵巧手关节状态、灵巧手触觉状态和机器人末端运动状态输入至步骤2获得的预训练编码器；

58、利用编码器预测机器人执行当前任务所需的工具末端六维力/力矩：

59、

60、其中：为机器人灵巧手关节状态，为触觉信息，为机械臂状态，为预测工具末端六维力/力矩；encoder表示多模态特征编码网络，用于对机器人灵巧手本体状态、触觉信息以及机械臂运动状态进行特征提取和融合，并根据融合后的隐含特征预测工具末端力信息；

61、所述encoder包括：

62、输入特征映射模块，用于分别对关节状态、触觉信息以及机械臂运动状态进行特征编码，将不同模态的数据转换至统一特征空间；

63、多模态特征融合模块，用于建立不同模态信息之间的关联关系，获得包含机器人接触状态和操作动力学信息的融合特征；

64、力信息预测模块，用于根据融合特征输出工具末端六维力/力矩预测结果；

65、其中，所述encoder采用基于神经网络的特征编码结构实现，包括多层感知机、卷积神经网络、循环神经网络、transformer结构中的任意一种或多种；

66、步骤4.2：利用人类真实力信息作为监督信号优化编码器；

67、将步骤3.3获得的人类操作工具末端真实六维力/力矩作为监督标签，表达式为：

68、

69、其中：为工具末端三方向力；为工具末端三方向力矩，为矩阵转置符号；

70、通过预测力与真实力之间的误差优化预训练编码器参数，表达式为：

71、

72、使模型逐渐学习人手触觉分布与工具受力之间的关系、人体腕部运动与工具力矩之间的关系和人类操作动力学向机器人动力学空间的映射关系；

73、步骤4.3：在完成步骤4.2中基于人类真实工具操作力信息的监督微调后，将经过机器人动力学适配的编码器作为机器人控制策略的特征提取模块，并结合强化学习方法进一步优化机器人任务执行策略。

74、优选地，所述步骤4.3中，结合强化学习基于任务奖励进一步优化机器人控制策略，具体过程如下：

75、步骤4.3.1：机器人在执行工具操作任务过程中，获取当前时刻的状态信息：

76、

77、其中，表示机器人灵巧手关节状态，表示机器人灵巧手触觉反馈信息，表示机械臂状态，表示操作工具及被操作物体状态；

78、将上述状态输入步骤4.2中完成适配的编码器，得到包含人类操作动力学先验的隐含状态特征：

79、

80、其中，表示编码器输出的隐含操作特征；

81、步骤4.3.2：将编码器输出的隐含状态输入强化学习策略网络，根据当前任务状态生成机器人控制动作：

82、

83、其中，表示策略网络，表示机器人控制动作；

84、所述控制动作包括机械臂末端运动控制量、灵巧手关节控制量或末端力控制目标；

85、步骤4.3.3：机器人根据控制动作与仿真环境进行交互，并根据任务执行结果获得奖励信号：

86、

87、其中，表示任务完成奖励，表示接触稳定性奖励，表示任务执行误差惩罚，表示动作平滑性约束项，、、、分别为对应的权重系数；

88、对于工具操作任务，根据工具位姿变化、操作目标完成程度、接触保持状态以及滑移情况设置对应奖励；

89、步骤4.3.4：采用基于策略优化的强化学习方法，根据机器人执行任务过程中获得的累计奖励更新策略网络参数；

90、优化目标表示为：

91、

92、其中，表示策略网络参数，表示奖励折扣因子，为在策略网络控制下采样的轨迹上的数学期望运算符，为强化学习的优化目标函数；

93、通过最大化累计奖励：

94、

95、更新策略网络，使机器人能够利用编码器输出的人类操作动力学特征完成目标工具操作任务；

96、其中，为更新后的策略网络参数，为求使目标函数取最大值的参数的数学运算符；

97、步骤4.3.5：在强化学习训练过程中，根据任务执行效果对编码器和策略网络进行联合优化：

98、

99、其中，为联合优化的总损失，表示强化学习任务损失，表示力信息预测约束损失，表示联合优化权重；

100、在联合优化过程中，根据强化学习任务目标函数计算策略执行误差，并通过反向传播将梯度传递至编码器网络，使编码器参数根据机器人任务执行效果进行更新。

101、根据本发明提供的用于灵巧操作的人机腕手工具操作技能迁移系统，包括：

102、模块m1：采集人类腕手工具操作过程中的多模态操作数据；

103、模块m2：基于多模态操作数据训练人类腕手技能预训练模型；

104、模块m3：将人类腕手操作数据映射至机器人仿真环境；

105、模块m4：利用机器人仿真环境微调人类预训练编码器；

106、模块m5：将优化后的模型应用于真实机器人系统，实现人机腕手技能迁移；

107、所述模块m1中，在人体执行借助手指摩擦力完成工具操作任务时，通过触觉手套、动作捕捉设备以及工具末端力传感设备采集人类操作过程中的多模态数据；所述多模态数据包括：手指及手掌区域的触觉压力信息、手部关节角度信息、腕部运动信息和工具末端六维力/力矩信息；所述工具操作任务包括擦抹、拧动、扫除、切割工具操作任务；所述操作对象为具有规则几何形状的刚性物体；通过上述数据采集过程，获得包含人类操作运动信息和动力学信息的人类腕手操作数据集；

108、所述模块m2中，利用模块m1中获得的人类腕手操作数据集，对包含触觉信息、手部关节信息以及工具末端六维力/力矩信息的数据进行特征学习，获得具有人类操作经验的预训练模型；

109、所述模块m3中，将模块m1采集的人类腕手操作数据映射至机器人仿真平台，建立人类操作数据与机器人执行状态之间的对应关系；

110、所述模块m4中，利用模块m3建立的人类操作数据与机器人状态对应关系，对模块m2获得的人类腕手技能预训练模型进行机器人适应性微调；

111、所述模块m5中，将经过强化学习优化后的预训练模型部署至真实机器人系统，在机器人执行模仿学习、遥操作或者自主操作任务时，获取机器人灵巧手的关节角度信息、关节运动信息和触觉反馈信息，将上述信息输入优化后的预训练模型，输出机械臂执行工具操作所需的三维力控制量、三维力矩控制量和腕部辅助运动信息。

112、优选地，所述模块m2包括：

113、模块m2.1：将采集得到的触觉压力信息、手部关节姿态信息、腕部运动信息以及工具末端力/力矩信息分别进行特征编码；其中，将触觉压力信息转换为触觉特征；将手部关节角度信息转换为运动状态特征；将腕部运动信息转换为姿态变化特征；将工具末端六维力/力矩信息转换为动力学特征；将不同模态的特征映射至统一特征空间，获得能够表示人类腕手协同操作状态的多模态特征表示；

114、模块m2.2：在模型训练过程中，对输入数据中的部分信息进行随机隐藏；其中，至少将工具末端六维力/力矩信息进行掩码处理，使模型无法直接获取真实工具末端受力信息；同时，对部分触觉信息、手部关节姿态信息或者腕部运动信息进行随机掩码，使模型学习不同模态数据之间的关联关系；

115、模块m2.3：利用经过编码后的触觉信息、手部关节姿态信息以及腕部运动信息，对被隐藏的工具末端六维力/力矩信息进行预测；

116、通过上述训练方式，使模型学习手指接触压力变化、手部运动状态变化和腕部运动变化与工具末端力/力矩变化之间的映射关系，从而获得具有人类操作经验的腕手动力学预训练模型。

117、优选地，所述模块m3包括：

118、模块m3.1：根据实际机器人系统的机械结构、几何尺寸、关节连接关系及动力学参数，建立包含机械臂模型、灵巧手模型、操作工具模型和被操作物体模型的机器人仿真环境；

119、根据实际机械臂和灵巧手的结构参数，建立对应的机器人多刚体模型；获取机器人各连杆的几何模型、关节连接关系、关节类型、关节运动范围、质量、惯量以及驱动参数，并采用机器人描述文件对机器人结构进行定义，再转换为仿真平台可识别的模型格式，导入机器人仿真平台中；

120、机器人模型包括：

121、机械臂模型，用于描述机械臂各连杆之间的连接关系、关节运动范围以及末端运动状态；

122、灵巧手模型，用于描述各手指关节结构、运动范围以及手指末端运动状态；

123、操作工具模型，用于描述实际操作过程中使用的工具几何形状、质量、惯量以及接触区域；

124、被操作物体模型，用于描述操作对象的几何结构、质量、惯量以及与工具之间的接触关系；

125、根据真实操作环境设置机器人与操作对象之间的物理交互参数，包括碰撞属性、摩擦系数、接触刚度以及阻尼参数，使仿真环境能够模拟真实工具操作过程中的接触和受力状态；

126、模块m3.2：根据人体手部关节姿态、腕部运动轨迹以及工具末端运动状态，将采集的人体腕手工具操作数据映射至机器人仿真空间，使人体操作过程转换为机器人机械臂和灵巧手可执行的运动状态；包括：

127、模块m3.2.1：人体手部运动向机器人灵巧手关节空间映射；

128、根据触觉手套或动作采集设备获取的人体手部关节姿态信息，提取人体手部关键点位置、指尖位置以及各手指关节运动状态；

129、采用基于关键点约束的灵巧手运动重定向方法，建立人体手部关键点与机器人灵巧手对应关键点之间的映射关系；

130、通过优化人体关键点位置与机器人灵巧手关键点位置之间的误差，同时考虑机器人关节范围约束和运动连续性，求解机器人灵巧手目标关节状态：

131、

132、其中，表示机器人灵巧手目标关节状态；表示人体与机器人手部关键点匹配误差；表示关节轨迹连续性约束；表示机器人关节范围约束；为求使括号内目标函数达到最小值的自变量的数学运算符；

133、模块m3.2.2：人体腕部运动向机器人机械臂末端运动空间映射；

134、根据人体腕部运动信息，获取人体腕部位置和姿态变化，并将人体腕部运动轨迹转换至机器人机械臂末端坐标系；

135、根据人体腕部坐标系与机器人机械臂末端坐标系之间的映射关系：

136、

137、其中：表示人体腕部坐标系w相对于人体参考坐标系h的位姿变换矩阵；表示人体腕部坐标系到机器人机械臂末端坐标系之间的空间映射矩阵，用于描述人体尺寸、坐标方向以及安装位置差异；表示机器人机械臂末端目标位姿；

138、得到机器人机械臂末端目标位姿，并通过机器人逆运动学求解机械臂目标关节状态：

139、

140、其中：表示机器人机械臂逆运动学求解函数；表示机器人机械臂目标关节角度；

141、使机器人机械臂末端运动轨迹与人体腕部运动保持一致；

142、模块m3.2.3：人体工具操作状态向机器人任务目标轨迹映射；

143、在人体执行工具操作过程中，同步采集工具末端位姿变化，包括工具位置、姿态以及运动轨迹；

144、根据人体工具坐标系与机器人仿真工具坐标系之间的空间变换关系，将人体工具运动状态映射至机器人仿真环境：

145、

146、其中，表示人体操作过程中工具末端位姿，表示机器人仿真环境中的工具目标位姿；

147、根据映射后的工具运动轨迹，生成机器人执行任务时的目标状态，包括工具末端目标位置、工具末端目标姿态、工具运动方向以及工具操作过程中的接触状态；

148、模块m3.2.4：生成完整机器人腕手协同运动轨迹；

149、将获得的灵巧手目标关节轨迹、机械臂目标关节轨迹以及工具末端目标轨迹进行时间同步，形成机器人腕手协同操作轨迹：

150、

151、其中，为轨迹的总时间步数，为当前时刻的时间步索引；

152、所述轨迹作为机器人仿真环境中的参考操作数据，用于后续人类操作技能迁移、力信息监督学习以及机器人策略优化；

153、模块m3.3：利用模块m1采集的人类工具末端六维力/力矩信息，根据人体工具操作过程中的运动状态，将其转换至机器人仿真坐标系；得到机器人执行任务过程中的工具末端真实三维力和工具末端真实三维力矩，作为机器人仿真环境中的力监督标签；同时，将映射后的人类手部触觉信息以及机器人灵巧手本体状态作为模型输入。

154、优选地，所述模块m4包括：

155、模块m4.1：构建机器人力预测微调任务；

156、将机器人仿真环境中的灵巧手关节状态、灵巧手触觉状态和机器人末端运动状态输入至模块m2获得的预训练编码器；

157、利用编码器预测机器人执行当前任务所需的工具末端六维力/力矩：

158、

159、其中：为机器人灵巧手关节状态，为触觉信息，为机械臂状态，为预测工具末端六维力/力矩；encoder表示多模态特征编码网络，用于对机器人灵巧手本体状态、触觉信息以及机械臂运动状态进行特征提取和融合，并根据融合后的隐含特征预测工具末端力信息；

160、所述encoder包括：

161、输入特征映射模块，用于分别对关节状态、触觉信息以及机械臂运动状态进行特征编码，将不同模态的数据转换至统一特征空间；

162、多模态特征融合模块，用于建立不同模态信息之间的关联关系，获得包含机器人接触状态和操作动力学信息的融合特征；

163、力信息预测模块，用于根据融合特征输出工具末端六维力/力矩预测结果；

164、其中，所述encoder采用基于神经网络的特征编码结构实现，包括多层感知机、卷积神经网络、循环神经网络、transformer结构中的任意一种或多种；

165、模块m4.2：利用人类真实力信息作为监督信号优化编码器；

166、将模块m3.3获得的人类操作工具末端真实六维力/力矩作为监督标签，表达式为：

167、

168、其中：为工具末端三方向力；为工具末端三方向力矩，为矩阵转置符号；

169、通过预测力与真实力之间的误差优化预训练编码器参数，表达式为：

170、

171、使模型逐渐学习人手触觉分布与工具受力之间的关系、人体腕部运动与工具力矩之间的关系和人类操作动力学向机器人动力学空间的映射关系；

172、模块m4.3：在完成模块m4.2中基于人类真实工具操作力信息的监督微调后，将经过机器人动力学适配的编码器作为机器人控制策略的特征提取模块，并结合强化学习方法进一步优化机器人任务执行策略。

173、优选地，所述模块m4.3中，结合强化学习基于任务奖励进一步优化机器人控制策略，具体过程如下：

174、模块m4.3.1：机器人在执行工具操作任务过程中，获取当前时刻的状态信息：

175、

176、其中，表示机器人灵巧手关节状态，表示机器人灵巧手触觉反馈信息，表示机械臂状态，表示操作工具及被操作物体状态；

177、将上述状态输入模块m4.2中完成适配的编码器，得到包含人类操作动力学先验的隐含状态特征：

178、

179、其中，表示编码器输出的隐含操作特征；

180、模块m4.3.2：将编码器输出的隐含状态输入强化学习策略网络，根据当前任务状态生成机器人控制动作：

181、

182、其中，表示策略网络，表示机器人控制动作；

183、所述控制动作包括机械臂末端运动控制量、灵巧手关节控制量或末端力控制目标；

184、模块m4.3.3：机器人根据控制动作与仿真环境进行交互，并根据任务执行结果获得奖励信号：

185、

186、其中，表示任务完成奖励，表示接触稳定性奖励，表示任务执行误差惩罚，表示动作平滑性约束项，、、、分别为对应的权重系数；

187、对于工具操作任务，根据工具位姿变化、操作目标完成程度、接触保持状态以及滑移情况设置对应奖励；

188、模块m4.3.4：采用基于策略优化的强化学习方法，根据机器人执行任务过程中获得的累计奖励更新策略网络参数；

189、优化目标表示为：

190、

191、其中，表示策略网络参数，表示奖励折扣因子，为在策略网络控制下采样的轨迹上的数学期望运算符，为强化学习的优化目标函数；

192、通过最大化累计奖励：

193、

194、更新策略网络，使机器人能够利用编码器输出的人类操作动力学特征完成目标工具操作任务；

195、其中，为更新后的策略网络参数，为求使目标函数取最大值的参数的数学运算符；

196、模块m4.3.5：在强化学习训练过程中，根据任务执行效果对编码器和策略网络进行联合优化：

197、

198、其中，为联合优化的总损失，表示强化学习任务损失，表示力信息预测约束损失，表示联合优化权重；

199、在联合优化过程中，根据强化学习任务目标函数计算策略执行误差，并通过反向传播将梯度传递至编码器网络，使编码器参数根据机器人任务执行效果进行更新。

200、与现有技术相比，本发明具有如下的有益效果：

201、（1）本发明通过采用基于触觉信息、手部关节信息以及工具末端力信息的多模态数据采集结构，解决了现有触觉手套无法直接获取人体工具操作过程中的腕部操作力和六维力/力矩信息的问题，达到了利用普通触觉设备获取人类腕手操作动力学信息的效果；

202、（2）本发明通过采用基于掩码机制的自编码预训练结构，解决了现有机器人技能学习方法依赖完整力传感器数据、难以学习人类腕手协同操作规律的问题，达到了根据手指触觉信息和本体状态推断工具末端受力情况的效果；

203、（3）本发明通过采用结合机器人仿真环境和强化学习优化的人机技能适配结构，解决了人类操作轨迹直接迁移过程中由于人体与机器人之间存在结构差异、运动学差异以及动力学差异导致机器人执行效果下降的问题，达到了提高机器人灵巧操作任务泛化能力和成功率的效果。