手状态预测方法及装置
本说明书实施例涉及数据处理,特别涉及手状态预测方法。
背景技术:
1、双手协作是人体完成复杂操作任务的重要运动模式,诸如叠衣服、折叠纸张、拧瓶盖、打绳结、整理柔性物体、协同抓取和装配操作等任务均依赖双侧手在时序和空间上的协同。对于单侧手功能受限人群,如单侧截肢患者、偏瘫患者或单侧运动障碍患者,如何基于健侧手实时运动状态推断患侧协作动作,并驱动辅助装置实现自然双侧协同,是人机协同领域的重要研究问题,在日常生活辅助、智能假肢控制、人机协同作业、康复训练及协作机器人辅助等场景中具有广泛应用。
2、现有双手协作辅助方法主要包括基于规则映射的镜像控制方法、基于双侧肌电信号驱动的协同控制方法以及基于双侧动作直接观测的监督学习方法。其中,基于规则映射的方法通常采用预定义镜像映射或固定动作模板,根据健侧动作生成患侧对称运动。该类方法实现简单,但难以处理复杂任务中大量存在的非对称协作动作,如打绳结、叠衣服、柔性装配等;基于双侧肌电或双侧运动同步观测的方法能够学习双手协作关系,但通常要求同时采集双侧高质量生理或运动信号。在实际辅助应用中,患侧往往缺乏可靠主动控制能力,无法稳定提供可用观测信息,导致该类方法适用范围受限。
3、实际上,对于具体的双手协作任务而言,尽管不同操作者的动作路径、执行速度和局部调整过程可能存在明显差异,但任务对象的状态演化过程往往具有较强的一致性。例如在叠衣服任务中,不同人每次叠出的最终形状不可能完全相同,但衣物从展开、折叠、压平到整理完成的整体状态变化过程具有相似规律。进一步地,在双手协作任务中,协作动作的合理生成既依赖当前观测手的运动状态,还与任务对象所处操作阶段密切相关。例如,在双手折纸/装配任务中,相同的健侧动作在任务不同推进阶段可能对应不同的协作侧动作响应。现有方法通常采用时间同步或固定窗口方式建立动作关联,难以准确反映任务执行过程中由于速度变化、节奏差异及个体操作风格不同所导致的任务阶段偏移问题。此外,双手协作本质上具有多解性。对于相同观测侧动作状态,协作侧往往存在多个合理动作响应方式。现有确定性预测方法通常仅输出单一估计结果,难以刻画协作动作的不确定性和多样性,从而限制了预测的自然性和鲁棒性。
4、在视觉感知方面,现有方法常利用摄像头获取手部或任务场景图像,但视觉信息容易受到手部遮挡、物体遮挡、光照变化和视角变化等因素影响,且视觉传感器难以直接获取手部接触力信息。因此,仅依赖视觉方法难以完整描述双手协作任务中的力位耦合关系。相比之下,数据手套等手部多模态采集装置能够较稳定地获得手指弯曲角度、手部空间位姿和接触力等信息,适合用于离线训练阶段建立双手协作数据集;但在在线应用阶段,若仍要求双侧均佩戴采集设备,则会限制系统在假肢控制、康复训练和自然人机交互等场景中的实用性。
5、近年来,随大语言模型技术的发展,视觉-语言-动作(vision-language-action,vla)模型被广泛用于机器人技能学习与自主操作。该类方法通过构建大规模视觉、语言及动作联合建模框架,使机器人学习复杂操作技能,并在训练完成后根据环境观测自主生成动作控制策略。然而,vla类方法主要面向机器人自主技能生成,其技术路线与实时人机协同辅助存在显著差异。首先,该类方法通常依赖海量数据及大规模基础模型训练,对计算资源和训练成本要求较高,不适用于任务样本规模有限的特定辅助场景。其次,vla模型在完成训练后通常生成相对独立的自主控制策略,其在线执行过程主要依据环境状态进行动作生成,难以满足单侧观测条件下“人-机持续闭环协同”的应用需求。
6、由此,亟需一种更好的方案。
技术实现思路
1、有鉴于此,本说明书实施例提供了手状态预测方法。本说明书一个或者多个实施例同时涉及手状态预测装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
2、根据本说明书实施例的第一方面,提供了一种手状态预测方法,方法包含离线训练阶段与在线预测阶段;
3、离线训练阶段包括:通过手部多模态采集装置同步采集双侧手部状态数据,并通过视觉采集设备采集任务对象在双手协作任务执行过程中的状态变化视频,以构建双手协作任务训练数据集,并利用训练数据集训练条件扩散生成模型;
4、在线预测阶段包括:采集观测侧手部实时状态数据与当前任务执行视频,对当前任务执行视频中的任务对象状态与参考任务对象状态演化轨迹进行动态对齐以确定当前任务执行阶段,根据当前任务执行阶段构建任务推进目标状态域,将观测侧手部时序特征、当前任务对象状态特征以及任务推进目标状态域共同作为条件输入,调用训练完成的条件扩散生成模型,预测协作侧手部状态;
5、协作侧手部状态包含协作侧手指关节弯曲角度、协作侧手部空间位姿以及协作侧接触力分布或接触力大小。
6、在一种可能的实现方式中,离线训练阶段中,多个操作者或同一操作者多次执行目标双手协作任务以形成多组训练样本,每组训练样本包含左手状态序列、右手状态序列和任务对象视频序列;左手状态序列和右手状态序列均由各采样时刻的单只手状态构成,单只手状态包含手指关节弯曲角度向量、手部空间位姿以及接触力分布或接触力大小;手指关节弯曲角度向量由多个手指关节自由度分别对应的弯曲角度构成,手部空间位姿由手部空间位置坐标与手部姿态角构成,接触力分布或接触力大小由多个接触力采集区域分别对应的接触力构成。
7、在一种可能的实现方式中,离线训练阶段还包括:将任务对象视频输入视觉编码器,对任务对象在各时刻的视觉状态进行编码以得到任务对象潜在状态向量,并由各时刻的任务对象潜在状态向量构成参考任务对象状态演化轨迹。
8、在一种可能的实现方式中,离线训练阶段还包括观测侧手部时序特征构建步骤:选定一侧手作为观测侧且另一侧手作为协作侧,获取观测侧手部在当前时刻之前的历史时间窗口数据,将历史时间窗口数据输入时序编码器以得到观测侧手部时序运动特征,时序编码器采用transformer编码器结构。
9、在一种可能的实现方式中,对当前任务执行视频中的任务对象状态与参考任务对象状态演化轨迹进行动态对齐以确定当前任务执行阶段的过程包括:通过训练完成的视觉编码器获取当前任务对象潜在状态,计算当前任务对象潜在状态与参考任务对象状态演化轨迹中各参考状态之间的距离,将距离最小的参考状态所在位置确定为当前任务执行阶段对应的参考轨迹位置。
10、在一种可能的实现方式中,根据当前任务执行阶段构建任务推进目标状态域的过程包括:在参考任务对象状态演化轨迹中,选取当前任务执行阶段对应的参考轨迹位置之后的多个连续参考状态构成未来参考窗口,计算未来参考窗口内各参考状态的均值与协方差,将以均值与协方差作为参数的高斯分布确定为任务推进目标状态域。
11、在一种可能的实现方式中,条件扩散生成模型的训练过程包括:从训练数据集中获取观测侧手部时序运动特征、当前任务对象状态特征以及任务推进目标状态域作为条件输入,并将协作侧下一时刻手部状态作为无噪声目标状态向量;对无噪声目标状态向量执行前向扩散加噪,得到带噪状态向量;构建条件去噪网络,以带噪状态向量、扩散步数以及条件输入作为条件去噪网络的输入,以前向扩散过程中加入的真实噪声作为监督信号,训练条件去噪网络预测噪声成分;通过最小化真实噪声与预测噪声之间的误差,联合优化视觉编码器的参数、时序编码器的参数以及条件去噪网络的参数,获得训练完成的条件扩散生成模型。
12、根据本说明书实施例的第二方面,提供了一种手状态预测装置,包括:
13、离线训练模块,被配置为通过手部多模态采集装置同步采集双侧手部状态数据,并通过视觉采集设备采集任务对象在双手协作任务执行过程中的状态变化视频,以构建双手协作任务训练数据集,并利用训练数据集训练条件扩散生成模型;
14、在线预测模块,被配置为采集观测侧手部实时状态数据与当前任务执行视频,对当前任务执行视频中的任务对象状态与参考任务对象状态演化轨迹进行动态对齐以确定当前任务执行阶段,根据当前任务执行阶段构建任务推进目标状态域,将观测侧手部时序特征、当前任务对象状态特征以及任务推进目标状态域共同作为条件输入,调用训练完成的条件扩散生成模型,预测协作侧手部状态;
15、协作侧手部状态包含协作侧手指关节弯曲角度、协作侧手部空间位姿以及协作侧接触力分布或接触力大小。
16、根据本说明书实施例的第三方面,提供了一种计算设备,包括:
17、存储器和处理器;
18、存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现上述手状态预测方法的步骤。
19、根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述手状态预测方法的步骤。
20、根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当计算机程序在计算机中执行时,令计算机执行上述手状态预测方法的步骤。
21、本说明书实施例提供手状态预测方法及装置,其中所述手状态预测方法包括:包括离线训练与在线预测。离线采集双侧手部状态及任务对象视频,训练条件扩散生成模型。在线采集观测侧手部实时状态与视频,通过任务对象状态与参考轨迹动态对齐确定任务阶段,构建任务推进目标状态域,以观测侧时序特征、当前对象状态及目标域为条件,调用模型预测协作侧手指弯曲角度、空间位姿及接触力。本发明降低了对双侧观测的依赖,提高了预测与任务阶段的一致性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com