一种基于VLA的具身智能机器人脉搏数据采集及模型训练方法与流程
本发明涉及人工智能与机器人,尤其涉及一种基于视觉-语言-动作模型(vision-language-action,vla)的具身智能机器人脉搏数据自动化采集及模型训练方法。
背景技术:
1、随着机器人技术的发展,包括工业、医疗、商超在内的各类场景迎来了新一轮的机器人应用浪潮。其中以视觉-语言-动作模型(vision-language-action,vla)为代表的机器人算法尤为突出,这一类算法以用户指令,图像信息,机械臂状态,传感器数据等一系列数据为基础。能够自主理解,拆分用户任务,规划任务流程,并直接输出关节动作以完成任务。这样的算法不但能够根据用户的自然语言完成任务,且在任务完成前,能实时的观察场景状态,即便是被操作的物体发生了位移等常见变化,算法也能实时的更新接下来的动作以确保动作的完成。这些特性使得vla算法在医疗操作领域有着很广阔的前景。目前,自动化把脉系统通常依赖预设轨迹、固定位置识别或分阶段控制策略完成脉搏采集。然而,由于人体手腕位置、姿态及个体差异具有较大的随机性,现有技术普遍存在以下问题:(1)对自然语言指令的理解能力有限,难以根据用户需求自主执行把脉任务;(2)把脉位置定位不准确时,缺乏基于脉搏反馈的自主调整能力,难以持续优化机械臂姿态;(3)对环境变化及人体姿态变化的适应能力不足,鲁棒性较差,脉搏采集成功率较低;(4)缺少面向自动化把脉场景的高质量训练数据构建方法,限制了具身智能模型在脉搏采集任务中的应用效果。因此,亟需提供一种基于vla的具身智能机器人脉搏数据采集及模型训练方法,以解决上述技术问题。
技术实现思路
1、有鉴于此,本发明提供了一种基于vla的具身智能机器人脉搏数据采集及模型训练方法,用户可以通过语言引导机器人开始把脉任务,任务开始后机械臂会实时的寻找用户腕部的把脉点位,并根据传感器数据进行端到端的采集从而完成把脉任务。
2、为了实现上述目的,本发明提供如下技术方案:
3、一种基于vla的具身智能机器人脉搏数据采集方法,包括以下步骤:
4、s1、接收用户的语言指令开始采集任务,触发具身智能机器人的脉搏数据采集任务指令;
5、s2、获取各类观察值数据:
6、s21.通过llm大语言模型对用户输入的自然语言指令进行编码,生成提示词token;
7、s22.观察值数据包括视觉图像数据和机械臂状态数据,将观察值数据中的视觉图像数据输入vit视觉模型,将机械臂状态数据输入状态网络,输出视觉与状态特征;
8、s3、将提示词token和视觉与状态特征进行特征对齐,得到对齐后的特征;
9、s4、将对齐后的特征输入一个diffusion的去噪模型生成最终的动作序列;
10、s5、开始采集脉搏数据,根据脉搏的波形特征是否符合人类脉搏的特征,判断采集到的脉搏是否合格;若不满足,则调整动作参数,重新执行s2;若满足,则执行s6;
11、s6、持续采集用户的脉搏数据直至收集到足够数据。
12、可选的,s21中输入的自然语言指令包括手动文字输入,语音转化为文字输入以及通过手机app程序按钮触发的对应指令。
13、可选的,s22中观察值数据包括:视觉图像数据、机械臂状态数据和脉象传感器采集的脉搏信号数据;
14、其中,视觉图像数据,包括机器人头部相机采集的环境图像数据和机械臂末端相机采集的腕部图像数据。
15、可选的,s3中视觉图像数据通过视觉编码网络提取视觉特征,机械臂状态数据通过状态编码网络提取状态特征;视觉特征、状态特征组成视觉与状态特征,视觉与状态特征和提示词token进行跨模态特征对齐后形成统一特征表示。
16、可选的,s4中将对齐后的特征输入一个diffusion的去噪模型生成最终的动作序列,动作序列为[关节1,关节2,关节3,,关节n,灵巧手开合状态,脉象标识符];其中,前n位数据对应n轴人形机械臂下一帧的各关节动作数据,第n+1位为灵巧手开合状态数据,第n+2位脉象标识符为表征脉象传感器是否贴合人体腕部、获取合格脉搏数据的标识。
17、一种基于vla的具身智能机器人把脉模型训练方法,执行上述任一项的一种基于vla的具身智能机器人脉搏数据采集方法,包括:
18、通过人工vr遥操方式操控机器人n轴机械臂及灵巧手完成标准化把脉动作;
19、在机械臂运动全过程中,持续激活头部相机、手部相机、关节角传感器、脉象传感器,实时采集每一帧的观察值数据;
20、同步记录每一帧数据对应的后续关节运动轨迹、灵巧手动作状态、脉搏捕获结果,对每一帧数据进行标签标注:将成功捕获合格脉搏数据的帧对应的脉象标识符置为1,未成功捕获的帧对应的脉象标识符置为0;
21、将每一帧的观察值数据与对应标注标签打包为[关节1,关节2,关节3,,关节n,灵巧手开合状态,脉象标识符]的lerobot标准格式的训练样本数据集;
22、采用lerobot标准格式的训练样本数据集对vla模型进行监督训练,使vla模型学习不同人体手腕形态、不同手腕摆放姿态下的最优把脉动作,实现自主调整把脉点位。
23、可选的,还包括对采集到的观察值数据使用基于姿态骨架识别网络进行预处理,预先找到人体手腕在rgb图像中的位置并进行裁切,仅使用裁切的部分进行训练。
24、可选的,脉象标识符根据脉搏信号质量自动生成;当脉搏信号满足预设质量阈值时,脉象标识符记为1;否则记为0;在训练后根据标志位决定继续迭代还是开始正式采集。
25、可选的,脉象标识符作为动作生成模型的输出变量参与训练和推理过程,并用于指示当前机械臂姿态下是否能够获得满足质量要求的脉搏数据。
26、可选的,采用lerobot标准格式的训练样本数据集对vla模型进行监督训练的具体步骤为:将观察值数据作为输入;将对应动作标签和脉象标识符作为监督信号;采用监督学习方式训练vla模型;通过最小化vla模型输出动作与标签动作之间的误差更新模型参数;直至模型能够根据观察值数据自主生成机械臂动作序列。
27、经由上述的技术方案可知,与现有技术相比,本发明提供了一种基于vla的具身智能机器人脉搏数据采集及模型训练方法,具有以下有益效果:
28、(1)本发明中用户可以通过语言引导机器人开始把脉任务,任务开始后机械臂会实时的寻找用户腕部的把脉点位,并根据传感器数据进行端到端的采集和完成任务;
29、(2)本发明采用一个端到端的vla模型,其使用一个语言模型与改进的vit视觉网络进行语言-视觉特征对齐,然后使用一个diffusion的去噪模型生成最终的动作,以此从语言指令到把脉动作的生成;还结合了关键点检测算法来强化vla的效果,使其能在用户移动手臂,歪放等情况下也能具有很高的成功率和很强的鲁棒性;
30、(3)本发明采用全新的数据标注理念,在训练过程中加入脉象数据以推导停止符,当脉象数据不符合正确把脉的特征时,机械臂会自动的调整指腹位置直到特征相符并生成终止信号;
31、(4)本发明采用基于腕部关节识别算法的图像过滤技术,屏蔽背景加强系统对外部环境的抗干扰能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com