数据增强的方法、装置、设备及存储介质与流程
本技术涉及计算机,具体涉及大数据处理技术、大模型训练技术等,特别涉及一种数据增强的方法、装置、设备及存储介质。
背景技术:
1、具身智能是指智能体通过视觉、语言、触觉、位姿、力觉等传感器感知物理环境,并通过机械臂、移动底盘、灵巧手或其他执行机构作用于物理环境,以完成指定任务的人工智能技术。视觉语言动作模型(vision-language-action,vla模型),是具身智能领域的重要模型类型。
2、目前,相关技术的vla模型训练时,通常vla模型接收场景图像或视频序列、自然语言任务指令、机器人自身状态,以及历史观测和历史动作等训练样本数据,经过视觉编码、语言编码及多模态融合处理后,输出机器人动作,但是,用于模型训练的样本存在着诸多缺陷和局限,导致模型对复杂具身任务的语言理解能力、状态动作对应能力和任务执行稳定性的不佳。
技术实现思路
1、本技术提供了一种数据增强的方法、装置、设备及存储介质,可以解决了由于训练数据的缺陷所导致的vla模型学习效果不佳的问题,所述技术方案如下:
2、第一方面,提供了一种数据增强的方法,所述方法包括:
3、获取待处理的示教数据,所述示教数据包括视觉数据、机器人状态数据、动作序列以及与动作序列对应的语言指令;
4、基于所述语言指令,构建任务层次语义图谱,所述任务层次语义图谱包括根任务节点、子任务节点、原子动作节点;
5、基于所述视觉数据、机器人状态数据、动作序列,利用预设的对齐策略,分别获得所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据;
6、基于所述根任务节点、子任务节点、原子动作节点,利用预设的语言指令增强策略,分别获得根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据;
7、基于所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据,以及根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据,确定训练样本数据;
8、基于所述训练样本数据,对待训练的视觉语言动作模型进行训练处理。
9、在一种可能的实现方式中,所述基于所述语言指令,构建任务层次语义图谱,包括:
10、对所述语言指令进行任务语义解析处理,以获得任务要素信息;
11、基于所述任务要素信息,生成根任务节点、子任务节点、原子动作节点、以及节点之间的关系;
12、基于根任务节点、子任务节点、原子动作节点、以及节点之间的关系,构建任务层次语义图谱。
13、在一种可能的实现方式中,所述基于所述视觉数据、机器人状态数据、动作序列,利用预设的对齐策略,分别获得所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据,包括:
14、基于所述根任务节点、子任务节点、原子动作节点对应的任务执行时间区间,分别确定所述根任务节点、子任务节点、原子动作节点对应的任务执行片段;
15、基于所述视觉数据、机器人状态数据、动作序列,分别提取出每个任务执行片段的任务起始状态数据、片段动作序列和任务终止状态数据;
16、分别确定所述根任务节点、子任务节点、原子动作节点的任务类型;
17、基于预设的任务类型与判据对应关系,分别获得所述根任务节点、子任务节点、原子动作节点的任务完成判据;
18、在一种可能的实现方式中,所述基于所述根任务节点、子任务节点、原子动作节点,利用预设的语言指令增强策略,分别获得根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据,包括:
19、基于所述根任务节点、子任务节点、原子动作节点,获得根任务级语言指令、子任务级语言指令、动作级语言指令;
20、对所述根任务级语言指令、子任务级语言指令、动作级语言指令分别进行语义变换处理,以获得候选根任务级语言指令变体、候选子任务级语言指令变体、候选动作级语言指令变体;
21、基于所述任务级语言指令、子任务级语言指令、动作级语言指令,对根候选任务级语言指令变体、候选子任务级语言指令变体、候选动作级语言指令变体分别进行校验处理,以获得根任务级语言指令变体、子任务级语言指令变体、动作级语言指令变体;
22、基于根任务级语言指令、子任务级语言指令、动作级语言指令、根任务级语言指令变体、子任务级语言指令变体、动作级语言指令变体,分别获得根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据。
23、在一种可能的实现方式中,基于所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据,以及根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据,确定训练样本数据,包括:
24、基于根任务级语言指令增强数据与根任务节点的起始状态数据、片段动作序列和任务终止状态数据,得到根任务级样本数据;
25、基于子任务级语言指令增强数据与子任务节点的起始状态数据、片段动作序列和任务终止状态数据,得到子任务级样本数据;
26、基于动作级语言指令增强数据与原子动作节点的起始状态数据、片段动作序列和任务终止状态数据,得到动作级样本数据;
27、基于所述根任务级样本数据、子任务级样本数据和动作级样本数据,获得训练样本数据。
28、在一种可能的实现方式中,所述基于所述训练样本数据,对待训练的视觉语言动作模型进行训练处理,包括:
29、基于所述训练样本数据,按照预设的选取比例,对所述根任务级样本数据、子任务级样本数据和动作级样本数据进行选取处理;
30、基于所述选取处理的结果,对待训练的视觉语言动作模型进行训练处理,以获得训练评估信息;
31、响应于所述训练评估信息为高风险情况,对所述预设的选取比例进行调整处理;
32、基于所述训练样本数据,按照所述调整处理的结果,对所述根任务级样本数据、子任务级样本数据和动作级样本数据进行更新选取处理,以基于所述更新选取处理的结果,对待训练的视觉语言动作模型进行训练处理。
33、第二方面,提供了一种数据增强的装置,所述装置包括:
34、获取单元,用于获取待处理的示教数据,所述示教数据包括视觉数据、机器人状态数据、动作序列以及与动作序列对应的语言指令;
35、构建单元,用于基于所述语言指令,构建任务层次语义图谱,所述任务层次语义图谱包括根任务节点、子任务节点、原子动作节点;
36、对齐单元,用于基于所述视觉数据、机器人状态数据、动作序列,利用预设的对齐策略,分别获得所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据;
37、增强单元,用于基于所述根任务节点、子任务节点、原子动作节点,利用预设的语言指令增强策略,分别获得根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据;
38、确定单元,用于基于所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据,以及根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据,确定训练样本数据;
39、训练单元,用于基于所述训练样本数据,对待训练的视觉语言动作模型进行训练处理。
40、第三方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的方面和任一可能的实现方式的方法。
41、第四方面,提供了一种电子设备,包括:
42、至少一个处理器;以及
43、与所述至少一个处理器通信连接的存储器;其中,
44、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的方面和任一可能的实现方式的方法。
45、第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上所述的方面和任一可能的实现方式的方法。
46、本技术提供的技术方案的有益效果至少包括:
47、由上述技术方案可知,本技术实施例可以通过获取待处理的示教数据,所述示教数据包括视觉数据、机器人状态数据、动作序列以及与动作序列对应的语言指令,基于所述语言指令,构建任务层次语义图谱,所述任务层次语义图谱包括根任务节点、子任务节点、原子动作节点,基于所述视觉数据、机器人状态数据、动作序列,利用预设的对齐策略,分别获得所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据,基于所述根任务节点、子任务节点、原子动作节点,利用预设的语言指令增强策略,分别获得根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据,基于所述根任务节点、子任务节点、原子动作节点的任务起始状态数据、片段动作序列、任务终止状态数据和任务完成判据,以及根任务级语言指令增强数据、子任务级语言指令增强数据、动作级语言指令增强数据,确定训练样本数据,基于所述训练样本数据,对待训练的视觉语言动作模型进行训练处理,由于可以通过在不显著增加真实机器人示教数据采集成本的情况下,根据机器人具身任务的层次结构,将原始语言指令生成多个具有不同级别粒度的语言指令增强数据,并将语言指令增强数据与机器人执行过程中的起始状态、动作序列、终止状态及任务完成判据结合得到训练样本数据,自动构造多粒度指令—起始状态—动作序列—终止状态—完成判据五元的训练样本数据,以用于对视觉语言动作模型进行训练,从而提高了视觉语言动作模型对复杂具身任务的语言理解能力、状态动作对应能力和任务执行稳定性。
48、应当理解,本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征,也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com