基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成方法及系统
发明涉及机器人具身智能与模仿学习领域,具体涉及一种基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成方法及系统。
背景技术:
1、现有机器人模仿学习方法大多采用逐时刻监督的学习范式,将动作序列视为相互独立的离散动作点进行拟合,仅关注单步动作的绝对数值精度,未对动作序列的连续时间动态特性进行显式高阶建模。该类零阶逐帧建模方式易导致生成动作轨迹出现高频振荡、关节运动协调性差及控制不稳定等问题,降低机器人实际操作的任务成功率与执行平滑性。
2、此外,现有基于均值流的单步生成策略虽具备推理速度快的优势,但其训练目标采用隐式优化形式,存在训练阶段与推理阶段目标不一致的固有缺陷,易引发损失震荡、收敛性弱以及推理方向估计不稳定等问题;同时,固定引导强度的引导机制难以在生成质量与泛化能力之间实现灵活权衡,限制了模型在复杂机器人操作任务中的环境适应性。如何在维持单步推理效率的前提下,同步提升轨迹时序平滑性、训练收敛稳定性与任务场景适配性,是本领域亟需解决的技术问题。
3、因此,本发明提出了一种基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成方法及系统来解决上述问题。
技术实现思路
1、本发明针对现有技术的不足,提出了一种基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成方法及系统,通过二阶时序约束对齐动作动态变化特性,重构显式均值流速度回归目标,并引入可调引导强度机制,在保留单步推理效率的同时,提升轨迹生成平滑性、训练稳定性与任务适配能力。
2、本发明提供的一种基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成方法,包括以下步骤:
3、s1、采集多模态专家演示轨迹,经时间对齐、图像分辨率统一与点云下采样预处理后,通过滑动窗口截取历史观测与未来动作序列,构建成对训练样本;
4、s2、对历史观测窗口内的多模态观测信息分别进行特征提取,再将提取得到的多模态特征进行融合处理,输出与当前时刻对应的观测条件特征;
5、s3、提取未来动作窗口中的专家动作序列作为流匹配训练的专家动作基准样本,并对专家动作序列计算相邻时刻的离散时间差分,得到用于二阶时序一致性约束的动作时间差分监督项;同时分任务场景适配动作表示形式与对应损失计算规则;
6、s4、构建条件式策略网络,从专家动作分布与标准高斯噪声分布中分别采样得到专家动作样本与噪声动作样本,基于线性插值路径构造流插值样本并输入条件式策略网络,学习由噪声动作分布向可执行动作分布映射的条件流场;
7、s5、构建改进均值流速度回归损失与二阶时序一致性损失,以两类损失加权求和得到联合训练目标,通过反向传播更新条件式策略网络的全部可训练参数,得到训练好的条件式策略网络;
8、s6、推理阶段采集当前时刻的多模态观测信息,经编码得到当前观测条件特征;将终端噪声动作样本与当前观测条件特征输入训练完成的条件式策略网络,经一次前向传播生成未来多步可执行动作序列。
9、s1具体如下:
10、专家执行主体在目标任务环境中重复完成目标任务,生成多条独立的任务执行序列;执行过程按机器人固定控制频率,逐时刻记录观测信息与对应专家动作,形成按时间顺序排列的观测-动作对序列,记作专家演示数据集,,,表示专家演示轨迹总条数,表示专家演示轨迹总条数的索引,表示第条专家演示轨迹,表示第条轨迹的总时间步长,表示时间总步长的索引,表示第个时间步的观测-动作对,表示第个时间步的专家动作,表示第个时间步的多模态观测信息,多模态观测信息包含rgb图像、深度图像、点云、机器人本体状态中的一种或多种;
11、以机器人系统的统一时间戳为基准,对同一时刻的多模态观测信息与对应专家动作进行匹配绑定,使每个时间步的观测-动作对时间同步;对观测数据执行标准化处理,将rgb图像、深度图像统一缩放至统一分辨率,点云采用最远点采样算法下采样至固定点数,得到对齐标准化后的专家演示数据集;
12、以时间步为基准时刻构建历史观测窗口和未来动作窗口,设历史观测窗口总长度为,设未来动作预测步长为,遍历专家演示数据集中每条轨迹,筛选满足窗口不越界条件的基准时刻,以基准时刻为终点,截取连续帧观测,构成历史观测窗口,,以基准时刻为起点,截取连续步专家动作,构成未来动作窗口,,构成训练样本,其中,表示以为终点的历史观测窗口,表示以为起点的未来动作窗口,表示时间步的多模态观测信息,表示时间步对应的专家动作。
13、s2具体如下:
14、先将历史观测窗口内的rgb图像和深度图像输入视觉编码器的图像特征提取分支,提取二维视觉特征,将历史观测窗口内的点云输入点云特征提取分支,提取三维空间结构特征,再将两类特征融合后得到紧凑三维视觉;
15、然后将历史观测窗口内的机器人本体状态输入状态编码器,得到机器人状态嵌入;
16、最后对紧凑三维视觉表示与机器人状态嵌入执行特征融合操作,得到观测条件特征。
17、s3具体如下:
18、以未来动作窗口为输入,分别构造流匹配基准样本与时序监督标签,并根据机器人任务场景适配动作表达形式及对应损失计算规则;
19、首先,将未来动作窗口内的完整专家动作序列作为流匹配训练的专家动作基准样本,用于与噪声动作样本共同构造线性插值路径,并进一步推导改进均值流速度回归损失对应的条件速度目标;
20、其次,定义离散时间差分算子,使任意时刻满足,对未来动作窗口内相邻时刻的专家动作逐位计算差值,生成专家动作时间差分序列,作为动作时间差分监督项,用于构建二阶时序一致性损失;
21、最后,根据机器人末端执行机构的类型,分别定义单步动作的表达形式,并匹配基准样本插值计算、时序监督损失对应的误差计算规则:
22、对于末端夹爪控制任务:单步动作表示为任务空间增量控制向量,包含三维平移增量、、与夹爪开合命令;三维平移增量为连续变量,基准样本与时序监督项均采用均方误差计算误差;夹爪开合命令若为连续值,与平移增量共同采用均方误差监督;若为离散开关量,动作本身采用交叉熵或二值交叉熵监督,动作差分对应执行状态跳变约束;
23、对于高维灵巧手操作任务:单步动作表示多个关节局部相对运动组成的矩阵若机器人具有个关节局部执行单元,则第个时刻的动作为:
24、,
25、其中,每一列表示一个关节局部执行单元在三维空间中的相对运动增量,对应时间差分为;
26、对应动作时间差分为相邻时刻动作矩阵逐元素相减的结果,基准样本与时序监督项均采用frobenius范数计算矩阵形式的误差。
27、s4中流插值样本的构造过程具体如下:
28、从未来动作窗口对应的专家动作分布中采样专家动作样本,满足:,表示专家动作的条件分布;
29、从标准高斯噪声分布中采样与专家动作样本维度完全一致的噪声动作样本,满足:,表示均值为 0、协方差为单位矩阵的标准高斯分布;
30、从时间区间中独立采样时间变量与区间起点变量,满足约束条件;
31、基于线性插值路径构造流插值样本:,表示时间变量对应的插值动作样本;
32、对插值路径关于时间变量求导,得到条件速度目标,作为条件流场学习的监督真值。
33、s4中条件式策略网络具体如下:
34、条件式策略网络采用条件式u-net网络架构,网络输入包括流插值样本、区间起点变量、时间变量、观测条件特征以及一个预设的标量控制变量,表示引导强度,用于调节观测条件对生成动作的影响强度;
35、将引导强度输入嵌入层进行特征映射,得到引导强度嵌入,表示引导强度嵌入的映射函数;将时间变量与区间起点变量分别转换为正弦位置编码形式的时间嵌入向量;
36、将引导强度嵌入、时间嵌入向量与观测条件特征进行特征拼接,作为全局条件信息注入u-net网络的编码层、解码层与跳跃连接层,进行观测状态、时间进度与引导强度对动作生成过程的联合约束;
37、条件式策略网络的输出为观测条件约束下的区间平均传输速度,表示网络的全部可训练参数,该速度表示从时间到时间的区间内,动作分布由噪声分布向专家动作分布传输的平均方向;当区间起点变量与时间变量取值相等时,网络输出退化为瞬时速度估计。
38、s5中改进均值流速度回归损失具体如下:
39、基于条件式策略网络输出的区间平均传输速度与瞬时速度估计,构造复合速度预测量:
40、,
41、其中表示采用停止梯度处理的雅可比-向量积运算,运算方向向量为网络自身输出的瞬时速度,计算过程中不对方向向量传导梯度,仅对区间平均速度函数求解雅可比向量积;
42、以条件速度目标为监督真值,构建改进均值流速度回归损失:
43、,
44、其中,表示对采样变量、、、的数学期望。
45、s5中阶时序一致性损失具体如下:
46、基于条件式策略网络学习的条件流场,取区间起点,由流插值样本反推得到当前观测条件下的预测动作序列:
47、,
48、其中,,表示第时刻的预测动作;
49、采用离散时间差分算子,对预测动作序列计算相邻动作时间差分,得到预测动作时间差分序列,;
50、构建二阶时序一致性损失:
51、,
52、其中,表示预测动作的时间差分,表示对应时刻专家动作的时间差分;针对高维灵巧手任务,该损失采用frobenius范数替代二范数,对动作矩阵的时间差分进行整体约束;
53、将改进均值流速度回归损失与二阶时序一致性损失进行加权求和,得到联合训练总损失:
54、,
55、其中,表示改进均值流速度回归损失的权重系数,表示二阶时序一致性损失的权重系数。
56、条件式策略网络的训练过程具体如下:
57、从对齐标准化后的专家演示数据集中随机抽取一个批次的训练样本,每个样本包含一一对应的历史观测窗口与未来动作窗口;
58、对批次内每个训练样本的历史观测窗口执行多模态特征提取与融合,通过视觉编码器提取视觉特征、状态编码器提取状态特征,融合后得到对应的观测条件特征;
59、对每个样本从专家动作分布中采样专家动作样本,从标准高斯噪声分布中采样噪声动作样本,同时采样时间变量与区间起点变量,构造流插值样本与条件速度目标;
60、从预设引导强度区间中随机采样引导强度,将流插值样本、区间变量、时间变量、观测条件特征与引导强度共同输入条件式策略网络,前向计算得到区间平均传输速度与瞬时速度估计;
61、基于复合速度预测量计算改进均值流速度回归损失,同时由条件流场反推完整预测动作序列,计算二阶时序一致性损失,并按权重加权得到联合训练总损失;
62、根据联合训练总损失计算全部网络参数的梯度,通过梯度下降优化算法反向传播,同步更新视觉编码器、状态编码器、引导强度嵌入层以及条件式u-net网络的所有可训练参数;
63、重复执行上述操作,直至联合训练总损失收敛且验证集任务成功率达到预设阈值,得到训练完成的条件式策略网络。
64、本发明还提供了一种基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成系统,执行基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成方法,包括:
65、多模态观测输入模块,用于获取机器人目标任务中的rgb图像、深度图像、点云和机器人本体状态中的至少一种,以及按时间顺序排列的专家演示轨迹;
66、观测编码模块,用于对所述多模态观测输入模块获取的信息进行特征提取,得到观测条件特征;
67、高阶时序监督模块,用于从专家演示轨迹中提取专家动作基准样本,并基于相邻时刻动作的时间差分得到动作时间差分监督项;
68、策略生成模块,用于通过条件式策略网络学习由噪声动作分布到可执行动作分布的条件流场;
69、改进均值流回归单元,用于将均值流训练目标重构为速度回归目标;
70、引导强度控制单元,用于将引导强度作为显式条件变量输入所述条件式策略网络,并在推理阶段调节所述引导强度的作用区间;其中,所述策略生成模块在推理阶段根据当前观测条件和噪声动作,经一次前向传播输出未来可执行动作序列。
71、 技术实现要素: 中提供的效果仅仅是实施例的效果,而不是发明所有的全部效果,上述技术方案具有如下优点或有益效果:
72、本发明公开了一种基于高阶时序约束与改进均值流策略的机器人模仿学习轨迹生成方法及系统,通过多模态观测编码机制,对rgb图像、深度图像、点云与机器人本体状态进行分支特征提取与融合,使生成的动作序列可同时匹配环境空间结构与机器人自身运动状态,从感知输入层面提升动作与任务场景的匹配度,降低观测信息不完备带来的动作偏差;通过改进均值流速度回归策略,以专家动作序列作为流匹配训练的基准样本构造线性插值路径与条件速度目标,将原均值流的优化目标重构为区间速度回归形式,消除训练目标对推理阶段不可得信息的依赖,从损失函数层面减小训练与推理的不一致性,降低训练过程的损失震荡,提升网络收敛稳定性,同时保留单步生成架构,推理阶段仅需一次前向传播即可输出完整未来动作序列,保障实时闭环控制的低延迟需求;在此生成式训练框架基础上,通过二阶时序一致性约束对相邻时刻动作的时间差分进行对齐监督,从动态变化层面约束动作序列的时间连续性,有效抑制轨迹局部高频振荡,提升机器人执行过程的运动平滑性与控制稳定性;针对不同末端执行机构适配对应的动作表示形式与损失计算规则,并将引导强度作为显式条件纳入网络训练与推理过程,可根据任务需求灵活调整生成策略的约束强度,提升方案在不同机器人平台与任务场景下的适配能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com