机器人运动控制方法、运动控制模型及模型训练方法
本技术涉及人工智能,尤其涉及一种机器人运动控制方法、运动控制模型及模型训练方法。
背景技术:
1、随着智能机器人长程自主操作任务应用场景不断拓展,基于模仿学习的视觉运动决策策略得到广泛应用,依托专家演示数据训练策略模型,能够使机器人快速习得各类实操作业动作逻辑。
2、当前主流运动策略生成方案主要分为纯观测条件扩散策略与观测历史缓存机制两类,其中纯观测条件扩散策略依托当前环境观测信息完成动作生成,遵循马尔可夫性假设而舍弃历史动作特征上下文信息,无法依据历史执行轨迹推断实际任务推进进度,面对视觉外观相近、执行动作迥异的时间混淆状态极易出现判断失误,易引发动作循环错乱,难以保障长程操作任务的时序执行一致性;而采用观测历史缓存机制的现有方案多侧重存储利用观测历史数据,对感知噪声抗干扰能力弱,不仅难以精准拟合多模态动作分布、构建稳定长程依赖关系,还存在历史信息筛选依赖人工设计、上下文融合形式单一等缺陷,无法兼顾动作生成的物理约束合规性与环境适配多样性。
3、与此同时,传统模仿学习训练模式高度依赖纯净无偏差的专家演示数据,未考虑机器人实际作业过程中存在的传感器感知噪声、执行器运动滑移、逆运动学求解数值误差以及环境未知扰动等现实问题,各类物理交互误差会随自回归序列生成过程持续累积,逐步造成历史动作特征信息污染,最终形成训练所用标准干净历史数据与实际推理阶段带偏差历史数据的分布偏移现象。可见,当前缺少系统化的历史动作特征上下文融合利用机制,既无法高效区分时序混淆状态、平衡动作物理可行性与动态生成多样性,也缺乏针对复合累积误差的适配训练手段,致使训练完成的运动策略模型在真实复杂工况以及分布外场景中适配性不足,整体作业控制鲁棒性与实际使用效果受限。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种机器人运动控制方法、运动控制模型及模型训练方法,以解决上述现有技术中存在的至少一个问题。
2、第一方面,提供了一种机器人视觉运动控制方法,包括:
3、获取目标机器人的当前环境观测数据以及历史动作数据,并分别进行特征编码,得到当前环境观测特征以及历史动作特征;
4、对所述当前环境观测特征以及历史动作特征进行高斯分布建模,得到动态高斯分布,并对所述动态高斯分布执行采样获得初始噪声,将所述初始噪声作为当前动作估计值;
5、基于所述当前环境观测特征、历史动作特征以及当前动作估计值,通过迭代去噪预测得到所述目标机器人的未来动作结果;
6、基于所述未来动作结果控制所述目标机器人执行对应动作操作。
7、在一可能的实施方式中,所述对所述当前环境观测特征以及历史动作特征进行高斯分布建模,得到动态高斯分布,并对所述动态高斯分布执行采样获得初始噪声,包括:
8、基于所述当前环境观测特征以及历史动作特征,预测得到高斯分布均值参数与方差参数;
9、基于所述高斯分布均值参数与方差参数,构建当前时刻对应的动态高斯分布;
10、采用高斯重参数化技巧对所述当前时刻对应的动态高斯分布进行概率采样,生成所述初始噪声。
11、在一可能的实施方式中,所述基于所述当前环境观测特征、历史动作特征以及当前动作估计值,通过迭代去噪预测得到所述目标机器人的未来动作结果,包括:
12、采用分块自回归方式在当前动作块中基于对应的环境观测特征、历史动作特征以及动作估计值按照预设迭代步数执行反向扩散循环迭代去噪,预测得到当前动作块对应的未来动作结果;
13、基于所述目标机器人对所述当前动作块对应的未来动作结果的动作执行结果对所述历史动作特征进行更新,并基于更新后的历史动作特征执行下一动作块的预测。
14、在一可能的实施方式中,所述基于对应的环境观测特征、历史动作特征以及动作估计值按照预设迭代步数执行反向扩散循环迭代去噪,预测得到当前动作块对应的未来动作结果,包括:
15、在每轮迭代过程中,基于当前迭代轮次对应的动作估计值、噪声水平、当前环境观测特征以及历史动作特征,预测得到当前迭代轮次对应的纯净动作估计结果;
16、基于预设噪声调度参数、噪声调度系数以及随机高斯噪声,计算得到下一迭代轮次对应的动作估计值,完成单轮迭代更新;
17、依次完成全部迭代步数的降噪处理后,最终得到所述当前动作块对应的未来动作结果。
18、在一可能的实施方式中,所述基于当前迭代轮次对应的动作估计值、噪声水平、当前环境观测特征以及历史动作特征,预测得到当前迭代轮次对应的纯净动作估计结果,包括:
19、对当前迭代轮次对应的历史动作特征以及动作估计值施加因果时序约束,提取得到时序特征;
20、将所述时序特征与当前环境观测特征进行交叉注意力融合计算,得到全局融合特征;
21、基于所述全局融合特征与当前轮次对应的噪声水平,预测得到当前迭代轮次对应的纯净动作估计结果。
22、在一可能的实施方式中,所述对当前迭代轮次对应的历史动作特征以及动作估计值施加因果时序约束,提取得到时序特征,包括:
23、将当前动作块对应的历史动作划分为已缓存历史动作与未缓存历史动作;
24、读取已缓存历史动作对应的键特征与值特征;
25、对未缓存历史动作与当前动作块对应的动作估计值分别进行线性变换,并提取未缓存历史动作对应的查询特征、键特征与值特征,以及当前动作块对应的动作估计值的查询特征、键特征与值特征;
26、基于因果时序注意力掩码,对已缓存历史动作对应的键特征、值特征、未缓存历史动作对应的查询特征、键特征与值特征,以及当前动作块对应的动作估计值的查询特征、键特征与值特征进行键值级联与因果注意力计算,生成当前动作块对应的时序特征;
27、将新增未缓存历史动作对应的键特征与值特征进行缓存,以供下一动作块执行自回归预测步骤。
28、在一可能的实施方式中,所述方法还包括:
29、基于当前动作块对应的全局时间偏移量,确定当前自回归滑动窗口内历史动作特征在全局时间轴上的绝对时间步;
30、将所述绝对时间步映射到固定长度的位置编码表索引;
31、基于所述位置编码表索引对所述输入特征进行编码,得到注入循环时序信息后的历史动作特征表示,并对所述当前动作块对应的全局时间偏移量进行更新,以基于更新后的全局时间偏移量执行下一轮动作块的自回归步骤。
32、第二方面,提供了一种运动控制模型,用于实现如上述所述的机器人运动控制方法,所述模型包括:因果噪声生成器以及因果动作生成器;
33、所述因果噪声生成器包括噪声编码器与噪声解码器,所述噪声编码器用于对所述当前环境观测特征以及历史动作特征进行高斯分布建模,得到动态高斯分布,并对所述动态高斯分布执行采样获得初始噪声;
34、所述因果动作生成器包括若干堆叠的注意力模块,每个注意力模块包括因果时序注意力块和视觉动作交叉注意力块,用于对所述初始噪声进行迭代去噪,预测得到所述目标机器人对应的未来运动序列。
35、第三方面,提供了一种运动控制模型的训练方法,用于对上述第二方面所述的运动控制模型进行训练,所述训练方法包括因果噪声生成器预训练阶段,以及因果噪声生成器与所述因果动作生成器的联合训练阶段;其中联合训练阶段包括教师强制训练子阶段、自强制训练子阶段以及强化强制训练子阶段。
36、在一可能的实施方式中,所述教师强制训练子阶段用于以所述因果噪声生成器输出的结构化初始噪声为噪声源,随机采样噪声水平,将真实动作经前向扩散过程加噪至所述噪声水平,得到中间噪声动作估计,并基于所述中间噪声动作估计得到预测动作,基于预测动作与真实动作之间的损失执行迭代训练;
37、所述自强制训练子阶段用于按照自回归方式逐动作块进行未来动作预测,并将当前动作块对应的未来动作作为下一动作块的历史动作特征并执行迭代,迭代执行多个训练轮次,将每轮迭代过程生成的带有内源偏差的动作序列片段存入内源数据池;
38、所述强化强制训练子阶段,用于按照均匀分布采样规则从所述内源数据池以及专家演示数据池中提取历史动作特征,基于提取的所述历史动作特征以及真实动作执行迭代训练。
39、上述机器人运动控制方法、运动控制模型及模型训练方法,该控制方法包括:获取目标机器人的当前环境观测数据以及历史动作数据,并分别进行特征编码,得到当前环境观测特征以及历史动作特征;对所述当前环境观测特征以及历史动作特征进行高斯分布建模,得到动态高斯分布,并对所述动态高斯分布执行采样获得初始噪声,将所述初始噪声作为当前动作估计值;基于所述当前环境观测特征、历史动作特征以及当前动作估计值,通过迭代去噪预测得到所述目标机器人的未来动作结果;基于所述未来动作结果控制所述目标机器人执行对应动作操作。本技术实施例中,充分利用历史动作特征上下文信息结合环境观测特征完成动作预测,可精准辨识时序混淆状态、准确推断任务进度,保障长程操作动作时序一致性,借助动态高斯分布采样与迭代去噪机制,兼顾动作物理可行性与环境适配生成多样性,有效提升机器人运动决策精度、环境泛化能力以及复杂工况下自主作业的整体鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com