机器人控制方法、装置、电子设备及介质与流程

本发明涉及机器人控制 ，尤其涉及一种机器人控制方法、装置、电子设备及介质。

背景技术：

1、目前机器人随着具身智能技术的不断提高，必将在工业自动化，家庭医疗等领域有广泛的应用。当前具身控制方法利用大模型高度可扩展性使得在机器人上实现了让人印象深刻的效果，但多受限于行为克隆数据质量和多样化的限制，缺乏机器人物理世界中所需要的鲁棒自适应和最优控制的特质。因此，寻找一种能够适应未知环境并实时在线学习规划出最优轨迹的方法能够显著提高机器人的安全、效率和经济效益。

2、现有的一种动态自适应带内网络遥测编排方法，通过建立用于描述动态网络环境的多个时隙下的目标随机优化模型，并通过扩散模型和强化学习生成目标int编排方案。但是该方法没有将强化学习作为主要的策略输出，而仅作为扩散去噪的优化步骤。也同时不属于机器人领域的应用。

3、现有的另一种基于行为动作生成的离线强化学习方法，通过对离线数据集使用扩散模型进行建模，然后利用扩散模型生成样本支持对离线强化的学习训练，减少了离线强化学习对策略学习的限制。但是该方法仅仅处理了离线学习部分，而未考虑在线策略自适应更新问题。另外这种方法也没有考虑实时性的问题。

4、综上，具身控制的难点在于：(1) 需要考虑离线数据质量和分布的不一致，导致监督学习性能受限；(2) 需要考虑规划推理的实时性，从而使得规划结果能够被控制真正执行；(3) 需要考虑机器人自适应学习能力，特别是离线到在线的策略进化能力。

技术实现思路

1、本发明提供一种机器人控制方法、装置、电子设备及介质，用以解决现有技术中基于扩散模型的控制策略因多步骤去噪导致实时性差以及基于监督学习的控制策略受限于离线数据质量而性能受限的缺陷，实现机器人的单步实时推理、基于强化学习的持续策略优化以及实时最优的控制性能。

2、本发明提供一种机器人控制方法，包括：

3、获取预训练的机器人初始控制策略；

4、将所述初始控制策略部署到待进行控制的目标机器人上；

5、基于所述初始控制策略构造强化学习框架，并基于所述强化学习框架分别训练价值网络和动作网络，得到优化价值网络和优化动作网络；

6、利用所述优化动作网络并行生成候选动作块集合，并通过所述优化价值网络从所述候选动作块集合中筛选最优候选动作块，根据所述最优候选动作块生成当前控制周期的最优动作指令；

7、基于所述最优动作指令对所述目标机器人进行控制。

8、在一个可能的实施方式中，所述方法还包括：

9、采集样本机器人的历史任务情节数据；

10、基于所述历史任务情节数据，通过平均速度流匹配方法训练平均速度场网络，得到初始控制策略。

11、在一个可能的实施方式中，所述方法还包括：

12、基于所述历史任务情节数据，根据平均流恒等式计算期望平均速度场的样本估计作为真值标签构建训练损失函数；

13、基于所述训练损失函数训练所述平均速度场网络，得到所述初始控制策略。

14、在一个可能的实施方式中，所述方法还包括：

15、基于所述初始控制策略的网络结构及参数初始化策略函数，将所述平均速度场网络作为所述动作网络，保持单步推理能力；

16、构建价值网络和对应的目标价值网络，基于贝尔曼方程计算所述价值网络的价值损失；

17、通过所述目标价值网络根据最小化所述价值损失对所述价值网络的网络参数进行梯度更新，得到所述优化价值网络；

18、构建所述动作网络的总损失函数，并基于所述总损失函数对所述动作网络进行训练，得到所述优化动作网络。

19、在一个可能的实施方式中，所述方法还包括：

20、基于所述目标机器人的当前观测和嵌入式表征，向所述优化动作网络输入多个不同的初始噪声样本，通过一次并行的单步前向推理生成多个候选动作块，构成所述候选动作块集合，其中，每个候选动作块包括未来h个控制步的动作；

21、将所述目标机器人的当前状态与所述候选动作块集合中的每个候选动作块配对后输入所述优化价值网络，计算各候选动作块对应的状态-动作块价值；

22、选择所述状态-动作块价值最高的候选动作块作为最优候选动作块，并将所述最优候选动作块中第一控制步的动作作为当前控制周期的最优动作指令。

23、在一个可能的实施方式中，所述方法还包括：

24、将所述最优动作指令发送至所述目标机器人的执行单元，控制所述目标机器人执行相应动作。

25、在一个可能的实施方式中，所述方法还包括：

26、采集所述目标机器人在执行相应动作过程中的状态转移数据、奖励信号及新的观测数据作为在线任务数据，并将所述在线任务数据存储至在线缓冲数据区；

27、基于所述在线缓冲数据区中的在线任务数据，迭代执行训练价值网络和动作网络的步骤，对所述优化动作网络和优化价值网络进行参数更新。

28、本发明还提供一种机器人控制装置，包括如下模块：

29、获取模块，用于获取预训练的机器人初始控制策略；

30、部署模块，用于将所述初始控制策略部署到待进行控制的目标机器人上；

31、训练模块，用于基于所述初始控制策略构造强化学习框架，并基于所述强化学习框架分别训练价值网络和动作网络，得到优化价值网络和优化动作网络；

32、筛选模块，用于利用所述优化动作网络并行生成候选动作块集合，并通过所述优化价值网络从所述候选动作块集合中筛选最优候选动作块，根据所述最优候选动作块生成当前控制周期的最优动作指令；

33、控制模块，用于基于所述最优动作指令对所述目标机器人进行控制。

34、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的机器人控制方法。

35、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的机器人控制方法。

36、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的机器人控制方法。

37、本发明提供的机器人控制方法、装置、电子设备及介质，通过获取预训练的机器人初始控制策略；将所述初始控制策略部署到待进行控制的目标机器人上；基于所述初始控制策略构造强化学习框架，并基于所述强化学习框架分别训练价值网络和动作网络，得到优化价值网络和优化动作网络；利用所述优化动作网络并行生成候选动作块集合，并通过所述优化价值网络从所述候选动作块集合中筛选最优候选动作块，根据所述最优候选动作块生成当前控制周期的最优动作指令；基于所述最优动作指令对所述目标机器人进行控制。相比于现有技术中基于扩散模型的控制策略因多步骤去噪导致实时性差以及基于监督学习的控制策略受限于离线数据质量而性能受限的缺陷，由本方案，实现机器人的单步实时推理以基于强化学习的持续策略优化以及实时最优的控制性能。