一种多智能体强化学习的时序技能复用训练方法及系统
本发明涉及人工智能,具体涉及一种多智能体强化学习的时序技能复用训练方法及系统。
背景技术:
1、随着智能仓储、智能巡检等应用的快速发展,多移动机器人协同作业成为提升作业效率的重要方式。在智能仓储环境的多移动机器人协同搬运场景中,多台移动机器人需要在共享作业区域内,根据各自获得的局部观测信息,协同完成货物接近、同步搬运、路径避让和目标位置交付等连续操作。任务执行效果通常并非由某一时刻的单次动作决定,而是取决于多个机器人在连续若干时间步内形成的协调动作关系。多智能体强化学习通过集中训练、分散执行架构学习多个智能体之间的协作关系,其中qmix、vdn、qplex等价值分解方法通过状态条件混合网络将多个智能体的个体动作价值组合为集中式联合动作价值,同时保证各智能体在执行阶段依据自身局部观测独立选择动作,构成了多移动机器人协同搬运等合作式任务中常用的常规强化学习训练框架。
2、然而,上述基于基础价值分解学习器的常规强化学习通常以单个时间步的联合动作为探索和更新单位,多移动机器人在连续若干时间步内形成的有效协同搬运行为仅以普通轨迹样本形式进入回放缓存,未被显式保存为可复用的时序技能,导致相似作业状态下仍可能重复探索相同的协同过程;现有时序抽象或动作序列复用方法主要面向单智能体,难以同时表达多个机器人各自动作的时间顺序以及不同机器人在同一时间步上的同步关系;现有多智能体技能学习或子目标辅助方法通常需要引入额外的高层策略、技能表示、子目标生成器或案例推理模块,改变了常规强化学习原有的训练结构;现有经验复用方法多依据整条轨迹是否成功、片段内部累计奖励或预设子目标筛选历史经验,难以判断某一联合动作片段能否将多个机器人引导至未来价值更高的状态;且现有技能复用机制在缺少适合技能时仍可能强制执行不适用的历史动作片段,并缺少面向各智能体的动作可用性校验。
3、因此,现有技术存在难以在常规强化学习基础上将多智能体有效协同行为显式保存并适时复用的问题,导致相似作业状态下重复探索、训练效率低下。
技术实现思路
1、本发明为了解决上述问题,提出了一种多智能体强化学习的时序技能复用训练方法及系统,在基于基础价值分解学习器的常规强化学习基础上,增加从在线训练轨迹中显式提取并复用多步联合动作片段的时序技能复用策略,减少智能仓储多移动机器人在相似作业状态下对相同协同行为的重复探索。
2、根据一些实施例,本发明采用如下技术方案:
3、一种多智能体强化学习的时序技能复用训练方法,包括:
4、获取当前全局状态,根据所述当前全局状态与周期性更新的时序技能库中各时序技能的起始状态之间的表征距离,确定各时序技能的匹配概率,将匹配概率最大的时序技能选为待复用技能;
5、基于待复用技能的多步联合动作片段,通过逐智能体动作可用性校验与回退,生成最终执行动作输出至所述作业环境;
6、将作业环境的执行结果作为训练轨迹写入回放缓存后,继续获取当前全局状态,进行最终执行动作的迭代生成、执行,直到满足训练停止的条件;
7、其中,所述周期性更新的时序技能库,是从回放缓存中获取训练轨迹,从训练轨迹中截取多步联合动作片段,依据乐观峰值回报增量确定技能质量评分,将满足预设条件的多步联合动作片段连同其起始状态、终止状态和技能质量评分保存为时序技能,形成时序技能库,并周期性从回放缓存中构建新的时序技能、删除技能质量评分不满足预设条件的时序技能。
8、根据一些实施例,本发明采用如下技术方案:
9、一种多智能体强化学习的时序技能复用训练系统,包括:
10、选择模块,被配置为:获取当前全局状态,根据所述当前全局状态与周期性更新的时序技能库中各时序技能的起始状态之间的表征距离,确定各时序技能的匹配概率,将匹配概率最大的时序技能选为待复用技能;
11、生成模块,被配置为:基于待复用技能的多步联合动作片段,通过逐智能体动作可用性校验与回退,生成最终执行动作输出至所述作业环境;
12、迭代模块,被配置为:将作业环境的执行结果作为训练轨迹写入回放缓存后,继续获取当前全局状态,进行最终执行动作的迭代生成、执行,直到满足训练停止的条件;
13、其中,所述周期性更新的时序技能库,是从回放缓存中获取训练轨迹,从训练轨迹中截取多步联合动作片段,依据乐观峰值回报增量确定技能质量评分,将满足预设条件的多步联合动作片段连同其起始状态、终止状态和技能质量评分保存为时序技能,形成时序技能库,并周期性从回放缓存中构建新的时序技能、删除技能质量评分不满足预设条件的时序技能。
14、根据一些实施例,本发明采用如下技术方案:
15、一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现所述的一种多智能体强化学习的时序技能复用训练方法。
16、根据一些实施例,本发明采用如下技术方案:
17、一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现所述的一种多智能体强化学习的时序技能复用训练方法。
18、根据一些实施例,本发明采用如下技术方案:
19、一种电子设备,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现所述的一种多智能体强化学习的时序技能复用训练方法。
20、与现有技术相比,本发明的有益效果为:
21、本发明在原有基于基础价值分解学习器的常规强化学习基础上增加时序技能复用策略,从在线训练轨迹中显式提取并复用多步联合动作片段,减少智能仓储多移动机器人在相似作业状态下对相同协同行为的重复探索,提高训练样本利用效率。
22、本发明基于乐观峰值回报增量评价候选片段,同时考虑片段内共享奖励和片段终止状态的未来价值,有利于筛选具有长期任务推进作用的时序技能。
23、本发明利用同一最大均值差异(maximum mean discrepancy,mmd)分布价值网络完成技能质量评价和状态表征匹配,无需额外设置高层策略或独立技能编码器,系统结构较为简单;将当前状态与技能起始状态之间的表征距离和技能质量评分进行融合,能够兼顾技能的状态适用性和历史执行质量。
24、本发明设置逐智能体动作可用性校验和回退机制,在历史技能动作不可用时自动采用基础策略动作,保证最终输出动作的合法性。
25、本发明仅在训练阶段进行时序技能复用,评估和部署阶段仍采用基础分散策略,不改变现有集中训练、分散执行的系统架构。
1.一种多智能体强化学习的时序技能复用训练方法,其特征在于,包括:
2.如权利要求1所述的一种多智能体强化学习的时序技能复用训练方法,其特征在于,所述技能质量评分为所述多步联合动作片段终止时刻与起始时刻之间的乐观峰值回报增量。
3.如权利要求1所述的一种多智能体强化学习的时序技能复用训练方法,其特征在于,所述表征距离为:将所述当前全局状态与各时序技能的起始状态输入价值网络后,隐藏层输出的状态表征之间的距离。
4.如权利要求1所述的一种多智能体强化学习的时序技能复用训练方法,其特征在于,所述匹配概率根据所述表征距离归一化后确定,所述表征距离越小,所述匹配概率越大。
5.如权利要求1所述的一种多智能体强化学习的时序技能复用训练方法,其特征在于,所述逐智能体动作可用性校验与回退,包括:所述多步联合动作片段中的动作属于动作可用集合时执行该历史动作,否则执行基础策略动作。
6.如权利要求5所述的一种多智能体强化学习的时序技能复用训练方法,其特征在于,所述基础策略动作,是由基础价值分解学习器根据当前局部观测生成的动作。
7.一种多智能体强化学习的时序技能复用训练系统,其特征在于,包括:
8.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的一种多智能体强化学习的时序技能复用训练方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现如权利要求1-6任一项所述的一种多智能体强化学习的时序技能复用训练方法。
10.一种电子设备,其特征在于,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现如权利要求1-6任一项所述的一种多智能体强化学习的时序技能复用训练方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com