一种基于可泛化情景记忆的无人机-雷达协同方法与装置与流程
本发明涉及多智能体协同,特别是涉及一种基于可泛化情景记忆的无人机-雷达协同方法与装置。
背景技术:
1、随着人工智能和机器学习技术的发展,无人机和雷达的智能协同模式正成为研究的热点。这种模式结合了无人机的灵活性和雷达的远程探测能力,通过深度学习、强化学习等算法对无人机和雷达进行训练,实现对任务的准确执行。
2、随着强化学习技术被应用于智能体任务执行的训练,可以发现,由于高样本复杂度以及基于梯度的缓慢的增量式参数更新,强化学习技术仍遭受着样本使用效率低下的困扰。为了使经过训练的智能体(无人机或雷达)能够实现对目标的快速识别,需要大量的训练样本。在复杂任务环境下,智能体需要成千上万次连续与外部环境进行交互才能通过不断迭代修正自身策略,最终训练出优秀的策略达到期望的性能。因此,现有技术的问题在于,训练过程中对于样本的使用效率较低并且对于样本的需求量过大,导致智能体对于任务的完成效率造成影响。
3、鉴于此,克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
技术实现思路
1、本发明要解决的技术问题是如何提高神经网络在强化学习算法中的训练效果以及对于样本的使用效率。
2、本发明采用如下技术方案:
3、第一方面,提供一种基于可泛化情景记忆的无人机-雷达协同方法,包括:
4、初始化策略网络和情景网络,将初始化的策略网络和情景网络作为输入策略网络和输入情景网络输入至更新迭代中;每一轮更新迭代包括:
5、获取所有智能体的任务成功的任务轨迹,将所述任务轨迹中每个时间节点对应的观察值、动作和即时奖励值进行缓存,根据所述任务轨迹获取相应智能体在相应时间节点对应的回报预测值;
6、根据上一轮更新迭代中的更新策略网络和更新情景网络将本次迭代的输入策略网络和输入情景网络进行参数更新,得到目标策略网络和目标情景网络;
7、将所有智能体在相应时间节点的下一个时间节点的观察值和动作输入至所述目标情景网络,得到相应智能体在相应时间节点的值估计,根据相应智能体在相应时间节点的值估计、即时奖励值和在下一个时间节点的回报预测值得到相应智能体在相应时间节点的更新回报值;
8、根据每个智能体在相应时间节点的更新回报值对所述目标策略网络和目标情景网络进行更新,得到更新策略网络和更新情景网络。
9、优选的,具体包括:
10、获取每个智能体在不同时间节点下的观察值,将所述观察值输入至输入策略网络中得到每个时间节点下的观察值所对应动作,获取每个时间节点下的观察值以及动作所对应的即时奖励值;
11、获取所有智能体的任务成功的任务轨迹,并获取相应任务轨迹对应的时间节点,将单个任务轨迹对应的所有时间节点上的智能体的观察值、动作和即时奖励值作为一个轨迹集合进行缓存。
12、优选的,具体包括:
13、所述相应智能体在相应时间节点对应的回报预测值的公式为:
14、;
15、其中,为第i个智能体在时间节点t对应的回报预测值,t为所述轨迹集合中最后的时间节点,t为轨迹集合中任意一个时间节点,为折扣因子,为第i个智能体在时间节点k对应的即时奖励值,k大于等于1且小于等于t。
16、优选的,具体包括:
17、所述更新回报值的公式为:
18、;
19、其中,为第i个智能体在时间节点t的更新回报值,为第i个智能体在时间节点t对应的即时奖励值,为折扣因子,为智能体i在时间节点t+1的回报预测值,为智能体i对应的目标情景网络,为智能体i在时间节点t+1通过目标策略网络得到的值估计,为智能体1在时间节点t+1的观察值,为智能体n在时间节点t+1的观察值,为智能体1在时间节点t+1的动作,为智能体n在时间节点t+1的动作,t为所述轨迹集合中最后的时间节点。
20、优选的,具体包括:
21、所述更新情景网络的损失函数公式为:
22、;
23、其中,为智能体i对应的更新情景网络的损失函数,为数学期望,为智能体i在时间节点t的通过目标情景网络得到的值估计,为智能体1在时间节点t的观察值,为智能体n在时间节点t的观察值,为智能体1在时间节点t的动作,为智能体n在时间节点t的动作,为第i个智能体在时间节点t的更新回报值。
24、优选的,具体包括:
25、所述更新策略网络的梯度公式为:
26、;
27、其中:为智能体i对应的更新策略网络的梯度公式,为数学期望,为策略网络参数梯度,为智能体i的动作的梯度。
28、优选的,具体包括:
29、所述目标策略网络的公式为:
30、;
31、其中,其中,为智能体i在输入策略网络中对应的参数,为智能体i在目标策略网络中对应的参数,为上一轮迭代中得到的智能体i在更新策略网络中对应的参数,为智能体i在输入情景网络中对应的参数,为智能体i在目标情景网络中对应的参数,为上一轮迭代中得到的智能体i在更新情景网络中对应的参数,为变化参数。
32、优选的,所述基于可泛化情景记忆的无人机-雷达协同方法还包括:
33、若当前迭代轮次小于预设迭代次数时,将目标策略网络作为输入策略网络,将目标情景网络作为输入情景网络,将所述输入策略网络和输入情景网络输入至新的一轮更新迭代中;
34、若当前迭代轮次大于等于预设迭代次数时,将所述更新策略网络和更新情景网络输出。
35、第二方面,提供一种基于可泛化情景记忆的无人机-雷达协同装置,包括至少一个处理器,以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述处理器执行,用于执行所述的基于可泛化情景记忆的无人机-雷达协同方法。
36、第三方面,本发明还提供了一种非易失性计算机存储介质,所述计算机存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,用于完成第一方面所述的方法。
37、第四方面,提供了一种芯片,包括:处理器和接口,用于从存储器中调用并运行存储器中存储的计算机程序,执行如第一方面的方法。
38、第五方面,提供了一种包含指令的计算机程序产品,当该指令在计算机或处理器上运行时,使得计算机或处理器执行如第一方面的方法。
39、第六方面,提供了一种基于可泛化情景记忆的无人机-雷达协同的系统,包括如第二方面的基于可泛化情景记忆的无人机-雷达协同装置,并使用如第一方面的基于可泛化情景记忆的无人机-雷达协同方法。
40、本发明提供一种基于可泛化情景记忆的无人机-雷达协同方法与装置,初始化智能体的策略网络、情景网络、目标策略网络、目标情景网络和记忆缓冲区,智能体使用策略网络选择动作,并在执行相应动作后获取即时奖励值;当任务轨迹成功时,将相应任务轨迹存储,并根据对应的即时奖励值得到回报预测值;当存储预设量的任务轨迹时,对目标策略网络和目标情景网络进行软更新,结合回报预测值对记忆缓冲区中所有的任务轨迹进行记忆更新,得到更新回报值;根据更新回报值更新得到更新后的情景网络和更新后的策略网络;通过所述方法,引入更新迭代的情景网络来获取智能体的动作的评价,并反过来用该评价策略网络和情景网络,提高神经网络的训练效果以及对于样本的使用效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com