一种模拟环境中分层策略生成方法
本发明属于计算机仿真与人工智能领域,具体涉及一种模拟环境中分层策略生成方法。
背景技术:
1、目前,游戏模拟系统是借助于计算机仿真手段对游戏过程进行细致、逼真的模拟。为了有效提高用户体验的真实性,以及游戏和模拟系统的易操控性,需要从实际角度仿真设计游戏和模拟系统,更为重要的是游戏模拟及其便捷性交互设计,从而在还原游戏过程真实度的同时,提高用户在游戏和模拟系统中的操控水平。
2、近年来,分层强化学习(hierarchical reinforcement learning,hrl)逐渐成为智能体建模的新思路。通过引入高层任务与低层动作的结构化分解方式,能有效提升策略表达能力与训练效率。比如,在特定任务中采用层级结构,如高层选择动作类型、低层输出连续控制量,或通过中间角度目标引导动作生成。
3、但是,上述方法大多聚焦于单一决策逻辑的分解设计,缺乏对多种行为模式的统一建模与自适应切换能力,限制了其在复杂场景中的泛化性和灵活性。此外,场景状态信息具有高度动态、强耦合的特征,受限于观测误差与延迟反馈,使得智能体面临明显的部分可观测性问题,导致智能体无法做出有效准确的策略,从而存在生成的目标策略的准确性差的技术问题。
技术实现思路
1、为了解决现有技术中存在的上述问题,本发明提供了一种模拟环境中分层策略生成方法。本发明要解决的技术问题通过以下技术方案实现:
2、第一方面,本发明提供了一种模拟环境中分层策略生成方法,该方法包括:获取当前决策时刻的状态信息;将状态信息输入分层策略生成模型,得到目标策略,其中,分层策略生成模型包括策略网络,策略网络包括意图层网络和行为层网络;分层策略生成模型的处理步骤包括:利用意图层网络中的双向长短期记忆网络,对由状态信息和历史状态信息组成的时序状态序列进行编码,得到前向隐状态和后向隐状态;对前向隐状态和后向隐状态进行拼接,得到时序特征表示;利用意图层网络中的多层感知机,对时序特征表示进行非线性映射,提取特征信息;基于特征信息,生成当前意图类型;利用行为层网络根据当前意图类型,生成目标策略。
3、在本发明的一个实施例中,该方法还包括:构建初始分层策略生成模型,其中,初始分层策略生成模型包括初始策略网络和初始价值网络,初始策略网络包括初始意图层网络和初始行为层网络;对初始分层策略生成模型进行训练,得到分层策略生成模型。
4、在本发明的一个实施例中,初始分层策略生成模型的动作空间呈现由意图和动作构成的层级结构。
5、在本发明的一个实施例中,初始意图层网络对应的奖励函数与初始行为层网络对应的奖励函数不同,初始意图层网络的奖励函数通过引入状态变化量作为密集即时奖励信号。
6、在本发明的一个实施例中,初始策略网络的损失函数以最大化累计奖励为目标,通过引入策略熵构建得到。
7、在本发明的一个实施例中,该方法还包括:在每一决策时刻,获取由历史多步状态组成的状态输入序列;利用初始价值网络中的双向长短期记忆网络,捕捉状态输入序列的依赖关系,得到时序特征嵌入;利用初始价值网络中的多层感知机,对时序特征嵌入进行非线性映射,输出状态价值估计。
8、在本发明的一个实施例中,初始价值网络的损失函数以最小化真实奖励与状态价值估计之间的差异为目标构建得到。
9、在本发明的一个实施例中,对初始分层策略生成模型进行训练,得到分层策略生成模型,包括:在仿真环境中,基于初始策略网络的损失函数,对初始策略网络的参数进行调整,以及基于初始价值网络的损失函数,对初始价值网络的参数进行调整,得到分层策略生成模型。
10、第二方面,本发明提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的计算机程序时,实现上述模拟环境中分层策略生成方法的步骤。
11、第三方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述模拟环境中分层策略生成方法的步骤。
12、与现有技术相比,本发明的有益效果:将状态信息输入分层策略生成模型,利用意图层网络中的双向长短期记忆网络,对由状态信息和历史状态信息组成的时序状态序列进行编码,得到前向隐状态和后向隐状态,随后拼接得到时序特征表示。进一步利用意图层网络中的多层感知机,对该时序特征表示进行非线性映射,提取特征信息,进而生成当前意图类型。最后利用行为层网络根据当前意图类型,生成相应的动作控制,得到目标策略。也就是说,本发明通过高层意图判别与低层控制策略的解耦建模,构建结构清晰、可解释性强的分层策略架构,同时结合双向长短期记忆网络对时序状态序列进行建模,以强化对双方态势变化的理解与预测,从而实现了提升生成的目标策略的准确性的技术效果。
13、以下将结合附图及实施例对本发明做进一步详细说明。
1.一种模拟环境中分层策略生成方法,其特征在于,包括:
2.根据权利要求1所述的模拟环境中分层策略生成方法,其特征在于,所述方法还包括:
3.根据权利要求2所述的模拟环境中分层策略生成方法,其特征在于,所述初始分层策略生成模型的动作空间呈现由意图和动作构成的层级结构。
4.根据权利要求2所述的模拟环境中分层策略生成方法,其特征在于,所述初始意图层网络对应的奖励函数与所述初始行为层网络对应的奖励函数不同,所述初始意图层网络的奖励函数通过引入状态变化量作为密集即时奖励信号。
5.根据权利要求2所述的模拟环境中分层策略生成方法,其特征在于,所述初始策略网络的损失函数以最大化累计奖励为目标,通过引入策略熵构建得到。
6.根据权利要求2所述的模拟环境中分层策略生成方法,其特征在于,所述方法还包括:
7.根据权利要求6所述的模拟环境中分层策略生成方法,其特征在于,所述初始价值网络的损失函数以最小化真实奖励与所述状态价值估计之间的差异为目标构建得到。
8.根据权利要求2所述的模拟环境中分层策略生成方法,其特征在于,对所述初始分层策略生成模型进行训练,得到所述分层策略生成模型,包括:
9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一项所述的模拟环境中分层策略生成方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com