基于改进D3QN的兵棋智能体决策方法、装置、设备及介质与流程

摘要: 本发明涉及人工智能,尤其涉及一种基于改进d3qn的兵棋智能体决策方法、装置、设备及介质。背景技术:1、仿真推演系统中,智能体能够为系统赋予高水平的自主决策能力,...
基于改进D3QN的兵棋智能体决策方法、装置、设备及介质与流程

本发明涉及人工智能,尤其涉及一种基于改进d3qn的兵棋智能体决策方法、装置、设备及介质。

背景技术:

1、仿真推演系统中,智能体能够为系统赋予高水平的自主决策能力,使其能够应对复杂、动态且充满不确定性的环境。

2、在复杂决策任务中,环境状态普遍具有高维、连续、非线性等复杂特性。依靠表格查询或线性函数逼近的决策树或强化学习方法,难以精准刻画高维状态与动作之间的映射关系,使得模型学习效率偏低、泛化能力明显不足。深度强化学习通过引入深度神经网络作为函数逼近器,将深度学习的特征表示能力与强化学习的决策优化能力深度融合,能够对复杂环境进行有效建模,从而实现更高效、更鲁棒的自主决策学习。其中,深度q网络(deepq-network, dqn)是深度强化学习中最具代表性的算法之一。其核心思想是用深度神经网络近似动作值函数,解决高维状态空间下的“维度灾难”问题;通过引入经验回放机制打破样本时间相关性,以及目标网络机制稳定训练过程,实现复杂环境下的端到端自主决策。

3、现有dqn算法的一般流程包括:初始化环境与网络参数、基于ε-贪婪策略选择动作并获取环境反馈、将经验存入回放缓冲区、从缓冲区随机采样进行小批量梯度下降以更新网络参数,直至模型收敛。

4、然而,现有深度强化学习算法应用于兵棋推演系统时,存在以下技术局限:

5、第一方面,现有算法的非完全态势信息处理能力不足。现有dqn算法基于完全可观测的马尔可夫假设,仅依赖当前单步观测状态进行决策。因为兵棋推演系统中存在侦察和隐蔽机制,单步观测无法捕捉敌方信息和意图,导致决策短视和盲目,决策不确定性高、泛化能力差。

6、第二方面,面对兵棋推演的高维状态空间,现有算法的训练效率较低且价值估计不准确。兵棋环境包含地形、棋子类型、棋子属性、棋子命令等多维信息,现有dqn算法多采用均匀采样的经验回放池机制,难以有效解耦状态的整体价值与不同动作的相对优势,导致动作价值估计精度不足。兵棋推演系统中诸如“有效交战”等关键战术动作的发生频率极低,没有针对性的训练策略,会导致算法对关键经验的利用率低下,收敛极其缓慢,易陷入局部最优。

7、第三方面,奖励函数设计无法有效引导智能体实现复杂的战术战略目标。现有dqn算法的奖励函数设计单一(一般为固定权重奖励函数),难以平衡短期战术收益与长期战略目标。由于在兵棋推演场景中,缺乏针对地形利用、有生力量保存和战略目标推进的细粒度引导,导致智能体训练方向发生偏差。

技术实现思路

1、针对上述现有技术的不足,本发明提供一种基于改进d3qn的兵棋智能体决策方法、装置、设备及介质,采用如下技术方案:

2、第一方面,提供一种基于改进d3qn的兵棋智能体决策方法,包括:

3、获取兵棋推演环境的原始观测数据,预处理生成时序观测序列;

4、基于所述时序观测序列,采用cnn+lstm混合网络结构提取场景状态的空间关联特征与时序依赖特征,并生成融合特征向量;

5、通过预设的dueling价值网络的价值分支输出所述融合特征向量的状态价值,通过其优势分支输出所述融合特征向量中各动作的优势值;并基于所述状态价值与所述优势值合成各动作的动作价值;

6、基于当前策略从所述动作价值中选择执行动作并获取环境返回的即时奖励与下一时刻观测数据;

7、构建经验元组并存入经验回放缓冲区,从所述经验回放缓冲区中采样批量经验,基于时序差分误差更新d3qn网络的网络参数;所述经验元组至少包括当前状态、执行动作、即时奖励、下一状态及终止标志。

8、第二方面,提供一种基于改进d3qn的兵棋智能体决策装置,包括:

9、状态预处理模块,用于获取兵棋推演环境的原始观测数据,预处理生成时序观测序列;

10、时序-空间特征提取模块,用于基于所述时序观测序列,采用cnn+lstm混合网络结构提取场景状态的空间关联特征与时序依赖特征,并生成融合特征向量;

11、dueling价值网络模块,用于通过预设的dueling价值网络的价值分支输出所述融合特征向量的状态价值,通过其优势分支输出所述融合特征向量中各动作的优势值;并基于所述状态价值与所述优势值合成各动作的动作价值;

12、动作执行模块,用于基于当前策略从所述动作价值中选择执行动作并获取环境返回的即时奖励与下一时刻观测数据;

13、自适应经验回放模块,用于构建经验元组并存入经验回放缓冲区,从所述经验回放缓冲区中采样批量经验,基于时序差分误差更新d3qn网络的网络参数;所述经验元组至少包括当前状态、执行动作、即时奖励、下一状态及终止标志。

14、第三方面,提供一种电子设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如第一方面所述方法的步骤。

15、第四方面,提供一种可读存储介质,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如第一方面所述方法的步骤。

16、本申请的基于改进d3qn的兵棋智能体决策方法,具有以下有益效果:

17、针对现有dqn算法非完全态势信息处理能力不足,本申请改进d3qn(duelingdouble dqn)网络引入长短期记忆网络(lstm)构建时序特征提取模块,提升兵棋智能体对敌方意图的推断能力和模型泛化能力。针对现有dqn算法高维状态空间学习效率低下,本申请采用优先经验回放机制替代均匀采样,提升在稀疏奖励环境下的样本利用率和收敛速度。针对现有dqn算法奖励设计难以适配兵棋环境,本申请采用分层动态奖励,引导智能体兼顾短期局部利益与长期战略目标。由此,赋予兵棋棋子单元在高维、非完全可观测战场中的自主决策能力,使其行为符合战术逻辑。

18、本申请与基于改进d3qn的兵棋智能体决策方法对应的装置、电子设备及可读存储介质,其能达到相同的技术效果,为避免重复,这里不再赘述。

1.一种基于改进d3qn的兵棋智能体决策方法,其特征在于,包括:

2.根据权利要求1所述的基于改进d3qn的兵棋智能体决策方法,其特征在于,

3.根据权利要求1所述的基于改进d3qn的兵棋智能体决策方法,其特征在于,

4.根据权利要求3所述的基于改进d3qn的兵棋智能体决策方法,其特征在于,

5.根据权利要求1所述的基于改进d3qn的兵棋智能体决策方法,其特征在于,

6.根据权利要求1所述的基于改进d3qn的兵棋智能体决策方法,其特征在于,

7.根据权利要求6所述的基于改进d3qn的兵棋智能体决策方法,其特征在于,

8.一种基于改进d3qn的兵棋智能体决策装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述基于改进d3qn的兵棋智能体决策方法的步骤。

10.一种可读存储介质,其特征在于,所述可读存储介质上存储有程序或指令,所述程序或指令被处理器执行时实现如权利要求1至6中任一项所述基于改进d3qn的兵棋智能体决策方法的步骤。