安全强化学习问题建模方法、安全控制策略生成方法和装置

摘要: 本申请涉及人工智能,具体而言,涉及一种安全强化学习问题建模方法、安全控制策略生成方法和装置。背景技术:1、强化学习通过智能体与环境的序贯交互、试错学习,逐步优化...
安全强化学习问题建模方法、安全控制策略生成方法和装置

本申请涉及人工智能,具体而言,涉及一种安全强化学习问题建模方法、安全控制策略生成方法和装置。

背景技术:

1、强化学习通过智能体与环境的序贯交互、试错学习,逐步优化决策策略以实现目标收益最大化。

2、目前现有的深度强化学习通常假设环境可以周期性自动重置,智能体可从中断状态重新开始学习,但在无人系统控制、高危工业运维等真实场景中,环境不具备自动重置能力,智能体一旦进入危险状态难以恢复,存在严重的安全风险。

技术实现思路

1、本申请的主要目的在于提供一种安全强化学习问题建模方法、安全控制策略生成方法和装置,以解决现有技术中智能体在无重置环境中无法回归初始状态,存在严重安全风险的问题。

2、为了实现上述目的,本申请的第一方面,提出了一种安全强化学习问题建模方法,包括:

3、基于智能体与无重置环境的历史交互数据及安全约束数据,构建智能体安全强化学习问题,其中,该无重置环境为无法周期性重启至初始交互状态的环境,该安全约束数据用于确定该智能体的安全控制边界;

4、将该智能体安全强化学习问题建模成无重置约束马尔可夫决策过程模型,其中,该无重置约束马尔可夫决策过程模型包括前向策略和重置策略,该前向策略用于驱动该智能体执行目标任务,该重置策略用于驱动该智能体从非安全状态恢复至初始安全状态。

5、第二方面,提出了一种安全控制策略生成方法,包括:

6、获取待训练智能体;

7、基于无重置约束马尔可夫决策过程模型,采用深度强化学习算法对该待训练智能体进行训练;

8、基于训练后的智能体,生成目标安全控制策略;

9、其中,该无重置约束马尔可夫决策过程模型是采用本申请上述实施例中的安全强化学习问题建模方法建模得到的。

10、第三方面,提出了一种安全强化学习问题建模装置,包括:

11、构建模块,用于基于智能体与无重置环境的历史交互数据及安全约束数据,构建智能体安全强化学习问题,其中,该无重置环境为无法周期性重启至初始交互状态的环境,该安全约束数据用于确定该智能体的安全控制边界;

12、建模模块,用于将该智能体安全强化学习问题建模成无重置约束马尔可夫决策过程模型,其中,该无重置约束马尔可夫决策过程模型包括前向策略和重置策略,该前向策略用于驱动该智能体执行目标任务,该重置策略用于驱动该智能体从非安全状态恢复至初始安全状态。

13、第四方面,提出了一种安全控制策略生成装置,包括:

14、获取模块,用于获取待训练智能体;

15、训练模块,用于基于无重置约束马尔可夫决策过程模型,采用深度强化学习算法对该待训练智能体进行训练;

16、生成模块,用于基于训练后的智能体,生成目标安全控制策略;

17、其中,该无重置约束马尔可夫决策过程模型是采用本申请上述实施例中的安全强化学习问题建模装置建模得到的。

18、本申请的实施例提供的技术方案可以包括以下有益效果:

19、在本申请中,通过将智能体安全强化学习问题建模为包含前向策略和重置策略的无重置约束马尔可夫决策过程模型,双策略协同优化,解决了无重置环境下智能体无法回归初始状态的问题,有效控制智能体在无重置环境下的安全风险,保障强化学习过程的安全性。

1.一种安全强化学习问题建模方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在将所述智能体安全强化学习问题建模成无重置约束马尔可夫决策过程模型之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述当前交互数据,在判断所述智能体的当前状态是否满足预设安全约束条件之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述条件风险值的计算公式为,其中,为预设风险水平,s为状态,a为动作,为的累积分布函数,c为累积折扣安全成本,,为基于概率分布的期望。

5.根据权利要求2所述的方法,其特征在于,所述基于所述当前交互数据,在判断所述智能体的当前状态是否满足预设安全约束条件之前,所述方法还包括:

6.根据权利要求2所述的方法,其特征在于,所述方法还包括:

7.根据权利要求2所述的方法,其特征在于,所述方法还包括:

8.一种安全控制策略生成方法,其特征在于,包括:

9.一种安全强化学习问题建模装置,其特征在于,包括:

10.一种安全控制策略生成装置,其特征在于,包括: