一种基于状态相关动态权重的冲突学习控制方法与流程

本发明涉及智能控制，尤其涉及一种基于状态相关动态权重的冲突学习控制方法。

背景技术：

1、现有机器人或无人机在执行复杂任务时，通常需要同时满足多个控制目标，例如稳定控制、导航推进、避障控制、轨迹跟踪以及任务执行等。由于多个控制目标之间通常存在耦合关系，尤其在高动态、不稳定或复杂环境下，不同目标之间容易产生冲突。

2、现有技术中，针对该类问题主要采用两种方式。其一是采用模块化或层级化控制方式，将感知、规划、稳定控制和执行控制分别交由不同模块完成。采用该方式时，虽然便于分工设计，但由于各模块之间存在接口分离，容易导致协调不足、响应滞后以及整体控制不一致等问题。其二是采用固定权重的多目标优化方式，即通过预先设定固定权重，对多个目标进行加权求和后统一优化。采用该方式时，虽然实现较为简单，但由于不同目标之间的冲突关系会随着系统状态变化而变化，固定权重难以兼顾高风险状态下的稳定性要求和低风险状态下的任务推进要求，容易导致系统在高风险状态下失稳，或者在低风险状态下控制过于保守。

3、因此，亟需一种基于状态相关动态权重的冲突学习控制方法，根据当前状态在线调整不同目标相对权重，并实现多个冲突目标自适应协调。

技术实现思路

1、本发明的目的在于提供一种基于状态相关动态权重的冲突学习控制方法，旨在根据当前状态在线调整不同目标相对权重，并实现多个冲突目标自适应协调。

2、为实现上述目的，本发明提供了一种基于状态相关动态权重的冲突学习控制方法，包括以下步骤：

3、获取被控对象在运行过程中的当前状态信息，并基于所述状态信息构造端到端控制策略输入；

4、基于所述当前状态信息提取风险指标，并基于所述风险指标计算动态权重；

5、基于所述动态权重对稳定相关目标和任务相关目标进行在线加权融合，得到融合奖励信号；

6、基于所述融合奖励信号训练更新控制策略。

7、其中，所述状态信息获取可通过惯性测量单元、定位模块、环境感知模块、轮速编码器和电机反馈模块中的一种或多种获取状态信息，所述控制策略输入包括车体俯仰角、角速度、轮速、环境感知信息和目标相对方位信息中的一种或多种。

8、其中，所述风险指标用于反映被控对象当前偏离稳定状态的程度，所述风险指标可采用被控对象的车体俯仰角，车体俯仰角越大，表示系统偏离平衡状态的程度越高，发生失稳的风险越大。

9、其中，所述动态权重用于表示稳定相关目标和任务相关目标在当前状态下的相对重要程度，其中，所述稳定相关目标是指用于维持被控对象姿态稳定和可恢复状态的控制目标，所述任务相关目标是指用于推动被控对象完成预设任务的控制目标。

10、其中，根据所述风险指标计算动态权重，包括：

11、将车体俯仰角θ(s)的绝对值按预设范围归一化，得到稳定相关目标权重：

12、

13、其中，θ(s)表示当前状态下的车体俯仰角，β(s)表示根据当前状态计算得到的动态权重，1-β(s)表示任务相关目标的权重，表示将计算结果限制在0至1区间内。

14、其中，所述融合奖励信号可表示为：

15、

16、其中，表示平衡目标对应的奖励项，表示导航目标对应的奖励项，为前述动态权重。

17、其中，所述控制策略包含带长短期记忆网络的强化学习模型，所述模型包括状态输入层、长短期记忆网络层以及动作输出层，其中，状态输入层用于接收由当前状态信息构成的状态向量，长短期记忆网络层用于提取连续时刻状态信息之间的时序特征并形成隐状态表示，动作输出层用于根据所述隐状态表示生成被控对象执行机构的控制动作。

18、本发明的一种基于状态相关动态权重的冲突学习控制方法，获取被控对象在运行过程中的当前状态信息，并基于所述状态信息构造端到端控制策略输入；基于所述当前状态信息提取风险指标，并基于所述风险指标计算动态权重；基于所述动态权重对稳定相关目标和任务相关目标进行在线加权融合，得到融合奖励信号；基于所述融合奖励信号训练更新控制策略，该方法通过当前状态信息提取风险指标，并基于风险指标在线计算动态权重；再利用动态权重对存在冲突关系的控制目标进行奖励融合，使强化学习模型在训练过程中根据不同状态自动调整平衡目标和任务目标的相对重要程度，从而实现状态相关冲突的自适应协调。

1.一种基于状态相关动态权重的冲突学习控制方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于状态相关动态权重的冲突学习控制方法，其特征在于，

3.如权利要求1所述的基于状态相关动态权重的冲突学习控制方法，其特征在于，

4.如权利要求1所述的基于状态相关动态权重的冲突学习控制方法，其特征在于，

5.如权利要求1所述的基于状态相关动态权重的冲突学习控制方法，其特征在于，

6.如权利要求1所述的基于状态相关动态权重的冲突学习控制方法，其特征在于，

7.如权利要求1所述的基于状态相关动态权重的冲突学习控制方法，其特征在于，