一种基于多智能体强化学习的自适应粒子群优化方法及系统

本发明属于人工智能与优化算法交叉，具体涉及一种基于多智能体强化学习的自适应粒子群优化方法，及实现该方法的优化系统。该方法将多智能体深度强 化学习决策层无缝嵌入经典粒子群优化算法主循环中，通过为每个粒子赋予共享策略网 络，使算法能够根据累积的搜索经验自主学习和调整搜索策略，从而显著提升算法在高维、多模态复杂优化问题中的求解效率与解的质量。

背景技术：

1、随着科学与技术的快速发展，越来越多的现实世界优化问题呈现出高维度、内 在复杂性和多模态等特点，如工程设计、参数识别、能源调度等领域。在单目标优化背 景下，这些问题的数学模型通常可表述为：在满足一系列等式与不等式约束的条件下， 最小化一个定义在高维欧几里得空间上的目标函数。

2、粒子群优化作为一种经典的群体智能元启发式算法，因其概念简单、易于实现 且参数较少，被广泛应用于各类工程领域。其基本思想是模拟鸟群或鱼群的群体运动， 通过粒子对自身历史最优位置和群体全局最优位置的跟踪，在解空间中迭代更新位置， 以逼近全局最优。然而，标准pso算法存在以下显著缺陷：其一，它本质上是无记忆 的，每次优化运行被视为独立事件，不保留和利用历次运行的轨迹数据，导致大量宝贵 的搜索经验被浪费；其二，在复杂的多模态高维搜索空间中，算法容易陷入局部最优， 发生早熟收敛，丧失全局探索能力；其三，其扰动策略，如随机重启、莱维飞行等，通 常是固定且启发式的，缺乏对当前搜索状态的自适应反馈能力，难以在探索与开发之间 取得动态平衡。

3、为提升元启发式算法性能，研究者尝试将强化学习（rl）与进化计算（ec）相 结合。rl通过与环境交互并基于奖励信号学习决策策略，能够为进化算法提供自适应 的探索与开发平衡机制。现有工作表明，利用rl指导进化过程可以加速收敛并提高解 的质量。然而，大多数现有方法存在一个共同的局限：它们需要先进行一个独立的“离 线预训练”阶段。即，在真正开始优化之前，需要先收集数据并训练rl策略模型。这 个过程不仅耗时，而且限制了算法的即时适用性和通用性，用户必须针对不同问题准备 训练数据，实际应用门槛较高。

技术实现思路

1、本发明旨在克服现有技术的不足，提供一种基于多智能体强化学习的自适应粒子群优化方法（marlpso），及其对应的系统。该方法的核心创新在于：将多智能体深 度强化学习框架，特别是多智能体近端策略优化（mappo），直接、实时地集成到pso 的迭代循环中，无需任何离线预训练阶段。通过赋予群体中每个粒子一个共享的“ai 大脑”（即策略网络），使其能够感知自身及群体的搜索状态，并学习何时以及如何对标 准pso更新施加智能扰动。本发明将传统pso从无记忆的随机搜索过程，转变为一个 累积的、经验驱动的智能优化过程，将多次独立运行的冗余计算转化为可复用的搜索经 验，在不增加预训练成本的前提下，显著提升算法的样本效率和求解性能。

2、为实现上述目的，本发明采用如下技术方案。

3、一个基于多智能体强化学习的自适应粒子群优化方法，包括以下步骤。

4、（1）初始化与状态感知：随机初始化粒子群中每个粒子的位置和速度。在每次 迭代开始时，为每个粒子构造一个归一化的状态观测向量。该向量综合反映了粒子相对 于全局最优和个体最优的空间关系、当前速度大小、在群体中的适应度排名以及自身的 停滞程度，为rl策略网络提供全面且一致的搜索环境快照。

5、（2）学习策略合成：每个粒子将观测到的状态向量输入到共享的多智能体强化 学习策略网络。网络输出一个二维连续动作向量，该向量被线性映射为扰动触发阈值 和扰动模式参数。此环节将原本依赖手工调优的启发式规则，转变为基于学习到的、 状态感知的自适应控制逻辑。

6、（3）混合速度-位置更新：首先，根据标准pso公式计算基准速度。其次，判断当前粒子的停滞程度是否大于策略网络输出的触发阈值。如果条件满足，则根据参数，从预设的四种扰动模式库中动态选择并参数化一种扰动策略，将其叠加到基准速度 上，得到最终速度。这四种扰动策略分别是：随机跳跃，用于进行大幅度的均匀位移以 跳出局部区域；莱维飞行，采用重尾柯西分布进行长步跳跃；速度反转，通过速度方向 的momentum 反转来重新定位搜索方向；维度移位，通过循环移位速度向量中的各维 度分量来打破退化的运动模式。随后，利用最终速度更新粒子位置，并将位置裁剪在有 效解空间内。

7、（4）状态转换与记忆更新：对新位置进行适应度评估。根据相对适应度改善情 况更新停滞计数器。按照贪婪策略更新粒子的个体历史最优和群体的全局最优。在训练阶段，计算混合奖励信号，该信号融合了全局最优改进和个体历史最优改进的信息，用 于指导策略网络的更新与优化。

8、进一步的，本发明中，所述奖励函数设计为一个加权混合形式：全局奖励分量占比80%，在全局最优适应度改进时给予强正向奖励；个体奖励分量占比20%，在粒子个 体历史最优适应度改进时给予较小正向奖励，而在其停滞时给予轻微惩罚。这种设计在 优先保证集体进步的同时，鼓励个体的局部探索。

9、进一步的，本发明中，所述策略网络采用多智能体近端策略优化（mappo）算 法进行训练，多个粒子智能体在共享的环境中协同学习，共同优化一个联合目标。进一步的，本发明还提供一种实现上述方法的优化系统，该系统包括：

10、状态感知模块，用于为每个粒子构造归一化的状态观测向量。

11、策略决策模块，包含所述共享的多智能体强化学习策略网络，用于根据状态向 量输出扰动控制参数。

12、混合更新模块，用于根据标准pso计算基准速度，并根据决策模块的输出选择 并施加扰动策略，最终更新粒子位置。

13、奖励与学习模块，用于计算混合奖励信号，并驱动策略网络的在线学习与参数更新。

14、本发明的有益效果是：

15、突破“离线预训练”瓶颈：将深度强化学习与pso紧密耦合，实现在线协同 进化，无需任何预训练阶段，极大提升了算法的即插即用性和通用性。

16、具备累积学习与经验复用能力：通过共享策略网络，算法能够利用跨运行的 历史搜索经验，将冗余计算转化为可行动的智能，显著提升样本效率。

17、提供状态感知的自适应扰动：扰动策略的触发时机与具体模态由深度神经网 络根据实时、多维的状态信息动态决策，实现了高度智能化和自适应的搜索能力。

18、卓越的求解性能与可扩展性：实验表明，在cec2017标准测试集上，该方法 在100维高维设置下，在69.0%的测试函数上排名第一，性能显著优于传统及多种先进 元启发式算法，且在从低维到高维的扩展中保持了优越的性能与稳定性。

19、适用于复杂约束工程问题：在悬臂梁设计、压力容器设计、减速器设计等实 际工程约束优化问题中，该方法均能找到高质量可行解，验证了其在解决复杂实际工程 问题上的有效性。

1.一种基于多智能体强化学习的自适应粒子群优化方法，其特征在于，包括以下步骤：初始化粒子群，其中每个粒子具有位置、速度、个体历史最优位置及个体历史最优适应度值，并确定种群的全局最优位置及全局最优适应度值；在每次迭代中，针对每个粒子构建归一化的状态向量；所述状态向量至少包含：粒子当前位置相对于全局最优位置的距离分量、粒子当前位置相对于个体历史最优位置的距离分量、归一化的速度分量、粒子在种群中的适应度排名分量以及归一化的停滞程度分量，其中停滞程度分量取停滞计数器除以10与1中的较小值；将所述状态向量输入到共享的多智能体强化学习策略网络中，由策略网络输出动作向量，并将所述动作向量映射为扰动触发阈值和扰动模式参数；根据标准粒子群优化算法计算粒子的基准速度；计算粒子的归一化停滞指标，并判断是否满足停滞指标大于扰动触发阈值；若满足，则根据扰动模式参数的值从预设的扰动策略库中选择一种扰动策略，并计算相应的扰动向量；将所述扰动向量叠加到所述基准速度上，得到粒子的最终更新速度；根据所述最终更新速度更新粒子的位置；评估更新后的粒子位置的适应度，更新停滞计数器、个体历史最优位置及种群的全局最优位置，并根据适应度的变化情况计算奖励信号，利用所述奖励信号通过多智能体近端策略优化算法对共享的多智能体强化学习策略网络进行在线训练更新。

2.根据权利要求1所述的方法，其特征在于，所述扰动策略库包括以下四种策略：

3.根据权利要求2所述的方法，其特征在于，所述随机跳跃策略对应的扰动向量的计算方式为：

4.根据权利要求2所述的方法，其特征在于，所述莱维飞行策略对应的扰动向量的计算方式为：将搜索空间的上下界之差乘以1加上停滞程度指标的值，再乘以一个服从柯西分布的随机向量，该随机向量需截断至区间-3到3之间；其中，柯西分布的尺度参数根据扰动模式参数计算得出。

5.根据权利要求2所述的方法，其特征在于，所述速度反转策略对应的扰动向量的计算方式为：将基准速度乘以负1、1加上停滞程度指标的值以及反转因子参数；其中，反转因子参数根据扰动模式参数计算得出。

6.根据权利要求2所述的方法，其特征在于，所述维度移位策略对应的扰动向量的计算方式为：将循环移位后的基准速度乘以扰动模式参数；其中，循环移位的步数根据扰动模式参数和问题维度计算得出，即取参数值与维度乘积的向下取整值与1中的最大值。

7.根据权利要求1所述的方法，其特征在于，所述奖励信号为加权混合奖励，计算方式为：奖励信号等于0.2倍的个体奖励分量加上0.8倍的全局奖励分量；其中，全局奖励分量用于衡量种群全局最优适应度的改善情况；个体奖励分量用于衡量粒子自身个体历史最优适应度的改善情况。

8.根据权利要求7所述的方法，其特征在于，所述全局奖励分量的计算逻辑为：若当前全局最优适应度优于上一轮全局最优适应度，则利用双曲正切函数对适应度差值进行归一化处理作为奖励值；否则奖励值为0。

9.根据权利要求7所述的方法，其特征在于，所述个体奖励分量的计算逻辑为：若当前粒子适应度优于上一轮该粒子的个体历史最优适应度，则利用双曲正切函数对适应度差值进行归一化处理作为奖励值；否则奖励值为-0.01。