一种基于深度神经网络的多智能体协同控制系统及方法与流程
本发明涉及神经网络,具体为一种基于深度神经网络的多智能体协同控制系统及方法。
背景技术:
1、多智能体协同控制系统是由多个具有自主感知和决策能力的智能体组成的分布式系统,智能体通过与环境的交互以及相互之间的协作来完成单个智能体无法独立完成的复杂任务。近年来,多智能体系统在无人机集群作战、智能交通控制、工业协同制造、搜索救援等领域的应用日益广泛,已成为人工智能领域的重要研究方向。深度神经网络凭借其对高维状态空间强大的特征提取和表示能力,与强化学习相结合形成的深度强化学习方法,为解决多智能体协同控制问题提供了新的技术路径;
2、在实际的多智能体协同控制场景中,智能体往往需要同时处理离散动作和连续动作。例如,无人机集群在执行协同围捕任务时,既需要选择“追踪模式”“包围模式”等离散行为策略,又需要输出俯仰角速率、偏航角速率、推力增量等连续控制量。混合动作空间在机器人控制和游戏ai等领域普遍存在。现有大多数多智能体强化学习方法通常将问题简化为纯离散或纯连续的动作空间。当离散动作与连续动作共存时,二者之间的内在耦合会严重影响策略的稳定性和收敛性。尽管已有少量研究尝试通过参数化动作空间的方式处理混合动作,但这些方法往往将离散和连续动作简单拼接后输入同一网络,未能显式建模离散决策对连续控制的耦合影响,导致策略表达能力受限,在高维场景下的可扩展性较差。
技术实现思路
1、本发明的目的在于提供一种基于深度神经网络的多智能体协同控制系统及方法,以解决现有技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:
3、一种基于深度神经网络的多智能体协同控制方法,所述方法包括以下步骤:
4、s100、针对每个智能体通过局部观测采集自身运行数据,利用多层感知机得到特征嵌入,通过通信信道获取邻居智能体的特征嵌入,通过注意力网络聚合邻居智能体特征嵌入得到聚合特征;
5、所述通过注意力网络聚合邻居智能体特征嵌入得到聚合特征的具体步骤为:
6、s101、每个智能体通过局部观测采集自身运行数据,所述运行数据包括自身位置坐标、速度矢量、传感器读数等,并将所有运行数据归一化到[-1,1];将自身运行数据输入到多层感知机mlp中,得到自身特征嵌入hi,维度设为dh=64;公式为:hi=mlpenc(oi),其中oi表示自身运行数据,mlpenc表示编码器多层感知机;
7、每个智能体通过通信信道获取邻居智能体的特征嵌入hj;所述邻居智能体表示所有其余智能体均为邻居智能体;
8、s102、将自身特征嵌入和邻居智能体特征嵌入进行首尾拼接,将拼接后的特征嵌入输入到mlp中输出标量分值eij;公式为:eij=leakyrelu(at[whi||whj]),其中a表示权重,w表示线性变换矩阵,a和w通过训练获得,leakyrelu表示激活函数,||表示拼接;计算得到所有邻居智能体的标量分值;
9、利用标量分值计算自身智能体与每个邻居智能体的注意力系数,公式为:
10、;
11、其中,αij表示自身智能体i与邻居智能体j的注意力系数,eik表示求和时自身智能体与邻居智能体k的标量分值,k∈[1,n],n表示邻居智能体总数;
12、针对每个智能体将所有邻居智能体的特征嵌入和自身特征嵌入加权聚合,公式为:
13、;
14、其中,gi表示聚合特征,j∈[1,n];输出聚合特征维度为64。通过注意力机制动态计算智能体间的关联权重,当通信拓扑发生变化时,注意力系数会自动调整,无需重新训练模型即可适应新的邻居结构。注意力系数能够自动识别并抑制无关或低质量邻居信息的干扰,使聚合特征聚焦于对当前决策最有价值的协作信息,提升了协同决策的鲁棒性。聚合操作采用加权求和,无论邻居智能体的排列顺序如何变化,输出结果保持一致,保证了网络对智能体编号变化的天然鲁棒性,符合多智能体系统的实际部署需求。
15、s200、将自身特征嵌入和聚合特征进行拼接为综合特征并构建离散策略网络,将综合特征输入离散策略网络输出概率向量;对所有智能体的概率向量进行采样得到离散动作;
16、所述对所有智能体的概率向量进行采样得到离散动作的具体步骤为:
17、s201、将自身特征嵌入和聚合特征进行拼接得到综合特征xi,综合特征维度为128;将综合特征输入离散策略网络,所述离散策略网络通过mlp加上softmax函数得到,输出概率向量pi,公式为:pi=softmax(mlpd(xi)),其中mlpd表示离散策略网络的多层感知机,所述离散策略网络的多层感知机包括输入层、隐藏层和输出层,所述隐藏层包含128个神经元和激活函数;输出层包括nd个神经元,无激活函数;输出的概率向量长度为nd,每一维代表选取对应离散动作的概率;nd表示可选离散动作的个数;
18、s202、根据概率向量进行采样,选取概率向量中最大值所对应的动作索引aid∈[1,nd],利用动作索引确定离散动作;创建长度为nd的全零向量,将动作索引aid位置设置为1,得到离散动作的独热编码。采用“选取概率最大值”的确定性采样方式,在实际部署时保证了决策的稳定性和可重复性;同时该框架可无缝兼容训练阶段的随机采样,实现了训练探索与执行利用的统一架构。将离散动作索引转换为正交的独热向量,避免了将无序类别错误地编码为有序数值,保证了神经网络对离散动作的公平处理,为后续离散-连续耦合提供了规范的输入格式。
19、s300、将综合特征额外拼接一个全局上下文,构建耦合估计网络,利用耦合估计网络输出耦合因子;
20、所述利用耦合估计网络输出耦合因子的具体步骤为:
21、s301、将综合特征额外拼接一个全局上下文为(xi,c),c表示全局上下文,所述全局上下文表示任务类型、时间步等信息,当无先验数据时c可设为0;拼接后的输入维度为129;
22、构建耦合估计网络,将mlp最后一层设为单个神经元,后接sigmoid函数,将拼接全局上下文的综合特征输入到耦合估计网络中,输出分析标量,利用分析标量计算耦合因子,公式为:
23、;
24、其中,λi表示耦合因子,mlpλ表示耦合估计网络,z表示分析标量,z=mlpλ=(xi,c);耦合估计网络通过训练自动学习不同全局上下文下综合特征的耦合因子取值。耦合因子由网络根据当前状态和任务上下文实时计算,使系统能够根据环境变化自动调整离散动作对连续动作的影响强度——在紧急场景下加强耦合,在常规场景下减弱耦合,实现“按需耦合”的精细化控制。耦合估计网络通过策略梯度与全局奖励关联训练,无需人工标定耦合强度,完全由系统在任务执行中自主习得最优耦合策略,降低了人工调参成本。
25、s400、构建基础均值网络和耦合偏移网络,将综合特征输入基础均值网络输出基准连续动作均值,将综合特征和独热编码输入耦合偏移网络输出耦合偏移量;利用基准连续动作均值和耦合偏移量计算最终连续动作均值,通过高斯分布采样获得连续动作向量;
26、所述通过高斯分布采样获得连续动作向量的具体步骤为:
27、s401、所述基础均值网络包括输入层、隐藏层1和隐藏层2、输出层;所述输入层包含128神经元,用于接收综合特征;所述隐藏层1包含256神经元和激活函数relu;所述隐藏层包含128神经元和激活函数relu;所述输出层包含nc神经元,输出实数;所述nc智能体可选连续动作的个数;
28、将综合特征输入到基础均值网络中输出基准连续动作均值,公式为:
29、;
30、其中,μibase表示基准连续动作均值,mlpμbase表示基础均值网络;基准连续动作均值维度为nc;
31、s402、所述耦合偏移网络输入层、隐藏层1和隐藏层2、输出层;,所述输入层包含128+nc神经元,用于将综合特征和独热编码拼接;所述隐藏层1包含256神经元和激活函数relu;所述隐藏层包含256神经元和激活函数relu;所述输出层包含nc神经元和激活函数tanh双曲正切,输出范围限制在[-1,1]之间;
32、将综合特征和独热编码输入到耦合偏移网络中,输出耦合偏移量,公式为:;△μi表示耦合偏移量,mlp△μ表示耦合偏移网络,eid表示独热编码;
33、s403、利用耦合因子将基准连续动作均值和耦合偏移量进行动态融合输出最终连续动作均值μi,公式为:μi=μibase+λi×△μi;
34、当λi=0时,忽略离散动作的影响;当λi=1时,加上完整偏移量;
35、设置可训练的标准差σi,通过高斯采样获取连续动作,公式为:aic~ng(μi,σi),ng表示高斯分布,~表示服从分布,aic表示连续动作向量。
36、将连续动作分解为“与离散动作无关的基础分量”和“与离散动作相关的耦合偏移量”,基础均值网络学习通用控制能力,耦合偏移网络专门学习离散决策对连续控制的修正效应,降低了每个子网络的学习难度,加速了训练收敛。
37、不同于传统方法将离散和连续动作简单拼接后输入同一网络,本发明通过加法融合公式实现了离散-连续耦合的显式数学表达,使耦合强度可量化、可解释、可调节,便于系统调试和故障分析。
38、s500、构建环境模拟器,将离散动作和连续动作输入到环境模拟器中进行执行,环境模拟器根据所有动作输出下一状态,并判断智能体任务是否完成;
39、所述判断智能体任务智斗完成的具体步骤为:
40、s501、利用openaigym工具构建环境模拟器,所述环境模拟器包括物理引擎、任务逻辑和观测生成器;所述物理引擎用于根据离散动作和连续动作计算下一状态;所述任务逻辑用于判断当前智能体任务是否完成,当物理引擎计算的下一状态为任务所要求状态时判断任务完成;所述观测生成器用于将智能体下一状态观测为自身运行数据;最终输出下一状态的自身运行数据oi’。通过状态比对方式判断任务是否完成,为训练过程提供天然的终止条件和稀疏奖励触发点,便于结合密集奖励与稀疏奖励进行混合训练,加速策略收敛。
41、一种基于深度神经网络的多智能体协同控制系统,多智能体协同控制系统包括特征提取模块、离散动作模块、耦合因子模块、连续动作耦合模块和模拟模块;
42、所述特征提取模块用于针对每个智能体通过局部观测采集自身运行数据,利用多层感知机得到特征嵌入,通过通信信道获取邻居智能体的特征嵌入,通过注意力网络聚合邻居智能体特征嵌入得到聚合特征;
43、所述离散动作模块用于将自身特征嵌入和聚合特征进行拼接为综合特征并构建离散策略网络,将综合特征输入离散策略网络输出概率向量;对所有智能体的概率向量进行采样得到离散动作;
44、所述耦合因子模块用于将综合特征额外拼接一个全局上下文,构建耦合估计网络,利用耦合估计网络输出耦合因子;
45、所述连续动作耦合模块用于构建基础均值网络和耦合偏移网络,将综合特征输入基础均值网络输出基准连续动作均值,将综合特征和独热编码输入耦合偏移网络输出耦合偏移量;利用基准连续动作均值和耦合偏移量计算最终连续动作均值,通过高斯分布采样获得连续动作向量;
46、所述模拟模块用于构建环境模拟器,将离散动作和连续动作输入到环境模拟器中进行执行,环境模拟器根据所有动作输出下一状态,并判断智能体任务是否完成。
47、与现有技术相比,本发明的有益效果是:
48、1、现有技术中多智能体系统通常将离散动作和连续动作分开处理,忽略了二者的内在耦合关系,导致在需要协同决策的任务中性能不佳。本发明通过耦合因子和耦合偏移网络的协同设计,实现了离散决策对连续控制的显式、动态、可解释的影响建模,填补了混合动作空间下多智能体协同控制的技术空白。
49、2、传统方法要求智能体数量固定、通信关系预先设定,当拓扑变化时需要重新训练。本发明通过注意力机制实时计算智能体间的关联权重,使系统能够自适应智能体加入、退出、链路中断等动态变化,在实际部署中具备更强的鲁棒性和可扩展性。
50、3、全局上下文的引入使得耦合因子的调节能够感知任务类型和时间阶段,同一套网络结构可通过调整全局上下文参数适配不同任务场景,无需重新设计网络架构,体现了算法的通用性和迁移能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com