一种基于语义注意力机制的应急任务链构建方法
本发明属于低空智联网、无人机自组网协同控制和多智能体强化学习领域,特别涉及基于语义注意力机制的应急任务链构建方法。
背景技术:
1、近年来,随着低空经济、智慧城市和应急救援体系的快速发展,无人机被广泛应用于灾害监测、目标搜索、应急通信、快速处置和协同救援等任务场景中。在复杂低空环境下,单一无人机节点往往难以独立完成完整的应急响应任务,需要多个异构节点根据任务需求动态协同,形成由目标发现、信息传输、态势判断、任务分配和应急处置等环节构成的应急任务链。如何在有限时间窗口内快速构建有效的应急任务链,缩短“探测-通信-决策-处置”闭环时间,提高低空应急响应效率,已经成为低空智联网协同任务执行中的重要技术问题。
2、低空应急任务链构建问题具有明显的动态性、异构性和强时效性。一方面,不同无人机节点在运动能力、探测能力、通信能力、决策能力和处置能力等方面存在显著差异,不同类型节点在任务链中承担的功能角色也不相同;另一方面,复杂地形、灾害现场遮挡以及电磁干扰等因素会导致低空自组网通信链路不稳定,节点通常只能获得局部观测信息,难以实时掌握全局态势。在此条件下,任务信息从探测节点传输到决策节点,再由决策节点下发至处置节点的过程中,容易出现通信中断、邻居节点动态丢失、路由选择不合理和任务链闭环延迟等问题。若应急任务链不能在目标处置时间窗口内完成闭环,即使任务链在理论上可行,也可能因响应超时而导致应急处置失效。
3、现有的应急任务链构建和无人机任务规划方法主要包括两类。一类是基于遗传算法、粒子群算法、蚁群算法和多目标优化算法等启发式规划方法。该类方法通常通过预先建立任务目标、资源约束和优化指标之间的关系,搜索满足约束条件的节点组合或任务分配方案。然而,这类方法大多依赖集中式计算架构和较完整的全局态势信息,在通信受限、节点高机动和拓扑频繁变化的低空自组网场景下,难以及时适应局部链路断裂和邻居节点动态变化。同时,传统规划模型通常将节点的物理属性、功能能力和任务逻辑耦合在一起,缺乏对异构资源的分层解耦表达,容易导致状态表示维度膨胀和模型泛化能力不足。
4、另一类是基于深度强化学习或多智能体强化学习的动态决策方法。强化学习通过智能体与环境之间的交互学习策略,能够在动态不确定环境中获得自适应决策能力。多智能体强化学习进一步能够支持多个无人机节点之间的协同决策,因此适合用于低空智联网中的任务分配、路径规划、通信路由和协同处置等问题。但是,现有强化学习方法在低空应急任务链构建中仍存在明显不足:其一,许多方法默认底层通信网络较为理想,或者只关注高层任务分配,未能充分考虑通信受限条件下的盲路由问题;第二,常规的状态拼接或特征提取方式难以处理邻居节点数量变化、通信链路动态丢失和异构节点功能差异等问题;其三,应急任务链通常属于长时序协同任务,传统多智能体强化学习方法难以将最终任务奖励准确回溯到前端探测、通信和决策等关键参与节点,导致智能体容易形成局部贪婪策略,难以实现全链路协同优化。
5、因此,面向低空智联网下的应急任务链构建,需要一种能够同时适应异构节点能力差异、动态网络拓扑、局部观测约束和长时序奖励延迟的智能决策方法。现有技术中,如何在低空动态自组网环境下结合语义注意力机制和多智能体强化学习实现高效、鲁棒的应急任务链构建,仍有待进一步研究。
技术实现思路
1、本发明的目的是针对低空智联网中高效构建应急任务链的问题,提出一种基于语义注意力机制的应急任务链构建方法,从而有效提高低空智联网中无人机集群对应急目标的协同探测、信息传输、任务决策和应急处置能力。为了实现该目的,本发明所采用的步骤如下:
2、步骤1:构建低空智联网应急任务链三层解耦模型,所述三层解耦模型包括物理层、功能层和任务层。
3、1)构建物理层模型,物理层用于表征无人机节点和应急目标的空间属性、运动约束、能量状态和生存状态。将物理节点的栅格坐标记为gi(t),将连续物理坐标记为posi,并根据机动动作amove对节点位置进行更新。若更新后位置满足环境边界和碰撞约束,则执行位移,否则节点保持原位置。
4、节点能量随悬停、机动以及功能载荷执行过程发生消耗,其能量状态更新关系为:
5、ei(t+1)=ei(t)-(ehover+emove+eloaad) (1)
6、其中,ei(t)表示第i个节点在时刻t的剩余能量,ehover表示悬停基础能耗,emove表示机动能耗,eload表示执行探测、通信、决策或处置任务时的功能载荷能耗;当ei(t)≤0时,判定该节点失效。
7、2)构建功能层模型,功能层用于表征异构节点的任务能力,并将物理层节点按照能力类型映射为探测节点集合vs、决策节点集合vd和处置节点集合vi,功能节点集合定义为vf,对于任一功能节点v,其四维能力向量定义为:
8、cv=[cdetect,ccomm,cdecide,cintervene]∈r4 (2)
9、其中,cdetect、ccomm、cdecide和cintervene分别表示探测能力、通信能力、决策能力和处置能力;根据节点能力对探测半径、通信半径和处置半径进行映射。
10、3)构建任务层模型,任务层用于表征应急目标的任务状态和任务链阶段,任务集合定义为gtask,第m个应急任务在时刻t的状态向量定义为:
11、
12、其中,表示应急目标位置,表示剩余处置时间与任务时间窗口的比值,表示目标是否可被观测的可见性掩码,statem表示任务状态。
13、对于第m个应急任务,其标准应急任务链功能序列定义为:
14、seqm=(s→d→i→tm) (4)
15、其中,m表示应急任务链编号,s表示探测节点,d表示决策节点,i表示处置节点,tm表示第m个应急目标,应急任务链功能序列seqm和tm以及第m个目标任务一一对应。满足上述顺序且满足探测范围、通信范围、处置范围和任务时间窗口约束的节点组合,构成该应急目标的候选应急任务链集合lm。
16、步骤2:构建应急任务链全链路效能评估模型,根据探测、通信、决策和处置四个阶段计算任务链综合效能。
17、1)构建探测概率模型,探测概率用于表征探测节点vi对应急目标vj的发现能力,定义为:
18、
19、其中,d(vi,vj)表示节点vi与目标vj之间的距离,cap1i表示节点vi的最大探测距离。
20、2)构建通信概率模型,通信概率用于表征无人机自组网中节点间信息传输的可靠性,定义为:
21、
22、其中,dm表示由节点vi和节点vj的通信半径共同决定的最大可通信距离。
23、3)构建决策概率模型,决策概率用于表征决策节点对态势信息进行评估并生成指令的成功程度,定义为:
24、
25、其中,cap3i表示节点vi的决策能力,表示最优情报共享概率。
26、4)构建处置概率模型,处置概率用于表征处置资源作用于应急目标有效范围内的概率,定义为:
27、
28、其中,σi表示处置作用离散误差参数,表示节点vi的最大有效处置距离。
29、综上所述,在探测、通信、决策和处置阶段条件独立或近似独立的假设下,第m个任务的全链路处置效能定义为:
30、
31、其中,表示第m条应急任务链的综合处置效能,m表示应急任务链编号且与第m个应急目标一一对应,分别表示对应目标m下链路中的探测概率、通信概率、决策概率以及处置概率。
32、步骤3:构建应急任务链构建问题的强化学习状态空间和动作空间,本发明将每个无人机节点视为一个智能体,采用多智能体强化学习方法进行策略学习。对于低空智联网中的多无人机应急协同任务,第i个智能体在时刻t的局部观测定义为:
33、
34、其中,表示自身状态特征,表示通信缓存特征,表示导航方位特征,表示任务状态特征,表示邻居拓扑特征。
35、动作空间采用三维层级多离散动作向量,对第i个智能体,其动作定义为:
36、
37、其中,表示策略维度,取值0表示保持静默,取值1表示执行节点类型对应的探测、决策或处置逻辑,取值2表示执行通信中继。表示交互候选对象索引,对应观测空间中最近的k个邻居或目标;表示机动维度,包括保持、x正负向、y正负向和z正负向七种离散运动。
38、步骤4:设计应急任务链构建强化学习方法的奖励函数。
39、奖励函数包括三部分,分别为任务完成奖励、过程引导奖励和约束惩罚,总奖励由任务完成奖励和过程引导奖励扣除约束惩罚得到;具体的奖励函数设计准则为:
40、1)任务完成奖励,该奖励在应急任务链成功闭环时触发,用于同时表征全链路处置效能和时间效能;因此,t时刻的任务完成奖励定义如下:
41、
42、其中,vbase表示基础任务完成奖励,ieff表示任务链全链路处置效能,α表示控制基础完成奖励占比的权重系数,timeeff表示时间效能。
43、2)过程引导奖励,该奖励在智能体完成探测、路由、决策或处置等原子动作时给予,用于引导智能体形成有效的任务链协同行为。因此,t时刻的过程引导奖励定义如下:
44、
45、其中,detect表示探测动作,route表示路由转发动作,decide表示决策动作,intervene表示处置动作。
46、3)约束惩罚,该惩罚用于约束任务链构建过程中的时间消耗、能量消耗以及任务失败行为。因此,t时刻的约束惩罚定义如下:
47、
48、其中,wtime表示时间消耗惩罚权重,wenergy表示能量消耗惩罚权重,t表示当前时间步,δei(t)表示能量变化,pfail表示任务失败惩罚。
49、综上所述,第i个智能体在t时刻的完整奖励函数定义为:
50、
51、为缓解应急任务链中最终奖励延迟反馈的问题,本发明进一步引入全链路时序信用分配机制。对于第m个应急目标,记录任务链中各参与节点的动作、动作发生时刻及其贡献度。当任务链成功闭环后,将任务完成奖励按照贡献度和时间衰减因子回溯分配给探测、通信、决策和处置等关键参与节点,从而提高长时序协同任务中的奖励分配合理性。
52、
53、其中,il表示参与节点,al表示执行动作,tl表示动作发生时刻,ρl表示动作贡献度。
54、第l条记录的信用权重定义为:
55、
56、其中,表示第m个目标任务完成时刻,λ表示时间衰减系数。则第l条记录获得的回溯奖励为:
57、
58、修正后的智能体奖励为:
59、
60、其中,表示第i个智能体的修正后奖励,表示该智能体的原始即时奖励,rlcredit表示分配给相关历史动作记录的回溯奖励。
61、步骤5:构建基于语义注意力机制的多智能体强化学习算法,所述算法包括语义注意力聚合网络、循环记忆网络、动作输出网络和集中式价值评估网络。
62、1)构建语义注意力输入表示,在分散执行阶段,智能体根据局部观测进行动作决策。将局部观测划分为本体流、任务流和邻居流,其中邻居流首先通过线性投影映射到高维语义空间,得到:
63、h(0)=xneighwe+be (20)
64、其中,xneigh表示邻居观测矩阵,we和be分别表示线性投影权重和偏置。
65、2)由本体状态、任务阶段语义和邻居能力语义共同生成查询向量q,由邻居节点的功能能力、链路状态和任务相关特征生成键值向量k、v。计算多头自注意力特征,将h(0)输入多头自注意力模块,计算第h个注意力头的注意力矩阵和输出特征:
66、
67、其中,和分别表示第h个注意力头的查询、键和值投影矩阵,dk表示键向量维度。
68、3)进行邻居特征聚合,将各注意力头输出拼接并线性变换后,经过残差连接和层归一化得到增强特征矩阵h(1)。由于邻居节点输入顺序不携带语义信息,对零填充邻居设置无效掩码,然后沿实体维度采用最大池化操作得到邻居聚合特征:
69、
70、4)生成时序联合状态表示并输出动作,将本体流、任务流和邻居流的聚合特征进行拼接后输入gru单元,得到具有时序记忆能力的联合状态表示hcontext,并由动作输出网络根据hcontext输出动作分布,完成分散式动作决策。
71、5)构建集中式价值评估网络并更新策略,在集中训练阶段,采用集中式价值评估网络以全局状态sglobal作为输入,最小化价值预测均方误差。价值网络损失函数定义为:
72、
73、其中,b表示批量大小,表示折扣累计回报目标;策略网络πθ基于局部聚合特征hcontext进行更新,采用ppo截断目标函数约束策略更新幅度,其目标函数定义为:
74、
75、其中,rt(θ)表示新旧策略概率比,表示优势函数估计,ε表示截断系数,s[πθ]表示策略熵项,σ表示熵正则权重。
76、步骤6:构建集中式训练与分布式执行框架,本发明采用集中式训练、分布式执行的训练框架。训练阶段,所有智能体的全局状态信息用于训练集中式价值网络,价值网络用于估计全局状态下的长期回报。每个智能体的策略网络则根据自身局部观测输出动作。执行阶段,各无人机智能体不再依赖全局状态信息,而是仅根据自身局部观测独立输出动作。
77、该训练执行方式能够在训练阶段充分利用全局状态信息提高策略学习稳定性,同时在执行阶段适应低空无人机自组网中局部观测、通信受限和拓扑动态变化的实际条件。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com